Midjourney — нейросеть генерирующая картинки по текстовому описанию / Хабр
В наше время нейросетью уже мало кого удивишь, эти штуки умеют обрабатывать видео, вести диалог с человеком, выполнять поиск материалов в интернете, писать музыку, распознавать объекты на фото, помогают обрабатывать фото и многое другое. Сегодня я хочу рассказать о сетке рисующей картинки — Midjourney.
Команда Midjourney позиционирует себя как независимую исследовательскую лабораторию, занимающуюся расширением творческих способностей человечества.
Проект был запущен в феврале 2022 ученым и предпринимателем Дэвидом Хольцом.
Давид Хольц — выпускник факультета прикладной математики Университета Северной Каролины в Чапел-Хилл. В студенчестве работал в Институте Макса Планка, где изучал алгоритмы нейровизуализации, также работал в исследовательском центре NASA и принимал участие в разработке технологии LiDAR (обнаружение и определение дальности с помощью света, технология используется, в том числе, в камерах iPhone).
Подробнее о личности основателя можно прочесть вот в этой заметке.
Midjourney является независимым самофинансируемым проектом над которым трудится команда из 11 штатных сотрудников, а также большое количество внешних консультантов. Перечень всех участников проекта доступен на официальном сайте проекта.
Работу Midjourney обеспечивают алгоритмы распознавания речи и алгоритмы создающие образы. Проще говоря, Миджорни умеет распознавать печатный текст и преобразовывать его в картинки. Для этого необходимо на английском языке описать сюжет, направить его на обработку сетке и дождаться результата. После полученный результат можно немного модернизировать, увеличить его качество и скачать.
Получаются вот такие картинки.
Сетка представлена в формате Дискорд-бота. Придуманный сюжет нужно направить боту в чат, а в ответ он пришлёт сгенерированную картинку.
Наличие такого инструмента в будущем очень сильно упростит работу дизайнера, решив проблему отсутствия контента на стоках, длительный поиск необходимых материалов.
Для быстрого создания контента понадобится воображение, умение структурировать информацию и интерпретировать ее в понятные словосочетания. Ну, круто же!
Я уверен, что никакие нейросети и Скайнеты не заменят дизайнера, но очень сильно упростят его работу.
Теперь о том, как протестировать это чудо техники. 😊
Сейчас сетка находится на этапе открытого бета-тестирования, доступ может получить каждый. Для этого необходимо:
1. Перейти на сайт Миджорни — midjourney.com и нажать кнопку «join the beta».
2. Сайт перенаправит вас в Discord. Там необходимо авторизоваться или создать аккаунт. Авторизация через Дис обязательна — нейросеть работает в формате Дискорд-бота.
3. Далее нужно дать сетке необходимые разрешения.
4. После чего система вас может направить в личный кабинет Миджорни. Выглядит он как на скрине. Чтобы из кабинета попасть в Дискорд-бот нужно нажать на ваш аватар в нижней части экрана и выбрать пункт «Go to Discord». Может сразу направить в бот, бывает по-разному. 😊
5. Открывшийся канал нейросети, будет выглядеть так.
6. Можно ознакомиться со справочной инфой в разделе «welcome», там кратко описано что к чему.
7. После чего нужно перейти в любой канал название которого начинается как newbies: «newbies-102», «newbies-132» и т.д.
8. Находясь в канале необходимо в текстовую строку ввести команду «/imagine promt» и текст сюжета, должно получиться как на скрине.
9. После того как будет вставлен текст нужно нажать энтер и можно наблюдать в реальном времени процесс генерации картинок. Это займет около минуты.
10. Можно не ждать — когда картинка будет готова нейросеть пришлет уведомление. Перейти к записи в канале можно через центр уведомлений Дискорда.
11. Ознакомившись с результатом, можно попросить сетку проработать варианты одного из сюжетов нажав одну из кнопок V1, V2, V3 или V4. Кнопки соответствуют одному из четырёх предложенных вариантов.
12. Кнопки типа U1 и т.д. необходимы для инициации процесса улучшения качества картинки — «upscale».
13. После того как картинка будет доработана ее можно скачать или ещё немного доработать, увеличить размер до максимума, а также оценить.
На GitHub существует более обширный гайд по работе с сетью. В нём доступны различные дополнительные команды и настройки.
Ссылка на гайд тут.
Стоит ещё добавить, что большинство продуктов делаются людьми для зарабатывания денег и Миджорни не исключение. Для тестирования работы сетки разработчиками бесплатно предоставляются «25 действий»: можно сгенерировать 25 сетов по 4 картинки в низком качестве или меньшее количество сетов и за оставшиеся баллы (действия) проработать варианты или увеличить качество изображений.
Когда лимит будет исчерпан бот пришлет вам вот такое уведомление.
Для увеличения лимитов можно перейти в админку сети и приобрести один из предложенных пакетов.
На этом у меня всё. Очень рекомендую протестировать сетку и очень жду, когда нейросети станут одним из инструментов дизайна, таким же привычным как Фигма или Фотошоп. 😊
Может ли нейронная сеть нарисовать вам игру? — Gamedev на DTF
Да, но есть нюансы.
5218 просмотров
Итак, Mechahearts это визуальная новелла в атмосфере стимпанка и нарисована она с помощью нейросети Midjourney с небольшими вкраплениями Dall-e 2.
Я весьма скептически отношусь к нейросетям: выдать ряд взаимосвязанных самостоятельных произведений они всё ещё неспособны. Нейросети вдохновляют в первую очередь разлетевшимися по сети работами в духе такой:
И объективно эта картинка выглядит очень неплохо, но если посмотреть на команду (prompt) которую использовал автор, то станет ясно, что нейросеть не особо то и придерживалась его требованиям:
Человек несколько раз уточнил, что девушка должна быть изображена во весь рост, что у неё должны быть кошачьи ушки и жёлтые волосы, но в итоге midjourney выдала ему абстрактное изображение «на тему». И это изображение красивое, но оно не соответствует требованиям «заказчика».
Такое поведение нейросети очень усложняет работу, когда нужно сгенерировать множество персонажей в одном стиле, что является необходимой для выполнения задачей при разработке игры. Идея создать толпу героев и выделиться их количеством на фоне других новелл отплата сразу: во-первых, получить именно желаемую картинку через нейросеть очень трудно, даже если громоздить трёхэтажные запросы надеяться всегда приходится только на удачу. В добавок ещё и нейросеть награждает персонажей своими излюбленными артефатками.
Сильнее всего страдают глаза. Вы посмотрите на это:
Меня всё устраивало этом портрете, но я никак не мог получить приличных глаз. Моей целью был приятный на вид результат, я не хотел оставлять артефактов и глюков, которые можно простить нейронной сети, как мы прощаем их рисункам детей: мол «ну и что, что эта зелёная мазня вообще ни на что не похожа? Её же рисовал мой сын, повешу её на холодильник».
Так же и творениям нейросетей многие восхищаются, закрывая глаза на сопутствующие ей артефакты. До того как я это понял, я восхищался вот таким мокапом будущей игры:
Мне эта картинка без шуток очень нравилась, но сейчас я понимаю, что никакой художественной ценности эта кривая мазня за собой не несёт, и абсолютно плевать, кто её рисовал – хоть человек, хоть нейросеть, хоть кот. Она выглядит плохо.
Я не хотел, чтобы графика в игре имела ценность только по той причине, что её рисовала нейросеть, потому я принялся все рисунки безбожно править. Я понимал, что пользователю в конечном итого всё равно, кто нарисовал эту картинку: ему важно, как она выглядит.
Это пример самой сильной ретуши, которую я нанёс на персонажа. Большинство других героев прошли не через столь суровые правки, здесь я и правда очень увлёкся, но результатом я доволен.
Другой проблемой стали эмоции – что за визуальная новелла, когда персонажи демонстрируют одно и тоже выражение лица? Но любые попытки скормить нейросети уже нарисованных персонажей и подписать к promtу что-то вроде “angry” выдавала совсем абсурдные результаты:
Эта орущая рожа – очень прикольная, но она вообще не похожа на тот результат, который я хотел получить. Как итог – мне снова пришлось пытаться что-то рисовать поверх полученного от нейросети результата:
К слову, я не такой уж и классный художник, а стилистика, выбранная для Mechahearts излишне реалистична для моих навыков. Реализмом я хотел усилить эффект «зловещей долины» и лишить себя возможности отойти от задуманного концепта и нарисовать всю игру самостоятельно. Я привык к более мультяшному стилю и к жёстким кистям, реализм и стилизацию под «картины маслом» я не тяну.
Так я рисую без нейросетей
В ходе всего этого эксперимента по созданию Mechahearts я натолкнулся на другую почти невыполнимую задачу: нарисовать персонажа с другого ракурса, и когда мне потребовалось изобразить некоторых героев спиной, я потратил уйму времени за дизморализующим и бестолковым перебиранием запросов.
Особенно меня насмешило, когда у одного из персонажей начали прорисовываться полупопия.
В итоге после абсолютно бездумного прожигания трафика и ресурсов на серверах Midjourney в попытке изобразить мою заранее отретушированную горничную со спины, я получил изображение, с которым можно было работать:
Нейросети очень неточны в деталях, и как итог пропали рукава, чепчик и плечики. Пришлось всё это снова или дорисовывать, или коллажировать из других результатов:
В итоге вышло, на мой взгляд, сносно, но этот рисунок всё равно гораздо хуже чем тот, который мог бы создать человек.
Но и на этом ограничения, накладываемые нейросетью не заканчиваются, и иной раз её непробиваемое безумие вынуждает сдаться и просто даже не пытаться сгенерировать сцену, которая мне нужна по сюжету. Мне будет проще переписать сюжет.
Мне нужна была красивая рыжая девушка, лежащая на полу. По ходу дела задумку пришлось слегка переделать, потому что со сложными позами у нейрросетей проблемы ещё хлеще, чем с глазами или руками. Сложную позу без сломанной анатомии можно получить только случайно, и не факт, что именно эта поза окажется нужной.
Зачем я использовал ещё и Dall-e 2? А затем, что у него есть прикольная функция, которой нет у Midjourney – возможность дорисовывать недостающие куски изображения. Я очень люблю ролики в стиле «infinite zoom» и захотел сделать что-то подобное для трейлера, но обжогся об одно неудобное ограничение: Dall-e 2 дорисовывает изображения только 1024 на 1024 и сделать «infinite zoom» для современных 16:9 оказалось головоломкой, решаемой с помощью костылей.
Я сгенерировал полноценное изображение в Midjourney, привёл его в порядок в Фотошопе, разделил на квадратики 1024 на 1024 и дорисовывал недостающие области с помощью Dall-e 2. Чем дальше картина уходил от оригинального изображения, тем больше она начинала походить на типичное мессиво от нейросети, потому «zoom» получился не таким уж и «infinite», но результат всё равно меня позабавил и использовался в трейлере.
Работа с нейросетью напоминает резвую стрельбу в слепую – это весело, ты завален картинками, но 99% из них – хлам, который просто невозможно использовать в текущем проекте. Я привык разрабатывать игры один, не ограничивая свои идеи чужими возможностями, а сейчас мне приходится подстраиваться под своеобразные навыки нейросети. Я корректирую сюжет ради неё. Выдумывать историю исходя из возможностей является нормальным процессом – так пишутся сценарии к фильмам и делаются игры, просто этот подход непривычен лично мне.
Упрощает ли в итоге использование нейросети жизнь разработчику? Всё зависит от его собственных пожеланий и навыков. Мои персонажи были бы жуткими косоглазыми уродами с тремя лишними пальцами, если бы у меня не было навыка их редактировать, а навык этот у меня есть, потому что я достаточно давно рисую сам, без помощи нейросетей.
С другой стороны, откорректировать портрет или задний фон всё равно гораздо быстрее, нежели нарисовать его с нуля, потому я могу больше времени уделить сюжетной составляющей. Конечно, я мог бы выбрать стиль, который больше похож на мой и корректировка рисунков тогда не давалась бы с таким трудом, но тогда бы я вообще бы перестал понимать, зачем я трачу время на составление трёхэтажных запросов в midjourney, если я и сам могу так нарисовать? Прикол то как раз в том, чтобы получить результат, который максимально далёк от моего стиля.
При работе с нейросетью возникают не трудности. При работе с ней возникают неудобства.
Можно много говорить о том, упрощают ли нейросети разработку с технической точки зрения или, наоборот, только сбивают с толка, но нужно ставить превыше всего моральную точку зрения, потому что без должного запала и любви к своему проекту, каким бы технически классным и продвинутым он бы не был, никакая игра не будет доделана.
От разработки нужно получать удовольствие, чтобы мозг воспринимал работу над проектом как награду. В противном случае он вас всегда будет пытаться заставить заниматься чем-то другим, а создание игр станет мучительным трудом.
Когда я рисую, даже если я делаю это в стол, я чувствую, что я развиваюсь как художник. Без той сотни рисунков, которые я смял и выкинул, я бы ни за что не получил нужное мне изображение. И в этом чувстве развития и кроется удовольствие: мой мозг знает, что чтобы добиться желаемого, я должен меняться и совершенствоваться, и награждает меня дофамином, когда я это делаю.
В случае же работы с нейросетью я не развиваюсь совсем никак. Формулировка «prompt-artist» это, имхо, чушь, которая как раз должна создать иллюзию того, что ты набираешься навыков и развиваешься как специалист, пока перебираешь различные запросы или вообще по 50 раз повторяешь один и тот же.
Но это нейронная сеть учится и развивается, а не promt-artist.
Подбор запроса – это очень скучный и нелогичный ребус, решение которого не делает тебя лучше или умнее, а решает единовременную задачу.
И на этой добродушной ноте я заканчиваю рассказ о том, как делается новелла с использованием нейросети. Про что же сама игра и что её отличает от других новелл – я напишу в следующий раз.
Ну а что касается «правовой» части, то коммерческое использование рисунков, созданных Midjourney, вполне себе разрешено:
Добавить игру в желаемое можно здесь:
простой рисунок дома — Bilder und stockfotos
Bilder
- Bilder
- Fotos
- Grafiken
- Vektoren
- Видео
Durchstöbern Sie 47,735
Durchstöbern Sie 47,735
Durchstöbern Si -Folderafie.
Oder starten Sie eine neuesuche, um noch mehr Stock-Photografie und Bilder zu entdecken.
Sortieren nach:
Am beliebtesten
innenraum des wohnzimmers. вектор-skizze-иллюстрация. — простой рисунок дома — графика, -клипарт, -мультфильмы и -символInnenraum des Wohnzimmers. Вектор-Skizze-Illustration.
zuhause mit herzlinie kunst zeichnung vektorillustration. durchgehendes einzeiliges zeichenhaus mit herzform. — простой рисунок дома сток-график, -клипарт, -мультфильмы и -символZuhause mit Herzlinie Kunst Zeichnung Vektorillustration….
wenig haus zeichnung cartoon — простой рисунок дома сток-график, -клипарт, -мультфильмы и -символWenig Haus Zeichnung Cartoon
große reihe von winzigen häusern mit bäumen und büschen im flachen stil, kleine stadt, bunte fassaden — простой рисунок дома, графика, клипарт, мультфильмы и символыGroße Reihe von winzigen Häusern mit Bäumen und Büschen im…
Große Reihe von winzigen Häusern mit Bäumen und Sträuchern im flachen Stil, kleine Stadt, bunte Fassaden.
Reihe von verschiedenen kritzelte Häuser
Vektorillustration einer Reihe verschiedenen kritzelter Häuser
immobilienbezogene elemente objekte. Handgezeichnete вектор-каракули-иллюстрации. handgezeichnete symbole gesetzt. — простой рисунок дома — графика, -клипарт, -мультфильмы и -символImmobilienbezogene Objekte und Elemente. Handgezeichnete Vektor-Do
eine durchgehende linienzeichnung eines modernen hauses mit minimalistischer architektur. модная вилла zweistöckige im linearen doodle-stil, isoliert auf weißem hintergrund. вектор-иллюстрация — простой рисунок дома сток-графика, -клипарт, -мультфильмы и -символEine durchgehende Linienzeichnung eines modernen Hauses mit…
hand skizzieren einen дизайнер-вилла с бассейном — простой рисунок дома сток-фотографии и изображенияHandzeichnung einen Designer-Villa mit pool
Handzeichnung einer modernen weißen Villa mit Pool
stadt, line art, eps.
Stadt, Line Art, Eps.
Stadt, Dächer und Schornsteine, schwarze Konturzeichnung, Vektor
moderne haus — простой рисунок дома, графика, клипарт, мультфильмы и символыModerne Haus
Skizze eines modernen Hauses.
einfamilienhaus — простой рисунок дома, графика, клипарт, мультфильмы и символыEinfamilienhaus
grundrissbild — простой рисунок дома, стоковые изображения, -клипарт, -мультфильмы и -символыStadtillustration Aquarell im skandinavischen Stil
stadtplan mit haus, landschaftselement. — простой рисунок дома — графика, -клипарт, -мультфильмы и -символStadtplan mit Haus, Landschaftselement.
Stadtplan mit Haus, Landschaftselement. Handgezeichneter Skizzenstil. Haus, Baum, Bergvektorillustration für Dorf, Stadtplan.
Kleines freistehendes Haus Zeichnung
Handgezeichnete Vektorzeichnung eines kleinen Einfamilienhauses. Schwarz-Weiß-Skizze auf Transparentem Hintergrund (.eps-Datei). Используйте данные в формате EPS (v10) и JPG в высоком разрешении.
zweistöckige haus solide символ. doppel-etage haus wohnhaus символ, глиф стиль пиктограмма auf Weißem Hintergrund. bauschild für mobiles konzept und webdesign. векторграфикен. — простой рисунок дома — графика, -клипарт, -мультфильмы и -символZweistöckige Haus solide Symbol. Doppel-Etage Haus Wohnhaus…
familienhaus — простые чертежи домов, рисунки, картинки, мультфильмы и символыFamilienhaus
Familienhaus im kontinuierlichen Linienkunst-Zeichenstil. Vorstadthaus minimalistische schwarze lineare Skizze isoliert auf weißem Hintergrund. Вектор-иллюстрация
Satz von vier Gebäude Typen von Hand gezeichnet Cartoon…
Vier Vektorgebäude skizzieren Zeichnungen in perspektivischer Ansicht mit Баумен. Einfamilienhaus, Arbeitsbüro und Fabrikgebäude. Handgezeichnete Cartoon-Vektorillustration.
ihr домашний офис — простой рисунок дома, графика, клипарт, мультфильмы и символыIhr домашний офис
weihnachtsbaum im boho-style mit den papierdekorationen. hygge-tannenbaum in einem korb. rustikaler baum — простой рисунок дома, графика, клипарт, мультфильмы и символыWeihnachtsbaum im Boho-Stil mit den Papierdekorationen. Hygge-Tann
Weihnachtsbaum im Boho-Stil mit den Papierdekorationen. Hygge Tanne in einem Korb. Рустикалер Баум. Vektor-Illustration
durchgehende einzeilige zeichnung von sessel mit tisch und vase mit monstera-blatt.
Durchgehende einzeilige Zeichnung von Sessel mit Tisch und Vase…
Durchgehende einzeilige Zeichnung des Sessels mit Tisch und Vase mit Monsterblatt. Skandinavische stilvolle Möbel im einfachen linearen Stil. Doodle-вектор-иллюстрация.
flachdachbau — простой рисунок дома, графика, клипарт, мультфильмы и символы Minimalistische schwarze lineare Skizze, isoliert auf weißem Hintergrund. Вектор-иллюстрация современная вилла, внутренний дворик — простой чертеж дома стоковые фото и изображениясовременная вилла, внутренний дворик
Modernes Wohnzimmer der Villa.
ländliche landschaft — простой рисунок дома стоковая графика, -клипарт, -мультфильмы и -символLändliche Landschaft
blauer Hintergrund — türkis hintergrund — простой рисунок дома стоковая графика, -клипарт, -мультфильмы и -символBlauer Hintergrund — Türkis Hintergrund
современная роскошная вилла — простой чертеж дома стоковые фото и изображенияModerne Luxus-Villa
Modernes Wohnzimmer der Villa.
Haus
Abstraktes kleines Haus im kontinuierlichen Linienkunst-Zeichenstil. Immobilien Minilistische schwarze lineare Skizze isoliert auf weißem Hintergrund. Vektor-Illustration
Минимальная абстрактная ручная работа — простой рисунок дома, графика, клипарт, мультфильмы и символыМинимальная абстрактная ручная работа Набор
Trendiges Set от Aquarell минималистская абстрактная ручная иллюстрация. Узор Абстрактные узорчатые формы. Идеально подходит для дизайна-Wanddekoration, Stoff, Tapeten, Geschenkpapier. Вектор
handgezeichnetes süßes haus. kritzeln — простой рисунок дома, графика, клипарт, мультфильмы и символыHandgezeichnetes süßes Haus. Kritzeln
Handgezeichnetes süßes Haus. Дудл Скизз Стил Хоум. Hausbau mit Fenster, Dach. Векторная иллюстрация домашнего символа.
Der Stadt planen
3D-архитектурное исследование в городе
immobilien, набор иконок. kauf und verkauf von wohnungen, vermietung von räumlichkeiten, lineare symbole. linie mit editierbaren schlaganfall — простой рисунок дома, графика, клипарт, мультфильмы и символыImmobilien, Icon-Set. Kauf und Verkauf von Wohnungen, Vermietung…
Immobilien, Icon-Set. Kauf und Verkauf von Wohnungen, Vermietung von Räumlichkeiten, bearbeitbarer Schlaganfall
HANGEZEICHNET HAUS VEKTOR -SET -Simple House Drawing Stock -grafiken, -clipart, -cartoons und -symboleHandgezeichnet Haus Vektor -Set
. Все номера
The Draw My Picture Game | Рисование, навыки слушания…
www.pinterest.com › Узнайте › Образование
18 июля 2014 г. — Игра «Нарисуй мои картинки» — это увлекательный способ научить детей практиковать свои навыки говорения и восприятия на слух.
Игра «Нарисуй мою картинку» — Pinterest
www.pinterest.com › Узнайте больше › Образование
13 января 2020 г. — Игра «Нарисуй мою картинку» — это увлекательный способ научить детей практиковать свои навыки говорения и восприятия на слух.
Draw My Picture Game — YouTube
www.youtube.com › смотреть
12.04.2020 · Давайте сыграем в игру, используя силу слуха! София даст вам инструкции о том, как …
Dauer: 2:18
Прислано: 12.04.2020
[PDF] Коммуникационная деятельность — Рисование близнецов
slco.org › contentassets › eu_communicationdrawingtwins
Коммуникационная деятельность — Рисование близнецов. Время: 40 минут. Цель: Это должно проиллюстрировать, как трудно давать четкие инструкции, а также насколько сложно.
10 Идеи рисования для дошкольников «Следование направлениям»
полномочия родителей.0003
30.11.2022 · Рисовать по устным указаниям – занятие непростое, но это отличный способ развить навыки слушания в раннем детстве.
Игра «Нарисуй мою картинку» — Домашнее обучение с любовью
www.homeschoolwithlove.com › Игры
07.11.2013 · В игре «Нарисуй мою картинку» один человек дает другому словесные указания относительно картинки. В нее легко играть, она не требует особых навыков …
Нарисуй картинку, пока партнер говорит | Увлекательное разговорное занятие ESL
eslspeaking.org › Занятия для взрослых
Порядок выполнения этого задания «Слушай и рисуй»… 1. Два ученика садятся спиной к спине, но достаточно близко, чтобы разговаривать друг с другом. 2. Дайте учащемуся А какое-нибудь изображение, …
Результаты 1–24 из 25000+ · 13 января 2017 г. — Игра «Нарисуй мое изображение» — это увлекательный способ научить детей практиковать свои навыки говорения и восприятия на слух.
Ähnliche Fragen
Что такое прослушивание и рисование?
Как играть в игру «Нарисуй картинку»?
Вы слышите, как я рисую примеры игр?
Как ты играешь, рисуй то, что слышишь?
13 Упражнения «Слушай и рисуй» — Опыт преподавания
www.