Рисовать по клеточкам эмоджи: Смайлы по клеточкам в тетради

Нажмите ЗДЕСЬ, чтобы сохранить урок в Pinterest!

Учебное пособие по рисованию эмодзи «Счастливое лицо» — простые и увлекательные страницы для печати

ПОИСК И УСТРАНЕНИЕ НЕИСПРАВНОСТЕЙ ДЛЯ УЧАСТНИКОВ

Все еще видите рекламу или не можете загрузить PDF?

Во-первых, убедитесь, что вы вошли в систему. Вы можете войти на странице входа участника.

Если вы по-прежнему не можете загрузить PDF-файл, вероятное решение — перезагрузить страницу.

Это можно сделать, нажав кнопку перезагрузки браузера.

Это значок в виде круглой стрелки в верхней части окна браузера, обычно расположенный в верхней левой части (вы также можете использовать сочетания клавиш: Ctrl+R на ПК и Command+R на Mac).

Растущий эмодзи с условными нейронными клеточными автоматами

Растущий смайлик StampCA. Поиграйте с кодовой базой самостоятельно.

Когда ребенок рождается, он не появляется из ниоткуда — он начинается как отдельная клетка. Эта семенная клетка содержит всю информацию, необходимую для репликации и превращения во взрослую особь. В биологии мы называем этот процесс морфогенезом : превращение семени в структурированный дизайн.

Конечно, если есть крутой биологический феномен, кто-то пытался воспроизвести его на искусственной земле. В одном семействе работ исследуются нейронные клеточные автоматы (NCA), в которых группа клеток взаимодействует со своими соседями, создавая крутые эмерджентные конструкции. Регулируя поведение клеток, мы можем влиять на них, чтобы они росли так, как мы хотим. NCA были обучены создавать целую кучу вещей, таких как самовосстанавливающиеся изображения, паттерны, мягкие роботы и дизайны Minecraft.

Общим в этих работах является то, что один NCA представляет один дизайн. Вместо этого я хотел исследовать условных NCA, которые представляют функции создания дизайна, а не отдельные проекты. Аналогия здесь — трансляция ДНК — наша биология не просто определяет наши тела, они определяют систему, которая транслирует ДНК в тела. Измените ДНК, и тело изменится соответственно.

В этом посте рассказывается о StampCA, условном NCA, который действует как сеть перевода. В StampCA начальная ячейка получает вектор кодирования, который определяет, в какой дизайн она должна вырасти. Миры StampCA могут имитировать генеративные возможности традиционных сетей изображений, таких как GAN с цифрами MNIST и автокодировщик, производящий эмодзи. Поскольку информация о дизайне хранится в состоянии ячейки, миры StampCA могут 1) поддерживать морфогенетический рост многих дизайнов и 2) выращивать их все в одном мире.

В конце я выскажу некоторые мысли о том, как NCA связаны с работой в консетях, об их потенциале в эво-дево и искусственной жизни, и почему я очень взволнован их перспективой.

Нервно-клеточные автоматы: как они работают?

Во-первых, давайте рассмотрим, как работает NCA в целом. Идеи здесь взяты из этой превосходной статьи Distill Мордвинцева и др. др. Пойдите, проверьте это для хорошего всестороннего объяснения.

Основная идея NCA заключается в моделировании мира ячеек, которые локально адаптируются к своим соседям. В NCA мир представляет собой сетку ячеек. Скажем, 32 на 32. Каждая ячейка имеет состояние, которое представляет собой вектор длиной 64. Первые четыре компонента соответствуют RGBA, а остальные используются только внутри.

На каждом временном шаге все ячейки будут локально корректировать свои состояния. Важно отметить, что клетки могут видеть только состояние себя и своих непосредственных соседей. Эта информация передается нейронной сети, которая затем соответствующим образом обновляет состояние ячейки. NCA будет повторяться в течение 32 временных шагов.

Основная идея здесь состоит в том, чтобы изучить набор локальных правил, которые в совокупности образуют глобальную структуру. Клетки могут видеть только своих соседей, поэтому им нужно полагаться на свое локальное окружение, чтобы понять, что делать. Опять же, аналогия в биологическом развитии — отдельные клетки адаптируют свою структуру в зависимости от своих соседей, создавая функциональное животное, если рассматривать его как единое целое.

На практике мы можем определить NCA как слой свертки 3×3, многократно применяемый рекурсивно. Это сверточное ядро ​​представляет собой рецептивное поле клетки — каждая клетка обновляет свое собственное состояние на основе состояний своих соседей. Это повторяется много раз, пока не будет получен окончательный результат. Поскольку все дифференцируемо, мы можем подключить нашу любимую функцию потерь и оптимизировать.

Творчески подходя к нашим целям, мы можем обучать NCA различным моделям поведения. Классическая цель состоит в том, чтобы начать с обнуления каждой ячейки, кроме одной начальной ячейки, и вырастить желаемый дизайн за N временных шагов. Мы также можем обучать NCA, которые поддерживает проекты , используя старые состояния в качестве отправной точки, или NCA, которые восстанавливают проекты , начиная с поврежденных состояний. Здесь много места для игр.

Общим недостатком здесь является необходимость переобучения NCA, если мы хотим производить другой дизайн. Мы успешно изучили алгоритм, локально генерирующий глобальный план — теперь мы можем изучить алгоритм, локально генерирующий много глобальных дизайнов?

StampCA: условные нейронные клеточные автоматы

Один из способов рассматривать биологическое развитие как систему двух факторов: ДНК и трансляции ДНК. ДНК производит код; затем система трансляции создает белки соответственно. В общем, одна и та же система перевода присутствует у всего живого. Это позволяет эволюции игнорировать общую тяжелую работу (как собирать белки) и сосредоточиться на вариациях, которые важны для их вида (какие белки создавать).

Цель условного NCA в том же направлении: отделить систему, которая выращивает дизайна, от системы, которая кодирует дизайна. Ключевое отличие состоит в том, что кодировки зависят от дизайна, тогда как система роста является общей для всех дизайнов.

Оказывается, формулировка NCA дает нам простой способ сделать это, который мы будем называть StampCA. В типичном NCA мы инициализируем сетку всеми нулями, кроме исходной ячейки. Вместо того, чтобы инициализировать эту исходную ячейку константой, давайте установим ее состояние равным 9.0023 кодирующий вектор. Таким образом, конечное состояние NCA становится функцией параметров его нейросети наряду с заданной кодировкой.

Вооружившись этим, мы можем построить цель типа автоэнкодера. Учитывая желаемый дизайн, сеть кодировщика сначала сжимает его в вектор кодирования. Этот вектор кодирования используется в качестве начального состояния в NCA, которое затем повторяется до тех пор, пока не будет создан окончательный проект. Затем мы оптимизируем все, чтобы окончательный дизайн соответствовал желаемому дизайну.

Правильно обученный StampCA изучает общие правила морфогенеза, которые могут вырастить произвольное распределение дизайнов. Есть два основных преимущества перед NCA с одним дизайном:

1. StampCA могут выращивать новые дизайны без дополнительного обучения
2. Многие дизайны могут расти в одном и том же мире

Давайте рассмотрим несколько примеров на наборах данных Emoji и MNIST.

Автоэнкодер StampCA: выращивание смайликов

Первоначальная статья Distill обучала NCA выращивать смайлики, так что давайте последовать их примеру. Мы возьмем набор данных из ~ 3000 смайликов 32×32 из этого репозитория шрифтов. Наша цель здесь — обучить StampCA, который может выращивать любые смайлики в наборе данных.

После четырехчасового обучения на графическом процессоре Colab вот результаты:

Смайлики StampCA растут. Воспроизведите эти результаты самостоятельно.

В общем, правильно делает! Одна сеть может выращивать множество видов смайликов.

Для правильной работы сети StampCA необходимо решить две основные проблемы: ячейки должны обмениваться информацией о кодировании друг с другом, а ячейки должны выяснить, где они находятся относительно центра.

Модель роста ряби.

Интересно, что характер роста всех эмодзи примерно одинаков — из центрального семени исходят волны, которые затем приобретают нужный цвет. Поскольку клетки могут взаимодействовать только со своими непосредственными соседями, информация должна перемещаться локально, что может объяснить такое поведение. Рябь может содержать информацию о том, где каждая ячейка находится относительно исходного начального числа, и/или информацию об общем кодировании.

Отличительной особенностью StampCA является то, что несколько дизайнов могут расти в одном мире. Это работает, потому что все проекты используют одну и ту же сеть, просто у них разные начальные семена. Поскольку NCA по определению влияют только на своих локальных соседей, два семени не будут мешать друг другу, если они расположены достаточно далеко друг от друга.

Размещение семян вдоль пути.

Разные конструкции могут расти в одном и том же мире.

Если семена размещены слишком близко, странное поведение.

Что приятно в условных NCA, так это то, что они могут аппроксимировать любую функцию преобразования вектора в изображение. В эксперименте с эмодзи мы использовали потерю в стиле автоэнкодера для обучения NCA, которые могли восстанавливать изображения. На этот раз давайте взглянем на цель GAN: по заданному случайному вектору вырастить типичную цифру MNIST.

Хорошо, в идеальном мире эта установка была бы довольно простой. Настройка GAN включает сеть генератора и сеть дискриминатора. Генератор пытается создать поддельные конструкции, в то время как дискриминатор пытается отличить настоящий дизайн от подделки. Мы обучаем эти сети в тандеме, и со временем генератор учится создавать реалистично выглядящие подделки.

Оказалось, что это было немного сложно обучить, поэтому я решил использовать хак. Общеизвестно, что GAN трудно стабилизировать, поскольку генератор и дискриминатор должны иметь одинаковую мощность. Вначале поведение NCA довольно нестабильно, поэтому генератору на основе NCA трудно добиться чего-либо.

Вместо этого хитрость заключалась в том, чтобы сначала обучить традиционный генератор нейронной сетью с прямой связью. Этот генератор учится принимать случайный вектор и выводить реалистичную цифру MNIST. Затем мы обучаем NCA имитировать поведение генератора. Это более стабильная задача для решения NCA, и в конечном итоге он учится в основном соответствовать производительности генератора.

Цифры StampCA MNIST растут. В отличие от эмодзи, нам не нужно предоставлять набор данных для кодирования->декодирования.
Цифры MNIST генерируются с нуля с помощью цели GAN. Воспроизведите эти результаты самостоятельно.

MNIST StampCA растет, следуя кривой цифр, по сравнению с рябью Emoji StampCA.

Преимущество этих StampCA, обученных GAN, заключается в том, что нам больше не нужен набор данных базовых изображений. Поскольку GAN могут создавать дизайны с нуля, каждая цифра, полученная из этого MNIST StampCA, является поддельным дизайном.

Еще одно интересное наблюдение заключается в том, как MNIST StampCA увеличивает свои цифры. В Emoji StampCA мы увидели своего рода волнообразное поведение, когда смайлики вырастали наружу из центрального семени. В случае MNIST рост более точно следует пути цифры. Это особенно заметно при генерации цифр «0», так как центр полый.

Размещение семян вдоль пути.

Много цифр MNIST в одном мире. Обратите внимание на артефакт «бродяги», исходящий от 9-значного числа, напоминающий клеточные автоматы, такие как «Игра жизни» Конвея.

Если семена размещены слишком близко, странное поведение.

Во-первых, вы можете воспроизвести эти эксперименты с помощью этих блокнотов Colab, здесь для Emojis и здесь для MNIST.

Целью этого поста было представить условные NCA и показать, что они существуют как инструмент. Я не уделял особого внимания оптимизации производительности, поэтому не тратил много времени на настройку гиперпараметров или сетевых структур. Если вы поиграетесь с моделями, я уверен, что вы можете улучшить результаты здесь.

NCA на самом деле просто причудливая сверточная сеть, в которой одно и то же ядро ​​применяется снова и снова. Если мы посмотрим на вещи таким образом, то NCA легко подключить к любым интересующим вас задачам на основе изображений.

Интересная часть NCA заключается в том, что становится легко определять цели, которые сохраняются с течением времени. В этой работе мы заботились о NCA, которые соответствовали внешнему виду изображения после определенного количества временных шагов. Мы могли бы также выполнить более сложные задачи: например, превратиться в эмодзи свиньи через 50 временных шагов, а затем превратиться в эмодзи коровы через 100.

Другим аспектом, отличающим NCA, являются ограничения их местоположения. В NCA гарантируется, что ячейка может взаимодействовать только со своими непосредственными соседями. Мы воспользовались этим, поместив несколько семян в один и тот же мир, так как мы можем быть уверены, что они не будут мешать друг другу. Локальность также означает, что мы можем увеличить размер мира NCA до произвольного размера, и это не изменит поведение ни в каком месте.

Забегая вперед, мы можем провести кучу более странных экспериментов, связывая NCA с задачами. Мы могли бы рассматривать NCA как определяющее многоклеточное существо и обучать его выращивать и захватывать различные места для еды. Мы также можем рассматривать NCA как системы связи, поскольку клетки должны формировать каналы для передачи информации из одной точки в другую. Наконец, есть большой потенциал в рассмотрении NCA как системы evo-devo: представьте, что NCA определяет растение, которое динамически регулирует свой рост в зависимости от окружающей среды, с которой оно сталкивается.

Код для этих экспериментов доступен на этих ноутбуках. Не стесняйтесь кричать на меня в Твиттере с любыми мыслями.

Приложение

Цитировать как:

 @article{frans2021stampca,
  title = "StampCA: Растущие эмодзи с помощью условных нейронных клеточных автоматов",
  автор = "Франс, Кевин",
  журнал = "kvfrans.com",
  год = "2021",
  url = "http://kvfrans.com/stampca-conditional-neural-cellular-automata/"
} 

Почему запись в блоге, а не статья? Мне нравятся визуализации, которые позволяет формат блога, и я не думаю, что здесь требуется полное научное сравнение — основная идея заключается в том, что такие виды условного NCA возможны, а не в том, что предложенный метод является оптимальной установкой.

Что почитать

«Выращивание нейронных клеточных автоматов», Мордвинцев и др. . Эта статья послужила первоначальным источником вдохновения для этой работы в NCA. Они показывают, что вы можете построить дифференцируемый клеточный автомат из сверточных единиц, а затем научить эти NCA выращивать смайлики. При правильных целях эти смайлики также стабильны с течением времени и могут самостоятельно восстанавливать любые повреждения. Так как это на Distill, есть куча крутых интерактивных элементов, с которыми можно поиграть.

«Самоорганизующиеся текстуры», Никлассон и др. . Эта статья о Distill является продолжением предыдущей. Они показывают, что вы можете обучать NCA создавать стили или активировать определенные начальные слои. Дрейф NCA приводит к крутым динамическим паттернам, которые перемещаются и устойчивы к ошибкам.

«Выращивание 3D-артефактов и функциональных машин с помощью нейронных клеточных автоматов», Sudhakaran et al. В этом документе традиционная установка NCA переносится на 3D. Они обучают 3D NCA выращивать структуры Minecraft и могут сохранять все хорошие свойства самовосстановления в этой области.

« Регенерация мягких роботов с помощью нейронных клеточных автоматов» , Horibe et al. В этом документе рассматриваются NCA, которые определяют мягких роботов, которые тестируются в 2D и 3D на передвижение. Самое интересное здесь то, что они рассматривают регенерацию в контексте достижения определенного поведения — роботы получают повреждения, а затем им дают возможность восстановиться, чтобы продолжить движение. Ключевые отличия заключаются в том, что все оптимизируется путем эволюции, и изучается отдельная сеть роста и генерации.

«Бесконечные самые красивые формы», Шон Б. Кэрролл. Эта книга посвящена эволюционному развитию (эво-дево) с биологической точки зрения. Он показывает, как геном определяет систему, которая растет сама через множество взаимодействующих систем, таких как гены-репрессоры и оси организации. Можно возразить, что величайшим аспектом жизни на Земле являются не тысячи видов, а то, что все они имеют общую генетическую систему, которая может породить тысячи видов. Здесь много вдохновения в том, как мы должны создавать искусственные системы: чтобы создать хороший дизайн, мы должны сосредоточиться на создании систем, которые могут производят дизайна.

«Коллектор нейронных клеточных автоматов», Ruiz et al. В этом документе рассматривается аналогичная проблема использования NCA для создания нескольких проектов. Вместо того, чтобы кодировать информацию о конкретном проекте в состоянии ячейки, они пытаются создать уникальные сетевые параметры для каждого проекта. Хитрость в том, что вы можете производить эти параметры через вторичную нейронную сеть, чтобы обойти переобучение.

• Для ОИИ нам нужны задачи получше.

  Для лучших задач нам нужна открытость. (Примечания АЛОЭ 2022)

  15 мая 2022 г. – 7 минут чтения

• Чтобы извлечь информацию из языковых моделей, оптимизируйте причинную реакцию

  12 ноября 2021 г. – 7 минут чтения

• CLIPDraw: исследование синтеза текста в рисунок

  28 июня 2021 г. – 7 минут чтения

CLIPDraw синтезирует новые рисунки из текста.