Рисование вместе с нейронной сетью
Дэвид Ха
Хардмару
Хардмару
Йонас Йонгеджан
HalfdanJ
HalfdanJ
Ян Джонсон
анжалот
анжалот
Обновление (03.01.19) : Попробуйте новую игру Magic Sketchpad!
Обновление (02.08.18) : sketch-rnn был портирован на TensorFlow.js в рамках проекта Magenta.js! Взгляните на новую документацию и код.
Попробуйте демо-версию sketch-rnn.
Для мобильных пользователей с сотовым подключением для передачи данных: размер этой первой демонстрации составляет около 5 МБ данных. Каждый раз, когда вы меняете модель в демоверсии, вы будете использовать еще 5 МБ данных.
Мы провели интерактивный веб-эксперимент, который позволяет рисовать вместе с моделью рекуррентной нейронной сети под названием
В приведенной выше демонстрации вам предлагается начать рисовать определенный объект. Как только вы перестанете рисовать, нейронная сеть вступит во владение и попытается угадать остальную часть вашего рисунка. Вы можете снова взяться за рисование и продолжить с того места, на котором остановились. Мы обучили около 100 моделей, с которыми вы можете экспериментировать, а некоторые модели обучаются по нескольким категориям.
Прочее
sketch-rnn ДемонстрацииПриведенные ниже демонстрации лучше всего просматривать в настольном браузере, а не на мобильном устройстве.
Множественное предсказание
Multiple Predict Demo
Демонстрация похожа на первую демонстрацию, которая предсказывает остальную часть вашего рисунка.
В этой версии вы нарисуете начало эскиза внутри области слева, а модель предскажет остальную часть рисунка внутри меньших прямоугольников справа. Таким образом, вы можете увидеть множество различных концовок, предсказанных моделью. Предсказанные концовки иногда кажутся ожидаемыми, иногда неожиданными и странными, а иногда могут быть отвратительными и совершенно неправильными.Вы также можете выбрать разные категории, чтобы заставить модель рисовать разные объекты на основе одного и того же незавершенного начального эскиза, чтобы модель могла рисовать такие вещи, как квадратные кошки или круглые грузовики. Вы всегда можете прервать модель и продолжить работу над своим рисунком в области слева, и модель будет постоянно предсказывать, где вы остановились впоследствии.
Поскольку модель обучается на наборе данных о том, как рисуют других человек, нам также показалось интересным преднамеренно рисовать способом, который отличается от предсказаний модели, чтобы помочь нашему собственному мысленному процессу поиска новизны, а не соответствовать массам. Попробуйте демо Multi Predict.
Интерполяция
Interpolation Demo
В дополнение к предсказанию остальной части незавершенного чертежа, sketch-rnn также может Преобразование из одного рисунка в другой. В демо-версии Interpolation вы можете заставить модель случайным образом генерировать два изображения, используя две кнопки randomize по бокам экрана. После нажатия Interpolate! посередине, модель предложит новые рисунки, которые, по ее мнению, представляют собой интерполяцию между двумя исходными рисунками. На изображении выше модель интерполирует между велосипедом и позой йоги. Попробуйте демонстрацию Interpolation, чтобы трансформировать два случайно сгенерированных изображения.
Вариационный автоэнкодер
Демонстрация вариационного автоэнкодера
Модель также может имитировать ваши рисунки и создавать похожие рисунки. В демонстрационной версии вариационного автоэнкодера вы должны нарисовать полных рисунков указанного объекта. После того, как вы нарисуете полный эскиз в области слева, нажмите кнопку auto-encode , и модель начнет рисовать аналогичные эскизы внутри меньших прямоугольников справа. Вместо того, чтобы рисовать идеальную копию вашего рисунка, модель вместо этого попытается имитировать ваш рисунок.
Вы можете поэкспериментировать с рисованием объектов, которые не относятся к той категории, которую вы должны рисовать, и посмотреть, как модель интерпретирует ваш рисунок. Например, попробуйте нарисовать кошку, а модель, обученная рисованию крабов, будет генерировать кошачьих крабов. Попробуйте демонстрацию вариационного автоэнкодера.
Хотите узнать больше?
Если вы хотите узнать больше о том, что происходит, вот несколько указателей для изучения:
Запись в блоге Google Research об этой модели.
Прочитайте нашу статью Нейронное представление эскизных рисунков.
Более ранняя запись в блоге Magenta о реализации этой модели в TensorFlow. Репозиторий GitHub.
JavaScript-реализация этой модели вместе с предварительно обученными весами модели. Репозиторий GitHub.
Луиза Кочелла – Кафедра молекулярной биологии и генетики
Транскрипционные и посттранскрипционные механизмы диверсификации клеток.
Эволюция многоклеточности шла рука об руку с диверсификацией типов клеток с различными морфологиями и функциями. Это разделение функций между различными типами клеток привело к поразительной сложности животных; но в то же время крайняя специализация отдельных типов клеток часто делает их уязвимыми к генетическим или экологическим вариациям (например, узкоспециализированная физиология некоторых нейронов или мышечных клеток делает их особенно восприимчивыми к мутациям в широко экспрессируемых генах, которые не влияют на другие клетки). виды). Поэтому понимание того, как клетки диверсифицируются и что делает их уникальными, важно для понимания физиологии животных в норме и при заболеваниях. Наша работа исследовала два аспекта диверсификации клеток животных, уделяя особое внимание механизмам регуляции генов, которые лежат в основе этого процесса.
Во-первых, мы спрашиваем , как определяются различные типы клеток в процессе развития. В частности, мы сосредоточились на нейронах и мышечных клетках, которые следуют по разным траекториям, но позже, по-видимому, сходятся к одной и той же конечной идентичности. Конвергенция развития широко распространена в развитии животных, и мы создали модели и инструменты для изучения механизмов регуляции генов, лежащих в основе двух аспектов этого явления: i) как клетки из разных линий сходятся к одной и той же терминальной идентичности, и ii) конвергентные клетки типы несут молекулярные и функциональные подписи своей различной истории.
Во-вторых, мы исследуем , что определяет уникальные свойства специализированных клеток. Посттранскрипционная репрессия miRNAs вносит вклад в специализацию клеток, и мы фокусируемся на роли miRNAs в диверсификации нейронов и мышц.
Более того, мы обнаружили, что miRNAs поддерживают уникальную физиологию некоторых специализированных клеток за счет селективной репрессии широко транскрибируемых в других случаях «домашних хозяйств» генов. Такая сниженная функция «домашнего хозяйства» представляет собой возможный источник восприимчивости специализированных клеток, которую мы исследовали в контексте нейронов и мышечных клеток.Чтобы ответить на эти вопросы, мы используем инструменты молекулярной биологии, генетики и биохимии РНК, а также сами разрабатываем новые необходимые инструменты (например, метод секвенирования микроРНК из отдельных типов клеток в сложных тканях, см. подробнее ниже). Чтобы извлечь фундаментальные концепции клеточной дифференциации, мы используем нематоды C. elegans в качестве нашей основной модельной системы. Это главным образом потому, что это позволяет нам разрабатывать эксперименты с беспрецедентным клеточным разрешением, а также потому, что огромный объем работы, накопленный сообществом, работающим над этим животным, обеспечивает превосходный фон, позволяющий глубоко понять механизм.
1) Временные комбинации факторов транскрипции как механизм диверсификации нейронов. Факторы транскрипции (TF) играют неоспоримую роль в экспрессии различных наборов терминальных генов, обычно действующих комбинаторным образом. Такое комбинаторное или перекрестное использование TF является широко распространенной стратегией для определения различных типов клеток. Большинство случаев комбинаторной активности представляют собой пространственные пересечения, в которых два или более TF коэкспрессируются и совместно необходимы для активации транскрипции данного локуса. Однако при изучении развития двух сенсорных нейронов у C. elegans мы обнаружили новый тип комбинаторной активности, который мы назвали временным пересечением (Cochella & Hobert, Cell 2012; Charest et al.
Dev. Cell 2020). В этом механизме временное связывание раннего ТФ оставляет «память» об активации, которая затем может быть усилена более поздним ТФ. Это зависит от изменений в состоянии хроматина и способности связывания TF, которые мы начинаем распутывать, используя новые средства манипулирования и считывания молекулярных данных.Комбинаторное действие временно разделенных TF имеет два важных следствия: i) не только терминально экспрессированные гены, но и история транскрипции клетки определяют ее идентичность, и ii) поскольку клетки специфицируются через предшественников, которые проходят через различные состояния транскрипции , с течением времени возможно огромное количество комбинаций TF, что может способствовать диверсификации типов клеток во время развития. Таким образом, мы предполагаем, что временные пересечения, как и пространственные пересечения, в целом способствуют разнообразию нейронов.
2) Вклад микроРНК в развитие животных. Подавление — это периодически повторяющийся механизм наложения пространственных и временных границ на биологические процессы. МикроРНК образуют класс посттранскрипционных репрессоров, которые развиваются быстрее, чем гены, кодирующие белки, и расширяются вместе с усложнением животных. Таким образом, мы намереваемся изучить вклад miRNAs в формирование клеточного разнообразия посредством репрессии. За последние годы мы использовали C. elegans для получения:
а. Новый метод профилирования микроРНК: Недавно мы разработали mime-seq, инновационный подход к секвенированию зрелых микроРНК из отдельных типов клеток в сложной смеси клеток без сортировки клеток или биохимической очистки (Alberti et al., Nat Methods 2018). Он основан на растительном ферменте HEN1, который специфически метилирует микроРНК растений. Поскольку miRNAs животных в норме не метилированы, клеточно-специфическая экспрессия HEN1 дает возможность маркировать miRNAs в представляющих интерес клетках. Затем протокол секвенирования, специфичный для метилирования, позволяет извлекать метилированные и, следовательно, специфичные для клеток микроРНК из тотальной РНК. Mime-seq надежен, специфичен и чувствителен и применим к C. elegans и Drosophila. Мы использовали mime-seq и стратегию деконволюции для создания атласа экспрессии микроРНК для полной нервной системы C. elegans (в процессе). В настоящее время мы уточняем эту карту, но наш первоначальный анализ показал, что miRNAs обогащены в сенсорных нейронах по сравнению с моторными или интернейронами. Сенсорные системы полагаются на большое разнообразие клеток, чтобы реагировать на множество различных раздражителей, а также на гибкость во времени эволюции, позволяющую адаптироваться к новым нишам. miRNAs являются отличными кандидатами для участия в диверсификации сенсорных нейронов во время развития и эволюции.
б. Новая структура для функции миРНК в процессе развития: Мы тщательно профилировали миРНК, используя транскрипционные репортеры в геномном контексте, а также mime-seq, раскрывая естественную классификацию миРНК в эмбриогенезе: меньшинство миРНК широко экспрессируется в раннем эмбрионе, в то время как большинство экспрессируется в одном или нескольких типах клеток с началом в поздних эмбрионах. Мы обнаружили, что двух консервативных, ранних и широко экспрессируемых семейств микроРНК (миР-35 и -51) достаточно для развития морфологически нормального C. elegans в отсутствие всех других микроРНК (Dexheimer et al. Curr. Biol. 2020). ). Вместо этого мы предполагаем, что большинство miRNAs могут играть роль во время терминальной дифференцировки или функции специализированных клеток. Основываясь на работе других, мы предлагаем, чтобы эта схема применялась и к другим животным. Используя генетику, мы стремимся выяснить, как функционируют эти микроРНК. В частности, miR-51 глубоко консервативна (родственна miR-100, древнейшей miRNA животных). Это даст новое понимание основной функции этих посттранскрипционных репрессоров.
в. Новая концепция в miRNA-опосредованной регуляции: Мы подробно изучили две miRNAs с высокой специфичностью к типу клеток. Мы обнаружили, что miR-791 присутствует исключительно в 3 парах CO2-чувствительных нейронов C. elegans и необходима для их функционирования.