Премия Рунета-2020
Россия
Москва
+7°
Boom metrics
Наука16 апреля 2018 13:35

Исследователи обучили нейросеть созданию серий мультфильма “Флинстоуны” по текстовому описанию

В алгоритм загрузили 25 тысяч трехсекундных сценок из сериала, каждая из которых состояла из 75 кадров
Как признались создатели, пока алгоритм “не всегда выводит что-то узнаваемое”, но он часто имитирует стиль оригинального мультфильма с поразительной точностью.

Как признались создатели, пока алгоритм “не всегда выводит что-то узнаваемое”, но он часто имитирует стиль оригинального мультфильма с поразительной точностью.

Фото: YouTube

Исследователи из Института искусственного интеллекта Аллена, Иллинойсского университета в Урбане-Шампейне и Университета Вашингтона разработали нейросеть под названием CRAFT (Composition, Retrieval and Fusion Network - “Состав, поиск и объединение сети”). С его помощью им удалось успешно обучить искусственный интеллект автоматически анимировать новые эпизоды мультсериала “Флинстоунов” (его производство прекратилось в 1966 году) при помощи текстового описания.

Команда разработчиков подготовила CRAFT, загрузив в него более 25 тысяч трехсекундных клипов, которые состояли из 75 кадров. Каждый из них включал подробное описание того, кто был в сцене и что в ней происходит. После этого CRAFT использовал аннотации из видео, чтобы определить, как оригинальные клипы соответствуют словам, используемым для их описания.

В конце концов алгоритм выработал набор параметров, которые позволили ему “понимать”, что делают отдельные персонажи и объекты из мультфильма. Нейросеть научилась создавать видеоклипы на основе текстовой информации и “связывать” те или иные ключевые слова с их положением, фоном или действиями.

Как признались создатели, пока алгоритм “не всегда выводит что-то узнаваемое”, но он часто имитирует стиль оригинального мультфильма с поразительной точностью. Существует и главная проблема - малая пригодность технологии для практического применения. Пока разработчикам приходится делать много “вручную” и на современном этапе доверить работу профессиональным аниматорам выглядит более простой задачей.