Разработанный в Disney алгоритм создаёт анимации из сценария

scripts to animation

Перевод текста в анимацию сложная задача и существующие модели преобразования текста в анимацию могут работать только с простыми задачами. Исследователи из компании Disney разработали алгоритм, который позволяет преобразовывать текст в анимацию. Цель не заменить писателей и художников, а сделать их работу более эффективной.

Возможность обработки сложных предложений была достигнута за счёт упрощения текста в процессе создания. Исследователи создали набор лингвистических правил преобразования, которые упрощают сложные предложения. Информация, извлечённая из упрощённых предложений, используется для грубой раскадровки видео. Этот метод упрощения текста превосходит все существующие подходы на метриках BLEU и SARI. Помимо прямого использования модель можно использовать для генерации обучающих данных для нейросетей.

Архитектура

Система состоит из трёх модулей:

  1. Модуль синтаксического анализа текста — автоматически отбирает часть текста для создания анимации.
  2. Модуль NLP — обрабатывает извлечённый текст для получения информации. Имеет два подмодуля, первый упрощает сложные предложения, используя набор лингвистических правил, второй извлекает информацию для создания представления действия.
  3. Модуль генерации анимации — генерирует анимацию за счёт созданного представления действия.

Алгоритм действий

Система получает предложение. Идентификатор обрабатывает предложение и определяет синтаксическую структуру. Процесс преобразования фокусируется на первом появлении определённой синтаксической структуры, а затем разбивает предложения на более простые. Пример упрощения: Она смеётся и целует Кевина -> Она смеётся & Она целует Кевина.

Для создания анимации модуль NLP подключается к системе CARDINAL, которая использует игровой движок Unreal, и создаёт предварительную визуализацию анимации. Анимация представляет собой трехмерное анимированное видео, которое развивается по сценарию.

Проверка качества упрощения предложений

Для тестирования был использован набор данных из ScreenPy, который содержал сценарии 1068 фильмов. После форматирования осталось 996 сценариев, которые содержали 525 708 компонентов. Компоненты содержали в себе 1 402 864 предложения со средней длиной 12 слов.

Целью тестирования было не показать преимущества системы, а оценить как она работает. В настоящее время неизвестно, какой способ оценки для таких систем является более подходящим.

ai generated book

Издательство Springer Nature представило первую сгенерированную книгу

Академическое издательство Springer Nature представило первую книгу, созданную с помощью алгоритмов NLP. Название книги — «Литий-ионные батареи: машинно-сгенерированное краткое изложение текущих исследований». Как и указано в названии, она не является полноценной книгой в обыкновенном понимании. Это краткое изложение рецензируемых статей, опубликованных по данной теме. Книга включает в…
deepmind maths challenge

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

Исследователи из DeepMind открыли доступ к датасету математических задач и ответов к ним и проверили то, как существующие архитектуры справляются с предсказанием ответа на математическую задачу. В будущем это может помочь обучать модели для решения задач, у которых до сих пор нет решения. Ученые…
google brain bert ai

Google Brain оптимизировали время обучения BERT с 3-х дней до 76 минут

Команда Google Brain представила оптимайзер LAMB, способный сократить время предобучения языковой модели BERT с 3-х дней до 76 минут (вычисления проводились на TPU). Transfer learning и проблема BERT BERT (Bidirectional Encoder Representations from Transformers) — алгоритм для решения задачи transfer learning в обработке естественного…
nlp javascript

Работа с NLP-моделями Keras в браузере с TensorFlow.js

Этот туториал для тех, кто знаком с основами JavaScript и основами глубокого обучения для задач NLP (RNN, Attention). Если вы плохо разбираетесь в RNN, я рекомендую вам прочитать «Необоснованную эффективность рекуррентных нейронных сетей» Андрея Карпати. Перевод статьи «NLP Keras model in browser with TensorFlow.js», автор…
nlp concepts

Четыре концепции, предопределившие прорыв в NLP

14 февраля OpenAI выпустила новую языковую модель GPT-2 — нейросеть, которая способна генерировать логичный текст на целые страницы и выполнять другие задачи NLP. Модель оказалась настолько эффективной в задачах генерации продолжения текста, что разработчики не решились выпускать полную версию в открытый доступ. OpenAI опасается большого…

OpenAI разработала NLP модель, решающую сразу несколько задач

Компания OpenAI разработала языковую модель, которая способна решать несколько задач NLP. Изначально исследователи лишь пытались обучить GPT-2 генерировать реалистичное продолжение текста. Результаты настолько впечатляющие, что разработчики решили не выкладывать модель в открытый доступ, дабы избежать появления большого количества фейковых новостей. Особенности модели GPT-2 — это…

Как использовать BERT для мультиклассовой классификации текста

Возможно, наиболее важное событие прошедшего года в NLP — релиз BERT, мультиязычной модели на основе трансформера, которая показала state-of-the-art результаты в нескольких задачах NLP. BERT — двунаправленная модель с transformer-архитектурой, заменившая собой последовательные по природе рекуррентные нейронные сети (LSTM и GRU), с более быстрым подходом…
дебаты IBM

Искусственный интеллект IBM проиграл человеку в дебатах мирового уровня

В понедельник 11 февраля состоялись дебаты между человеком и искусственным интеллектом IBM Project Debater. Дискуссия касалась субсидирования дошкольных учреждений. IBM Debater выступал «за», а его оппонент «против». В соревновании с компьютером участвовал финалист чемпионата мира по дебатам 2016 года Хариш Натараджан. IBM Project Debater…
biobert-model-open-source

BioBERT — open source модель обработки биомедицинских текстов

BioBERT — это доработанная модель оригинальной BERT, натренированная для обработки медицинских текстов. Её можно применять для распознавания именованных сущностей (NER), извлечение семантических связей (RE), ответов на вопросы (QA), поиска информации и других задач NLP. BERT от Google AI была создана для понимания языка общего назначения,…

В Microsoft обучают ИИ понимать шутки на примере новостных заголовков

Роберт Уэст и Эрик Хорвиц сделали компьютерную игру, которая исследует, как возникает юмор. Игра показывает, как обычная фраза становится смешной на примере новостных заголовков. Игра помогла найти лексические и смысловые паттерны, связанные с созданием смешных фраз и предложений. Она поможет научить машины понимать шутки.…

Библиотека моделей обработки языка PyText от Facebook теперь доступна open source

Команда Facebook AI Research открыла исходный код PyText — библиотеки для создания моделей обработки естественного языка. Социальная сеть ежедневно применяет модели, разработанные с помощью фреймворка, для работы с миллиардами прогнозов. PyText позволил повысить точность диалоговых моделей Facebook на 10%. «Мы планируем использовать PyText в качестве нашей…

Европейский союз — лидер по количеству научных публикаций в сфере ИИ, но Китай догоняет

“Китай обгонит Европу по количеству публикаций исследовательских работ в сфере искусственного интеллекта в течение следующих четырех лет, если текущие тенденции сохранятся” — говорится в отчете аналитической компании Elsevier, опубликованном в начале декабря. Согласно докладу, Европа — лидер в области научных исследований об ИИ на 2018…
многозадачное обучение hmtl

Как HMTL помогает улучшить итоговую точность в задачах NLP

Да, вы правильно прочитали, это правда HMTL — модель Hierarchical Multi-Task Learning, что дословно переводится как Иерархическое многозадачное обучение. Наблюдается нарастающая волна как в NLP, так и в целом в глубоком обучении, которая называется многозадачное обучение! Перевод статьи Beating state-of-the-art in NLP with HMTL, автор…

В Google разработали алгоритм для разделения звуков на видео. Он определяет говорящего с точностью 92%

Разработчики Google AI представили новый алгоритм для разделения звуковых потоков на видео. Модель разделяет аудио на сегменты и определяет, кто из участников диалога говорит в данный момент. Алгоритм работает лучше, чем подходы, основанные на кластеризации, и распознает говорящего с точностью 92,4%. Технология может применяться,…

BERT от Google AI: open source модель обработки естественного языка

Разработчики Google AI выложили в открытый доступ исходный код BERT (Bidirectional Encoder Representations from Transformers). Модель предназначена для предварительного обучения алгоритмов обработки естественного языка. После тренировки на больших наборах данных, модели смогут лучше справляться с последующими специфическими задачами. Особенности BERT В блоге компании отмечают,…

Нейросеть научили описывать происходящее на видео

Разрабочики Facebook создали нейронную сеть, которая описывает происходящее на видео в реальном времени. Они также собрали датасет из 20 тысяч видеороликов с 123 тысячами описаний. В перспективе технология может помочь слабовидящим и незрячим людям в повседневной жизни, создавая описания к окружающему миру. Создание описаний…

Baidu создала технологию для синхронного перевода на основе ИИ

Интернет-гигант Baidu разработал инструмент, который переводит с двух языков в режиме реального времени. Технология STACL обрабатывает фразы естественного языка и предугадывает слова, что делает перевод близким к результату синхронного переводчика. Мгновенный перевод Искусственные переводчики работают с последовательным переводом, т.е. переводят предложение только после его…
neural network nlp architectures

7 архитектур нейронных сетей для решения задач NLP

Искусственная нейронная сеть (ИНС) — вычислительная нелинейная модель, в основе которой лежит нейронная структура мозга, способная обучаться выполнению задач классификации, предсказания, принятия решений, визуализации и некоторых других только благодаря рассмотрению примеров. Любая архитектура ИНС состоит из искусственных нейронов — элементов обработки, имеющих структуру 3…
keras нейронаня сеть на python

Туториал: создание нейросети для анализа настроений в комментариях c Keras

Keras — популярная библиотека глубокого обучения, которая внесла большой вклад в коммерциализацию глубокого обучения. Библиотека Keras проста в использовании и позволяет создавать нейронные сети с помощью лишь нескольких строк кода Python. Из статьи вы узнаете, как с помощью Keras создать нейронную сеть, предсказывающую оценку…
как создать чат бота на python

Как создать чат-бота с нуля на Python: подробная инструкция

Аналитики Gartner утверждают, что к 2020 году 85% взаимодействий клиентов с сервисами сведется к общению с чат-ботами. В 2018 году они уже обрабатывают около 30% операций. В этой статье мы расскажем, как создать своего чат-бота на Python. Возможно, вы слышали о Duolingo: популярном приложении для изучения иностранных языков, в…