DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

deepmind maths challenge

Исследователи из DeepMind открыли доступ к датасету математических задач и ответов к ним и проверили то, как существующие архитектуры справляются с предсказанием ответа на математическую задачу. В будущем это может помочь обучать модели для решения задач, у которых до сих пор нет решения.

Ученые ставят перед собой первоначальную цель обучить нейросеть тем навыкам, которые используют люди при решении математических задач:

  1. Распознавание сущностей (entity recognition) чисел, арифметических операций, переменных и слов, описывающих условия задачи;
  2. Планирование порядка решения задачи;
  3. Запоминание промежуточных переменных в случае с композициями функций (например, h(f(x)));
  4. Применение аксиом, правил подстановки и др.

Сам датасет представляет собой набор из математических вопросов и ответов на них. Темы вопросов, освещенные в датасете, охватывают школьную программу.

Примеры задач из датасета
Примеры задач из датасета

Сравнение архитектур

В рамках экспериментов исследователи посмотрели, как с задачей справляются простые LSTM и RMC, LSTM и RMC с attention слоем и Трансформер. В качестве метрик эффективности были выбраны интерполяция и экстраполяция.

LSTM показали себя лучше, чем RMC. Наилучшие результаты показал Трансформер, добавление attention слоя не повысило метрику экстраполяции LSTM:

Результаты

LSTM или RMC

Использование RMC с более чем 1 слотом памяти не приводило к повышению эффективности модели. Также, RMC были менее ресурсозатратные в контексте расходования памяти, но обучались дольше LSTM.

Добавлять ли attention?

LSTM с attention слоем и без имели схожую эффективность. Проблема может быть в том, что LSTM с attention слоем не может распарсить сам вопрос, в связи возможность переключать внимание с одного скрытого слоя на другой оказывается бесполезной.

Простые виды вопросов для нейросетей

Меньшую сложность у моделей вызывали вопросы, касающиеся округления чисел, сравнения чисел и поиска неизвестной переменной в выражении. В то же самое время среди наиболее сложных задач была факторизация (разложение числа на множители).

Подробности экспериментов и более подробные выводы опубликованы в статье.

Направления будущих исследований

Исследователи планируют в дальнейшем включить в датасет графические геометрические задачи,  а также расширить вариативность описания задач одного типа. На данный момент в датасете описания задач одного типа представлены в схожем формате, что ограничивает способность к генерализации у моделей, обученных на этом сете данных.

распознавание гнева

Нейросеть обучили распознавать гнев в речи за 1,2 секунды благодаря transfer learning

Нейронная сеть разработчиков Affectiva распознает гнев и разочарование в речи за 1,2 секунды, независимо от языка говорящего. Точность работы алгоритма на разных датасетах составила от 65% до 81%. Модель можно применять в диалоговых интерфейсах, создании социальных роботов и других задачах, где требуется распознавание эмоций человека…
классификатор, имитирующий слуховой нерв

В СПбПУ создают алгоритм, имитирующий слуховой нерв

В СПбПУ разрабатывают классификатор речевых потоков людей, говорящих в толпе или шумной обстановке. Алгоритм моделирует процесс рецепторного кодирования звуков — так работает человеческий слуховой нерв. Метод можно использовать в задачах нейрокомпьютерной разработки, распознавания речи, восстановления слуха. Обработка акустических сигналов Нервная система обрабатывает поступающую информацию…
многозадачное обучение hmtl

Как HMTL помогает улучшить итоговую точность в задачах NLP

Да, вы правильно прочитали, это правда HMTL — модель Hierarchical Multi-Task Learning, что дословно переводится как Иерархическое многозадачное обучение. Наблюдается нарастающая волна как в NLP, так и в целом в глубоком обучении, которая называется многозадачное обучение! Перевод статьи Beating state-of-the-art in NLP with HMTL, автор…
transfer-learning-keras

Реализация Transfer learning с библиотекой Keras

Для большинства задач компьютерного зрения не существует больших датасетов (около 50 000 изображений). Даже при экстремальных стратегиях аугментации данных трудно добиться высокой точности. Обучение таких сетей с миллионами параметров обычно имеет тенденцию перегружать модель. В этом случае Transfer learning готов прийти на помощь. Что…
Selfie Matching DocFace+ DWI

Selfie ID: подтверждение личности с помощью глубокого обучения

Подтверждение личности — механизм обеспечения безопасности, широко применяющийся в контроле доступа при пересечении международных границ и управлении банковскими транзакциями. Кроме того, подтверждение личности требуется практически каждый день: при входе в офис, при работе с государственными организациями, при оформлении документов. Часто процесс выполняется вручную, и потому он…
everybody dance now

«Танцуют все!» — невероятное качество Motion Transfer для видео

Плохо умеете танцевать? Больше не проблема! Удивите своих друзей ошеломляющим видео, где вы танцуете, как суперзвезда. Исследователи из Беркли предложили новый способ motion trasfer для видео. Они утверждают, что способны перенести исполнение танца с исходного видео на целевое всего за несколько минут. Предыдущие работы За последние…
сверточная нейронная сеть пример

Как работает сверточная нейронная сеть: архитектура, примеры, особенности

Сверточная нейронная сеть основана на удивительно мощной и универсальной математической операции. В этой статье мы шаг за шагом рассмотрим механизм их работы на примере стандартной полностью рабочей сети, и изучим то, как они строят качественные визуальные иерархии. Двумерная сверточная нейронная сеть Двумерная свертка (2D…
Human Rights Violations Recognition in Images Using CNN Features

Нейросеть обнаруживает нарушения прав человека на фотографиях

Нарушения прав человека происходили на протяжении всей истории человечества, сегодня это уже устоявшееся понятие — в 1948 году была принята конвенция ООН о правах человека. К нарушению этих прав относятся действия, которые затрагивают свободу, честь и достоинство отдельного индивида. Фотографии и видеоролики стали источником информации для исследователей…