fbpx

Нейросеть NS-CL интерпретирует сцену, требуя всего 5000 изображений для обучения

NS-CL

Гибридная модель NS-CL (Neuro-Symbolic Concept Learner) от MIT и Deepmind отвечает на вопросы по типу «Имеет ли красный объект слева такую же форму, как и фиолетовый справа». Модель имеет высокую точность, на обучение уходит в разы меньше времени и ресурсов, чем на другие современные модели. NC-CL показывает результаты сравнимые со state-of-the-art моделью TbD, обученной непосредственно на аннотациях к изображениям.

tbd
Сравнение работы моделей для интерпретации сцены

Символический ИИ

Нейросети для интерпретации мира выявляют статические закономерности в данных, но статическое обучение требует много данных, которые не всегда подходят в новых ситуациях. Чтобы дать компьютерам умение рассуждать так же как и люди, исследователи возвращаются к абстрактному или символическому программированию. Популярный в 1950-х и 1960-х годах символический ИИ связывает правила и логику, благодаря которым машины связывают и интерпретируют отношения объектов и сущностей. Символический ИИ использует меньше данных и записывает цепочку шагов, необходимых для принятия решения, а также в сочетании с большими вычислительными ресурсами выигрывает у людей в сложном тесте на понимание изображений.

Новое исследование, проведённое группой исследователей из MIT, MIT-IBM Watson и DeepMind, показывает перспективу объединения статического и символического ИИ и изучает признаки объектов, такие как цвет и форма, используя эти знания для интерпретации. Нейросеть NS-CL отвечает на сложные вопросы лучше, чем другие современные методы.

Работа модели

NS-CL algorithm

Как и другие гибридные модели, NS-CL разделяет задачу. Модуль восприятия, основанный на нейронной сети, разбивает на пиксели каждое изображение. Языковой модуль, тоже состоящий из нейронной сети, пытается понять вопрос, на который нужно дать ответ, и создаёт нужные для этого инструкции. Третий модуль, отвечающий за рассуждение, запускает программы на сцене и даёт ответ, при ошибке этот же модуль обновляет модель исходя из полученного опыта. Ключевой модуль отвечает за восприятие, переводит изображение в объектное представление и тем самым облегчает выполнение программы.

Обучение

Уникальным является то, что обучение происходит на сценах и концепциях, которые по мере продвижения модели становятся сложнее. Такое обучение работает лучше, чем обучение на случайных данных, позволяя модели учиться быстрее и повышая точность.

NS-CL learning
Слева — программа обучения, справа — иллюстрированное представление выполнения

Когда у модели прочная основа, она может безошибочно интерпретировать новые объекты, а также отвечать на более сложные вопросы. В то время, как похожим моделям нужно более 70 000 изображений и 700 000 вопросов для обучения, NS-CL хватает всего 5 000 изображений и 100 000 вопросов.

В настоящее время команда MIT-IBM работает над улучшением модели, обучая на реальных фотографиях и работе с видео.