Google Research Football: новая среда для обучения RL-агентов

Google AI опубликовали новую задачу для тренировки алгоритмов обучения с подкреплением (RL). Агенты будут учиться играть в футбол.

Обучения с подкреплением фокусируется на задаче обучить агентов взаимодействовать со средой, в которую они помещены, и решать комплексные задачи. Уже сейчас методы обучения с подкреплением используются в робототехнике, беспилотных автомобилях и киберспорте. Игра в футбол требует агентов держать краткосрочный контроль, выучивать концепты из игры (напр., передача мяча) и уметь формировать стратегии игры.

Football Environment была смоделирована на примере футбольных видеоигр. Среда представляет собой 3D симуляцию, где агенты контролируют игру одного игрока или всю команду. Цель агента — выиграть у команды противников.

Бета-версия находится в открытом доступе.

Видеодемонстрация среды:

Игровая симуляция

Главная часть Football Environment  — это продвинутая симуляция игры в футбол (Football Engine). Симуляция базируется на значительно модифицированной версии Gameplay Football. В зависимости от входных действий двух противоборствующих команд, симулируются все аспекты футбольного матча: голы, нарушения правил, угловые и пенальти удары и офсайды.

Football Engine реализован на C++. Это позволяет пользоваться симулятором на готовых машинах с GPU и без. Благодаря своей реализации, можно совершать около 25 миллионов шагов за день на шестиядерной машине.

Дополнительный функционал симуляции:

  1. Возможность как учить репрезентации состояний, который содержат информацию о локации игрока, так и учить агентов на сырых данных пикселей;
  2. Чтобы оценить эффект случайности, можно прогонять симуляцию в стохастическом (есть доля случайности в решениях агентов и в среде) или детерминистическом (нет случайности) режимах;
  3. Совместим с API OpenAI Gym;
  4. Возможность для исследователей играть за своего агента с помощью клавиатуры или геймпада

Список задач

Исследователи предлагают набор проблем в обучении с подкреплением (Football Benchmarks), которые можно решить с помощью Football Engine. Цель этих задач в том, чтобы обыграть основанного на правилах игрока. Правила для агента прописывались вручную.

В Football Benchmarks есть три типа задач:

  • Easy Benchmark;
  • Medium Benchmark;
  • Hard Benchmark

Задачи различаются силой основанного на правилах оппонента. Исследователи протестировали задачи на двух state-of-the-art подходах в обучении с подкреплением: DQN и IMPALA.

Результаты тестов задач на методах из RL. Чем выше метрика, тем больший был отрыв между моделью и запрограммированным оппонентом. Отрицательные значения — проигрыш модели против оппонента

Google AI представила библиотеку TensorNetwork для эффективных вычислений в квантовых системах

С помощью новой библиотеки TensorNetworks от GoogleAI стало общедоступным использование тензорных сетей, которые играют большую роль в современной квантовой физике. Однако, помимо применения в квантовых системах, тензорные сети все чаще находят применение в машинном обучении. Библиотека была разработана в сотрудничестве с институтом теоретической физики…

EfficientNet: как масштабировать нейросеть с использованием AutoML

В рамках ICML 2019 была опубликована работа, в которой исследователи предлагают метод для оптимизации сверточных нейросетей. Предыдущие методы произвольно масштабировали размерность нейросети (например, количество слоев и параметров). Предложенный метод равномерно масштабирует части нейросети с фиксированными коэффициентами масштабирования. Оптимизированные сети (EfficientNets) обходят state-of-the-art подходы по…

Нейросеть от Google AI предсказывает, насколько близко объект находится к камере

В Google AI обучили нейросеть, которая определяет, насколько объекты на изображении отдалены от камеры. Предложенный подход сравним с state-of-the-art решениями. Это первая нейросеть, обученная для случая, когда и камера, и объекты на видео двигаются. Реконструкция изображений из 2D в 3D — это открытая задача…

Нейросеть обучена выявлять рак легких по томографическим снимкам

Исследователи из Google AI представили нейросетевую модель, которая по томографическим снимкам диагностирует рак легких. Модель использует актуальные результаты томографии пациента и исторические результаты томографии, чтобы делать предсказании о риске рака легких. Нейросеть достигает state-of-the-art результатов и обучена на данных 6,716 случаев из National Lung Cancer…

Google AI разработали нейросеть по переводу речи с одного языка на другой

В Google AI обучили  Translatotron — нейросеть, которая принимает на вход аудиозапись с речью и на выходе отдает аудиозапись с той же фразой, переведенной на другой язык. Translatotron может как реплицировать голос человека на входной аудиозаписи, так и использовать стандартный голос. Примеры сгенерированных аудиозаписей…

Google протестировала свое AutoML решение на KaggleDays и показала одни из лучших результатов

Разработчики Google AI протестировали решение, на основе которого недавно был запущен сервис Google Cloud AutoML Tables (beta), на 8,5-часовом KaggleDays SF Hackathon. Несмотря на то, что в хакатоне принимали участие многие дата саентисты уровня Grandmaster на Kaggle, команда Google в первом соревновании лидировала большую…
Достопримечательности из датасета

Google AI расширила датасет для распознавания достопримечательностей

Google AI выпустила Google-Landmarks-v2, вторую версию крупнейшего датасета для распознавания достопримечательностей , расширив его до 5 миллионов изображений (в 2 раза). Особенностью датасета стало количество достопримечательностей — более 200 тысяч мест (увеличение в 7 раз по сравнению с первой версией). На основе этого датасета…

Google AI выпустила библиотеку с результатами исследования распутывания представлений

Google AI опубликовала библиотеку disentanglement_lib, которая содержит 10800 вариационных автоэнкодеров, обученных на семи датасетах. Эта библиотека призвана помочь исследователям по всему миру решить одну из главных проблем глубокого обучения — неспособность использовать многомерные данные для генерации полезных представлений методами без учителя. Один из подходов,…
morphnet

MorphNet от Google: open source нейросеть для оптимизации нейросетей

Google AI представила модель MorphNet, которая берет на вход любую нейронную сеть и оптимизирует ее так, чтобы она имела большую скорость, меньший размер и лучшую производительность без потери качества модели в решении поставленной задачи. Принцип работы MorphNet оптимизирует нейронную сеть через цикл сокращающихся и расширяющихся фаз. В фазе…
audio google

SpecAugment: алгоритм аугментации аудиоданных от Google AI

Исследователи из Google AI разработали алгоритм SpecAugment для понижения размерности аудиоданных. Использование SpecAugment при обучении нейросети помогает побить State-of-the-Art результаты по автоматическому распознаванию речи. Описание проблемы Автоматическое распознавание речи — это seq2seq задача, которая заключается в том, чтобы взять аудиозапись и перевести ее в…
мобильные интерфейсы

В Google AI применили глубокое обучение для оптимизации мобильных интерфейсов

Нажатие на экран является наиболее популярным действием в мобильных интерфейсах. Оно инициирует разные команды: от открытия приложения до набора текста. Важной задачей в дизайне мобильных интерфейсов является выделение кликабельных элементов (например, кнопок). Неверный дизайн таких элементов негативно влияет на пользовательский опыт и может вызвать…

TossingBot от Google учится точно бросать произвольные предметы

В Google разработали роборуку TossingBot, способную захватывать и бросать произвольные предметы в ящики, расположенные за пределами ее максимального диапазона досягаемости. Система может совершать более 500 захватов и бросков в час (или более 600 при точности захвата 85%). Робот достиг скорости захвата в два раза превышающей…
planet framework

PlaNet: open source модель от DeepMind для обучения агентов с подкреплением

PlaNet (Deep Planning Network) — нейронная сеть от Google Brain и DeepMind, которая изучает модель мира, просматривая изображения, и применяет полученные знания для планирования своих действий. Обучение с подкреплением для тренировки алгоритмов (когда сеть обучается с помощью вознаграждений) эффективно применяется для создания моделей принятия…

В Google собрали датасет синтезированных голосов для конкурса по верификации говорящего

Исследователи из Google AI собрали датасет из тысяч сгенерированных фраз 68 голосами. Набор данных сейчас доступен только для участников челленджа ASVspoof 2019. На конкурсе (регистрация открыта до 8 февраля) разработчики должны будут создать алгоритмы, которые различают реальные и синтезированные голоса и определяют поддельную речь в аудио- и видеозаписях.  «За последние несколько лет произошел взрыв новых…
google lens

Google Lens распознаёт миллиард объектов спустя год после запуска

Google Lens — приложение для определения объектов через объектив камеры. Вчера ему исполнился один год, в честь этого руководитель AR направления Google в своем блоге выпустила пост, в котором рассказала, каких успехов удалось достичь за этот год и не ждет ли его участь Google+.…

Google Brain представили сеть Music Transformer для создания гармоничной музыки

Нейросетям пока сложно создавать длинные музыкальные произведения. Это связано со сложной структурой музыки: большинство мелодий содержат разные мотивы, паттерны и повторения, которые при этом связаны единой композицией. Разработчики Google Brain представили Music Transformer — нейронную сеть с механизмом внимания, которая способна генерировать музыку с…

BERT от Google AI: open source модель обработки естественного языка

Разработчики Google AI выложили в открытый доступ исходный код BERT (Bidirectional Encoder Representations from Transformers). Модель предназначена для предварительного обучения алгоритмов обработки естественного языка. После тренировки на больших наборах данных, модели смогут лучше справляться с последующими специфическими задачами. Особенности BERT В блоге компании отмечают,…

Fluid Annotation — инструмент для разметки изображений от Google AI

Работа моделей компьютерного зрения зависит от качества разметки объектов в обучающих датасетах. На разметку одного изображения из COCO+Stuff у человека уходит 19 минут, значит для обработки всего набора данных потребуется 53 000 часов. Google AI представила инструмент Fluid Annotation, который поможет сократить время разметки одного изображения…

Нейронная сеть от Google AI выявляет раковые метастазы с точностью 99%

Google AI разрабатывают алгоритмы глубокого обучения для обнаружения раковых новообразований. Недавно алгоритм LYNA, первый раз представленный командой в 2017 году, достиг 99% точности в обнаружении метастаз рака молочной железы. В будущем разработка может использоваться для ускорения диагностики и уточнения диагнозов патологоанатомов. Инструмент для помощи…
piano-genie

Google AI представили Piano Genie — контроллер для импровизации с сетью энкодер-декодер

Команда разработчиков Google AI представили Piano Genie — 8-клавишный контроллер на основе нейронных сетей для импровизации на фортепиано. Интерактивная демо-версия есть в открытом доступе. Посмотрите импровизацию на Piano Genie, которую опубликовали разработчики контроллера: Как работает Piano Genie После первичного нажатия на кнопку контроллера проигрывается…