MineRL: датасет с демонстрациями игры в Minecraft для решения RL задач

Исследователи из Microsoft, CMU и других университетов опубликовали датасет с записями игр в Minecraft. Соревнование открывается 1-го июня и длится до 25-го октября. Участникам предлагается обучить модель, которая сумела бы играть в Minecraft. Соревнование проходит в рамках NeurIPS 2019. Это задача из сферы обучения с подкреплением. Ранее в начале этого года OpenAI представили модель, которая побеждает профессиональные киберспортивные команды в Dota 2.

Пример алгоритма решения задачи в игре (нахождение бриллианта)

Исследователи записали, как игроки решают четыре задачи во время игры в Minecraft: Navigation, Treechop, Obtain Item, Survival. Все задачи имеют лимит на их решение. Все задачи, кроме Navigation, заключаются в том, чтобы достать какой-то предмет, и имеют награду единого формата (например, +1 за каждый верно найденный предмет). Каждая из задач отражает типичные действия, которые совершают пользователи Minecraft.

Участникам соревнования предлагается решить следующие задачи.

Навигация

Задача навигации заявляется как наиболее сложная. В этой задаче агент должен из текущей локации переместиться к целевой локации. Помимо доступа к визуальным данным окрестностей, у игрока есть доступ к компасу, который указывает на заданную точку прибытия.

Treechop

В этой задаче агент должен собрать как можно больше дерева. Агент оказывается в среде, где много деревьев, с железным топором. В качестве вознаграждения за каждый кусок дерева агент получает +1. Обычно игроки в Minecraft используют дерево для создания предметов.

Нахождение предмета

Эта задача включает в себя ряд задач по поиску предметов в игре. Агент начинает игру в случайной стартовой локации без ресурсов. Ему нужно последовательно найти заданные в условии предметы.

Выживание

Агент начинает игру в случайной стартовой локации без ресурсов. Игрок сам формулирует цель игры и собирает предметы, чтобы достичь цели. Для этой задачи не определена единая функция награды. Она должна задаваться контекстно в зависимости от цели агента.

Личности исследователей и работа, в которой полноценно описан процесс сбора данных, будут доступны после публикации работы.

Достопримечательности из датасета

Google AI расширила датасет для распознавания достопримечательностей

Google AI выпустила Google-Landmarks-v2, вторую версию крупнейшего датасета для распознавания достопримечательностей , расширив его до 5 миллионов изображений (в 2 раза). Особенностью датасета стало количество достопримечательностей — более 200 тысяч мест (увеличение в 7 раз по сравнению с первой версией). На основе этого датасета…
Российский Speech-to-text датасет

Российский Speech-to-text датасет (STT/ASR)

Группа российских разработчиков выпустила свободный датасет speech-to-text на русском языке, содержащий более 4000 тысяч часов записей с голосом для исследователей и разработчиков приложений с распознаванием речи. В ближайшее время создатели датасета планируют добавить еще 1500 часов речи, а в будущем увеличить его объем до…

ProductNet: датасет изображений товаров от Amazon

Исследователи из Amazon опубликовали аналог датасета ImageNet для товаров. Изображения товаров систематизированы и представлены в высоком разрешении. ProductNet создан с целью улучшить обучение представлений товаров. Помимо датасета, исследователи опубликовали модель, которая автоматически размечает товары. Это позволяет сократить материальные затраты на разметку. Нейросетевой подход в…
коленный сустав

MRNet: датасет МРТ-снимков коленных суставов

Stanford ML Group выпустила свой третий публичный датасет медицинских обследований, названный MRNet, который можно найти здесь. Чтобы получить его, сначала вы должны зарегистрировать учетную запись в Stanford ML Group, а затем вам будет отправлена ​​ссылка на данные по электронной почте. Совместное использование данных категорически…
deepmind maths challenge

DeepMind объявила конкурс по созданию нейросетей, решающих математические задачи

Исследователи из DeepMind открыли доступ к датасету математических задач и ответов к ним и проверили то, как существующие архитектуры справляются с предсказанием ответа на математическую задачу. В будущем это может помочь обучать модели для решения задач, у которых до сих пор нет решения. Ученые…

Mozilla опубликовала крупнейший набор данных голосов на 18 языках

Mozilla опубликовала открытый датасет Common Voice, который содержит 1400 часов записей человеческой речи на 18 языках, включая английский, французский, немецкий и редкие языки — валлийский, кабильский и другие. Это самый большой доступный мультиязычный набор голосовых данных. Русский язык пока не представлен, но в дальнейшем…

В TensorFlow появилась функция преобразования датасетов в формат tf.data

Разработчики Google представили функцию TensorFlow Datasets для преобразования любых общедоступных наборов данных в формат tf.data. Открытые наборы данных для обучения моделей распространяются и хранятся в разных форматах. Написание скриптов для загрузки и обработки каждого набора данных требует времени. Tensorflow Datasets преобразует наборы данных из интернета в…

Hotels-50K: датасет с миллионом фотографий номеров отелей

Датасет Hotels-50K содержит миллион изображений из 50 000 отелей в разных странах. Датасет c номерами отелей создан с целью сопоставлять фотографии со снимками жертв human traffic (торговли людьми) из незаконной онлайн-рекламы, и помогать полиции определять, в каком отеле находятся похищенные люди. Датасет пригодится и для…
FaceForencis датасет

FaceForencis — крупнейший датасет для распознавания фейковых фото и видео

FaceForencis — набор данных изображений, созданных с использованием методов Face2Face, FaceSwap и DeepFakes. Данные собраны исследователями из Италии и Германии, чтобы улучшить точность моделей распознавания поддельных фото. Кроме набора данных исследователи предложили новый метод распознавания поддельных фото и видео с использованием domain knowledge. Проблема…
diversity faces dataset ibm

Diversity in Faces — датасет от IBM с миллионом лиц для борьбы с предвзятостью алгоритмов

Diversity in Faces — большой и разнообразный набор данных, который содержит миллион изображений размеченных лиц людей. Открывая доступ к датасету, в IBM Research надеются повысить точность распознавания лиц людей разных рас, полов и возрастов и уменьшить предвзятость алгоритмов. Исследователи уже работают с такими признаками,…

RobotriX — датасет для обучения роботов взаимодействию с объектами в помещениях

RobotriX — новый датасет для обучения роботов взаимодействию с объектами в помещениях. Набор данных состоит из гиперреалистичных внутренних сцен, которые исследуются агентами-роботами. Роботы реалистично взаимодействуют с объектами в моделируемом мире. Сцены и роботы сгенерированы с помощью движка Unreal Engine в шлеме виртуальной реальности, который отслеживает…
Tencent ML images

18 млн изображений и 11 000 классов: Tencent опубликовала крупнейший размеченный датасет

Компания Tecent выложила в открытый доступ датасет Tencent ML-Images с 11 тысячами классов и 18 миллионами изображений, каждое из которых содержит в среднем 8 меток. На GitHub доступна предобученная модель распознавания изображений ResNet-101, которая достигла впечатляющей точности — 80.73% на тестовом датасете ImageNet. Зачем…

Датасеты для отслеживания объектов на видео

Глубокое обучение лежит в основе работы современных трекеров объектов в видеопотоке. Однако до сих пор существует недостаток больших датасетов для обучения алгоритмов отслеживания. Известные наборы данных (например, VOT и OTB) относительно малы и не в полной мере отражают проблемы реальных задач трекинга. В этой статье…

Новые датасеты для оценки позы в 3D

Оценка позы в 3D — фундаментальная задача компьютерного зрения. Способность компьютера распознавать людей на изображениях и видео применяется в беспилотном вождении, распознавании действий, взаимодействии человека с компьютером, дополненной реальности и робототехнике. В последние годы ученые добились прогресса в оценке позы в 2D. Важный фактор успеха —…

Новые датасеты для распознавания объектов в 3D

Робототехника, дополненная реальность, беспилотное вождение — все эти области основаны на распознавании 3D-свойств объектов по 2D-изображениям. Как следствие, трехмерное распознавание объектов стало одной из центральных задач компьютерного зрения. Заметный прогресс в этой области был достигнут после создания нескольких датасетов с 3D-метками к двумерным объектам…
action recognition datasets

Новые датасеты для задачи распознавания действий на видео

Распознавание действий крайне важно для задач видеонаблюдения, здравоохранения и взаимодействия человека с компьютером. Но как классифицировать видео по действиям, выполняемым на них? Классифицировать видео, на которых выполняется только одно действие, не так сложно. Задача схожа с проблемой классификации изображений. Но в данном случае она распространяется…
Датасеты для распознавания лиц в сложных условиях — в масках, очках, с макияжем, в старости

Датасеты для распознавания лиц в сложных условиях — в масках, очках, с макияжем

Распознавание лиц — рядовая задача глубокого обучения, и сверточные нейронные сети справляются с ней довольно хорошо. Facebook обычно правильно распознает вас и ваших друзей на фотографиях. Но является ли данная задача решенной? Что делать, если изображение сбивает с толку? Что, если человек выдает себя…
UFFD face detection dataset

UFDD — датасет для обнаружения лиц в условиях дождя, снега, тумана и в движении

Решение задачи распознавания лица на изображении подразумевает, что сначала нужно обнаружить это лицо. Механизмы детекции лиц улучшилось за последние годы, алгоритмы работают при  различающихся масштабах и позах. Тем не менее, некоторые проблемы до сих пор игнорируются в конкретных подходах и датасетах для распознавания лиц. Группа исследователей,…
google dataset search

Google представил инструмент для быстрого поиска датасетов

В интернете есть репозитории, которые обеспечивают доступ к миллионам наборов данных. Проблема в том, что трудно найти датасет, если нет прямой ссылки на него. Наборы данных плохо индексируется поисковиками, а если внутри нет описания и подписей к изображениям, датасет даже не будет проиндексирован роботами. Чтобы оптимизировать поиск датасетов, Google…
grabber for google images

Как создать собственный датасет из картинок Google

Данные — это топливо, которое двигает глубокое обучение вперёд. Объём данных, свободно доступных в Сети, постоянно растёт. Большие датасеты с изображениями, такие как Pascal VOC, ImageNet и относительно свежий датасет Google Open Images продвинули точность распознавания выше человеческого уровня. Кроме того, исследовали собрали много специализированных датасетов, таких,…