fbpx

Компьютерная игра на основе нейронных сетей помогает учить язык жестов

Канадский стартап Stradigi AI представил игру на базе сверточных нейронных сетей, которая помогает учить американский вариант языка жестов. Его используют люди с нарушениями слуха в Америке и Канаде. Команде удалось создать самую точную модель для определения жестов, её результат99,03%. Лучший результат предыдущих разработок98,50% у алгоритма Google Inception V4.

Как работает The ASL Alphabet Game

Участники должны имитировать 26 букв алфавита американского языка жестов. За каждое правильно показанное движение им начисляются баллы. Игра работает, используя алгоритмы компьютерного зрения.

Оценка жестов производится сверточными нейросетями в три этапа:

  1. Первая нейросеть анализирует положение рук перед камерой.
  2. Затем полученные изображения обрезаются и передаются второй CNN для анализа и классификации жестов.
  3. На заключительном этапе нейросеть создает и анализирует тепловые карты изображений, чтобы классифицировать жест более точно.

Обучающая выборка для CNN состояла из 100 000 изображений. Создатели игры отмечают, что видео, из которых были выбраны фото для обучающего набора, были отобраны так, чтобы избежать предвзятости. Разработанная CNN будет одинаково хорошо распознавать жесты людей из разных стран, людей с длинными или короткими пальцами, руки с крупными украшениями и другими отличиями, которые могли бы повлиять на точность определения.

нейросеть для распознавания жестов
Сравнение результатов с другими современными моделями распознавания жестов

Таким образом стартап поддерживает использование технологий машинного обучения для создания социально значимых разработок. В этом направлении работают и другие исследователи. Недавно американские ученые из Сaltech разработали технологию CARA на базе очков дополненной реальности Microsoft HoloLens, которая поможет слабовидящим ориентироваться в пространстве.