fbpx

Google AI представили Piano Genie — контроллер для импровизации с сетью энкодер-декодер

piano-genie

Команда разработчиков Google AI представили Piano Genie — 8-клавишный контроллер на основе нейронных сетей для импровизации на фортепиано. Интерактивная демо-версия есть в открытом доступе.

Посмотрите импровизацию на Piano Genie, которую опубликовали разработчики контроллера:

Как работает Piano Genie

После первичного нажатия на кнопку контроллера проигрывается одна из 88 нот на фортепиано. Двунаправленная RNN с LTSM кодирует монофонические последовательности фортепиано (88-мерные) в дискретные скрытые переменные (4-мерные). После чего однонаправленный декодер обучается декодировать последовательность нажатия кнопок обратно в музыку. Во время импровизации вывод энкодера заменяется последовательностью нажатия клавиш на контроллере — человек задаёт последовательности, а декодер связывает полученные комбинации с выученными ранее.

Алгоритм Piano Genie
Алгоритм работы Piano Genie

Нейросеть обучалась на 1400 записях фортепианных выступлений конкурса International Piano-e-Competition. «Мы считаем, что автоэнкодеры — многообещающая находка для обучения сопоставлений между сложными и простыми интерфейсами, и надеемся, что наша работа будет способствовать будущим исследованиям в этой области» — написали исследователи в статье.

Работа опубликована на ArXiv. Исходный код модели доступен на GitHub. Протестировать онлайн-версию можно здесь.


Интересные статьи: