Нейросеть Facebook моделирует движения музыкантов по аудиозаписи

24-06-2018, 14:45 Information technology (IT) » Нейросеть Facebook моделирует движения музыкантов по аудиозаписи

Нейронная сеть, обученная в компании Facebook, теперь может моделировать движения музыкантов. Данную разработку представили на конференции CVPR.

Программисты, которые обучили нейросеть Facebook, считают, что данная разработка послужит стартовой точкой в изучении музыкальных инструментов с нуля. Сеть моделирует движения музыкантов по аудиозаписи, и параллельно проецирует действия аватара, повторяющего за музыкантами. Таким образом, планируется, что обучающиеся смогут в точности определить, в каком положении должны быть руки при игре на инструменте.
LSTM-нейросеть, используемая в Facebook, имеет способность не только обучаться, но и запоминать связи в долгосрочном периоде. Пока что эксперимент проводился на записях скрипки и пианино, взятые из свободного доступа в интернете. Благодаря том, что сети удавалось зафиксировать положение рук музыканта на инструменте, она смогла построить скелетную модель. Именно поэтому программа сумела определить связь между звуком и движениями автора и параллельно строить предсказания.
Кира Невская

Также читайте: