Нейросеть научили предсказывать жесты на основе голоса человека

Правда, пока не слишком точно.

Исследователи из Калифорнийского университета в Беркли создали нейросеть speech2gesture, которая способна предугадывать жесты, основываясь только на голосе человека. Она выдаёт реалистичный результат и оказывается точной почти в половине случаев.

Нейросеть обучили на 144 часах видеозаписей с 10 людьми, которым приходится много жестикулировать, включая телеведущих, преподавателей и проповедников. В результате, алгоритм научился передавать реалистичную жестикуляцию, которую синхронизировали с оригиналом.

Пока система работает с небольшой точностью и только в 44% случаев результат совпадают с оригиналом. В некоторых случаях нейросеть путает положение рук, но в любом случае генерирует вполне правдоподобный результат.

Чтобы поддержать будущие исследования команда опубликовала набор данных с характерными жестами и исходный код в открытом доступе.

#нейросети #ии #алгоритмы #видео