В Facebook разработали нейросеть Vid2Play, которая вырезает людей из видео и позволяет ими управлять
Можно поиграть за человека из любого ролика.
Исследователи из лаборатории искусственного интеллекта Facebook создали нейросеть Vid2Play. Она вырезает людей из роликов и превращает в играбельных персонажей, которыми можно управлять.
Алгоритм генерирует новые кадры с героем ролика, при этом видео может иметь произвольный фон, а система эффективно отображает человека в движении.
Для этого команда использовала две нейросети: Pose2Pose помечала позу человека и вырезала движения, а Pose2Frame — размещала персонажа и связанное с ним окружение на новый «слой». В итоге героя можно контролировать любым простейшим управлением, например клавиатурой или джойстиком.
Чтобы обучить систему использовали три ролика длиной от 5 до 8 минут. Один был посвящён игре в теннис на улице, второй человеку, размахивающему мечом в помещении, а третий — гулящему человеку.
Каждая нейросеть решает вычислительную проблему, которую до этого полностью не решали никогда, прокладывая путь к видеоиграм с реалистичной графикой. Кроме того, управляемые персонажи из YouTube-видео могут найти место в виртуальных мерах и дополненных реальностях.
#видео #нейросети #игры #ии