Facebook的AI能让你把视频中的人变成3D交互对象

4月19日消息，Facebook最新在Arxiv发布了一片名为“Vid2Game: Controllable Characters Extracted from Real-World Videos”-将实拍视频中但各角色变为可交互对象的论文。该论文由Facebook AI研究院提交，描述了一个将视频中虚拟角色变为可交互对象的方法。

Vid2Game: Controllable Characters Extracted from Real-World Videos

论文的作者表示：该方案可从一个不受控制的视频中提取一个角色，然后我们还能够控制他的动作。该模型特点是生成了这个角色的新图像序列，可应用在任意视频背景中，同时有效的捕捉到人的动态和外观。

据悉，该方案依托于两个神经网络，或者以生物神经元为模型的数学函数层Pose2Pose和Pose2Frame。

Pose2Pose：将当前姿态和控制信号映射到下一个框架。

Pose2Frame：将当前姿态和下一个输出姿态合成。

然后我们就可以以简单的动作(例如键盘左右)来控制该合成的对象。

据悉，为了训练该AI系统，研究人员通过三个5-8分钟的视频进行分析，一段户外网球运动员视频、一段室内舞剑的视频、一个人走路的视频。

据了解，这套系统因为可生成逼真的动态虚拟对象，可在游戏领域、VR、AR中有广泛的应用前景。

Photo Wake-Up

实际上，在Facebook之前也有类似的AI模型，例如此前和华盛顿大学合作研发的Photo Wake-Up项目。此外，其它公司也有类似场景，例如Promethean AI就通过AI帮助艺术家为游戏进行艺术创作，NVIDIA展示过生成虚拟环境的模型。

Facebook的AI能让你把视频中的人变成3D交互对象

相关推荐