皮皮虾科普网

皮皮虾科普网
分享国内外科学知识
皮皮虾科普网-国内外科学-科技-科普

新系统结合智能手机视频创建4D可视化——“世界

更新时间:2020-07-17 00:47点击:

卡耐基梅隆大学的研究人员已经证明,他们可以将在野外拍摄的iPhone视频组合在一起。通过单独的相机创造4D可视化,让观众观看动作从不同的角度,甚至抹去暂时遮挡视线的人或物体。

想象一下一个可视化的婚礼招待会,在那里可以从许多角度看到舞者,就像有摄像机一样,而喝醉了的客人走在新娘的队伍前面却看不到。

cmuo机器人研究所的博士生阿尤什·班萨尔(Aayush Bansal)说,这些视频可以从不同的有利位置独立拍摄,比如在婚礼或生日庆祝会上。他补充说,还可以在一种场景中记录演员,然后将他们插入另一种场景中。

我们只是受到相机数量的限制,Bansal说,对于可以使用的视频feed数量没有上限。

Bansal和他的同事在上个月的计算机视觉和模式识别虚拟会议上展示了他们的4D可视化方法。

“没有,虚拟reality”这并不是什么新鲜事,但在过去,它仅限于摄影棚的设置,比如cmu的Panoptic摄影棚,号称在其测地线墙上嵌入了500多台摄像机。融合的视觉信息的真实场景拍摄从多个,独立的,手持相机到一个单一的综合模型,可以重建一个动态的3D场景,只是不可能。

Bansal和他的同事们利用卷积神经网络(CNNs)绕过了这个限制,这是一种深度学习程序,已被证明善于分析视觉数据。他们发现特定场景的cnn可以用来组成场景的不同部分。

CMU的研究人员演示了他们的方法,使用了多达15部iphone来捕捉各种场景。舞蹈,武术表演,甚至在匹兹堡的国家鸟园的火烈鸟。

使用iphone的目的是为了证明任何人都可以使用这个系统,邦萨尔说。世界是我们的工作室。

这种方法还在电影行业和消费设备中开启了许多潜在的应用,尤其是随着虚拟现实耳机的日益普及。

虽然该方法不一定捕捉到完整的3D细节场景,但该系统可以限制回放角度,因此不完全重建的区域是不可见的,3D图像的错觉不会被打破。

# # #

除了Bansal,研究团队还包括机器人研究所的教员Yaser Sheikh、Deva Ramanan和Srinivasa Narasimhan。该团队还包括Minh Vo,他是一名前博士生,目前在Facebook现实实验室工作。美国国家科学基金会、海军研究办公室和高通公司支持了这项研究。