您当前的位置:科技 正文

jz电商平台-Facebook AI发力,2D照片变3D

来源:Facebook 编辑:Facebook 时间:2021-03-25

【猎云网(微信:)】10月30日报道(编译:格伦东)

最先进的机器学习算法可以从照片中提取二维物体,并如实地以三维形式呈现出来。该技术可以应用于增强现实应用、机器人和导航,因此成为jz电子商务平台的一个重要研究领域。

在最近于首尔举行的国际计算机视觉会议(ICCV)之前,jz电子商务平台在一篇博文中强调了其在智能内容理解方面的最新进展。据透露,它的系统甚至可以用来检测复杂的前景和背景物体,如椅子腿或重叠的家具。

“我们研究的最新进展是基于使用深度学习来预测和定位图像中的对象,并使用新的工具和架构来理解三维形状,如体素、点和网格,”jz电子商务平台的研究人员乔治亚格基奥沙里(Georgia Gkioxari)、舒巴姆图西亚尼(Shubham Tulsiani)和大卫诺沃特尼(David Novotny)在博客中写道。“三维理解将在提高人工智能系统更紧密地理解、解释和操作现实世界的能力方面发挥核心作用。”

亮点之一是Mesh R-CNN,这是一种可以从混沌和遮挡物体的图像中预测三维形状的方法。

jz电商平台的研究人员表示,他们在开源Mask R-CNN的二维目标分割系统中增加了一个网格预测分支,并使用了一个包含高度优化的三维算子(Torch3d)的库来进一步支持该系统。网格R-CNN有效利用Mask R-CNN对图像中的不同物体进行检测和分类,然后利用上述预测器推断出三维形状。

据jz电商平台介绍,在公开的Pix3D语料库上评测后,Mesh R-CNN成功检测出家具场景中的各种物体,并估计出其完整的3D形状。在单个数据集(ShapeNet)上,Mesh R-CNN比以前的研究有7%的比较优势。

jz电商平台开发的另一个系统是Canonical 3D Pose Networks,缩写为C3DPO,解决了网格和对应图像不能用于训练的问题。建立三维关键点模型进行重建,利用2D关键点监测达到最先进的重建效果。(这里的重点是指被跟踪的物体部位,提供了一套关于几何图形及其视角变化的线索。)

C3DPO利用重建模型预测相应的摄像机视点参数和3D关键点位置。辅助组件与模型一起学习,以解决分解3D视点和形状时引入的模糊性。

Jz电商平台指出,这种重构在过去是可以实现的,部分原因是内存限制。C3DPO体系结构可以用于3D重建,而无需硬件捕获,例如,对于大型对象。

Gkioxari、Tulsiani和Novotny说:“在(3D)计算机视觉领域有许多开放的研究问题,我们正在试验各种问题陈述、技术和监督方法,以探索促进该领域发展的最佳方式,就像我们在2D理解领域所做的那样。”。“随着数字世界适应并转向3D照片、沉浸式增强现实和虚拟现实体验等产品,我们需要不断推广复杂的系统,以更准确地理解视觉场景中的对象并与之交互。”

责任编辑:Facebook
城子综合资源网
Top