CVPR 2024满分论文|英伟达开源大模型FoundationPose称霸BOP排行榜 cvpr论文2021 cvpr2024论文
admin
2024-04-05 19:54:16
0次


新智元报道

编辑:LRS

【新智元导读】FoundationPose模型使用RGBD图像对新颖物体进行姿态估计和跟踪,支持基于模型和无模型设置,在多个公共数据集上大幅优于针对每个任务专门化的现有方法.

FoundationPose是一个「用于6D物体姿态估计和跟踪」的统一大模型,支持基于模型和无模型设置,无需微调即可应用于新颖的物体上,只要给出其CAD模型,或者拍摄少量参考图像即可。


论文地址:https://arxiv.org/abs/2312.08344

项目主页:https://nvlabs.github.io/FoundationPose/

项目代码:https://github.com/NVlabs/FoundationPose

研究人员通过神经隐式表示来弥合这两种设置之间的差距,这种表示允许有效的新视图合成,并在同一统一框架下保持下游姿态估计模块的不变性。

在大规模合成训练、大型语言模型(LLM)、一种新颖的基于Transformer的架构和对比学习公式的辅助下,模型实现了强大的泛化能力。



在涉及挑战性场景和物体的多个公共数据集上进行了广泛评估,结果表明该方法在性能上大幅优于现有的针对每个任务专门化的方法。

此外,尽管减少了假设,该模型也达到了与实例级方法相当的结果。

主要贡献

在本文中,研究人员提出了一个统一的框架,称为FoundationPose,在基于模型和无模型设置下,使用RGBD图像对新颖物体进行姿态估计和跟踪,该方法优于现有专门针对这四项任务中的每一项的最先进方法。


通过大规模合成训练实现了强大的泛化能力,辅以大型语言模型(LLM)、以及一种新颖的基于Transformer的架构和对比学习。

利用神经隐式表示填补了基于模型和无模型设置之间的差距,使得可以使用少量(约16张)参考图像进行有效的新颖视图合成,实现了比之前的渲染与比较方法[32, 36, 67]更快的渲染速度。

贡献可以总结如下:

1. 提出了一个统一的框架,用于新颖物体的姿态估计和跟踪,支持基于模型和无模型设置。一种以物体为中心的神经隐式表示用于有效的新颖视图合成,弥合了这两种设置之间的差距;

2. 提出了一种LLM辅助的合成数据生成流程,通过多样的纹理增强扩展了3D训练资源的种类;

3. 新颖的基于Transformer的网络架构设计和对比学习公式在仅使用合成数据进行训练时实现了强大的泛化能力;

4. 在多个公共数据集上大幅优于针对每个任务专门化的现有方法。即使减少了假设,它甚至实现了与实例级方法可比的结果。

方法

框架的概述如下图。


为了减少大规模训练的手动工作,研究人员利用最近出现的技术和资源,包括3D模型数据库、大型语言模型和扩散模型,开发了一种新颖的合成数据生成流程。

为了弥合无模型和基于模型的设置之间的差距,研究人员利用一个以物体为中心的神经场进行新颖视图的RGBD渲染,以便后续进行渲染与比较。

对于姿态估计,首先在物体周围均匀初始化全局姿态,然后通过精细化网络对其进行改进。

最后,将改进后的姿态传递给姿态选择模块,该模块预测它们的得分。具有最佳得分的姿态被选为输出。

1. 大语言模型辅助的大规模合成数据集生成

为了实现强大的泛化能力,需要大量不同的物体和场景用于训练。

在现实世界中获取这样的数据,并标注准确的地面真值6D姿态是耗时且成本高昂的;另一方面,合成数据通常缺乏3D模型的规模和多样性。

研究人员开发了一个新颖的合成数据生成流程用于训练,借助了最近出现的资源和技术:大规模3D模型数据库[6, 10],大型语言模型(LLM)和扩散模型[4, 24, 53]。

与之前的工作[22, 26, 32]相比,这种方法显著提高了数据量和多样性。


下图顶部:FS6D[22]中提出的随机纹理混合。底部:LLM辅助的纹理增强使外观更加逼真。最左边是原始的3D模型。其中文本提示由ChatGPT自动生成。

2. 神经辐射场物体建模

对于无模型设置,当3D CAD模型不可用时,一个关键挑战是有效地表示物体,以便为下游模块生成具有足够质量的图像。

神经隐式表示对于新颖视图合成和在GPU上可并行化均非常有效,因此在为下游姿态估计模块渲染多个姿态假设时提供了高计算效率,如图2所示。

为此,研究人员引入了一个以物体为中心的神经场表示来进行物体建模,灵感来自先前的工作[45, 65, 71, 74]。

一旦训练完成,神经场可以被用作传统图形管线的替代品,以执行对物体的高效渲染,用于后续的渲染和比较迭代。

除了原始NeRF [44]中的颜色渲染之外,还需要深度渲染来进行基于RGBD的姿态估计和跟踪。为此,需要执行Marching Cubes [41]来从SDF的零级集中提取一个带有纹理的网格,并与颜色投影结合。这只需要为每个物体执行一次。

在推断时,给定任意物体姿态假设,然后按照光栅化过程来渲染RGBD图像。

另外,也可以直接使用神经场做online和球追踪[14]来渲染深度图像;然而,研究人员发现这样做效率较低,特别是在需要并行渲染大量姿态假设时。

3. 姿态假设生成

给定RGBD图像,可以使用类似于Mask RCNN [18]或CNOS [47]这样的现成方法来检测物体。使用在检测到的2D边界框内位于中位深度处的3D点来初始化平移。

为了初始化旋转,需要从以物体为中心的球体上均匀采样Ns个视点,相机朝向球心。

这些相机姿态还通过Ni个离散化的平面旋转进行增强,从而产生Ns·Ni个全局姿态初始化,这些姿态被发送到姿态精化器作为输入。

姿态精化网络架构如总览图所示。首先使用单个共享的CNN编码器从两个RGBD输入分支中提取特征图。特征图被级联起来,通过带有残差连接的CNN块进行处理,并通过位置嵌入进行分块化。

最后,网络预测平移更新∆t ∈ R^3和旋转更新∆R ∈ SO(3),每个都由一个Transformer编码器[62]单独处理,并线性投影到输出维度。

更具体地说,∆t代表了物体在相机坐标系中的平移移动,∆R代表了物体在相机坐标系中表示的方向更新。

在实践中,旋转是用轴-角度表示进行参数化的。研究人员还尝试了6D表示[78],它达到了类似的结果。然后更新输入的粗略姿态[R | t] ∈ SE(3)。


其中 ⊗ 表示在 SO(3) 上的更新。与使用单一的齐次姿态更新不同,这种分离表示在应用平移更新时消除了对更新后方向的依赖性。这统一了相机坐标系中的更新和输入观察,从而简化了学习过程。网络训练由L2损失监督:

其中t¯和R¯是真实值;w1和w2是平衡损失的权重,根据经验设置为1。

4. 最终输出姿态选取

给定一系列经过精化的姿态假设,使用一个分层姿态排名网络来计算它们的得分。得分最高的姿态被选为最终估计值。

下图显示姿态排序可视化。分层比较利用了所有姿态假设之间的全局上下文,以更好地预测整体趋势,使形状和纹理都能对齐。真正的最佳姿态用红色圆圈标注。


实验和结果

数据集共有5个:LINEMOD [23],OccludedLINEMOD [1],YCB-Video [73],T-LESS [25]和YCBInEOAT [67]。

这些数据集涉及各种具有挑战性的场景(密集杂乱、多实例、静态或动态场景、桌面或机器人操作),以及具有不同属性的物体(无纹理、闪亮、对称、尺寸变化)。

由于框架是统一的,研究人员考虑了两种设置(无模型和基于模型)以及两个姿态预测任务(6D姿态估计和跟踪)之间的组合,总共有4个任务。







对于无模型设置,从数据集的训练集中选择了一些捕获新颖物体的参考图像,并配备了物体姿态的地面真值注释,按照[22]的方法。

对于基于模型的设置,为新颖物体提供了CAD模型。

除了消融实验外,在所有评估中,新方法始终使用相同的训练模型和配置进行推断,而无需任何微调。并且在BOP排行榜上取得了第一名的成绩。

团队介绍

该论文来自于英伟达研究院。其中论文一作华人温伯文博士,任研究员。此前曾在谷歌X,Facebook Reality Labs, 亚马逊和商汤实习。研究方向为机器人感知和3D视觉。获得过RSS最佳论文奖提名。


个人主页:https://wenbowen123.github.io/

参考资料:

https://nvlabs.github.io/FoundationPose/

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...