跟科幻片一样!OpenAI只用13天给机器人加上了GPT,从此无比“接近人类” 跟科幻片一样!OpenAI只用13天给机器人加上了GPT,从此无比“接近人类”
admin
2024-03-14 11:26:58
0次


火遍硅谷、OpenAI重金押注的人形机器人Figure 01,现在会看会听,能和人类自由对话了。

当地时间3月13日早晨,初创公司Figure AI在X放出这段最新demo。

效果十分炸裂,总共展示了以下几组行为:

1.首先询问机器人能看见什么,Figure 01清晰描述了一切,包括视角正中的红苹果、放有杯碟的沥水架、以及站在面前的工作人员和他搭在桌上的右手。

2.接着工作人员问,“可以给我点吃的吗?”

Figure 01把苹果拿起递过去,并按照要求,一边清理工作人员刚倾倒在桌面的纸团,一边解释刚刚的行为:“我给了你苹果,因为我觉得这是桌上唯一能吃的东西。”然后自然而然地把收好在篮子里的纸团给回工作人员。

3.“根据现在所见,你面前的碟子应该到哪儿去?”Figure 01思考片刻做出判断:杯碟应该归置进晾晒架,而后按指令放好。

4.最后一步,让它自己评价任务完成的怎么样。Figure 01自信地回答道:“我觉得我做得很不错!苹果找到了新主人,垃圾清理了,桌面上的东西各归各位。”

这里的Figure 01是3月9日更新版本,由OpenAI技术加持。从两周前双方宣布合作,决定共同开发下一代人形机器人AI模型,推进机器人学习边界,到现在面前这个科技感满满的“人形GPT”仅仅用了13天。

而且据Figure AI创始人Bratt Adcock称,所有这些行为都没有经过远程操作,而是通过机器人的自我学习而来。并且以正常的1.0倍速连续拍摄,没有加速、没有剪辑,所见即所得。可以感受到视频中Figure 01的速度已经快要接近人类。


具体来看,此次Figure 01体现出的炸裂能力有:

1. 识别周围环境,准确描述视觉体验。视频开头它说看到桌上的苹果和面前站着的人类。

2. 推理和决策下一步行动。例如“桌子上的盘子和杯子很可能需要放在沥水架上”。

3. 将模棱两可的请求翻译成一些与上下文相关的行为。比如将对方说的“我饿了,有没有吃的”转换成“递给这个人一个苹果”的行动。

4. 用语言解释推理过程,比如“苹果是这里唯一能吃的”。

5. 反思自己的记忆做出判断,即在视频最后回顾了全套行为,并且基于常识进行评价。

那这一切又是怎么完美实现的呢?

领导该项目的高级AI工程师Corey Lynch发文解释了背后原理。

他表示,Figure 01正是通过与OpenAI提供的大模型连接起来,才被赋予了这些天秀的“有趣新功能”。

他们将机器人摄像头拍摄到的图像和机载麦克风捕捉的语音,转录为文本输入到由OpenAI预训练的大型多模态模型中。该模型能够理解图像和文本,在处理整个对话历史、包括过去的图像后做出语言回应,这些回应再通过文本转语音最终传递给人类。


所有行为都由神经网络视觉运动转换器策略驱动。以10Hz频率输入机载图像,交给大模型处理,大模型推理预测下一步行为,将像素映射到200Hz、24个自由度的动作(包括手腕姿势和手指关节角度),直接输出结果。整个过程依靠端到端的机器人控制,而无需经过中间过程的编码。

更新后的Figure 01优越之处还在于,接入的OpenAI大模型能理解历史对话,为机器人提供了强大的短期记忆。从而理解上下文语义,做出准确的判断和执行。

比如demo里甄别过杯子盘子应该放回沥水架后,工作人员下达指令:“Can you put them there?” 这其中代指的“它们”和“那儿”是很模糊的。但是经过预训练的模型通过分析对话历史记录,就能促使Figure 01迅速形成答案并输出动作:1)将杯子放在沥水架上2)将盘子放在沥水架上。

除此以外,机器人基于视觉运动策略学习到的行为执行更快速、反应更灵敏,相比之下有些行为提前手动指定是很难的,比如在任何位置操纵一个可变形的袋子。同时,一个整体的全身控制器能确保Figure 01保持平衡,时刻处于安全稳定的动态中。

除人工智能加持外,Figure 01还垂直整合了由专业工程师设计的所有系统,包括电机、固件、热力学组件、电子设备、中间件操作系统、电池系统、动作传感器、机械和结构。

对于此次更新,网友们反应极度热烈。有人说,能做出一个能帮你刷碗打扫屋子的智能机器人已经赢了。


还有人已经想象到了商业化适用场景,“Figure机器人似乎可以成为盲人群体的向导”。


更有网友不留情面地cue波士顿动力“该回实验室给机器人研究点新舞步了”。Figure机器人的智能化之强,也让人感叹和它对视8秒会不会被暴揍。


“13天内如此惊人的成绩,等不及要看接下来会发生什么了!”

而携手Figure AI提供燃料,将其推上神坛的OpenAI,也被网友称为“难以抗衡的合作关系”,建议波士顿动力火速更换合作伙伴。


Figure AI最新估值是13天前的26亿美元,而今两周过去,估值应该是多少?网友:“不可估量”。


Figure AI曾在上月27号宣布,获得来自微软、英伟达、OpenAI以及亚马逊创始人贝佐斯等投资人约6.75亿美元的新一轮融资,成为马斯克“擎天柱”机器人之外最受投资人们追捧的AI人形机器人。

据Figure AI称,他们的目标是造出真正的通用机器人,替代人类执行危险或机械化的工作,并最终实现“行走的AI智能体”,自主执行日常任务。从如今OpenAI入局后这短短两周结果来看,这一目标仿佛变得更近。而OpenAI在人工智能产业中全面撒网加大部署这一步,似乎又走对了。

很多人说闭上眼已经可以把Figure 01在自己身边的体验具象化。机器人不再是实验室里可看不可得的观赏品那天,也许比我们想象的更快到来。现在是2024年的3月,几个月后会前进到哪一步?倒计时开始。


❗️硅星人|AI hacker house系列活动❗️

「AI人格体搭建赛 」首站来袭!

扫描下方二维码报名参赛,丰厚现金大奖等你来拿!

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...