视觉语音交互毫无延迟,都成精了居然还不是GPT-5? 视觉语音交互毫无延迟,都成精了居然还不是GPT-5?
admin
2024-05-14 06:53:25
0


作者|王兆洋
邮箱|zywang@pingwest.com

OpenaAI 给 2024 年 5 月 14 日的这场发布会取名 “ 春季功能更新 ” ,就像它们形容当初 ChatGPT 的发布是一次 “ 低调的研究预览 ” 一样。


而就像那次一样,一切也都回不去了。

OpenAI发布了一个叫做GPT-4o的新模型,它的确不是GPT-5,但看了它能做的事情,再想到它甚至不是OpenAI正在砸更多的钱和智慧在做的GPT-5,你只会感觉更“可怕”。

发布会一开始, OpenAI 的 CTO Mira Murati 介绍了新模型 GPT-4o(是的,Sam Altman全程没有现身)。 她强调这个模型是要给所有人使用,并且通过交互的更新让人们忘了 UI 的存在。因为 OpenAI 的愿景正是如此。

而到此这似乎还很正常。

“ 不过是新模型而已嘛。 ”


但直到 demo 环节开始,一切越来越离谱。

首先是一个实时对话的展示。

“ 我正在做 demo ,我有点紧张。 ”Mark 说。然后他开始故意喘息的非常快。而 GPT 识别出了他的呼吸。

“ 哦,哦,哦,别紧张,慢下来。你不是个吸尘器。 ”ChatGPT 的女人声音抑扬顿挫,没有任何延迟。

是没有任何延迟。你不需要等她,她也不会让你等,当你直接开始说接下来的话,她会立刻停下来听,并立刻做出调整。

而且在这些回答中,它甚至有喘息和犹豫的声音。

另一个很可怕的细节是,这些demo全程不需要任何多余的按键操作。

对,声音的对话就像是在 “ 打电话 ” 。

另一个 demo 是假设要给朋友讲一个关于机器人的睡前故事。

提出需求后, ChatGPT 开始正常的讲故事。

但听的人并不喜欢,于是直接打断说,能不能讲的更有感情更 drama 一点。

ChatGPT 立刻调整,增加了一些悬疑感。

“ 不不不,我希望把感情和 drama 感拉满。 ” 听者再次直接打断。 —— 也就是说 ChatGPT 在实时听着你的声音。

然后 ChatGPT 变成了一个非常浮夸的故事讲述者。

“你能不能用机器人的声音给我讲故事。”Mira又直接插话。

而 ChatGPT 立刻开始模仿机器人。注意,是模仿,也就是它的声音一直是那个女声,一切听起来就像家长在讲睡前故事时候会做的那样。

“ 你能最后唱一首歌把这个故事结束么。 ” 听者又提了要求。

然后 ChatGPT 立刻唱了一首歌。根据刚才的故事,实时,改编,并直接唱出来的一首歌。

“如果你之前使用过我们的语音模式,你会注意到几个关键的区别。首先,你现在可以打断模型了。你不需要等它结束你的回合,你可以随时开始说话,随时插话。其次,模型的响应是实时的。这意味着你不需要再经历那种尴尬的两到三秒的延迟,等待模型回应。最后,当我刚才呼吸非常急促时,模型能够感知到情绪。它会提醒你,或许你需要放松一下,你的节奏快得有点过头了。所以你知道,它确实具有全面感知情绪的能力。不仅如此,这个模型还能以各种不同的情感风格生成声音,它真的具有非常广泛的动态范围。”

如果你是个创业者,或者熟悉大模型应用创业环境的人,你会立刻意识到。

又有一批创业公司死了。

之后是视觉能力的展示。

对,在同一个产品上。一个据说要免费提供给全世界所有人的产品上。

他先是展示了一个通过摄像头获得视觉能力,然后实时指导你的数学解题的 demo 。

甚至因为 “ 幻觉 ” 问题, ChatGPT 在还没打开摄像头时候就自信满满的说理解了。当展示者提示后,她说 “oops ,我太兴奋了。 ”

然后展示者打开摄像头,实时写了一个数学方程题,然后让 ChatGPT 一步一步的提醒和讲解他在做的解题思路。 ChatGPT 很好的做到了。

像一个很有经验有耐心的数学老师那样。

这还没完。

似乎是为了打脸那些录制好加速后的demo,他们还实时收集了X上的反馈。其中一个挑战是:打开摄像头让ChatGPT实时分析你的情绪。

展示者开始摄像头自拍,而 ChatGPT 立刻分析道:

“ 你看起来是个桌子。 ”—— 因为打开摄像头时,最先打开的是前置的摄像头,对准的是桌子。

“ 不不不,那是之前的,你不用担心,我不是个桌子。 ” 分享者说到。

“哈哈,那就合理了。”Chat GPT说到。

这里看的时候,估计很多人跟我一样惊了一下。

然后 ChatGPT 立刻分析: “ 你看起来非常开心。大大的笑容,甚至有一点兴奋。你想分享一下让你这么开心的原因么? ” 语气里甚至能听到好奇,以及斟酌语句的感觉。

“ 因为我在做实时展示,让大家看看你有多出色。 ” 讲者说。

“哦,拜托,别让我脸红了。”ChatGPT带着笑声说到。

瞬间,《Her》降临。科幻成了现实。

看到这,所有人估计都明白了 Sam Altman 此前卖关子时候说的 “magic” 是什么。

在惊叹之余,还是再总结一下:

1 这些操作全程没有多余的点击操作的交互。

2 没有丝毫延迟的视觉和声音反馈。

3 不仅能感受到你的情感,ChatGPT也自带情绪和情感。

4 能对桌面等更数字化的世界有更全面的信息感知。

5 全部集成在一个产品里,而且可能是对所有人免费的。

哦对,以及,这还不是GPT-5。

发布会后, OpenAI 也在官网更新了这次发布的模型的具体信息:

https://openai.com/index/hello-gpt-4o/

还记得 ChatGPT 第一次出来时,有人形容跟它第一次亲密接触的感受:

当你通过打字跟它交互的时候,等待它回答的过程仿佛能想象到对面坐着一个人,正在转笔,思考如何回答你的问题。

而今天,不只是你的叹气,情感和喘息能被 AI 感受到,你也能直接感受到对面的 “ 人 ” 的叹气,情感,和喘息。

在电影《 Her》 里,主人公最终爱上了这个 AI 助手。我们不知道 GPT-4o 加持下的新 ChatGPT 会带来什么。更不知道 GPT-5 出现后会发生什么。

一切都太快了,都回不去了。

最后,对所有开发者和创业者,这次发布又意味着什么?

也许这句当时有些被人不以为意甚至觉得冒犯的话值得再看一遍,它可能说明了一切:

目前有两种构建人工智能的策略:一种是假设模型不会改进,然后在现有的能力上建设一堆小东西;另一种是假设 OpenAI 将保持相同的增长轨迹(继续疯狂迭代)。我认为,95% 的人应该押注在第二种策略上。我们有改进模型的使命,不是我不喜欢你们,但我们将碾压你。 ‍ ——Sam Altman,2023年4月17日


相关内容

热门资讯

4月份银行理财规模环比增加2.... 钛媒体App 5月16日消息,银行理财市场在4月份迎来规模与收益的双增长。据华源证券廖志明团队发布的...
【光明日报】黑龙江:免签红利释... 5月10日早上7时,一辆国际大巴缓缓停靠在黑龙江绥芬河公路口岸入境大厅前。游客们提着大包小裹,依次走...
又一跨国高端化工合作项目落子乐... 5月15日,福华化学携手瑞士特种化学品企业科莱恩打造的创新型高端磷系无卤阻燃剂项目(以下简称“福华科...
鸿蒙智行:已拥有1951家销售... IT之家 5 月 15 日消息,鸿蒙智行智界 V9 发布会正在进行,官方透露目前已拥有 1951 家...
黄金、白银,直线大跌! 5月15日晚间,贵金属价格突然大跌! 截至记者发稿时,现货黄金跌超2%,暂报4553美元/盎司附近。...
央视《焦点访谈》聚焦!万兴科技... 深圳商报·读创客户端首席记者 谢惠茜 5月14日,中央电视台《焦点访谈》推出专题节目《扩能提质强服务...
东方嘉富人寿董事长履职半年被换... 文|达摩财经 东方嘉富人寿再度进行人事调整。 5月13日,东方嘉富人寿发布公告称,自2026年4月...
重返西决!文班19+6卡斯尔3... 【搜狐体育战报】北京时间5月16日NBA季后赛,客场作战的马刺以139-109击败森林狼,总比分4-...
原创 美... 十万亿美债为什么还没有崩盘?或许答案在于,中国的存在让局势与众不同。现在的美债就像一张看似脆弱的网,...
原创 茅... 最近打开股票软件看白酒板块,是不是心里拔凉拔凉的? 茅台又回到1300元区间了,五粮液跌破90元,洋...
茅台宣布涨价 5月15日深夜,“i茅台”APP发布公告称,按照随行就市、供需适配、量价平衡、相对平稳的原则,贵州茅...
最高涨200元!茅台官宣4款产... 贵州茅台(600519.SH)凌晨宣布涨价几款产品。 茅台数字营销平台“i茅台”今日(5月16日)发...
面向地方国资产融转型全链条,X... 5月15日,XOD创新投融资模式3.0产品发布会在广州举办。该产品主要面向地方国资产融协同创新转型提...
2026Q1:10家上市商超9... 截至4月30日,所有A股上市公司2026年Q1财报全部出炉,传统商超也晒出自己的成绩单。10家披露的...
入主盟科药业失利后,拟借款2.... 来源:时代周报-时代在线 继去年试图通过定增入主盟科药业(688373.SH)失败后,海鲸药业再度出...
同比激增86%、规模突破760... 图片来源:界面图库 界面新闻记者 | 孙艺真 今年以来,证券行业融资补血热潮持续升温。前5个月...
促进青年消费,扶持青年创业,上... 5月14日,上海市政协团青界别、经济界跨界别活动在市政协全过程人民民主实践点举行。 今年初,团市委立...
苹果股价昨日创收盘新高,站上3... IT之家 5 月 16 日消息,苹果公司股价昨日(5 月 15 日)收于 300.23 美元,首次站...
杭州首批配售型保障房正式入市 杭州首批配售型保障房正式入市 价格约为周边商品房5折,18日开始报名 不能入市交易,可由政府指定机构...
“后巴菲特时代”,伯克希尔调仓... 当地时间5月15日,伯克希尔披露了2026年一季度美股持仓报告。这是伯克希尔在巴菲特卸任CEO并由阿...