开源模型首胜GPT-4!大模型竞技场最新战报引热议 开源模型首胜GPT-4!大模型竞技场最新战报引热议
admin
2024-04-10 15:09:25
0次

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

能打得过GPT-4的开源模型出现了!

大模型竞技场最新战报:

1040亿参数开源模型Command R+攀升至第6位,与GPT-4-0314打成平手,超过了GPT-4-0613。



这也是第一个在大模型竞技场上击败GPT-4的开放权重模型。

大模型竞技场,可是大神Karpathy口中唯二信任的测试基准之一。



Command R+来自AI独角兽Cohere。这家大模型创业公司的联合创始人兼CEO,正是Transformer最年轻作者Aidan Gomez(简称割麦子)。



这份战报一出,又掀起了一波大模型社区的热烈讨论。

大家伙儿兴奋的理由很简单:基础大模型卷了一整年,没想到在2024年格局还在不断地发展变化。

HuggingFace联合创始人Thomas Wolf就说:

最近大模型竞技场上的情况发生了巨大的变化:
Anthropic的Claude 3 opus在闭源模型中独占鳌头。
Cohere的Command R+则成为了开源模型中的最强者。
没想到,2024年在开源和闭源两条路线上,人工智能团队的发展都如此之快。



另外,Cohere机器学习总监Nils Reimers还指出了值得关注的一点:

Command R+最大的特色是对内置RAG(检索增强生成)进行了全面优化,而在大模型竞技场中,RAG这样的外挂能力并未纳入测试。



RAG优化模型登上开源王座

在Cohere官方定位中,Command R+是一个“RAG优化模型”。

就是说,这个1040亿参数的大模型主要针对检索增强生成技术进行了深度优化,以减少幻觉的产生,更适配于企业级工作负载。

和此前推出的Command R一样,Command R+的上下文窗口长度是128k。

此外,Command R+还具备以下特点:

覆盖10+种语言,包括英语、中文、法语、德语等;能使用工具完成复杂业务流程的自动化

从测试结果来看,在多语种、RAG和工具使用这三个维度上,Command R+都达到了GPT-4 turbo的水平。

但在输入成本方面,Command R+的价格仅为GPT-4 turbo的1/3。

输出成本方面,Command R+则是GPT-4 turbo的1/2。



正是这点引发了不少网友的关注:



不过,尽管在大模型竞技场这种人类主观评测上表现抢眼,还是有网友甩出了一些不同观点。

在HumanEval上,Command R+的代码能力就连GPT-3.5都没打过,在两组测试中分别排在32位和33位。

最新版GPT-4 turbo则没有悬念地拿下了第一。



另外,我们也在最近刚登上正经论文的弱智吧benchmark上简单测试了一下Command R+的中文能力。



你给打个分?

需要说明的是,Command R+的开源只面向学术研究,并不能免费商用。

One More Thing

最后的最后,还是多聊一嘴割麦子小哥。

Aidan Gomez,Transformer圆桌骑士中最年轻的一位,加入研究团队时只是个本科生——

不过,是在多伦多大学读大三时就加入了Hinton实验室的那种。

2018年,割麦子被牛津大学录取,开始像他的论文搭子们那样攻读CS博士学位。

但在2019年,随着Cohere的创立,他最终选择退学加入AI创业的浪潮。

Cohere主要是为企业提供大模型解决方案,目前估值达到了22亿美元。

参考链接:
[1]https://twitter.com/lmsysorg/status/1777630133798772766
[2]https://txt.cohere.com/command-r-plus-microsoft-azure/

— 完 —

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...