说到做到,马斯克开源Grok,3140亿参数免费可商用|焦点分析 说到做到,马斯克开源Grok,3140亿参数免费可商用|焦点分析
admin
2024-03-19 08:49:17
0次

文|武静静

编辑|邓咏仪

炮轰OpenAI闭源,甚至与OpenAI对簿公堂的马斯克,说到做到,真的把自家的Grok开源了。

经历了一周的造势,当地时间3月17日,Grok-1开源版本如约而至。从参数来看,Grok-1是目前参数量最大的开源大语言大模型之一,其参数规模达到了3140亿,超过GPT-3.5当时1750亿的参数量。


图片来自Grok博客

目前Grok没有语言之外的其他能力,但xAI称,计划未来将Grok打造成多模态的大模型。

从ChatGPT发布后,马斯克就站在OpenAI对立面,成为排头兵,xAI也是为此而成立。不少人对Grok-1报以期待,想迫不及待试试。


截图自社交媒体平台X

好于GPT-3.5可商用,但难以迭代

xAI是马斯克2023年创立的大模型公司,其设计初衷是模仿科幻小说《银河系漫游指南》,提供尖锐的回复。目前Grok技术已集成到社交媒体平台X中,可以根据用户的帖子进行回复,订阅 X 高级功能的用户可以直接向Grok提问。

从整体测试效果来看,这次开源的Grok-1可以说“比上不足,比下有余”——在各个测试集中呈现的效果要比GPT-3.5、70b的LLAMA2和Inflection-1要好,但距离Claude2和GPT-4仍然差了一大截。


图片来自Grok博客

不过,由于Grok-1是xAI从零开始训练,在2023年10月就已经结束了预训练,且没有针对任何特定应用(如对话)进行微调,所以目前无法直接体验到对话的应用。

在社交媒体上,有人评论称,Grok-1没有对特定任务进行微调,提高了用户使用它的门槛,“市场需要特定的工具,而不是通用的人工智能。”


截图自社交媒体平台X

也有人认为,Grok-1这种方式可以适应多种不同的任务和应用场景,更适合那些想要用开源模型打造自己专有模型的开发者。

技术架构上,和GPT-4一样,Grok-1采用了大规模参数的专家混合模型(Mixture-of-Experts, MoE)架构,可以将大型网络分解为多个“专家”子模块,每个子模块负责处理不同类型的信息或任务。

底层技术上,Grok-1选择使用了基于JAX(一个由Google开发的用于高性能机器学习研究的库)和Rust(一种注重安全性和并发的系统编程语言)的自定义训练堆栈。

这并不是大型语言模型中常见的选择。大多数知名的大模型比如OpenAI的GPT系列或Google的大模型通常是基于TensorFlow或PyTorch这样的主流深度学习框架开发的,且有丰富的API和社区支持,能让模型开发和训练变得更高效。

但Grok-1将JAX和Rust的结合,优势在于能够在模型性能、效率和可伸缩性方面有所优化。但这也意味着,xAI可能需要投入更多的资源来维护和支持这种非主流的技术栈。

效率上,Grok-1模型也找到了更高效训练的方法。在Grok-1模型中,只有大约25%的权重在任何给定时刻是”活跃”的,可以把“权重”理解为参与信息处理的“工具”,这种“活性权重”可以减少不必要的计算,提高处理速度,同时也减少了冗余。

此外,Grok-1的权重和架构是在宽松的Apache 2.0许可下发布的,这使得研究者和开发者可以自由地使用、修改和分发模型,打开了更多开放合作和创新的可能性。

眼下,Grok-1面临的最迫切问题是模型参数太大(3140亿),这需要巨大的计算资源,所以开源社区无法对Grok-1进行迭代。

不过,目前,对话搜索引擎公司Perplexity CEO Aravind Srinivas已经在社交媒体上发文称,将会基于Grok的基础模型,进行对话式搜索和推理的微调。


截图自社交媒体平台X

OpenAI对立面:不断壮大的开源力量

Grok-1的开源也意味着马斯克已经选边站,站在开源这一头,身体力行的参与对抗OpenAI。


截图自社交媒体平台X

也有人认为,这是马斯克搞的又一次营销噱头。“一家营利性公司开源的东西往往表明它还不够好。”


截图自社交媒体平台X

但不论动机如何,马斯克此次确实给开源力量增加了有分量的筹码。

一直以来,开源和闭源的争议从未停止。市场争议主要集中在两端,OpenAI认为闭源能够让技术更安全的被使用,避免技术滥用;开源一方则认为技术不应该掌握在某家公司手中,需要更透明、更公开。几天前,苹果发布的多模态大模型MM1,也提到要致力于让技术更透明化。

用更直白的话来说,面对一骑绝尘的的OpenAI,模型层闭源的意义可能并不大,不如开放给社区一起迭代。因此,开源成为更多公司“团结起来”的选择。

一个典型例子是,Sora大火之后,中国创业公司潞晨科技团队就火速自研,推出了开源全球首个类Sora架构视频生成模型 「Open-Sora 1.0」,该模型包括整个训练流程,包括数据处理、所有训练细节和模型权重。

目前开源力量最大的参与方是Meta,也成为了AI开源社区中的“一面旗帜”,2023年7月,Meta发布了免费可商用版本大模型Llama 2。最近,已经有不少媒体报道称,Meta正在加紧开发新的大语言模型,预计在今年推出能力对标GPT-4的开源大模型。马克·扎克伯格此前还公开透露,会在2024年底前购买约35万张英伟达最先进的H100 AI GPU。

另一个有竞争力的公司是法国生成式AI独角兽Mistral AI,今年2月,Mistral AI发布全新旗舰模型Mistral Large。Mistral Large在基础测试中的表现出色,以81.2%的分数超越了谷歌Gemini Pro、GPT-3.5、Meta Llama 2-70B三款模型。成为仅次于GPT-4、世界第二大可通过API访问的AI大模型。

更多公司正在加速参与到大模型开源中,试图瓦解OpenAI闭源路线构建起的技术围墙。

欢迎来聊~

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...