Kimi掀起国产大模型长文本竞赛 Kimi掀起国产大模型长文本竞赛
admin
2024-03-24 23:56:01
0

作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得拥挤,24小时内,阿里、360、百度紧急“出手”,纷纷入局长文本赛道。

大厂的加入,让月之暗面充满理想化色彩的“登月计划”有了更接地气、更市场化的一面——从千亿参数到千万长文本,大模型好像又“卷”出了新高度。而一同被“卷”起来的,还有大模型的商业化进程。

内卷长文本

Kimi像条“鲇鱼”,用200万字无损上下文激活了整个国产大模型市场。3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360 AI浏览器,同时360 AI浏览器App也即将上线。

3月22日晚上,阿里通义千问宣布,向所有人免费开放1000万字的长文档处理功能,成为全球文档处理容量第一的AI应用。与此同时,也有媒体从知情人士处获悉,百度文心一言下个月将进行版本升级,届时也将开放长文本能力,文字范围会在200万—500万。

Kimi是月之暗面推出的一款智能助手。3月18日,月之暗面宣布Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。去年10月刚发布时,Kimi可支持的无损上下文输入长度为20万字。3月21日,因过于火爆,Kimi一度“宕机”。

天使投资人、资深人工智能专家郭涛对北京商报记者分析称,200万字的长文本处理能力是一个巨大的技术突破,这意味着AI模型可以理解和生成更复杂、更丰富的内容,这对于许多应用场景,如自动写作、内容生成、信息检索等,都具有重要的价值。

这可能也是Kimi引爆市场的关键。

3月22日,“Kimi概念”进入持续火爆的第四天,不过资本市场上已出现分化迹象,当天收盘,掌阅科技、中广天择收获三连板,因赛集团股价则跌超4%,电广传媒跌超3%。

财经评论员张雪峰对北京商报记者提到,这一突破意味着在自然语言处理领域,特别是文本生成和理解方面,Kimi取得了重大进展,其主要技术突破包括长文本处理能力、上下文理解和训练技术三个方面。

以长文本处理能力为例,Kimi能够处理长达200万字的文本,而且在处理过程中不会出现信息丢失或失真的情况。这种能力在以往的自然语言处理模型中很难实现,因为长文本的处理需要更大的内存和更复杂的模型结构。

AGI的初心

20万到200万的变化,不止在于字数的简单累积,更在于“无损”和它们共同指向的AGI目标。

杨植麟曾解释称,通往AGI,无损的长上下文将会是一个很关键的基础技术。从Word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。

“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”杨植麟说。

月之暗面曾介绍,从20万字到200万字,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。

为了达到更好的长窗口无损压缩性能,月之暗面研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”“降采样”等技术捷径,攻克了很多底层技术难点。

但字数累积的表象以及大厂相继亮出同类型产品的情况,也让“吃瓜群众”对于所谓的技术突破有些疑虑。

在接受北京商报记者采访时,伽利略资本合伙人郑譞做了一个类比,对象就是不久前火爆全球的文生视频大模型Sora。

郑譞解释称,文生视频可以看做是连续的文生图,从理论层面上,可能并不是颠覆性的突破,但是做到稳定生成长视频确实有难度,更多解决的是工程上的问题。但也不能说工程上的创新就不是创新,月之暗面无损长文本可能也是这个道理。

概括起来,从底层技术上来看,Kimi可能确实没有颠覆性的突破,更像是一个突破性技术的前序技术。

“长文本技术上需要解决上下文理解、长期记忆、复杂推理、多任务适应性以及计算效率等问题,学界其实早就有一些相应的解决方案,比如长文本处理、注意力机制优化等,但是在复杂推理和计算效率上工程难度还是很大的,各大厂也都给出了自己的方案,只不过之前大家并没有将‘长文本’当成关键词给予足够的关注度。”郑譞称。

郭涛也提到,从目前公开资料来看,Kimi的技术确实具有一定的竞争优势,但还不具备技术壁垒。长文本可能会成为大模型的下一个“卷”的领域,因为这是一个具有广泛应用前景和商业价值的研究方向。

不过在郑譞看来,月之暗面与其他人工智能企业真正的不同点,并不在于技术乃至商业化路线的差异,而在于“初心”的不同。

郑譞将杨植麟形容为一个“富有理想主义的创始人”“他的目标就是打造自己理想的AGI,而不是从落地或者务实的视角去思考当下的问题”。

商业化“肉搏”

理想化的月之暗面,也不能完全“脱俗”。Kimi爆火时,有媒体报道称,月之暗面相关负责人提到,年内将有商业化初步方案。对于具体的商业化路径以及大厂竞相加入是否会对Kimi的商业化产生影响等问题,北京商报记者联系了月之暗面,但截至发稿未收到回复。

郑譞猜测,相较于特定应用,Kimi的商业化可能类似于OpenAI,更倾向于一种通用性的商业化,例如商业化的高端接入入口用以扩展客户的应用等。

目前已有多家企业确认了与Kimi的合作。例如3月24日,万兴科技对外透露,公司旗下视频创意软件万兴喵影已率先接入Kimi,其AI写文案功能当前已采用Kimi大模型服务,万兴科技正加速旗下其他产品对Kimi的对接测试。

而对于大厂纷纷加入长文本竞争的原因,张雪峰认为,长文本处理能力是自然语言处理领域的一个重要方向,而且随着信息量的增加,对长文本处理能力的需求也越来越迫切。

张雪峰进一步补充称,Kimi的技术突破表明长文本处理已经成为可能,因此大厂纷纷投入研发长文本处理技术,以保持竞争力和领先地位。另外,长文本处理也是满足用户需求的重要途径,可以为用户提供更全面、准确的信息服务。

至于大厂的入局,是否会给月之暗面商业化造成影响,郑譞则给出了否定的回答,原因在于“虽然都在讲长文本,但大家的侧重点显然是千差万别的,而且各家所追求的愿景也有着天壤之别”。

回归“为什么是Kimi”的问题,中信建投研报提到,月之暗面打造高关注度应用Kimi Chat,一方面在于核心团队技术背景深,另一方面在于产品面向C端免费开放,注重产品运营。

据悉,月之暗面目前在招的31个岗位中,其中6个为市场、运营类岗位,包括达人运营、国内广告投放等。“目前招募更多市场、运营类人才,后续有望推动产品进一步破圈。”研报称。

北京商报记者 杨月涵

相关内容

热门资讯

贷款也“拼团” 银行抢单忙 购物能“拼团”,贷款也能! 近日,一场“拼团融资”的银企对接活动在省工业和信息化厅拉开帷幕。 “贷款...
逛花展、赶市集、嗨直播!202... 5月23日 “2026北京直播电商购物月” 在丰台区丽泽金融商务区·2026北京国际花展 正式拉开帷...
2026中关村毕业季|AI“吃... “上帝会掷骰子吗?” 在联想未来中心的“与智者同场”展区,一位海淀学子对着屏幕问道。 爱因斯坦微微前...
原创 今... 今日为5月23日,国际现货黄金价格在4500美元/盎司整数关口附近徘徊不前,日内最低触及4480美元...
三连亏后变为“无主”状态,农尚... 从吴亮手中接盘农尚环境(300536)不足三年后,林峰如今让出了公司控制权,上市公司进入“无主”状态...
55岁湖南女首富出手!豪掷13... 快科技5月24日消息,与马斯克、库克并肩而坐,刚参加完国宴的湖南女首富周群飞就买了家上市企业。 近日...
外资加仓A股,岂是跟风这么简单... 熬过忙碌的交易日,在周末安静时段,理清接下来布局方向。本篇为大家准备了5条要闻,涵盖市场动态、行业变...
原创 俄... 在全球能源的残酷牌桌上,手里攥着石油,腰杆子才能硬气。长期以来,中东的沙漠、俄罗斯的冰原、美国的页岩...
喜力啤酒有产品将涨价,华润啤酒... 来源:红星新闻 红星资本局5月22日消息,今日,红星资本局从雪花啤酒(厦门)有限公司、华润啤酒方面获...
原创 金... 心理预期调整刻不容缓,五月二十二日,黄金价格或将重现十五年前的历史性低迷。 近期若您密切关注着黄金市...
原创 马... 埃隆·马斯克如果能让SpaceX实现“科幻小说”级别的目标,他可能获得1万亿美元的收入。 埃隆·马斯...
涨涨涨!放开限制、可加杠杆!这... 韩国股市站在风口上! 据最新消息,为吸引更多海外资金进入股市,韩国政府计划放开限制,允许境外投资者直...
下周9家上会丨科创板首单IPO... IPO及再融资上会预告 据交易所官网审核动态信息,下周(5.25-5.29)IPO上会审核6家企业,...
富途、老虎市值蒸发1/4!或被... 来源:金融时报 5月22日,中国证监会宣布依法对Tiger Brokers (NZ) Limited...
马爸爸的好兄弟钱多多搞了杀猪盘... *此图由AI生成 作者| 史大郎&猫哥 来源| 是史大郎&大猫财经Pro 上周四,港股经纬天地大崩盘...
原创 壳... 编辑:XL 国际能源圈最近炸开了锅,壳牌这家百年石油巨头在2026年3月与委内瑞拉政府正式签署多项油...
存储热潮愈演愈烈!奖金拿到手软... 财联社5月24日讯(编辑 卞纯)在席卷全球的存储芯片热潮中,韩国“存储芯片双雄”SK海力士和三星无疑...
揽牌、合作、生态,跨境支付头部... 近日,国内头部跨境支付机构密集落地海外重要布局,一方面,连连数字、PingPong两家公司相继在中东...
原创 帮... 老铁们,周末好!我是帮主郑重。刚扫了一眼下周的财经日历,好家伙,事件一个接一个,堪称“消息面轰炸周”...
海南省住建厅与中国石化海南石油... 5月22日,中国石化海南石油分公司代表、党委书记李新强、总经理蔡文东一行赴海南省住建厅拜访交流。省住...