Kimi掀起国产大模型长文本竞赛 Kimi掀起国产大模型长文本竞赛
admin
2024-03-24 23:56:01
0

作为月之暗面的创始人,杨植麟常把他的AGI梦想形容为“登月计划”,长文本就是这个伟大计划的第一步。但现在,随着Kimi的爆火出圈,赛道瞬间变得拥挤,24小时内,阿里、360、百度紧急“出手”,纷纷入局长文本赛道。

大厂的加入,让月之暗面充满理想化色彩的“登月计划”有了更接地气、更市场化的一面——从千亿参数到千万长文本,大模型好像又“卷”出了新高度。而一同被“卷”起来的,还有大模型的商业化进程。

内卷长文本

Kimi像条“鲇鱼”,用200万字无损上下文激活了整个国产大模型市场。3月23日,360智脑宣布正式内测500万字长文本处理功能,该功能即将入驻360 AI浏览器,同时360 AI浏览器App也即将上线。

3月22日晚上,阿里通义千问宣布,向所有人免费开放1000万字的长文档处理功能,成为全球文档处理容量第一的AI应用。与此同时,也有媒体从知情人士处获悉,百度文心一言下个月将进行版本升级,届时也将开放长文本能力,文字范围会在200万—500万。

Kimi是月之暗面推出的一款智能助手。3月18日,月之暗面宣布Kimi智能助手已支持200万字超长无损上下文,并于即日起开启产品内测。去年10月刚发布时,Kimi可支持的无损上下文输入长度为20万字。3月21日,因过于火爆,Kimi一度“宕机”。

天使投资人、资深人工智能专家郭涛对北京商报记者分析称,200万字的长文本处理能力是一个巨大的技术突破,这意味着AI模型可以理解和生成更复杂、更丰富的内容,这对于许多应用场景,如自动写作、内容生成、信息检索等,都具有重要的价值。

这可能也是Kimi引爆市场的关键。

3月22日,“Kimi概念”进入持续火爆的第四天,不过资本市场上已出现分化迹象,当天收盘,掌阅科技、中广天择收获三连板,因赛集团股价则跌超4%,电广传媒跌超3%。

财经评论员张雪峰对北京商报记者提到,这一突破意味着在自然语言处理领域,特别是文本生成和理解方面,Kimi取得了重大进展,其主要技术突破包括长文本处理能力、上下文理解和训练技术三个方面。

以长文本处理能力为例,Kimi能够处理长达200万字的文本,而且在处理过程中不会出现信息丢失或失真的情况。这种能力在以往的自然语言处理模型中很难实现,因为长文本的处理需要更大的内存和更复杂的模型结构。

AGI的初心

20万到200万的变化,不止在于字数的简单累积,更在于“无损”和它们共同指向的AGI目标。

杨植麟曾解释称,通往AGI,无损的长上下文将会是一个很关键的基础技术。从Word2vec到RNN、LSTM,再到Transformer,历史上所有的模型架构演进,本质上都是在提升有效的、无损的上下文长度。

“上下文长度可能存在摩尔定律,但需要同时优化长度和无损压缩水平两个指标,才是有意义的规模化。”杨植麟说。

月之暗面曾介绍,从20万字到200万字,由于没有采用常规的渐进式提升路线,月之暗面团队遇到的技术难度也是指数级增加的。

为了达到更好的长窗口无损压缩性能,月之暗面研发和技术团队从模型预训练到对齐、推理环节均进行了原生的重新设计和开发,不走“滑动窗口”“降采样”等技术捷径,攻克了很多底层技术难点。

但字数累积的表象以及大厂相继亮出同类型产品的情况,也让“吃瓜群众”对于所谓的技术突破有些疑虑。

在接受北京商报记者采访时,伽利略资本合伙人郑譞做了一个类比,对象就是不久前火爆全球的文生视频大模型Sora。

郑譞解释称,文生视频可以看做是连续的文生图,从理论层面上,可能并不是颠覆性的突破,但是做到稳定生成长视频确实有难度,更多解决的是工程上的问题。但也不能说工程上的创新就不是创新,月之暗面无损长文本可能也是这个道理。

概括起来,从底层技术上来看,Kimi可能确实没有颠覆性的突破,更像是一个突破性技术的前序技术。

“长文本技术上需要解决上下文理解、长期记忆、复杂推理、多任务适应性以及计算效率等问题,学界其实早就有一些相应的解决方案,比如长文本处理、注意力机制优化等,但是在复杂推理和计算效率上工程难度还是很大的,各大厂也都给出了自己的方案,只不过之前大家并没有将‘长文本’当成关键词给予足够的关注度。”郑譞称。

郭涛也提到,从目前公开资料来看,Kimi的技术确实具有一定的竞争优势,但还不具备技术壁垒。长文本可能会成为大模型的下一个“卷”的领域,因为这是一个具有广泛应用前景和商业价值的研究方向。

不过在郑譞看来,月之暗面与其他人工智能企业真正的不同点,并不在于技术乃至商业化路线的差异,而在于“初心”的不同。

郑譞将杨植麟形容为一个“富有理想主义的创始人”“他的目标就是打造自己理想的AGI,而不是从落地或者务实的视角去思考当下的问题”。

商业化“肉搏”

理想化的月之暗面,也不能完全“脱俗”。Kimi爆火时,有媒体报道称,月之暗面相关负责人提到,年内将有商业化初步方案。对于具体的商业化路径以及大厂竞相加入是否会对Kimi的商业化产生影响等问题,北京商报记者联系了月之暗面,但截至发稿未收到回复。

郑譞猜测,相较于特定应用,Kimi的商业化可能类似于OpenAI,更倾向于一种通用性的商业化,例如商业化的高端接入入口用以扩展客户的应用等。

目前已有多家企业确认了与Kimi的合作。例如3月24日,万兴科技对外透露,公司旗下视频创意软件万兴喵影已率先接入Kimi,其AI写文案功能当前已采用Kimi大模型服务,万兴科技正加速旗下其他产品对Kimi的对接测试。

而对于大厂纷纷加入长文本竞争的原因,张雪峰认为,长文本处理能力是自然语言处理领域的一个重要方向,而且随着信息量的增加,对长文本处理能力的需求也越来越迫切。

张雪峰进一步补充称,Kimi的技术突破表明长文本处理已经成为可能,因此大厂纷纷投入研发长文本处理技术,以保持竞争力和领先地位。另外,长文本处理也是满足用户需求的重要途径,可以为用户提供更全面、准确的信息服务。

至于大厂的入局,是否会给月之暗面商业化造成影响,郑譞则给出了否定的回答,原因在于“虽然都在讲长文本,但大家的侧重点显然是千差万别的,而且各家所追求的愿景也有着天壤之别”。

回归“为什么是Kimi”的问题,中信建投研报提到,月之暗面打造高关注度应用Kimi Chat,一方面在于核心团队技术背景深,另一方面在于产品面向C端免费开放,注重产品运营。

据悉,月之暗面目前在招的31个岗位中,其中6个为市场、运营类岗位,包括达人运营、国内广告投放等。“目前招募更多市场、运营类人才,后续有望推动产品进一步破圈。”研报称。

北京商报记者 杨月涵

相关内容

热门资讯

飞天茅台,又涨了100块,陈华... 作者:王一行 不到四个月,飞天茅台又涨价了。 加上3月31日那次涨价,今年飞天茅台的出厂价和零售价累...
银行理财收益缩水,机构集体喊话... 【大河财立方 记者 吴海舒 杨萨】“我自己买股票都没它能亏”,某社交平台上,一位网友晒出了自己购买的...
蒙商银行行长牛冠荣拟任内蒙古自... 蒙商银行行长牛冠荣拟任内蒙古自治区党委管理领导班子企业正职 人民财讯7月25日电,内蒙古自治区党委组...
首发经济破局 激活消费新动能 在昆明顺城购物中心,占地1800平方米的蜜雪冰城旗舰店人气爆棚,门口排满了前来打卡的消费者;蜡笔小新...
原创 谁... 坐在深圳南山的写字楼里往窗外看,无人机送外卖、机器人巡逻、满街的新能源车,很多外地人第一次来都会愣一...
“硬件创新基础设施”嘉立创今日... 7月24日,深圳嘉立创科技集团股份有限公司(以下简称“嘉立创”)正式启动网上网下发行申购,申购简称为...
深化产教融合 推进数智育人 哈... 7月23日,由阿里国际人工智能人才孵化中心(以下简称“阿里国际AITIC”)主办的“智启未来·数智赋...
陈春玉够“稳”,但魔法原子还“... 今年上半年,魔法原子获得了春晚的热度,但是也受到了人事和商业化的质疑。面对外界疑问,陈春玉依靠扎实的...
实物黄金和纸黄金的交易成本如何... 在黄金投资领域,实物黄金和纸黄金是较为常见的两种投资方式,而了解它们的交易成本计算方法对于投资者来说...
这些绩优股发布拟增持计划(附股... 7月以来,上市公司密集发布拟增持计划。与此同时,德明利、广钢气体、柯力传感等多家公司还发布了承诺不减...
特斯拉一周跌没18%,马斯克自... 马斯克这周不好过——特斯拉周五跌超2%,本周累跌近18%,创2022年以来最大单周跌幅;SpaceX...
原创 世... 文|江月白 编辑|江月白 近期中东局势再度掀起波澜,也门胡塞武装突然宣布封锁红海的曼德海峡,这一举...
农业农村部:乡村消费韧性持续凸... 本报记者 刘萌 7月24日,国新办举行新闻发布会介绍2026年上半年农业农村经济运行情况。农业农村部...
一杯鲜啤引爆夏夜狂欢 如东啤酒... 扬子晚报讯(记者 郭小川 通讯员 王军)如火的夏夜,怎能少了一杯清凉爽口的鲜啤?连日来,夜色中的如东...
原创 通... 时间定了,下周油价大涨!2026年汽柴油第10次上涨在即,时间将于7月31日24时准时调价,倒计时仅...
Waymo计划独立进入两地Ro... 7 月 25 日消息,据《金融时报》报道,Alphabet 旗下自动驾驶出租车企业 Waymo 在一...
日均狂赚2.39亿!宁德时代拿... 图片来源:图虫 7月24日晚,宁德时代(300750.SZ)披露2026年半年报,报告期内,公司实现...
长鑫科技下周一上市:合肥产投集... 长鑫科技下周一上市,大股东 合肥产投 都有哪些布局? 长鑫上市,合肥产投能赚多少? 作为长鑫科技发起...
ETF市场周报 | 市场回升趋... 市场回顾: 本周(2026年7月20日-7月24日),A股市场触底反弹,前4日整体走势强劲,周五略有...
美股开盘:指数涨跌不一 ,存储... 7月24日晚间,美股三大指数开盘后涨跌不一。截至发稿,标普500指数涨0.24%,道指涨0.32%,...