林达华谈大模型发展之路:未来会有更高效的模型结构出现 林达华谈大模型发展之路:未来会有更高效的模型结构出现
admin
2024-03-24 17:27:28
0次

·大模型的上下文长度快速增长,超长上下文解锁新应用,但推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。


上海人工智能实验室领军科学家林达华。

过去一年,人工智能领域风起云涌,模型架构、训练数据、多模态、超长上下文、智能体发展突飞猛进。大模型的技术演进路在何方?

3月24日,在2024全球开发者先锋大会的大模型前沿论坛上,上海人工智能实验室领军科学家林达华分享了对大模型的思考。他表示,大规模生产高质量数据是大模型研发机构的竞争力所在。当前主流的大模型无一例外都建立在Transformer架构堆叠的基础上,但产业界和学术界在不断探索更加高效的架构,随着验证逐渐成功,未来它们会慢慢进入产业界,带来模型架构新的黄金期。

林达华表示,在大模型时代,技术演进有两股主要的驱动力量,一方面是研究人员对通用人工智能的追求和对尺度定律(Scaling Law)的信仰,从而不断突破边界,寻求接近通用人工智能的道路。另一方面,产业界也看到了大模型带来产业革命的可能性,无数企业投入了巨大资源。两股力量交织,促成了人工智能行业的迅猛发展。过去一年,人工智能领域所取得的技术突破远远超过了过去十年甚至几十年的突破和进展。

在模型架构方面,当前主流的大模型无一例外都建立在Transformer架构堆叠的基础上,但林达华表示,这种架构的问题是对计算资源的消耗特别大,反观人脑的效率远高于主流大模型架构。人脑有大约100万亿个神经连接,远远超过现有大模型体量,但人脑的运行功率只有20瓦,而千亿参数模型的推理功率是它的百倍以上,处理的信息也更单一。

过去一年,产业界和学术界在不断探索更加高效的架构,其中MoE是宏观结构稀疏化的一种简单形态,经过良好训练的MoE可取得比同等激活参数量的稠密模型更好的性能。“但这仅仅是一个起点,未来还会有更加高效的稀疏模型结构出现。”林达华表示,这些架构现在还停留在学术研究阶段,但随着验证的逐渐成功,它们会慢慢进入产业界,从而带来模型架构新的黄金时期。

在训练数据方面,最初训练数据并不被认为是大模型训练最重要的要素。2022年,DeepMind的研究报告提到,模型的数据量要跟参数量同步增长,才能训练出最佳模式。“从那时候起,人们开始关注模型的数据。”林达华表示,去年一年,大模型的参数体量没有呈现指数级的增长速度,但无论是开源模型还是闭源模型,数据量增长了近一个数量级。

到去年中期,大家慢慢观察到数据质量扮演了越来越重要的角色,高质量数据对模型能力和模型天花板有重要的正面意义,“大规模生产高质量的数据是一个开放性的问题,也是大模型研发机构的竞争力所在。”林达华表示,好的数据要有多样性,单一数据对模型性能具有破坏性影响,“10%的带有重复模式的数据注入到训练集里,有可能会使得模型降级到原来1/2的体量。”

在多模态方面,多模态融合将成为重要技术趋势,但技术探索仍在路上。相比语言,多模态模型的训练多了一个重要维度,即图像和视频的分辨率对多模态模型最终的性能表现有重要影响。如果使用非常高的分辨率进行多模态的训练和推理,模型能够得到巨大提升,但高分辨率会带来高计算成本。“如何在高分辨率和合理计算成本之间取得最佳平衡,这为架构研究带来了很大的创新空间。”

在上下文方面,上下文长度快速增长。去年上半年,上下文基本处于4K水平。GBT-4突破到32K,今年3月,支持1M或更长上下文的模型出现。超长上下文解锁新应用,2K的上下文只能从事简单的聊天和短文分析;32K可以长时间对话,完成长文分析;上下文支持能力突破到1M时,就能阅读长篇小说,实现项目级的代码分析和构建。但超长上下文的推理计算代价高昂,上下文本身对于信息不会进行压缩,不能直接捕捉其中的深层知识和规律。

在智能体方面,随着GPT-4的突破,智能体在去年成为领域内的一个关注方向。林达华表示,智能体并不是一个简单的流程化过程,它需要建立在一个非常坚实的基础模型上,具有很强的指令跟随能力、理解能力、反思能力和执行能力。

在计算环境方面,林达华表示,芯片进入到后摩尔定律时代,未来算力会变成体量的拓展,越来越多的芯片连接在一起,建成越来越大的计算中心,支撑对通用人工智能的追求。最终瓶颈不再是芯片,而是能源。现在,小规格的大语言模型已具备较强性能水平和实用可能性,优秀的模型越做越小,可以进入到手机直接运行。林达华表示,端侧算力快速增长,端侧即将迎来黄金增长期,云端协同将成为未来重要趋势。

2024全球开发者先锋大会大模型前沿论坛由全球开发者先锋大会组委会指导,上海人工智能实验室及上海市人工智能行业协会共同主办。首届书生·浦源大模型挑战赛(春季赛)于现场揭晓比赛结果,同时启动2024浦源大模型系列挑战赛(夏季赛)。

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...