7B大模型测试成绩超GPT-4!微软新研究解决工具调用难题 7b大模型 7b大模型硬件要求
admin
2024-03-11 13:38:31
0次


智东西
作者 徐珊
编辑 云鹏

智东西3月11日消息,近日微软和俄亥俄州立大学的研究人员发布论文,提出了一种受到生物启发的可以增强大语言模型使用工具能力的方法,即模拟试错(STE)法,并将其开源。

该方法协调了试错、想象和记忆三个关键机制。具体而言,STE通过大模型的“想象力”来模拟使用工具的一些合理场景,从而尝试适配不同的大模型,随后从新的反馈中,获得反馈不断优化。

ToolBench实验结果显示,STE在上下文学习和微调设置下显著提高了大语言模型的工具学习能力,让Mistral-Instruct-7B实现了46.7%的性能提升,使其成绩超过了GPT-4。


▲论文封面

论文PDF:https://arxiv.org/pdf/2403.04746.pdf

一、无法兼顾准确性和灵活性,大语言模型调用工具遭遇两大难题

寻找合适的工具一直以来都是训练大语言模型中关键一环。目前有关大语言模型的工具研究,主要集中在两个方面:为大语言模型增加一些新的工具,以及能够让大语言模型访问多个工具。

这些研究方向一般采用两种常见的设置:1)上下文学习(ICL),通过给预训练模型展示一些API规范以及输入-输出工具使用的示例,从而训练大语言模型在对应场景下的能力。2)大语言模型对工具使用示例进行微调。一般来说,微调可以更有效且更高效地引导大语言模型的行为。

但这两种设置在研究人员看来都有不足之处。上下文学习的方法确实能够保证大语言模型使用工具的灵活性,但是其精度却难以达到生产力水平。而微调的方法能够为大语言模型提供更高的准确性,但无法优化大语言模型本身使用工具能力。此外,如果想要优化大语言模型本身使用工具能力,还需要更高的精度,以面对法律、金融等特殊场景的需求。

同时,研究人员发现,哪怕是已经为了工具进行微调的GPT-4和开源大语言模型,在实际使用工具的过程中,也只有30%至60%的正确率。

在此背景下,研究团队探索如何让大语言模型能够提升使用已训练过工具的能力。他们从生物系统中获取灵感,设立了一个新的模拟试错法(STE),从而改善大语言模型使用工具学习的能力。

二、模拟大语言模型使用工具的过程,设记忆机制反思结果

研究团队对STE的研究分为了两个阶段:探索阶段和开发阶段。

在探索阶段中,研究团队做了一系列测试性实验:合理设想了一个用户查询相关API信息的提问;尝试实现与API交互进行查询;反馈实验结果。在训练的过程中,研究人员通过设计记忆机制来提高记忆的质量。其中,STE的短期记忆以及长期记忆将分别用于提高大语言模型使用工具学习能力的深度和广度。


▲STE训练示意图

如示意图所示,当大语言模型想要提升调用天气预报软件的API能力时,大语言模型会先想一些和设想一些有关天气的问题,然后和工具交互以完成用户查询,最后对结果进行自我反思试验。大语言模型将会利用这些短期实验记忆,不断优化相关信息的精确性,并探索API的应用范围,并且逐步形成长期记忆。最后,短期和长期的记忆都将帮助大语言模型提升使用工具的能力。

三、大语言模型使用工具能力大幅提升,Mistral-Instruct-7B性能超越GPT-4

在经过一系列实验、验证之后,研究团队总结道:STE方法对ICL和微调两种设置都有效。

研究团队先测试了在没有采用STE方法前,不同参数规模的Llama、GPT、Mistral大语言模型使用API的能力。这时,80亿的GPT-4效果最好,其API适配达到78.1%,正确率能达到60.8%。

随后,研究团队又测试了通过STE方法后,不同参数规模的大语言模型使用API的能力。在该阶段,几乎不同参数规模的大语言模型均较之前有所提升。通过微调,Mistral-Instruct-7B实现了46.7%的性能提升,其API的匹配能力,以及正确使用工具的能力均超过了GPT-4。


▲在STE训练方法下,大模型使用工具能力的成果表现

目前,研究团队已经从ToolBench显示成果中验证了该方法的有效性。并且,通过调整训练重点,大语言模型在使用工具的过程中,可以有所侧重的优化使用方法。

结语:促进应用生态,降低大模型适配成本

随着AI爆发时代的到来,越来越多的大语言模型将面临如何更好地接入不同应用的问题。我们看到微软正在通过一种测试方法,帮助工具更好的和不同的大模型适配。

同时,我们也能够看见现阶段对大语言模型的研究更加细分化,各界正在共同推动大语言模型的应用落地,为人们提供高效、精确的生产力工具。

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...