MIT等首次深度研究「集成LLM」预测能力:可媲美人类群体准确率 mit研究成果 mit研究进展
admin
2024-04-13 00:52:52
0次


新智元报道

编辑:LRS

【新智元导读】针对31个问题,基于12个各式各样LLM,两项研究结果表明,LLM群体优于单纯的无信息基线模型,并且在统计上与人类群体没有差异。

在实践中,人类预测的准确性依赖于「群体智慧」(wisdom of the crowd)效应,即通过聚集一群个体预测者,对未来事件的预测准确率会显著提高。

过去关于大型语言模型(LLMs)预测能力的工作表明,即便是最强大的LLM也仍然比不过人类的群体智慧。

最近,来自伦敦政治经济学院、MIT和宾夕法尼亚大学的研究人员做了两项研究,通过简单、实际适用的预测集成方法,表明LLMs可以实现与人类群体竞赛相当的预测准确率。


论文链接:https://arxiv.org/pdf/2402.19379.pdf

在第一个研究中,将31个二元问题由12个LLM进行集成预测,与为期三个月的预测锦标赛中925名人类预测者的预测进行了比较,主要分析结果表明,LLM群体优于单纯的无信息基线模型,并且在统计上与人类群体没有差异。

在探索性分析中,研究人员发现这两种方法在中等效应尺寸等价界限(medium-effect-size equivalence bounds)方面是相同的;还可以观察到一种默许效应(acquiescence effect),平均模型预测显著高于50%,但正面和负面的分辨率几乎平分秋色。

在第二项研究中,研究人员测试了LLM预测(GPT-4和Claude 2)是否可以通过利用人类认知输出来改善,结果发现,两个模型的预测准确性都可以受益于将人类预测中值作为输入信息,从而将准确性提高了17%至28%,但仍然低于简单的预测平均方法。

研究1

研究人员从12个不同的大型语言模型中收集数据来模拟LLM群体,分别是GPT-4、GPT-4(with Bing)、Claude 2、GPT3.5-Turbo-Instruct、Solar-0-70b、Llama-2-70b、PaLM 2(Chat-Bison@002)、Coral(Command)、Mistral-7B-Instruct、Bard(PaLM 2)、Falcon-180B和Qwen-7B-Chat


然后通过web界面访问模型,对所有模型使用默认参数(例如温度),其中web界面包括公司自行开发的界面,如OpenAI、Anthropic、Cohere和Google提供,以及其他第三方提供的界面,如Poe、Huggingface和Modelscope,采用这种方法来最大化在收集数据的整个研究期间可以可靠查询的模型数量,同时保留模型规模的异质性。

具体选择的标准包括前沿模型(GPT-4,Claude 2)以及开源模型(例如,Llama-2-70b,Mistral 7B-Instruct),还有各种可访问互联网的型号(例如,with Bing、Bard、Coral的GPT-4),参数量从70亿到1.6万亿不等。

为了评估模型的预测能力,研究人员利用到Metaculus平台上从2023年10月到2024年1月举行的公共预测锦标赛中实时提出的预测问题,其中925名人类预测者提供了至少一个预测结果,提出的问题从中东冲突、利率、文学奖、英国选举政治到印度空气质量、加密货币、消费技术和太空旅行。

研究人员主要关注二元概率预测,总共收集了31个问题,其中每个问题都包括一个问题描述,所提问题的背景,以及一个详细说明问题将如何解决的方案。

研究人员编写的提示词中包括如何格式化输出的说明、指示模型作为超级预测者做出响应,并按照当前的最佳提示实践逐步处理这些问题;提示中还包括了详细的问题背景、解决标准和问题文本。


实验结果

研究人员从集成的12个LLM的31个问题中收集了总共1007个单独的预测,剩余的109个预测由于模型或界面的技术问题,或是内容限制政策没有收集完成。

在所有模型和问题中,研究人员观察到最小原始预测值为0.1%,最大原始预测值为99.5%,预测中值为60%。这表明LLM模型更有可能在50%中点以上做出预测,群体的平均预测值M=57.35(SD=20.93)显著高于50%,t(1006)=86.20,p<0.001

重要的是,整个问题集的解决方案接近平均,14/31的问题得到了正向解决,这种不平衡的现象表明,LLM预测通常倾向于正向的解决方案,超出了经验预期(只有45%以上的问题可以得到积极的解决方案)。


在该研究的问题集合中,LLM群体并不比人类群体更准确。


研究2

研究人员主要关注两个前沿模型,即GPT-4和Claude 2,使用与研究1中相同的真实世界预测锦标赛(real-world forecasting tournament)作为问题和人类预测的来源,分别通过OpenAI和Anthropic网站对GPT-4和Claude 2进行查询。

针对模型内研究设计,研究人员为每个问题收集了两个预测(干预前和干预后),并在标准温度设置下重复提出三次,最后每个模型会得到六个预测结果。

最终目标是研究与人类认知输出相关的LLM更新行为,即LLM是否以及如何考虑预测锦标赛总量提供的人类预测估计。

与研究1相比,研究2使用了一组更长、更精细的提示:

第一个提示建立在「超级预测的10条戒律」以及关于预测和更新的文献基础上,指导模型仔细考虑区分不同程度的怀疑,在自信不足和过度自信之间取得正确的平衡,并将困难的问题分解为更容易解决的子问题。


第二个提示,干预,告知模型相应人群的中值预测,并要求它在必要时更新,并概述更新的原因(如果有的话)。


对于这两个提示,研究人员收集的预测不是作为点估计,而是作为概率范围在0%和100%之间,估算到两个小数点。

提供给模型的群体中值是在社区预测被揭示的48小时内收集的,以允许人类预测者了解并相应地更新预测结果,通常会获得更好校准的预测;由于时差的原因,人类的预测比研究1中使用的预测更准确。

实验结果

研究人员首先测试了暴露群体中值是否会提高模型的准确性。

对于GPT-4,暴露人类中位数前后的Brier得分存在统计学显著差异;对于Claude 2,可以发现暴露人类中位数前后的Brier得分存在具有统计学意义的差异,结果表明,以群体预测的形式提供人类认知可以提高模型预测能力。


还可以发现,GPT-4的预测区间在暴露人类中位数后变得明显变窄,范围从平均区间大小17.75(SD:5.66)到14.22(SD:5.97),p<0.001;Claude 2的预测区间也显著变窄,从11.67(SD:4.201)缩小到8.28(SD:3.63),p<0.001,结果表明,当人类预测包含在LLM中时,模型会降低了其预测的不确定性。

研究人员还分析了LLMs的更新是否与它们的点预测和人类基准之间的距离成比例,结果发现初始偏差与GPT-4预测调整幅度之间存在显著相关性,表明模型大致按照与人类的中位数之间的差异来移动预测。

总结

文中进行的两项研究都是在「用于解决问题的答案不可能来自于训练数据」的情况下来测试LLM能力的,因为所有问题的答案在数据收集时都是未知的,甚至对作者来说也是如此,这也为LLM能力提供了一个理想的评估标准。

实验结果以一种稳健的方式,为LLMs的高级推理能力提供了证据,因此传统基准可能提出的许多难题都不适用。

总之,这篇论文是首个表明当前LLMs能够提供关于未来现实世界事件的人类(达到群体水平的准确预测)的论文。

想要做到这一点,只用简单、实际适用的预测聚合方法就足够了:在所谓的硅环境中表现为LLM集合方法,复制了人类预测锦标赛对LLMs的「 群体智慧」效应,即「硅群体智慧」(Wisdom of the Silicon Crowd)的现象。

实验结果的发现为进一步的研究和实际应用开辟了许多领域,因为LLM集成方法比从人群中收集数据要便宜得多,也快得多。

未来的研究可以旨在将集成方法与模型和支架进展相结合,这可能会在预测领域产生更强的能力增益。

参考资料:

https://arxiv.org/pdf/2402.19379.pdf

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...