「大模型+强化学习」最新综述!港中文深圳130余篇论文:详解四条主流技术路线 「大模型 强化学习」最新综述!港中文深圳130余篇论文:详解四条主流技术路线
admin
2024-04-11 12:53:15
0次


新智元报道

编辑:LRS

【新智元导读】用大模型来辅助强化学习,可以提高模型在多任务学习、样本利用率、任务规划等复杂任务下的能力,该论文综述了LLM-enhanced RL领域的最新进展,总结了LLM-enhanced RL的主要技术框架、特性以及四种主要技术路线;并分析了未来该方向的机会与挑战。

强化学习(RL)通过与环境交互的试错反馈来优化顺序决策问题。

虽然RL在允许大量试错的复杂电子游戏环境中实现了超越人类的决策能力(例如王者荣耀,Dota 2等),但很难在包含大量自然语言和视觉图像的现实复杂应用中落地,原因包括但不限于:数据获取困难、样本利用率低、多任务学习能力差、泛化性差、稀疏奖励等。

大语言模型(LLM),通过在海量数据集上的训练,展现了超强的多任务学习、通用世界知识目标规划以及推理能力。以ChatGPT为代表的LLM已经被广泛应用到各种现实领域中,包括但不限于:机器人、医疗、教育、法律等。

在此背景下,LLM可以提高强化学习在例如多任务学习、样本利用率、任务规划等方面的能力,帮助提高强化学习在复杂应用下的学习表现,例如自然语言指令跟随、谈判、自动驾驶等。

为此,来自香港中文大学(深圳)的团队调研了130余篇大语言模型及视觉-语言模型(VLM)在辅助强化学习(LLM-enhanced RL)方面的最新研究进展,形成了该领域的综述文章一篇,目前以预印版形式上传到arXiv网站,期望能为各位研究人员和工程人员提供一定的技术参考。


论文链接:https://arxiv.org/abs/2404.00282

该综述总结了LLM-enhanced RL的主要技术框架、特性以及四种主要技术路线;并分析了未来该方向的机会与挑战。

下面针对文章主要内容概括介绍,详细内容请参阅英文综述论文。

LLM-enhanced RL 框架

LLM-enhanced RL 定义:指利用已预训练、内含知识(knowledge-inherent)的AI模型的多模态(multi-modal)信息处理、生成、推理等能力来辅助RL范式的各种方法。


主要特性(Characteristics):

1. 多模态信息理解(multi-modal information understanding)

2. 多任务学习和泛化(multi-task learning and generalization)

3. 样本利用率的提高(improved sample efficiency)

4. 长期轨迹规划能力(long-horizon handling)

5. 奖励信号生成能力(reward signal generation)

LLM的主要角色分类

1. 信息处理者(information processor):包括1)文字和视觉表征提取;2)复杂自然语言翻译。

2. 奖励设计者(reward designer):即隐式奖励模型与显式奖励模型(奖励函数代码生成)。

3. 决策者(decision-maker):包含直接决策与间接辅助决策两种。

4. 生成者(generator):即1)世界模型中的轨迹生成和2)强化学习中的策略(行为)解释生成。

LLM 作为信息处理者(LLM as Information Processor)

在富含文字和视觉信息的环境中,深度强化学习(deep RL)通常需要同时学习多模态的信息处理和决策控制策略,因此学习效率大幅下降。且不规范、多变的自然语言和视觉信息往往会对代理学习产生大量干扰。


LLM在此情况下可以(1)有效表征提取,加速下游神经网络学习;(2)自然语言翻译,将不规范、冗余复杂的自然语言指令和环境信息翻译为规范的任务语言,帮助代理过滤无效信息。

LLM 作为奖励设计者(LLM as Reward Designer)

奖励函数设计和有效奖励信号生成一直是强化学习在复杂任务或者稀疏奖励环境下的两大难题。


大模型可以通过以下两种方式缓解该问题

1.隐式奖励函数设计:利用上下文理解能力、推理能力和知识,通过任务prompt或文字-视觉对齐的方式生成奖励

2.显式奖励函数设计:通过输入环境规范信息,LLM生成可执行奖励函数代码(例如 Python 等),显式地逻辑计算奖励函数的各个部分,且可以根据评估自主修正。

LLM 作为决策者(LLM as Decision-Maker)


在决策问题中,大模型可以作为:

1. 直接决策者:Decision Transformer在离线强化学习中展现了巨大的潜力,大语言模型可视作增强版的大型预训练Transformer模型,利用本身强大的时序建模能力和自然语言理解能力解决离线强化学习的长期决策问题。

2. 间接决策者:作为一个指导者,结合预训练专家知识和任务理解能力,生成动作候选(action candidates),缩小动作选择范围;或者生成参考策略(reference policy)指导RL策略更新。

LLM 作为生成者(LLM as Generator)

在基于模型的强化学习(model-based RL)中,LLM可以作为多模态世界模型(world model),结合自身知识和建模能力来生成高质量长期轨迹或者学习世界状态转移表征。


在可解释强化学习中,大模型可以通过理解轨迹、环境与任务,根据prompt自动生成代理的自然语言行为解释,增加用户在调用、调优RL模型时的理解。

讨论(Discussion)

LLM-enhanced RL的未来潜在应用包括但不限于:

1. 机器人:利用多模态理解能力和推理能力,LLM-enhanced RL可以提升人-机器的交互效率;帮助机器人理解人类需求逻辑;提高任务决策和规划能力。

2. 自动驾驶:自动驾驶使用强化学习做复杂动态场景下的决策问题,涉及多传感器数据与道路规范、行人举止等。大模型可以帮助强化学习处理多模态信息以及设计综合奖励函数,例如安全、效率、乘客舒适度等

3. 电力系统能量管理:在能量系统中,运营者或者用户使用强化学习来高效管理多种能力的使用、转换和存储等,其中涉及高不确定性的可再生能源。大模型可以帮助设计多目标函数与提高样本利用效率。

LLM-enhanced方向的潜在机会:

1. 在强化学习方面:目前的工作都集中在通用强化学习,而针对特定强化学习分支的工作较少,包括多代理强化学习、安全强化学习、迁移强化学习和可解释强化学习等。

2. 在大模型方面:目前的工作大部分仅仅是使用prompt技术,而检索增强生成(RAG)技术和API、工具调用能力可以显著提高LLM在特定情况下的表现。

LLM-enhanced RL 的挑战:

1. 对大模型的能力依赖:大模型的能力决定了强化学习代理学习到的策略,大模型固有的偏见、幻觉等问题也会影响代理的能力。

2. 交互效率:目前大模型的计算开销较大、交互效率慢,在在线强化学习中会影响代理与环境的交互速度。

3. 道德、伦理问题:实际人-机器的应用中,大模型的道德、伦理等问题需要被认真考虑。

总结

该综述文章系统总结了大模型在辅助强化学习方面的最近研究进展,定义了LLM-enhanced RL这样一类方法,并总结了大模型在其中的四种主要角色及其方法,最后讨论了未来的潜在应用、机会与挑战,希望能给未来该方向的研究者一定启发。

1.信息处理者:大模型为强化学习代理提取观测表征和规范语言,提高样本利用效率。

2.奖励设计者:在复杂或无法量化的任务中,大模型利用知识和推理能力设计复杂奖励函数和生成奖励信号。

3.决策者:大模型直接生成动作或间接生成动作建议,提高强化学习探索效率。

4.生成者:大模型被用于:(1)作为高保真多模态世界模型减少现实世界学习成本及(2)生成代理行为的自然语言解释。

参考资料:

https://arxiv.org/abs/2404.00282

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...