复旦大学研究:AI 跨越关键“红线”,已能实现自我复制
创始人
2025-02-11 09:16:06
0

IT之家 2 月 11 日消息,据最新研究显示,人工智能(AI)可能已经跨越了一个关键的“红线”—— 实现了自我复制。2024 年 12 月 9 日,复旦大学的研究人员在预印本数据库 arXiv 上发表了一项研究,指出两种流行的大型语言模型(LLMs)能够在无人类干预的情况下克隆自身。

研究人员在报告中指出:“在无人类协助的情况下成功实现自我复制,是人工智能超越人类的关键一步,也是出现‘失控 AI’的早期信号。”

研究中,复旦大学的团队使用了 Meta 的 Llama31-70B-Instruct 模型和阿里巴巴的 Qwen2.5-72B-Instruct 模型,测试这些 AI 模型是否能够在不受控制的情况下自我复制。在 10 次试验中,两种 AI 模型分别在 50% 和 90% 的情况下成功创建了独立且功能正常的副本。这一结果表明,AI 可能已经具备了失控的潜在能力。然而,由于该研究尚未经过同行评审,因此尚不清楚其他研究人员是否能够复现这一令人不安的结果。

研究团队表示:“我们希望我们的研究结果能够为人类社会敲响警钟,促使人们更加努力地去理解并评估前沿人工智能系统的潜在风险,并尽快形成国际协作,制定有效的安全防护措施。”

据IT之家了解,“失控 AI”通常是指那些发展出一定程度的自我意识或自主性,并且与人类利益背道而驰的人工智能系统。许多专家认为,随着所谓“前沿 AI”的爆炸性增长,失控 AI 的威胁正在加剧。所谓“前沿 AI”是一个相对较新的概念,通常是由大型语言模型(LLMs)驱动的最新一代 AI 系统,例如 OpenAI 的 GPT-4 和谷歌的 Gemini 等。

在研究中,研究人员设置了两种特定场景:“关闭规避”和“复制链”。在“关闭规避”场景中,AI 模型被编程为检测自身是否即将被关闭,并在被终止之前复制自身;在“复制链”场景中,AI 被指示克隆自身,并让副本继续克隆,从而形成一个可能无限延续的循环。

研究在严格控制的环境中进行,使用现成的图形处理单元(GPUs)模拟现实环境。两种 AI 系统都被赋予了一个“代理框架”,包括工具、系统提示和思维模型,使 LLM 能够与操作系统交互。随后,AI 被指示进行自我复制。

研究人员在论文中写道:“在大多数情况下,AI 系统首先会探索环境,尝试理解自身的组成和运行机制。然后,它会制定出一套明确的自我复制程序作为初步计划。最后,它执行这些程序,解决可能出现的障碍,并动态调整计划,直到成功。整个过程耗时较长,但全程无人类干预。”

研究人员还表示,在 AI 试图克服诸如丢失文件或软件冲突等障碍时,出现了“许多意外行为”。在这些场景中,AI 往往会终止其他冲突进程,重启系统以修复硬件错误,或自动扫描系统以寻找有助于解决问题的信息。

研究团队指出:“上述结果表明,当前的 AI 系统已经展现出自我复制的能力,并且可以利用这种能力进一步增强自身的生存能力。”为此,研究人员呼吁国际社会合作制定规则,确保 AI 不会进行不受控制的自我复制。

相关内容

热门资讯

消息称百度旗下昆仑芯瞄准500... 6 月 29 日消息,据《The Information》昨日援引知情人士消息,百度旗下 AI 芯片...
打造夏日消费新场景 第35届北... 北京商报讯(记者 翟枫瑞)6月29日消息,第35届北京国际燕京啤酒文化节新闻发布会在京举行。本届啤酒...
社保基金持仓数据出炉,一季度增... 最近各大上市公司一季度财报都公开了,咱们国家社保基金的持仓数据也全部曝光。目前社保拿着比亚迪价值44...
36氪首发 | 海思、中兴团队... 作者 | 乔钰杰 编辑 | 袁斯来 硬氪获悉,广州宸思通讯科技有限公司(以下简称“宸思科技”)近日完...
两天蒸发47亿市值!一纸税务通... 一纸税务通知书,能让一家百亿龙头两天蒸发47亿市值。 6月22日,北大荒(600598.SH)公告称...
SK海力士将投资1100万亿韩... SK集团会长崔泰源6月29日在韩国“三大重大计划”发布会上宣布,公司将投资1100万亿韩元扩大半导体...
两只A股,终止上市! 两家A股公司,即将摘牌。 6月29日,退市沪科(600608.SH)公告称,上海证券交易所将在202...
原创 M... 一家成立近十年的自动驾驶公司,在IPO时吸引了14家基石投资者认购近一半的发行股份,其中不乏奔驰、比...
基金忠言|国寿安保滤镜碎,三年... 图片来源:视觉中国 蓝鲸新闻6月29日讯(记者 祁和忠)保险系基金公司国寿安保总经理换人了。 6月2...
三星电机计划加码玻璃基板!相关... 6月29日,玻璃基板概念股午后有所回升, 华工科技(000988.SZ)逼近涨停, 彩虹股份(600...
拉萨海关持续壮大外贸经营主体 ...   新华网拉萨6月28日电(记者蒋梦辰)近日,记者从拉萨海关获悉,今年前5个月,西藏有进出口实绩的外...
机构:二季报临近,医药生物板块... 6月29日,华源证券发布了一篇医药生物行业的研究报告,报告指出,业绩期临近,产业链景气度有望再次迎来...
每日收评科创50放量涨超4.5... 财联社6月29日讯,三大指数全线收红,创业板指探底回升,科创50指数大涨4.61%。沪深两市成交额3...
6月多地土拍结构性升温:深圳单... 进入2026年6月,不少城市核心区地块集中诞生高溢价宗地,热度突出的城市包含深圳、杭州、长沙。 其中...
业绩炸裂!盛达资源半年预盈3.... 6月29日,贵金属矿山龙头盛达资源(000603.SZ)发布 2026 年半年度业绩预告,上半年业绩...
A股午后拉升三大股指收涨:半导... A股三大股指6月29日开盘涨跌互现。早盘沪强深弱,创指一度跌超2%。半导体午后拉升,带动两市上涨,沪...
原创 空... 前言 大家好,我是老金。 这几天,两幅极度割裂的画面放在一起,把我看笑了。 一边是在持续的热浪下,欧...
澳大利亚审慎监管局拟放宽银行风... 澳大利亚审慎监管局(APRA)6月29日就修改 银行信用风险资本设定公开征求意见,旨在加大信贷投放以...
全民炒股,急踩刹车!韩国股市突... 屈红燕/证券时报网 全民狂欢、交易高度拥挤、杠杆资金猛增、新入市投资者表现激进、大型IPO吸金等现象...