图片来源：图虫创意

3月18日，消息称数十位AI领域的中外专家在北京联合签署了《北京AI安全国际共识》（以下简称共识），参会者包括图灵奖得主Yoshua Bengio、Geoffrey Hinton、姚期智。此协议由智源研究院发起，致力于治理AI安全，提出防止AI自主复制、寻求权力、协助不良行为、欺骗人类。

据腾讯科技报道，关于人工智能的自我复制，共识要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身，包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。

"权力寻求"则明确要求任何人工智能系统不能采取不当增加自身权力和影响力的行动。

"协助不良行为者"则是指所有人工智能系统都不应辅助提升其使用者的能力，使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。

关于"欺骗"的描述，共识要求任何人工智能系统都不能有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。

美国硅谷AI创业公司Anthropic于今年3月4日发布的Claude 3大模型具有调度子代理工具（sub agent）的能力，能自行建立多个子模型代理（相当于Claude 3自身的多个版本），Claude3给这些子模型写提示词，指挥几个代理平行进行多个任务的运算。

关于Claude3的子代理功能是否算AI的自我复制，中科院信息安全研究所博士林子晋向蓝鲸财经表示，Claude 3复制的代理agent不算复杂的智能体，《北京AI安全国际共识》里提到的AI自我复制，指的应该是更复杂的、能决策、能执行命令的智能体的自我复制，"Claude 3没有办法把它本身的源代码写出来，让你能把它自己复制一遍。简单来说，你没有办法让Claude 3再写出一个Claude 3。"

关于此共识在法律上的约束力，林子晋表示，首先这只是少数的科学家们的内部共识，参会名单上主要人员都来自于大学或者研究机构，而现在应用最广泛的AI大多是商业公司做出来的，法律上的AI安全治理往往落后于商业实践。

此次会议中有多位国际上重量级的AI研究学者，被称为"计算机界的诺贝尔奖"的图灵奖得主就有三位：Yoshua Bengio、Geoffrey Hinton、姚期智。其中Bengio、Hinton和杨立昆一起在2018年获得图灵奖，此三人有时被称为"人工智能教父"和"深度学习教父"。姚期智是目前唯一一位获得图灵奖的华人，1998年当选美国国家科学院院士，2017年由中国科学院外籍院士转为中国科学院院士。

此次《北京AI安全国际共识》的发起机构——智源研究院具有深厚的官方和学术背景。智源研究院成立于2018年，受科技部和北京市委市政府的指导和支持，是依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等公司共建的新型研究机构。

早在2019年5月，智源研究院已经联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所等，共同发布了第一版《人工智能北京共识》，提出人工智能的研发、使用、治理，应该遵循有益于人类命运共同体构建和社会发展的15条原则。

作为非商业、非盈利的研究机构，智源研究院在大模型研发上走的是开源之路。其在2023年10月发布的悟道·天鹰（Aquila）34B 有340亿参数，是开源界最强的中英双语大模型，并在《我的世界》游戏场景中验证了模型的泛化能力。据量子位报道，智源研究院早在2021年就把全球最大语料库公开，2022年最早前瞻布局FlagOpen大模型技术开源体系，连续推出了FlagEval评测体系、COIG数据集、BGE向量模型等全技术栈明星项目。

在领导团队方面，智源研究院的理事长张宏江是国际上的人工智能专家，于1995年加入美国硅谷的惠普实验室，2003年创立了微软亚洲工程院，2011年出任金山软件首席执行官，2022年当选为美国国家工程院外籍院士。

今年2月，智源研究院宣布院长交接，前快手技术副总裁王仲远博士接任智源研究院院长，全面负责研究院各项工作，接替黄铁军。

智源研究院在国际合作交流方面经验丰富。2022年，智源研究院与英国图灵研究所在英国驻华大使馆支持下举行了"中英人工智能赋能环境、气候与可持续发展"联合研讨会。

在AI安全治理方面，国际上早有呼声。位于美国波士顿的非营利组织生命未来研究所，曾在2023 年 3 月发表了一封题为《暂停巨型人工智能实验》的公开信，呼吁研究人员暂停六个月研发任何"比 GPT-4 更强大"的人工智能系统，并利用这段时间建立一个确保安全的框架；如果做不到这一点，政府将介入并暂停。

这封公开信得到了包括特斯拉CEO马斯克在内的多位业界知名人士联署，但效果非常有限，在此后的一年里，全球AI界的发展仍可称得上狂飙突进。

以下为参与《北京AI安全国际共识》联署的部分中外专家名单｜抬头由腾讯科技整理

Yoshua Bengio，加拿大蒙特利尔大学教授，图灵奖得主

Geoffrey Hinton，加拿多伦多大学教授，图灵奖得主

Stuart Russell，英国计算机科学家，加州大学教授

Robert Trager，牛津大学马丁人工智能治理计划的联合主任

Toby Ord，牛津大学高级研究员，澳大利亚哲学家

Dawn Song，美籍华人计算机科学家，麦克阿瑟奖得主

Gillian Hadfield，多伦多大学法学院教授

Jade Leung，英国AI安全研究所CTO

Max Tegmark，生命未来研究所创始人

Lam Kwok Yan，南洋理工大学副校长

Davidad Dalrymple，英国ARIA项目总监

Dylan Hadfield-Menell，MIT助理教授

姚期智，中国计算机科学家，图灵奖得主

张宏江，中国计算机科学家，智源研究院学术顾问委员会主任

张亚勤，清华大学智能产业研究院院长

傅莹，清华人工智能国际治理研究院名誉院长

薛澜，清华大学苏世民书院院长

黄铁军，智源研究院理事长，北京大学计算机学院教授

王仲远，智源研究院院长

杨耀东，北京大学人工智能研究院助理教授

曾毅，中国科学院自动化研究所研究员、智能伦理与治理中心主任