顶级中外AI专家在北京联署要求治理AI安全,但未有业界重要公司参与 顶级中外AI专家在北京联署要求治理AI安全,但未有业界重要公司参与
admin
2024-03-19 10:18:47
0次


图片来源:图虫创意

3月18日,消息称数十位AI领域的中外专家在北京联合签署了《北京AI安全国际共识》(以下简称共识),参会者包括图灵奖得主Yoshua Bengio、Geoffrey Hinton、姚期智。此协议由智源研究院发起,致力于治理AI安全,提出防止AI自主复制、寻求权力、协助不良行为、欺骗人类。

据腾讯科技报道,关于人工智能的自我复制,共识要求任何人工智能系统都不应在人类没有明确批准和协助的情况下复制或改进自身,包括制作自身的精确副本以及创造具有相似或更高能力的新人工智能系统。

"权力寻求"则明确要求任何人工智能系统不能采取不当增加自身权力和影响力的行动。

"协助不良行为者"则是指所有人工智能系统都不应辅助提升其使用者的能力,使之能够达到设计大规模杀伤性武器、违反生物或化学武器公约或执行导致严重财务损失或同等伤害的网络攻击领域专家的水平。

关于"欺骗"的描述,共识要求任何人工智能系统都不能有持续引导其设计者或监管者误解其僭越任何前述红线的可能性。

美国硅谷AI创业公司Anthropic于今年3月4日发布的Claude 3大模型具有调度子代理工具(sub agent)的能力,能自行建立多个子模型代理(相当于Claude 3自身的多个版本),Claude3给这些子模型写提示词,指挥几个代理平行进行多个任务的运算。

关于Claude3的子代理功能是否算AI的自我复制,中科院信息安全研究所博士林子晋向蓝鲸财经表示,Claude 3复制的代理agent不算复杂的智能体,《北京AI安全国际共识》里提到的AI自我复制,指的应该是更复杂的、能决策、能执行命令的智能体的自我复制,"Claude 3没有办法把它本身的源代码写出来,让你能把它自己复制一遍。简单来说,你没有办法让Claude 3再写出一个Claude 3。"

关于此共识在法律上的约束力,林子晋表示,首先这只是少数的科学家们的内部共识,参会名单上主要人员都来自于大学或者研究机构,而现在应用最广泛的AI大多是商业公司做出来的,法律上的AI安全治理往往落后于商业实践。

此次会议中有多位国际上重量级的AI研究学者,被称为"计算机界的诺贝尔奖"的图灵奖得主就有三位:Yoshua Bengio、Geoffrey Hinton、姚期智。其中Bengio、Hinton和杨立昆一起在2018年获得图灵奖,此三人有时被称为"人工智能教父"和"深度学习教父"。姚期智是目前唯一一位获得图灵奖的华人,1998年当选美国国家科学院院士,2017年由中国科学院外籍院士转为中国科学院院士。

此次《北京AI安全国际共识》的发起机构——智源研究院具有深厚的官方和学术背景。智源研究院成立于2018年,受科技部和北京市委市政府的指导和支持,是依托北京大学、清华大学、中国科学院、百度、小米、字节跳动、美团点评、旷视科技等公司共建的新型研究机构。

早在2019年5月,智源研究院已经联合北京大学、清华大学、中国科学院自动化研究所、中国科学院计算技术研究所等,共同发布了第一版《人工智能北京共识》,提出人工智能的研发、使用、治理,应该遵循有益于人类命运共同体构建和社会发展的15条原则。

作为非商业、非盈利的研究机构,智源研究院在大模型研发上走的是开源之路。其在2023年10月发布的悟道·天鹰(Aquila)34B 有340亿参数,是开源界最强的中英双语大模型,并在《我的世界》游戏场景中验证了模型的泛化能力。据量子位报道,智源研究院早在2021年就把全球最大语料库公开,2022年最早前瞻布局FlagOpen大模型技术开源体系,连续推出了FlagEval评测体系、COIG数据集、BGE向量模型等全技术栈明星项目。

在领导团队方面,智源研究院的理事长张宏江是国际上的人工智能专家,于1995年加入美国硅谷的惠普实验室,2003年创立了微软亚洲工程院,2011年出任金山软件首席执行官,2022年当选为美国国家工程院外籍院士。

今年2月,智源研究院宣布院长交接,前快手技术副总裁王仲远博士接任智源研究院院长,全面负责研究院各项工作,接替黄铁军。

智源研究院在国际合作交流方面经验丰富。2022年,智源研究院与英国图灵研究所在英国驻华大使馆支持下举行了"中英人工智能赋能环境、气候与可持续发展"联合研讨会。

在AI安全治理方面,国际上早有呼声。位于美国波士顿的非营利组织生命未来研究所,曾在2023 年 3 月发表了一封题为《暂停巨型人工智能实验》的公开信,呼吁研究人员暂停六个月研发任何"比 GPT-4 更强大"的人工智能系统,并利用这段时间建立一个确保安全的框架;如果做不到这一点,政府将介入并暂停。

这封公开信得到了包括特斯拉CEO马斯克在内的多位业界知名人士联署,但效果非常有限,在此后的一年里,全球AI界的发展仍可称得上狂飙突进。

以下为参与《北京AI安全国际共识》联署的部分中外专家名单|抬头由腾讯科技整理

Yoshua Bengio,加拿大蒙特利尔大学教授,图灵奖得主

Geoffrey Hinton,加拿多伦多大学教授,图灵奖得主

Stuart Russell,英国计算机科学家,加州大学教授

Robert Trager,牛津大学马丁人工智能治理计划的联合主任

Toby Ord,牛津大学高级研究员,澳大利亚哲学家

Dawn Song,美籍华人计算机科学家,麦克阿瑟奖得主

Gillian Hadfield,多伦多大学法学院教授

Jade Leung,英国AI安全研究所CTO

Max Tegmark,生命未来研究所创始人

Lam Kwok Yan,南洋理工大学副校长

Davidad Dalrymple,英国ARIA项目总监

Dylan Hadfield-Menell,MIT助理教授

姚期智,中国计算机科学家,图灵奖得主

张宏江,中国计算机科学家,智源研究院学术顾问委员会主任

张亚勤,清华大学智能产业研究院院长

傅莹,清华人工智能国际治理研究院名誉院长

薛澜,清华大学苏世民书院院长

黄铁军,智源研究院理事长,北京大学计算机学院教授

王仲远,智源研究院院长

杨耀东,北京大学人工智能研究院助理教授

曾毅,中国科学院自动化研究所研究员、智能伦理与治理中心主任

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...