来源：环球时报

【环球时报报道 记者 赵觉珵】美国知名女歌手泰勒·斯威夫特成为人工智能（AI）深度伪造的又一个受害者。近日，由AI生成的斯威夫特的虚假露骨照片在国外社交媒体平台上疯传，甚至惊动了美国白宫。由于来不及删除这些有害图片，社交平台X一度封锁了对斯威夫特的相关搜索。虽然利用AI技术制作虚假信息早已有之，但随着生成式AI在过去一年多时间内的快速发展，对视频、图片、音频进行深度造假的技术更加成熟且普遍，造假的成本也更加低廉。如何在发展、利用生成式AI的同时，有效监管和减少深度伪造产生的虚假信息，成为全球关注的一个重要议题。

深伪内容已令普通人真假难辨

2023年年初，在美国前任总统特朗普公开“预告”其可能被逮捕后，多张他在纽约街头遭警察围捕的图片在美国社交网络上疯传。图片中，特朗普被多名警察按倒在地，场面十分混乱。

尽管这些图片很快就被辟谣为AI的“作品”，但仍在一段时间内让大量不知情的网民信以为真。这让人们发现，随着AI技术的不断更迭，这些深度造假的图像正变得越来越以假乱真。

上月早些时候，中国香港特区政府专门发布了一则声明对多条以AI伪造的电视节目片段进行辟谣。在这些深度造假的短片中，特区行政长官李家超向市民推介一项投资计划，特斯拉创始人马斯克也现身其中。

从图片、音频，到复杂的视频，AI技术的进化速度超乎普通人的想象。美国《福布斯》杂志网站表示，过去，AI在生成人手方面特别困难。有时候图像上会出现缺失的、扭曲的四肢，以及多余的手指和牙齿，让人感到诡异甚至恐怖。但那已经是过去式了。中佛罗里达大学研究生院教授塞尔诺表示，AI制造出的“深度伪造”内容看起来非常真实，即使对专家来说，确定真实性也是一个挑战。

《环球时报》记者调查发现，目前已有大量工具和服务可能被用于深度造假。例如，AI图片生成工具Midjourney已经更新至V6版本，其生成的图片画面逼真、细节丰富；Deepfakes等工具则可以实现AI“换脸”；HeyGen等工具则可以让外国人摇身一变拥有“十级中文”，此类视频曾在社交媒体广泛传播。

浙江大学国际联合商学院数字经济与金融创新研究中心联席主任、研究员盘和林对《环球时报》记者表示，对于图片伪造，当前肉眼很难分辨，但如果可以放大到像素级别，部分专业人员是可以分辨真伪的。视频伪造方面，AI水平并不稳定，所以视频如果换头需要非常好的技术，单纯依靠AI很容易出现破绽，以假乱真的程度并不高。

整体而言，辨别深度造假的内容已经越来越困难。《科学》杂志网站日前报道称，一些研究显示，大多数人都无法识别深度造假内容。一项针对210名志愿者的研究发现，大多数人都相信自己能够区分深度造假视频和真实视频。“但实际上，他们的判断结果并不比扔硬币猜正反面准确多少。”另一项研究则显示，人们在识别深度造假的音频上也表现不佳。在对500多人进行的一项研究发现，人们只有大约73%的概率能够正确识别语音深度造假，但错误地将真实音频判断为深度造假的概率也一样高。

生成式AI已成“双刃剑”

从ChatGPT到层出不穷的大模型，生成式AI正在改变人们的生产与生活。但在提供便利的同时，生成式AI带来的深度造假问题也已经造成了一系列影响。

据统计，全球约一半人口所在的国家或地区将在2024年迎来领导人选举，其中包括美国、印度、印尼、墨西哥等国家。在AI技术飞速发展的当下，越来越多的政治人士和科技界人士表示，他们非常担忧在AI技术加持下假消息愈发泛滥，而且真假难辨，会严重影响选举的公平性。

据《科学》报道，在今年1月举行的新罕布什尔州2024年总统选举共和党初选前夕，一些美国选民接到过“神秘电话”，现任总统拜登似乎在电话中劝阻人们不要前去选举。事实上，声音是由AI生成的。

谷歌前首席执行官埃里克·施密特曾警告说，“2024年的选举将一团糟，因为社交媒体平台无法保护我们免受AI生成的虚假消息的侵害。”OpenAI首席执行官奥特曼则表示，“我对人工智能对未来选举产生的影响感到紧张，至少在每个人都习惯AI之前，这种影响将是巨大的。”

对不法分子而言，深度造假的内容更容易被用于诈骗等犯罪行为。去年10月，中国国家金融监督管理总局发布《关于警惕利用AI新型技术实施诈骗的风险提示》。其中介绍称，不法分子通常先以“网店客服”“营销推广”“招聘兼职”“婚恋交友”等为借口，通过微信、QQ、电话等方式联系消费者，采集发音、语句或面部信息。再利用“拟声”“换脸”等技术合成消费者虚假音频或视频、图像，以借钱、投资、紧急救助等借口诱导其亲友转账汇款，或提供银行账户密码等敏感信息，随后转移资金。

军事专家张学峰对《环球时报》记者表示，AI深伪技术在信息战、认知战领域的应用尤其值得关注。特别是一些针对国家、地区领导人的深伪视频，在特殊情况下使用，再配合其他手段，可能发挥意想不到的作用。比如西方国家在对一个国家或地区实施武装打击，导致其内部出现混乱时，释放精心策划、AI深伪生成的该国领导人讲话，号召国民放弃抵抗，或表示自己已经处于第三国，再配合对当地的网络、电视系统进行干扰，可能会导致该国国内进一步混乱，打击其士气，加速其抵抗决心的瓦解。

英国《金融时报》近日的一篇报道分析称，“如果我们看到足够多的深伪影片，我们可能也会忽视身边的谣言和暴力行为。保持怀疑是好事，但过度质疑会让最简洁明了的事实，也能在人群中掀起争议。”

“用魔法打败魔法”？

尽管生成式AI技术增添了新的挑战，但接受《环球时报》记者采访的技术专家均认为，不能“因噎废食”，拒绝继续发展相关技术。在技术进步的过程中，其本身就可以用来“对抗”深度造假行为。盘和林对《环球时报》记者表示，从技术上讲，可以通过生成式AI的逆向机制来规范管理深度造假。在AI识别AI方面，比如图像篡改检测、AIGC生成判别，这些AI技术都已经出现。此外，也有通过双向神经网络来识别的技术，比如合成图像是通过算法A到B，那么识别是否生成，则是算法从B到A的过程。这些AI识别技术非常多样，有些是从细节上去判别，逐个像素点检查，有些是根据图像特征去找瑕疵，也有通过大规模标注数据去训练AI进行分辨。

北京社科院副研究员王鹏告诉《环球时报》，一种常用的方法是通过对图像、音频和视频的元数据进行分析，以检测是否存在篡改的痕迹。此外，还可以利用机器学习算法对内容进行分析以识别出异常或不一致的地方。

除利用技术手段外，监管也被认为是必不可缺的一环。近日，中国的《生成式人工智能服务管理暂行办法》已正式施行，要求提供者应当按照《互联网信息服务深度合成管理规定》对图片、视频等生成内容进行标识。目前，国内一些主要生成式AI服务提供商生成的图片，已经明确进行了标注。

掌如研究院院长何基永对《环球时报》记者表示，既要加强技术研发，提高鉴别能力，又要制定更加细致和具有针对性的法律法规，明确违法行为及其法律责任，形成有力的治理体系。同时，要加强国际合作，共同应对这一全球性挑战。