经济观察报 任晓宁 周应梅 实习生 陶思羽一位包头老板被AI换脸诈骗430万元的消息，瞬间传遍了整个朋友圈。而三天之后，安徽警方公布了另一起AI换脸导致的诈骗案，涉案金额同样高达百万元。

这种利用AI技术的新型犯罪也很快引发了监管关注。中国互联网协会5月24日在官微发文称，ChatGPT和GPT-4等技术的应用，成为了信息科技领域的热点，引起公众对AI技术的广泛关注和热情。但伴随着深度合成技术的开放开源，深度合成产品和服务逐渐增多，利用AI换脸AI换声等虚假音视频，进行诈骗、诽谤的违法行为屡见不鲜。并提醒面对利用AI技术的新型骗局，广大公众需提高警惕，加强防范。

AI换脸技术并非直到近期才成熟；早在2019年起就风靡全球，2019年换脸技术DeepFake一出现便引发了巨大伦理和法律争议，但彼时的技术已经证明，一键换脸起码从技术上来看，并不存在什么门槛可言。

不过，技术的细节迭代还是发生了。比如相比此前肉眼能够比较轻松识别、在生成式AI技术浪潮爆发的当下，AI换脸正在越来越变得毫无痕迹。

创新工场AI子公司、港股上市公司创新奇智CTO张发恩告诉，随着AI技术发展越来越快，研究越来越深，AI换脸、换声音，破绽会越来越小。技术是好的，但有时候会被不法分子利用。张发恩也是宁波诺丁汉大学客座教授，曾任百度智能云事业部首席架构师和技术委员会主席。

技术与防守

现在已经到了大规模、集中化讨论AI风险的关键时刻。接受采访时，清华大学教授、博士生导师沈阳提出警示。他研究AI和大数据已有十多年时间。

沈阳今年也在做大模型平台，他了解技术进步的速度，也知道大众面对新技术的无措。他承认，AI技术有很正向的应用价值，但其坏的一面也应该重视。

根据沈阳的判断，AI换脸等引发的问题，会让我们经历一段混乱阶段，这对当前社会的整体反应提出了高要求。并且，这种混乱还将蔓延相当长时间。

会比互联网或移动互联网早期的混乱期更长。毕竟互联网和移动互联网，都还是工具，但AI可能是自我觉醒的新物种，它是真的能挑战人类的存在。沈阳说。

国外ChatGPT产品已经向大众开放，暴露的风险更多。据了解，目前OpenAI已经选择暂停研发GPT-5，暂停时长6个月。麻省理工学院人工智能与基础交互中心物理学教授、未来生命研究所所长Anthony Aguirre称，GPT的军备竞赛是不幸的，这更像是一场自杀竞赛。我们面临着不负责任的企业、广泛应用、监管缺失和大量未知因素引发的完美风暴。

一览科技联合创始人兼CTO陈锡言告诉，能否识别哪些是AI生成的内容，会在未来成为人类基本生存技能。因为这些能力是不可或缺的。

当人类已经很难用肉眼识别出AI合成痕迹，进而可能被AI诈骗时，有些人想到一个办法，用AI技术打败AI技术。

独到科技CEO张文浩觉得，AI安全是当下一个好赛道，最近出现了大量专门针对AI安全的公司，创业方向是识别AI合成图片、视频的痕迹，以及辨别伪造声音。

陈锡言对此也很感兴趣。他说，虽然自己从事AI视频行业，现在能一眼识别出某个视频是否由AI合成，但如果有类似产品出现，他也愿意购买。毕竟，技术会发展到什么程度，很难预料。

统计的近3个月获得投资的AI公司中，安全公司有2家，分别是齐治科技、云科安信。

一位大模型公司技术人员告诉，AI安全是学界中的一个很重要的研究领域，上升为工程产品后，整个大模型的业界都在讨论这个问题。

不过，AI是否能真的识破AI，目前仍有争议。

沈阳告诉，现在国外有一些AI安全技术雏形，可以自动检测某个图片或视频是否为AI合成，但当前技术还不是太成熟。

技术难点在于，AI生成的数据量太大，检测的算力跟不上。并且，很多AI内容都经历了多次合成。如果只经历一次合成，还相对好识别。若是多次合成，当前的技术很可能就找不到合成特征了。

张发恩对此更不乐观。他直截了当的说，用AI识破AI，是个伪命题。有一种人工智能模型训练方式叫生成辨别对抗训练，在这种训练方式下，有两个AI模型，一个是造假模型，一个是辨别模型。同时训练这两个模型，当造假模型产出的内容越来越逼真，辨别模型就无法辨别真假。基于这种逻辑，我们无法依靠AI来揭穿AI。

他觉得，还是需要人们自身提高防范意识，大众也应该多接受知识普及，至少要知道技术已经发展到哪个地步了，自己多警觉一些。

沈阳补充说，防范AI风险还需要AI生成平台，以及社交传播渠道的配合。比如AI换脸，或是换声时，内容生成平台应该自动打码，标注其是由AI合成，以起到提醒作用。

陈锡言也赞成这一点，他认为一项AI内容诞生后，人们应该是被告知的，这比较符合价值观和伦理。此外，传播渠道也有自己的责任，一旦发现某个账号涉嫌诈骗，应该及时封控账号。

选择与进退

事实上，AI换脸的风险不止于诈骗。也被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中，其中法律风险和侵权纠纷已经出现。

天眼查显示，上海鱼腥草信息科技有限公司就因旗下一款AI换脸APP而遭多位网红博主起诉，法院判决该公司公开道歉，并赔偿经济损失。今年3月，一名女性搭乘地铁时的照片被人用AI软件一键脱衣，遭到恶意传播。

张文浩告诉，近期AI换脸问题频发的根本原因是，多个AI大模型开源，开发工具非常多，使用门槛极速降低。恶意使用者用开发工具生成AI内容，也很简单直接。在技术上已经到了这样的程度了。张文浩是清华大学人工智能博士，对基础模型、图像视觉等领域有多年研究。

目前，互联网大厂或是正规企业没有做面向C端的AI产品，但这也给了灰色地带以机会。

派拓网络大中华区售前总经理董春涛发现，包括AI换脸在内的AI攻击之所以会愈演愈烈，和网络犯罪门槛逐渐降低是分不开的。暗网中的一些攻击工具可以很低廉——甚至不到10美元，而且还出现了软件即服务模式和ChatGPT等AI工具，给初级和业余黑客大开方便之门。董春涛有多年网络安全背景，派拓网络是一家关注AI生成内容工具对网络安全的影响的公司。

派拓网络数据显示，从2022年11月至2023年4月初，ChatGPT相关域名注册量每月暴涨910%。期间，团队从DNS安全日志中发现相关抢注域名的盗用增长高达17818%。

图灵三巨头之一、蒙特利尔大学的教授Yoshua Bengio此前就预警了这种风险。他在解释自己为什么签名赞成暂停超强AI研发时说，自从ChatGPT发布以来，大家发现不那么谨慎守规矩的玩家会有竞争优势，如果是这样的话，通过降低谨慎和道德监督的水平，就更容易出头。

AI孙燕姿爆火后，一位互联网大厂人士告诉，他们公司内部其实早就有类似产品，并且能生成比网络上效果更好，可以媲美歌手在录音棚录制效果的歌曲，但担心版权风险以及不可控的其他风险，一直没有面向C端用户推出。