网聊10分钟被骗430万，AI换脸拟声骗术正入侵我们生活

话题“AI 诈骗正在爆发”冲上微博热搜，引发热议。

钛媒体App 5月23日消息，近日，内蒙古自治区包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件，骗子通过智能AI换脸和拟声技术，佯装好友对福州市某科技公司法人代表郭先生实施了诈骗，10分钟内被骗了430万元。

5月8日，包头市公安局电信网络犯罪侦查局发布一起使用智能AI技术进行电信诈骗的案件，警银联动成功紧急止付涉嫌电信诈骗资金330多万元。

事件从4月20日说起。

据平安包头公众号所述，20日中午，郭先生的好友突然通过微信视频联系他，自己的朋友在外地竞标，需要430万保证金，且需要公对公账户过账，想要借郭先生公司的账户走账。基于对好友的信任，加上已经视频聊天核实了身份，郭先生没有核实钱款是否到账，就分两笔把430万转到了好友朋友的银行卡上。郭先生拨打好友电话，才知道被骗。

骗子通过智能AI换脸和拟声技术，佯装好友对他实施了诈骗。“从头到尾都没有和我提借钱的事情，就说会先把钱给我打过来，再让我给他朋友账户转过去，而且当时是给我打了视频的，我在视频中也确认了面孔和声音，所以才放松了戒备”，郭先生说。

幸运的是，接到报警后，福州、包头两地警银迅速启动止付机制，在银行的全力协助下，仅用时10分钟，成功止付拦截336.84万元，但仍有93.16万元被转移，目前福建警方与包头警方对此资金正在全力追缴当中。

这不只是个案，最近一段时间国内外都出现了 AI 诈骗案例，用户损失惨重。

随着ChatGPT风靡全球，生成式 AI 有望取代更多人类工作，在文字创作、AI绘画、AI翻译、AI客服等方面替代人工。但同时，AI 技术被滥用风险加剧，一些犯罪分子盯上了 AI 技术，实施电信诈骗，让人防不胜防，同时凸显了 AI 生成虚假信息所带来的社会危险。

AI诈骗正在全球蔓延

成功率接近100%

实际上，AI 换脸技术并非是近期才兴起。

早在2017年，一位名为DeepFake网友将情色电影中的女主角换脸成好莱坞明星盖尔·加朵（Gal Gadot），这是AI换脸技术首次出现在公众视野当中。后来由于大量投诉者表示不满，其账号被官方封禁，而此后的AI换脸技术则以他的名字命名为“DeepFake”。

AI 换脸真正在国内火起来是在2019年初，一段通过AI技术将《射雕英雄传》中黄蓉扮演者朱茵的脸替换为杨幂的视频在网络上热传，引发大家对于 AI 是否会侵犯人的肖像版权问题。制作者肖先生对此回应称：主要适用于技术交流，不会用于营利行为。

5月22日晚，“冷门歌手”孙燕姿更新动态，回应“AI孙燕姿”翻唱刷爆全网事件。“我想说，你跟一个每几分钟就推出一张新专辑的人还有什么好争的。人类无法超越它已指日可待。”

AI孙燕姿演唱《可能》

有人通过模型训练和后期处理，让AI模仿孙燕姿的声音重新演绎诸多热门金曲。短短一个多月，“AI孙燕姿”已发歌近千首，远超本人职业生涯的歌曲总和。

如今，AI 技术已被不法分子盯上，并用于各类层出不穷的换脸花样。

多地都出现了 AI 诈骗案例，不少普通人被所谓的“私密照片”敲诈勒索。

据华西都市报此前报道，2022年2月，有位陈先生到浙江温州市公安局瓯海分局仙岩派出所报案称，自己被“好友”诈骗了近5万元。经警方核实，诈骗分子利用陈先生好友“阿诚”在社交平台发布的视频，截取其面部视频画面后再利用“AI换脸”技术合成，制造陈先生与“好友”视频聊天的假象骗取其信任，从而实施诈骗。

2021年，浙江温州公安曾发布消息称，受害人小陈在与女网友视频聊天后被对方敲诈勒索，经警方调查，对方利用AI换脸技术，将小陈视频中的面部合成到不雅视频中，借此对其实施勒索。

2020年，上海某公司高管因对方使用AI换脸与人工生成的语音技术制作公司领导的面孔，并要该高管转账，致使该高管被诈骗150万元。

这类 AI 骗局不止在国内发生。

据Gizmodo报道，英国最近同样发生了一起涉及高达22万英镑（约合192.4万元）的诈骗案件。一位当地能源公司CEO在不知情的情况下被骗子“DeepFake”了自己的声音。随后，骗子用他这段声音，电话转账了22万英镑到骗子自己的匈牙利账户，后来本人才发现是一个AI合成语音的骗局。

社交平台账户分享的一张声称显示五角大楼附近发生爆炸的假图片

昨天在美国疯传的五角大楼爆炸图，则是最新的 AI 欺骗案例。

美东时间周一（22日），一张由 AI 生成的五角大楼附近地区发生爆炸的图片在社交网络上疯传，推文称五角大楼附近地区发生了爆炸，目前最初帖子已被删除。

多家美媒都报道了这一消息，CNN称，图片中建筑物看上去并不像五角大楼。美国国防部发言人随后证实，这张在谷歌搜索和推特上疯传的图片是一条“虚假信息”，五角大楼所在的阿灵顿消防和急救部门发推文称：“没有爆炸或事故”，也没有“对公众造成直接危险或危害”。

福布斯新闻网称，该图片的来源尚未确定，但这可能是 AI 生成非常逼真的“深度伪造”图像。报道指，尽管五角大楼爆炸从未发生，五角大楼爆炸图却依然疯传，凸显了 AI 生成虚假信息所带来的危险。

据湖北网警巡查执法5月6日消息，AI技术改变诈骗，新骗局来袭后，诈骗成功率竟接近100%。

如何防范AI诈骗？

目前，AI诈骗常用手法主要包括声音合成（骗子通过骚扰电话录音等来提取某人声音，获取素材后进行声音合成再做骗局），AI换脸，转发微信语音，AI程序筛选受害人（例如实施金融诈骗时，可以筛选出经常搜索投资理财信息的人群）等。

那么，AI 诈骗这种“高科技”手法已经在社会产生了不良影响，我们该如何防范？

国内 AI 安全公司瑞莱智慧联合创始人、算法科学家萧子豪对钛媒体App表示，如果遇到这类疑似AI换脸诈骗的情况，可以在视频时有意识地引导对方做一些动作，如大幅度的摇头或张嘴；如果骗子技术手段较弱，那么有可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸；如果疑似是声音伪造，可以试一下与对方用方言交流；此外还可以追问几个只有你与好友之间才知道的私密信息，来核实对方身份。

“在防止自己上当受骗的同时，还要注意保护好个人图像，尽量避免在公开平台大量晒自己的照片和视频，给不法分子提供便利。因为身伪制作的原材料是个人音频、图片、视频，这些数据越多，训练出的视频也就越逼真、越难以鉴别。”萧子豪表示。

警方则提醒，对于新型诈骗方式有以下三种防范措施：

如果有人要求你分享个人身份信息，如你的地址、出生日期或名字要小心，对突如其来的电话保持警惕，即使是来自你认识的人，因为来电显示的号码可能是伪造的，多重验证，确认身份；

不轻易提供人脸、指纹等个人生物信息给他人，不过度公开或分享动图、视频等，陌生链接不要点，陌生软件不要下载，陌生好友不要随便加，防止手机、电脑中病毒，微信、QQ等被盗号，保护信息，避免诱惑；

提高安全防范意识，如不慎被骗或遇可疑情形，请注意保护证据立即拨打96110报警。

事实上，随着 AI 技术加速变革同时，营造创新生态、重视防范风险，正在成为整体 AI 技术行业亟待解决的关键性问题。

据清华大学人工智能研究院等部门发布的《深度合成十大趋势报告（2022）》显示，创作者在互联网平台中发布的深度合成内容的数量高速增长，以视频为例，2021年新发布的深度合成视频的数量，较2017年已增长10倍以上。

在第七届世界智能大会上，中国科学院院士管晓宏认为，安全性如果得不到保证，AI 系统的应用将会受到极大的挑战。中国汽车技术研究中心有限公司董事长安铁成也表示，网络和数据安全的风险日益成为影响产业发展和国际安全的重要因素。

5月17日，OpenAI CEO山姆·阿尔特曼（Sam Altman）出席美国国会听证会，并在听证会上大声呼吁世界应该要设立可以规范和监管AI 的独立机构。最新消息是，5月23日，OpenAI联合创始人们再度呼吁，AI 的创新步伐太快，世界需要一个类似管理核能的国际监管机构来管理 AI 的发展。

萧子豪告诉钛媒体App，和其他通用目的技术一样，AI 也具有“双刃剑”效应，兼具建设性和破坏性，面临着“科林格里奇困境”，而大模型的安全问题应该从底层技术来研究解决，主要的应对方式包括安全评估、风险缓解等，通过 AI 安全平台RealSafe等产品帮助人类明晰真伪的边界。

萧子豪强调，随着 AI 技术的发展，其自身的安全问题会越来越重要，需要监管部门、AI厂商和公众的共同努力。从长远来看，AI 的安全问题还应从模型算法的原理上来突破。