球友会警惕四大AI新骗术！有人10分钟被骗430万
前有AI论文造假和新闻造假，后有疑似AI换脸的杨幂、迪丽热巴出现在直播间卖货。昨日内蒙古包头的一起“AI电信诈骗10分钟骗走430万”登上微博热搜，引起全民关注。
就在今早，一组引起美股大跌的五角大楼爆炸图片被官方证实为假，疑似由AI合成。
随着AI技术掀起新一波落地潮，AI深度伪造（DeepFake）内容在全球范围内病毒式传播，引起产业的强烈担忧。
早在2019年，智东西就调查报道过深度伪造AI换脸黑产（《AI换脸黑产：100元打包200部换脸片，5张照片就可定制视频》）近年来，深度伪造技术与反深度伪造技术的博弈持续不断，相关部门也逐步完善监管法律法规。当下，随着以GPT-4为代表的AI大模型技术迭代进化，深度伪造内容正卷土重来，从而在全球掀起更大的风浪。
从文章到图片，从人声到视频的动态效果都能被最大程度还原，瞒天过海骗过公众，更有各种诈骗套路层出不穷、防不胜防。这些AI伪造内容对很多年轻人来说都真假难辨，老人、小孩则更容易上当受骗。而一旦他们的信任被不法分子用来违法犯罪，后果不堪设想。
有人工智能技术专家告诉智东西，对于目前这些AI深度伪造技术生成的音视频等内容，普通人用肉眼来鉴别的难度非常之大。
传统骗局换上了一件由AI包裹的“新外衣”，更为隐蔽也更加让人防不胜防。这些AI新骗局是如何骗人的？难辨真假的AI伪造内容需要怎么去识破？产业乱象又有什么样的解法？通过对市面上各种AI新骗术进行梳理分析，本文对这些问题进行了深入探讨。
今年3月，一份名为《暂停大型人工智能研究》的公开信在未来生命研究所官网上发布，包括特斯拉CEO埃隆·马斯克（Elon Musk）、苹果公司联合创始人史蒂夫•沃兹尼亚克（Steve Wozniak）等人在内的千名科学家、企业高管签字呼吁暂缓GPT-4以上版本的研发，他们矛头所指都是强大AI技术可能的负面用途。
AI负面用途的爆发远快于我们的想象。随着AI技术能力加速迭代和落地，AI伪造变得更加容易、内容也更为逼真，随之而来的是假新闻、假图片络绎不绝，变声、换脸造成的恶性事件引发社会担忧。很多人感到，“有图有真相”、“眼见为实”的常识似乎受到了有史以来最猛烈的冲击。
或许我们的身边已经发生了不少由AI换脸引发的恶性事件，只是我们尚未察觉。
近日，内蒙古包头市自治区公安局网侦部门侦破一起利用AI进行电信诈骗的案件，罪犯假借好友名义称自己急需用钱，并拨打微信视频联系这位受害者郭先生。
出于对于好友的信任，再加上已经视频聊天核实了对方的身份，郭先生放松了警惕，分两笔汇款将430万打到了罪犯的银行卡上，但他万万没想到所谓的微信视频通话中的“好友”是由AI换脸技术制作而成的。罪犯利用AI换脸技术，佯装成好友对他进行电信诈骗。目前在警方拦截下，已追回336.84万元，仍有93.16万元已被转移走。
AI换脸是最容易获取对方信任的一类诈骗手段，诈骗者往往利用AI技术换脸成受害者熟悉的人，并拨打电话和对方确认信息。
面对这类新型诈骗方式，一是需要保护好个人信息，不轻易提供任何涉及个人隐私的信息给他人，不随意点进陌生链接、下载陌生软件；二是要通过各种渠道核验对方身份，对潜在风险保持警惕。
和“AI换脸”功能极为相似的是“AI脱衣”。早在今年3月，一则“女子地铁照被AI一键脱衣传播”的新闻冲上了热搜，一名女性搭乘地铁时的一张照片被人用AI软件“一键脱衣”，遭到恶意传播，罪犯还广泛散步不实信息对该女子进行污蔑。
这样的“一键脱衣”技术早在2019年时就已在国外出现，但因广泛的舆论争议和声讨，项目迅速关闭下架。这股不良之风在今年的AI热中再次吹到国内，在网络上以“AI”、“换装”、“软件”等关键词组合搜索时仍能出现不少隐藏极深的相关软件，有心者甚至用此来制作、传播色情淫秽视频，AI视频变装服务已成为一门链条完整的黑色产业。
“AI换脸”在此前已被大量使用到影视剧二度创作、趣味恶搞视频、表情包制作当中，但其中隐藏的法律风险和侵权纠纷依旧不容忽视。近期，据企查查官网信息显示，上海鱼腥草信息科技有限公司就因旗下一款换脸手机APP而遭多位网红博主起诉。
早些时候，一位名为“特效合成师洪亮”的视频博主在自己的视频中，将电视剧《你是我的荣耀》中男主演杨洋的脸，通过AI换脸技术换成了自己的脸，最终遭到主演粉丝的追打，从而引起了不少网友的注意。
这位视频博主以换脸男明星为噱头，实则是给自己的影视特效制作付费课程引流，但行为上已经给出演电视剧的演员迪丽热巴、杨洋等人造成了侵权。《狂飙》爆火之后，也有不少粉丝将剧情片段与电视剧版《西游记》换脸进行二度创作，在传播度和话题讨论上为电视剧又贡献了一波热度，但却对出演电视的演员造成了一定困扰。
蹭流量的行为，无论是对被换脸的明星，还是对技术充满好奇的公众，都产生了不良的影响和困扰，娱乐和技术之间的界限不应模糊至此。
前有“AI孙燕姿”爆火，后有AI人声克隆闯入配音圈，AI的声音合成技术被炒得火热，也衍生出不少的恶性事件和相关受害者。
一位网友用美国知名歌手弗兰克·奥什（Frank Ocean）的歌曲片段训练出来仿冒其音乐风格的歌曲，并在地下音乐论坛上发布栏这些“音乐作品”，还将这些歌曲伪造成是在录音时不小心泄露的版本，最终蒙混过关，卖出了近970美元（折合为6700元人民币）的价格。
不久之前，西班牙的一家电影制作公司Peabody Films也遭受了AI电话的诈骗，诈骗者伪装成著名演员“卷福”本尼迪克特•康伯巴奇（Benedict Cumberbatch）向公司称对公司的电影很感兴趣，有合作意向，但需要公司先转20万英镑（折合约170万人民币）的定金，之后再谈具体的合作细节。
电影公司意识到了事情的不对劲，向该演员的经纪公司进行求证才发现从头到尾就是一场AI骗局。
海外还有不少利用AI克隆声音进行诈骗勒索的新闻，部分案件涉案金额令人咋舌，高达百万美金。这类诈骗者往往通过电话录音等素材提取某人的声音进行声音合成，再利用伪造后的声音来骗过熟人，就这需要公众对陌生电话保持警惕，即使是熟人也可能被伪造声音。
美国CBS电视台的电视新闻杂志节目60 Minutes在5月22日的最新一期节目中，现场展示了黑客是怎样克隆声音来骗过同事，并成功窃取护照信息的。
仅用了5分钟时间，黑客就通过AI克隆复制了Sharyn的声音，并通过工具替换了手机上来电显示的名称，成功骗过了她的同事，轻而易举地得到了她的姓名、护照号码等私人信息。
美东时间5月22日，一张五角大楼附近地区发生爆炸的图片在社交媒体上疯传。这张虚假照片的广泛流传，甚至导致标普500指数短线%至盘中低点，由涨转跌。
随后美国国防部发言人立即证实，这同样是一张由AI生成的虚假图片，这张图具有明显的AI生成特征，比如路灯有些歪，围栏长在了人行道上等。
Midjourney生成的90年代情侣写线月时几张前美国总统特朗普被捕的组图在推特上疯传。
照片中的特朗普被警察包围，又按倒在地，看上去狼狈又慌乱。在听证会上，他掩面痛哭，还在潮湿阴暗的囚房中穿上了狱服。这些图片由公民记者网站Bellingcat的创始人艾略特·希金斯（Eliot Higgins）用Midjounrney制作而成。组图发出后，他的账号也随之被封查。
“特朗普被捕图”发出不久之后，教皇方济各穿着巴黎世界羽绒服走秀的照片在网上引起轩然，发出不久后便有了2800多万的点击量，让不少网友都信以为真。
创作者巴勃罗·泽维尔（Pablo Xavier）称，自己完全没想到这组图片居然会走红，自己只是突然想到了巴黎世家的羽绒服球友会、巴黎或者罗马的街道等。
Reddit论坛上的Midjourney板块中，一组“2001年卡斯卡迪亚9.1级大地震，引发的海啸摧毁了俄勒冈州”被大面积传播，照片当中的受灾现场一片混乱，救灾人员、新闻记者、政府官员等人相继出现，人们面带忧虑、惊恐和慌张。但实际上这完全是一张AI引发的“灾难”，历史上并不存在。而这些要素齐全、颜色真实的图片场景让人看上去难辨线、编撰新闻：AI成为谣言炮制机
该新闻引起全球多家媒体关注，韩国YTN新闻频道等电视台迅速跟进报道，网友们对此也表示了自己的同情与惋惜。
然而事情在一位驻韩记者以及美国广播电台iHeartRadio提出质疑后全面反转：该男子可能压根就不存在。网友将其照片拿去AI内容检测网站查证后发现，照片有75%的可能性是AI生成的，韩国MBC电视台求证警方后也得到了“未收到类似死亡案例报告”的回复，这则新闻立刻被证实为“AI造假新闻”。
她对于“AI孙燕姿”的出现采取了较宽容的态度，并未通过法律手段进行追究。她称：“无法跟一个没几分钟就能推出一首新专辑的‘人’来比。”她认为，虽然它（AI）既没有情绪，也没有音调的变化，但人类再怎么快也无法超越它。
而孙燕姿也并非是唯一一位被“AI翻唱”的歌手，还有AI周杰伦、AI王心凌、AI腾格尔等人陆续出现。
据提供换脸服务的网站介绍，购买现成模型，如果素材充足的话，只用半个小时到几个小时的事件就能直接合成长达几小时的视频，全套模型的购买价格为3.5万元，远低于邀请一位明星本人直播带货的报价。
AI换脸技术并非是近期才兴起。早在2017年，一位名为DeepFake网友将电影中的女主角换脸成好莱坞明星盖尔·加朵（Gal Gadot），这是AI换脸技术首次出现在公众视野当中。后来由于大量投诉者表示不满，其账号被官方封禁，而此后的AI换脸技术则以他的名字命名为“DeepFake”。
▲网友将演员朱茵在《射雕英雄传》中扮演的“黄蓉”一角替换为演员杨幂的脸
很多人的肖像、声音在未经允许的情况下被传播，影音产品在未谈版权的情况下被拿来使用牟利，更有甚者是违法分子利用伪造信息进行财产诈骗甚至绑架勒索，损害人们的人身及财产权益。
面部和声音的伪造横行，首先面临的是个人隐私侵权问题。根据《民法典》第一千零一十九条：“任何组织或者个人不得以丑化、污损，或者利用信息技术手段伪造等方式侵害他人的肖像权。未经肖像权人同意，不得制作、使用、公开肖像权人的肖像，但是法律另有规定的除外。”同时，“对自然人声音的保护，参照适用肖像权保护的有关规定。”而让人们更担心的是，伪造信息如果落到不发分子手里，可能会进一步利用信任侵害人们的财产权甚至是健康权。
上海大邦律师事务所高级合伙人、知识产权律师游云庭撰文称，根据知识产权法律，用真人语音训练人工智能并生成歌曲，如果不做商用，大概率不侵权，但发布在网上还是应当先拿到相关的词曲著作权、伴奏音乐、视频使用素材的授权。人工智能生成的作品有先天的版权瑕疵，不应当享有著作权并收取授权费用。用户使用人工智能生成的作品如果被他人侵权，可以依据《反不正当竞争法》维权。
实际上，我国一些人工智能领域的专门法规也已有规定。国家网信办等部门已经在2022年12月颁布《互联网信息服务深度合成管理规定》，用25条规定划定深度合成技术使用规范，包括不得利用深度合成服务侵犯他人合法权益等法律、应用程序分发平台应当落实上架审核、服务提供和技术支持者应当加强技术管理等规定。
就在4月11日，国家互联网信息办公室又迅速起草了《生成式人工智能服务管理办法（征求意见稿）》，涉及的生成式人工智能包括基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术，可以说对当下的AI伪造进行了全面的规定。（《重磅！首个国家AIGC监管文件，生成式AI服务管理办法公布征求意见稿》）
此外，我国颁布的《中华人民共和国网络安全法》、《中华人民共和国数据安全法》、《中华人民共和国个人信息保护法》、《互联网信息服务管理办法》等法律、行政法规度都对此有所规定，可以成为维护合法权益的相关依据。
“造假”和“打假”并不是因AI而产生，但今天的AI技术让“造假”变得更容易且更难以分辨。面对铺面而来的AI伪造内容，人们自己有没有能够去识别的技巧？
“普通人如果遇到这类情况，可以在视频时有意识地引导对方做一些动作，如：大幅度的摇头或张嘴。如果骗子技术手段较弱，那么我们有可能发现对方面部边缘或者牙齿的瑕疵，从而识别出AI换脸。不过，这个方法对于识别出‘高水平’的诈骗分子，还存在难度。此外，还可以追问几个只有你与借款者之间才知道的私密信息，来核实对方身份。”
不断进化的AI技术让文字、图像、视频的生成变得更加容易和逼真，与此同时深度伪造内容也随之泛滥。深度伪造内容轻则混淆视听、被有心者用以谋利，重则可能被不法分子利用进行诈骗甚至勒索犯罪，引起了人们对AI生成内容监管的迫切关注。
财联社10月27日电，中国地震台网正式测定：10月27日05时49分在智利（南纬28.70度，西经70.35度）发生5.4级地震，震源深度100千米。
【快讯】巴西卢拉总统民意支持率在近两月期间出现下滑；巴西参议院通过延长17个行业工资税减免草案；
英特尔第三季度营收141.6亿美元同比降8% 连续第七个季度营收同比下滑
哥哥正在认真念字学习，弟弟也假装读书学得有模有样，网友：一本正经胡说八道
萌娃正在小路上学爬行，看到后面来了骑自行车的叔叔以最快的速度往妈妈身边跑，这孩子从小就有安全意识