一个AI恐怖故事：我在色情网站，看到了自己

世界各国DeepFake法律法规一览

而与大多数国家不同，中国针对DeepFake的内容，特别是涉及淫秽色情内容的部分，管理要更加严格。

今年3月份，杭州互联网法院就曾审结一起关于利用AI换脸传播淫秽色情内容的案件。

这个案子发生在2020年，和韩国人在Telegram上的玩法一样，案犯通过AI工具制作换脸视频，然后在社交软件上创建社群进行分发。

案犯创建的社群名叫“浏览群”和“私人订制群”。浏览群主要用来传播DeepFake视频，招揽观众和客户；定制群则支持付费定制，按照5分钟300元，10分钟500元的标准收费。案犯在审理中表示，“只要能看到脸的都能换，有人甚至要定制暗恋女生的换脸视频。”

经过审理，该案犯最终因侵犯公民个人信息，以及制作、传播淫秽物品牟利罪被判有期徒刑七年三个月。

通过这个案件我们也能看到，在中国通过DeepFake制作色情内容进行传播，其犯罪成本要比国外高很多。

这样的好处自然是中国没有出现DeepFake内容大规模泛滥的问题，但另一面，也有更多人开始不满足于高风险低回报的情色内容制作，而开始铤而走险，通过AI换脸技术进行电信诈骗。

可以看到，在中国犯罪成本比在韩国要高很多。所以很多人利用AI换脸技术，并不是制造淫秽色情内容，而是电信诈骗，而这种DeepFake也不止局限于面目，甚至包括声音和个人身份信息。

2022年以来，随着生成式AI技术的发展，国内电信诈骗案件持续高涨。

20多年前的2000年，中国刑事案件中盗窃案件占比最多，达到总量的60%，反扒小组曾一度成为一个专门的警察编队。20多年后的今天，网络电信诈骗取而代之，成为新的“时代罪恶”[4]。

据中国警察协会最新数据，2024年上半年，诈骗占刑案的比例上升至60%，其中绝大部分是网络电信诈骗。这是一个时代的变迁。

技术的发展，似乎在给这个社会带来更多的疼痛。

结语

在历史的传统叙事中，人们喜欢将DeepFake这样的事物归结为原罪，比如魔丸转世的哪吒，或者希腊神话中的阿多尼斯。但现代社会，我们并不这么思考问题。

2014年，因P2P（peer to peer）分享传输技术而成为“宅男神器”的快播轰然倒塌，创始人王欣被逮捕。两年之后，王欣在案件庭审中为自己和快播做出了一番经典的辩护——技术无罪。

在王欣的理论中，自己和快播只是创造了一项技术，至于用户拿他做什么，与他无关。

但这件事情并没有回答，为什么技术带来的罪恶仍然频频出现。直到两年后，在距离王欣受审的法院不到20公里的地方，腾讯研究院举办了一场活动，它的主题是“科技向善”。

食，色，性也。

技术发展的难点，除了技术本身之外，更本质的难点在于，如何限制撬动人性“恶”的杠杆。而在腾讯的理念中，使用技术的人本身应该承担起这样的责任，人类应该善用科技，避免滥用，杜绝恶用。

如今，科技向善已经被越来越多企业接受，成为中国技术发展的一项底层理念，但科技向善，却是一个更长久的课题。