“尊嘟假嘟”：AI照妖镜，一眼判真假！ 来源：量子位每个人都能拥有有检测AI造假的“照妖镜”了！ 清华系独角兽初创公司，发布了面向个人的产品级检测工具，可以让AI伪造的图像、音频和视频现出原形。 而且无需上传素材，在网页和视频会议中就能主动探测内容和人脸真伪，并实时给出提示。 该工具由清华大学朱军教授与学生田天博士等一同创立的瑞莱智慧（RealAI）打造，名字叫做“尊嘟假嘟”，英文名RealBelieve。 随着视频生成模型质量的不断提高，辨别AI造假也越来越困难，为此，团队基于深度学习技术，构建了一整套多模态、多角度的AIGC检测技术体系。 “尊嘟假嘟”正是在这套技术之上建立，目前已开启内测招募，通过申请后即可体验。 吃瓜群众的“AI照妖镜”从背景和人脸的替换，到利用AI模型让人做出指定的表情或动作，AI造假可谓是防不胜防。 一方面，不法分子利用AI炮制虚假内容，对受害者个人声誉和社会舆论都带来了极大的不良影响； 另一方面，AI造假也被用于诈骗活动，不仅损害被冒充者的信誉，也给受骗者带来巨大的财产损失。 今年年初，就有不法分子利用深度伪造制作了一场假的视频会议，骗走了一家公司1.8亿元的巨款。 除了正确引导和加大打击力度，让用户能够更好地判别信息真伪，也是一种重要的防护手段。 过去的AI造假检测工具主要面向专业人士，而且往往需要将内容提取后上传到检测平台中，才能进行判别。 但如果只是普通的网络视频，让吃瓜群众用这样的流程去鉴别真伪，难免显得有些繁琐。 所以在支持上传检测的同时，“尊嘟假嘟”还能主动进入视频流，用户一边吃瓜，系统就能一边判断这瓜到底“保不保熟”。 比如一进入Sora的宣传页面，系统就会针对网页里的Demo视频做出提示标注，提醒浏览者该视频“AI含量”极高。 另外针对AI诈骗日益猖獗的情况，尊嘟假嘟也支持视频通话当中进行AI合成实时监测防护。 在视频通话时，同样无需截取视频上传，尊嘟假嘟会及时主动给用户发出预警内容，提示视频对方的人脸是否存在AI合成的风险。 实时的风险提示可以帮助用户及时调整聊天方式，快速确认对方的身份，减少不必要的损失，让用户随时随地在“AI安全保障”下进行视频通话。 AI造假与防伪的“猫鼠游戏”针对“尊嘟假嘟”背后的技术原理，瑞莱智慧联合创始人、算法科学家萧子豪透露，该产品背后的检测模型基于贝叶斯深度学习技术开发。 团队构建了一整套多模态AIGC检测技术体系，能够挖掘并建模多模态、多层次、多角度的AI合成线索，度量真假差异，并进行不确定性推理决策。 实际上，造假手段与防御方式之间，一直在进行着一场“猫鼠游戏”。 起初的AIGC内容还是“一眼假”，然后再“进化”一些之后，多加注意也依然能够通过常识进行肉眼判别，比如视频中人物的眨眼频率不合常理、部分区域的衔接不够自然等等。 但随着AIGC能力的升级，这些“常识”也逐渐被模型所掌握，靠肉眼鉴别也越来越困难了，于是检测手段也在进化，人们开始研究用机器学习的手段进行分析。 比如通过对目标内容的信号频谱进行分析，或者对图像中的噪声进行检测，挖掘内容当中的“AI痕迹”。 但这场你追我赶的争斗从未停止，一方面的原因是，用来检测AI的模型本身也是个AI，伪造者可以通过对抗训练的方式规避检测、见招拆招。 相对于造假而言，鉴别的手段似乎往往是滞后的。所以，瑞莱智慧在研究检测算法的同时，也会针对自己的方法进行防御性攻击，争取让检测走在造假的前面。 实际上，瑞莱智慧团队早在2018年成立之初，主要的研究目标就是AI合成检测技术，先后推出面向专业人士的AI内容检测平台DeepReal、人脸AI安全防火墙RealGuard等相关产品并持续迭代升级。 纵观整个行业，AI安全问题都备受关注，深度学习教父Hinton，还有ChatGPT的发明者、OpenAI前首席科学家Ilya，都一直在呼吁人们关注AI安全。 就在这两天，Ilya刚刚宣布创立了一家公司，研究的就是安全超级智能。 不过相比之下，Ilya的公司，似乎更加关注的是AI的未来，而在现在，对AI造假的判别和检测依然是一项紧迫的任务。 推荐阅读 MIT新晋副教授何恺明《计算机视觉进展》课程，附Slides与资料下载 西电IEEE Fellow团队出品！最新《Transformer视觉表征学习全面综述》如何做好科研？这份《科研阅读、写作与报告》PPT，手把手教你做科研奖金675万！3位科学家，斩获“中国诺贝尔奖”！最新 2022「深度学习视觉注意力 」研究概述，包括50种注意力机制和方法！【重磅】斯坦福李飞飞《注意力与Transformer》总结，84页ppt开放下载！2021李宏毅老师最新40节机器学习课程！附课件+视频资料 欢迎大家加入DLer-计算机视觉技术交流群！ 大家好，群里会第一时间发布计算机视觉方向的前沿论文解读和交流分享，主要方向有：图像分类、Transformer、目标检测、目标跟踪、点云与语义分割、GAN、超分辨率、人脸检测与识别、动作行为与时空运动、模型压缩和量化剪枝、迁移学习、人体姿态估计等内容。 进群请备注：研究方向+学校/公司+昵称（如图像分类+上交+小明）