您当前的位置:首页 > 安全警示 > 正文

盗脸明星、编造假新闻,如何给AI上一把“安全锁”?

2026年10月16日 15:07:27    甘肃省委网信办

高效检索、智能对话、辅助创作……AI正在为人类发展打开新的大门,但在带来便利的同时,也产生了诸多乱象。


比如,利用AI篡改、恶搞经典,歪曲历史、事实;仿冒明星名人,蹭流量直播带货;利用AI“托管”从事网络水军活动。


AI乱象泛滥,怎么办?


今年,中央网信办多措并举,规范AI服务和应用,促进行业健康有序发展。4月,在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动;6月,中央网信办举报中心上线“涉AI应用乱象举报专区”,实现专项闭环治理、补齐AI监管短板。


01


AI应用乱象为何泛滥?

AI在重塑内容生产、释放创造力的同时,深度伪造、虚假生成、侵权滥用等乱象随之涌现。这是新兴事物发展过程中客观存在的“成长阵痛”。在内容生产、电商等领域,AI乱象尤为突出。


“你是温峥嵘,那我是谁?” 2025年11月,演员温峥嵘在某电商平台刷到仿冒自己的AI数字人直播间,当即连麦进入直播间发出灵魂质问。

温峥嵘被AI“盗脸”不是个案,董宇辉、李亚鹏等知名人士也有相同的遭遇。


今年3月,多名配音演员在社交平台公开发声,呼吁“AI技术应守规矩,内容创作应有底线”,控诉和抵制声音被AI盗用的侵权行为。


除了看得见的“盗脸”“偷声”,内容生产领域的乱象更具隐蔽性。AI大幅降低虚假内容的制作门槛,虚假图文、伪造音视频层出不穷。


今年5月,网民朱某某利用AI生成“张家界大峡谷玻璃桥断裂垮塌”的虚假视频,引发游客大规模恐慌,嫌疑人随后被依法处置;西安也曾查处某MCN机构操控上百个账号,依靠AI洗稿编造校园相关谣言在全网扩散,扰乱公共舆论秩序。还有伪造名人发言、虚构事故灾情的AI音视频,真假高度混淆,不断消解“眼见为实”的公众信息判断标准。


AI应用乱象为何层出不穷?


中国传媒大学国际传播学院教授王四新,长期关注互联网治理领域的政策和法律问题,他认为主要有四个方面的原因:


一是,技术门槛与生产成本大幅降低,批量生成网络内容的成本非常低,促使部分自媒体账号陷入“靠量博流量”的账号运营模式。


二是,平台流量推送机制存在不足,流水线式生成内容被算法优待,进一步助长了AI低质内容的泛滥,成为乱象滋生的重要助推因素。


三是,相关法律治理体系暂不完善,AI内容标识与审核机制尚不健全,AI魔改经典等行为踩在二次创作与侵权的模糊地带,判定难度大、违规成本低,现存的法律法规难以对其形成有效的约束。


四是,“猎奇恶搞”类内容在如今的网络传播中自带优势,在追逐流量利益的驱动下,形成“劣币驱逐良币”的网络生态困境。


面对技术伴生的风险,既不能因噎废食否定创新,也不能放任其裸奔。中央网信办涉AI应用乱象举报专区的设立,正是遵循这一治理逻辑:以社会监督延伸监管触角,用多元治理化解技术衍生的问题,为AI产业健康发展筑牢防护屏障。


02


专项闭环治理,让“指尖监督”常态化

今年4月,为规范AI服务和应用,促进行业健康有序发展,中央网信办印发通知,在全国范围内部署开展为期4个月的“清朗·整治AI应用乱象”专项行动。


为配合专项行动,中央网信办举报中心自今年6月起开设“涉AI应用乱象举报专区”。


专区划定两大板块,共十四类受理情形:


一方面是AI应用服务违规类,包含未按规定履行大模型备案登记义务、AI平台安全和审核过滤能力不足、大模型训练语料安全问题、AI数据投毒问题、生成合成内容标识落实不到位、滥用AI技术开展违法违规活动、开源模型安全管理不到位。


另一方面是AI信息内容乱象类,包含利用AI“魔改”经典、生成“数字泔水”、制作发布虚假不实信息、假冒仿冒他人、制作发布暴力低俗等不良信息、侵害未成年人权益、利用AI“托管”从事网络水军活动、AI产品服务和应用程序违规

数据显示,自今年4月开展“清朗·整治AI应用乱象”专项行动以来,第一阶段累计处置违规网站、应用程序、智能体等AI产品1.4万余款,清理违法违规信息600余万条,处置账号2.6万余个,下架违规AI商品1300余个;第二阶段累计清理违法违规信息561万余条,查处账号4.9万余个,处置违规网站、应用程序等2400余个。


王四新认为,举报专区的上线是监管思路的创新之举。创新性表现在三个方面:


把治理触角从平台和企业延伸到最后环节,14类乱象分类清晰、有章可循,举报即证据,降低维权门槛;“指尖监督”把海量网民变成分布式“哨兵”,弥补平台算法审核的“盲区”,“指尖监督”为监管部门输送源源不断的线索,最终形成对平台治理责任的倒逼态势;12377渠道成熟、成本低,能持续收集一手案例,为政策制定提供真实样本,形成“举报—处置—反馈—完善”的闭环。


专项行动+举报专区,两者相互配合,实现了行政专项整治与社会公众监督的双向赋能。专项行动依靠行政力量集中清存量,大批量处置违规AI产品、账号与不良信息,形成强大震慑;举报专区则立足常态化社会监督,盯住增量风险,把监管的触角延伸至技术应用的末梢。


03


多元共治,提升治理效能


AI迭代速度快,乱象形态、侵权方式会不断翻新,单靠监管部门的行政手段、网民的举报监督,尚不足以覆盖全部复杂场景。构建行之有效的AI治理体系,不能只依靠“单兵作战”,而要凝聚政府、平台、公众多方力量,走好多元共治之路。


中国政法大学副教授朱巍提出三点建议:


首先,普通用户举报操作流程偏复杂,需要提交较多身份材料,需要简化举报路径,强化举报人个人信息保护。


其次,举报反馈机制不完善,应当倒逼平台审核和过滤能力的提高,针对共性违规问题及时处置。如果某一平台收到大量有效AI乱象举报,应当反向核查该平台的AI审核、算法备案能力,倒逼平台完成整改。


最后,跨平台责任边界模糊。网民大多在内容传播平台发起举报,但AI内容实际生成于其他平台,受理机构需要区分生成平台与传播平台各自的安全责任,不能一概而论。


王四新建议,监管应围绕“受理—核查—处置”全流程补短板:


受理端:落实AI强制标识,建立线索分级分拣机制,利用技术处理海量举报线索;


核查端:搭建AI溯源、内容指纹平台,联动专家、第三方检测机构与多部门实现跨域协查;


处置端:完善分类处置、案例公示、平台问责与申诉复核机制。


依托统一数据平台贯通全链条,明确时限责任,形成“接得快、查得实、处得公”的监管闭环。


与此同时,王四新认为,平台应强化对AI生成内容的把控与过滤,降低算法对猎奇、恶搞类AI视频的流量推荐,加大权威辟谣内容推送力度,精准向曾浏览不实信息的网民推送真实信息;完善作品发布后的举报渠道,真正做到便民、利民,而不是搞假把式。在技术层面,平台需升级AI内容检测能力,搭建举报快速响应通道,落实AI生成内容标识要求,对AI作品添加醒目提示。


规范AI应用,媒体也可以发挥建设性作用。


媒体要发挥信息传播与舆论引导作用,主动推送权威信息。与此同时,做好举报专区宣传,让举报专区深入人心,实现人人知晓、人人会用,充分发挥举报专区的作用,大力支持专项行动的开展。


当然,对网民来说,维护清朗网络空间是权利,亦是义务。网民应当在网络中学习成长,提升信息辨识能力,不盲从跟风,理性参与举报,履行网络守护者的责任。


(来源:“传媒茶话会”微信公众号)

「链接」