昔日需要整支團(tuán)隊(duì)協(xié)作完成的視頻制作，如今僅憑一張圖、一句話即可實(shí)現(xiàn)，生成式人工智能（AIGC）技術(shù)的飛速發(fā)展正深刻改變著內(nèi)容創(chuàng)作生態(tài)。與此同時(shí)，當(dāng)AI視頻生成技術(shù)以驚人的速度走向規(guī)?；瘧?yīng)用，其濫用風(fēng)險(xiǎn)不容忽視，各種紛雜的人工智能生成信息常常讓人難辨真假，這給行業(yè)監(jiān)管和平臺治理都帶來了新的挑戰(zhàn)。

AI視頻濫用亂象頻發(fā)

10月15日，據(jù)“北京市場監(jiān)管”微信公眾號消息，2025年6月，北京市海淀區(qū)市場監(jiān)管局查處了某公司利用AI技術(shù)冒用央視知名主持人名義和形象的虛假廣告案。該公司通過AI技術(shù)剪輯知名主持人視頻，加入自行設(shè)計(jì)的口播內(nèi)容，在自有網(wǎng)絡(luò)視頻賬號上以短視頻等形式發(fā)布普通食品“深海多烯魚油”廣告，宣稱“可以解決頭暈頭痛、手麻腳麻、四肢乏力”等醫(yī)療功效，違反了《廣告法》相關(guān)規(guī)定，已被行政處罰。

值得一提的是，這是北京市場監(jiān)管部門運(yùn)用《廣告法》對濫用AI技術(shù)冒用知名人物形象發(fā)布虛假廣告問題的首次亮劍。

當(dāng)前，生成式AI成為重要的生產(chǎn)力工具，監(jiān)管的此次亮劍釋放了明確信號，技術(shù)應(yīng)用不能逾越法律紅線。近年來，人工智能技術(shù)成熟，AI換臉門檻降低，不法商家利用AI偽造知名人士面容和聲音，炮制AI“李鬼”。

此案僅是AI技術(shù)被濫用的冰山一角。隨著AI視頻生成技術(shù)門檻大幅降低、效率飛速提升，其“雙刃劍”效應(yīng)日益顯現(xiàn)。10月14日，已故茶界泰斗張?zhí)旄１籄I工具“復(fù)活”為茶企代言一事引發(fā)關(guān)注。視頻發(fā)布賬號歸屬福建張?zhí)旄Ｆ放乒芾碛邢薰?，工作人員承認(rèn)，視頻系A(chǔ)I制作。

今年4月，中國國家話劇院發(fā)表聲明，稱發(fā)現(xiàn)社會上有公司未經(jīng)其同意擅自使用話劇《青蛇》作品，違法進(jìn)行冒演、虛假宣傳，濫用AI換臉技術(shù)，偷換概念，公開售票，欺騙觀眾，造成嚴(yán)重負(fù)面影響，侵犯中國國家話劇院的合法權(quán)益。此外，某平臺一部微短劇被曝疑似使用了AI技術(shù)，未經(jīng)授權(quán)將某知名演員的面部特征移植到其他演員臉上，后版權(quán)方采取了下架處理，刪除了爭議片段。

北京社會科學(xué)院副研究員王鵬對《中國消費(fèi)者報(bào)》記者表示，這一現(xiàn)象是技術(shù)濫用與流量經(jīng)濟(jì)畸形結(jié)合的產(chǎn)物，反映了AI技術(shù)普惠化進(jìn)程中創(chuàng)新工具與行騙手段的邊界模糊問題，其背后是利益驅(qū)動下的倫理失范。

AIGC亟待內(nèi)容治理

AI視頻生成技術(shù)的低門檻化使得仿冒成本大幅降低，不法分子可快速批量生產(chǎn)虛假內(nèi)容，突破傳統(tǒng)造假的技術(shù)壁壘。此類行為不僅侵犯名人肖像權(quán)、聲音權(quán)等人格權(quán)益，更可能誤導(dǎo)公眾認(rèn)知。

為什么AI仿冒會出現(xiàn)井噴？薩摩耶云科技集團(tuán)AI機(jī)器人行業(yè)研究員鄭揚(yáng)洋表示，現(xiàn)在可以靠“開源模型+云端API”實(shí)現(xiàn)30秒克隆聲音和人臉，生產(chǎn)成本比之前低。平臺容易給前3秒完播率的權(quán)重最高，若把名人帶貨等內(nèi)容放在首幀，算法可能會自動放大，這讓不法分子嘗到了AI換臉的甜頭。

面對AIGC帶來的新挑戰(zhàn)。9月1日起，國家互聯(lián)網(wǎng)信息辦公室等四部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識辦法》（以下簡稱《辦法》）施行。這是全球范圍內(nèi)第一部關(guān)于人工智能生成合成內(nèi)容標(biāo)識的國家標(biāo)準(zhǔn)，也意味著所有利用人工智能技術(shù)生成、合成的文本、圖片、音頻、視頻、虛擬場景等信息，必須依法添加相應(yīng)的聲明標(biāo)識。

根據(jù)《辦法》，人工智能生成合成內(nèi)容標(biāo)識包括顯式標(biāo)識和隱式標(biāo)識。其中，針對AI生成視頻，要求在視頻起始畫面和視頻播放周邊的適當(dāng)位置添加顯著的提示標(biāo)識。

記者看到，8月29日至9月1日，騰訊、快手、小紅書、嗶哩嗶哩、微博、抖音6家平臺均發(fā)布公告稱已按照相關(guān)規(guī)定提供AI內(nèi)容標(biāo)識聲明功能。對于未主動標(biāo)識的AI生成內(nèi)容，平臺有權(quán)添加標(biāo)識。快手、嗶哩嗶哩、小紅書還在公告中強(qiáng)調(diào)用戶不得惡意篡改、隱匿平臺相關(guān)標(biāo)識。

但在實(shí)際應(yīng)用中，AI視頻標(biāo)注仍存在諸多難點(diǎn)。用視頻模型工具生成的視頻，如果用戶有心將AI水印進(jìn)行擦除，平臺則存在無法識別AI視頻的可能性。

一業(yè)內(nèi)人士表示，盡管已有一些AI內(nèi)容檢測技術(shù)，但生成模型迭代速度更快，“破綻”修補(bǔ)迅速，檢測技術(shù)往往處于被動追趕狀態(tài)，實(shí)現(xiàn)百分百精準(zhǔn)識別異常困難。

全鏈條治理待完善

如何減少利用換臉技術(shù)侵權(quán)的行為？天元律師事務(wù)所合伙人李昀鍇表示，內(nèi)容發(fā)布平臺是內(nèi)容傳播和觸達(dá)公眾的關(guān)鍵環(huán)節(jié)，因此承擔(dān)著監(jiān)督和管理的重要責(zé)任。平臺的責(zé)任主要體現(xiàn)在制定明確的平臺規(guī)則、提供技術(shù)或功能支持、履行內(nèi)容審核義務(wù)、采取必要處置措施。如果內(nèi)容平臺未盡到義務(wù)，監(jiān)管部門可以依據(jù)《網(wǎng)絡(luò)安全法》《網(wǎng)絡(luò)信息內(nèi)容生態(tài)治理規(guī)定》等，對平臺采取警告、通報(bào)批評、責(zé)令限期改正、罰款等行政措施。

而對于內(nèi)容發(fā)布者這一AI標(biāo)識的直接責(zé)任人，李昀鍇稱，目前《辦法》實(shí)質(zhì)上沒有規(guī)定內(nèi)容發(fā)布者不標(biāo)注的法律責(zé)任，如果單純依靠發(fā)布者的自覺性，規(guī)定的效果或大打折扣。實(shí)踐中，內(nèi)容平臺作為傳播渠道，其強(qiáng)制性要求和技術(shù)干預(yù)是關(guān)鍵。

“部分生成工具具備‘去標(biāo)識化’功能，可自動擦除平臺水印或干擾哈希比對，導(dǎo)致現(xiàn)有監(jiān)測系統(tǒng)出現(xiàn)漏檢。”鄭揚(yáng)洋認(rèn)為，一個(gè)解決方案是端側(cè)硬水印配合鏈上備案，而非僅靠平臺事后刪除。

鄭揚(yáng)洋表示，平臺可以做降阻前置警告，比如在視頻前3秒強(qiáng)制彈窗“本內(nèi)容含AI生成畫面”，紅色進(jìn)度條1秒，降低用戶“無意識信謠”。從傳播角度看來，既然使用名人來AI生成虛假視頻，建議由主流平臺與權(quán)威媒體共建“AI辟謠”專區(qū)，一鍵跳轉(zhuǎn)可做真?zhèn)螌Ρ取?/p>

鄭揚(yáng)洋對《中國消費(fèi)者報(bào)》記者表示，現(xiàn)行規(guī)范性文件對“訓(xùn)練源頭”和“刑事罰則”覆蓋仍需要加強(qiáng)，建議需盡快推動人工智能統(tǒng)一立法，把生成、傳播、平臺責(zé)任一并納入，形成全鏈條合規(guī)指引。

對此，王鵬進(jìn)一步表示，目前缺乏針對AI技術(shù)的專屬立法。當(dāng)前法律框架主要基于傳統(tǒng)肖像權(quán)、個(gè)人信息權(quán)和著作權(quán)等概念，未針對AI換臉等生成式技術(shù)的特點(diǎn)制定專門規(guī)范，明確其使用規(guī)范、責(zé)任劃分及處罰標(biāo)準(zhǔn)。雖然《民法典》《著作權(quán)法》《廣告法》均有作出懲罰性賠償?shù)南嚓P(guān)規(guī)定，但獲賠的案件不多，導(dǎo)致缺乏足夠的震懾力，很多侵權(quán)方的違法成本可能遠(yuǎn)低于侵權(quán)行為可能為其帶來的商業(yè)利益。