文 | IT時報 賈天榮
編輯 | 郝俊慧 孫妍
每年3·15，《IT時報》都會關注互聯網消費領域中，隨著新應用和新服務出現的侵犯消費者權利的事件和現象，今年，這些“假”要繼續打下去，盜版圖書泛濫、臨期護膚品成“假貨天堂” 、9.9元“換臉”馬斯克等。《IT時報》將持續推出“3·15行動周”專題報道。
“靳東”“雷軍”“張文宏”……當這些熟悉的臉出現在短視頻平臺上、視頻通話的那頭，用熟悉的語調說著“溫暖”的話，你會相信嗎？
剛剛結束的兩會期間，“AI換臉”“AI擬聲”成為代表們熱議的焦點。全國政協委員、演員靳東“深受其害”，江西一位老人差點AI合成的“假靳東”騙走200萬元；全國政協委員、上海華山醫院醫生張文宏被AI換臉“帶貨”，部分老人信以為真并下單購買；全國人大代表、小米集團CEO雷軍在去年國慶期間，被人用AI捏造聲音亂說一氣，并以“雷軍語音包”的形式在網上流傳……
除了偽裝名人詐騙，個人肖像權、隱私權在AI的“攻擊”下，也變得更容易被侵害。知名模特葉凱薇日前發布視頻稱，有人利用AI換臉技術制作并傳播淫穢視頻，對其個人生活造成嚴重困擾。
甚至普通人在不經意間都可能成為“受害者”。2023年廣州一位女子在地鐵上的照片被有心人用AI“一鍵脫衣”，并故意全網散播。
“大模型的普及及生成式AI的技術突破帶來的‘技術平權’，是深度偽造技術濫用高發的重要原因，”上海計算機軟件技術開發中心主任、研究員蔡立志接受《IT時報》記者采訪時指出，目前，對于AI換臉的“反偵察”技術檢測尚無法做到百分百準確，但制作“假臉和假聲音”的技術和成本門檻卻越來越低。
《IT時報》記者調查發現，在電商平臺上，僅用9.9元便可以買到一款AI換臉軟件，10分鐘之后，記者“換臉”成功，變身女同事，而且可以隨意錄制視頻。而在一些大模型中，上傳照片生成一個“數字人”只在分秒之間，不僅沒有審核，甚至免費。
不僅源頭難以遏制，各大平臺的審核機制也難以奏效，記者測試生成的一條“換臉”馬斯克視頻不僅順利發布，且沒有被標注為“AI生成”或攔截，流量甚至破萬。
對“AI換臉”“AI擬聲”立法已刻不容緩。統計顯示，僅2023年，基于AI的深度偽造欺詐暴增3000%。浙江警方數據顯示，AI詐騙案件在2024年同比激增270%，單筆損失金額超百萬元的案例中，83%涉及偽造視頻。
記者調查 “AI換臉”軟件 9.9元唾手可得 10分鐘上手 直播帶貨、視頻通話皆可用
手機屏幕上，一位外表看似儒雅的“專家”，正耐心講述健康養生知識，不經意間向觀眾推薦起“糖尿病調理好物”，如果你仔細端詳會發現，他總是在重復一些動作或者內容。這是位“AI數字人專家”。
當前，AI數字人疊加養生內容，已成為部分商家的帶貨“黃金賽道”。他們利用AI技術批量制作視頻，同時運營數十個矩陣賬號，精準投放至中老年群體，以虛假專家形象獲取信任，并通過軟性營銷引導他們高價購買保健品，許多老年人深受其害。相比傳統詐騙，AI數字人帶貨的隱蔽性更強、規模更大，受害者更難察覺其虛假性。
以“AI換臉”為關鍵詞在各大電商平臺上搜索，結果為“無法顯示”，但如果換一個詞，比如“AI視頻通話”，便跳出大量AI視頻換臉相關教程甚至軟件售賣。于是，《IT時報》記者下單了一款9.9元/天的AI換臉軟件。
這是一款PC端軟件，界面頗為專業，但操作流程極為簡單。僅通過文字及視頻教程，不到10分鐘，記者便“變身”女同事，并順利生成數個視頻，途中無任何要求。
換臉成功后，記者嘗試做出多種動作，如拍臉、按鼻、露牙齒及大幅遮擋臉部，均未出現明顯破綻。此外，該軟件還能通過高清修復、自動遮罩、調整攝像頭參數、換臉像素、強度、方向、差異化等多項功能，優化換臉效果，使其更加逼真。
與此同時，該軟件不僅支持制作換臉視頻，還具備虛擬攝像頭功能，可在QQ、微信等社交軟件上實現實時換臉視頻通話，甚至能推流直播。記者進一步查看軟件主頁發現，其提供“0元無限次試用一天”的免費體驗，并允許用戶測試視頻或直播AI換臉，而最高支付399元即可獲得軟件的永久使用權及在線指導服務。
在手機應用商店里搜索“AI換臉”，相關App更多，有的甚至直接取名為“AI換臉”，其中大部分需開通會員或付費使用。不過由于大多數換臉工具都設定了固定場景，從效果看逼真度不高。
但在一些知名視頻軟件中，“AI數字人”的效果已趨于完美，用戶僅需上傳一張照片，便可一鍵生成數字人，并可自由設定臺詞。
在“即夢AI”中，記者上傳了一張明星照片和幾句臺詞，幾分鐘后，軟件便自動生成了該明星按照設定臺詞講話的視頻。雖然生成的視頻帶有AI生成的logo，但裁剪后仍可完整呈現。
相較之下，“剪映”的做法便令人有安全感。同樣上傳明星照片后，系統顯示：檢測到該照片屬于真人，要求進行本人驗證。用戶需在線實時拍攝照片，與上傳圖片比對，若不一致則無法通過審核。
2023年1月10日中國國家互聯網信息辦公室、工業和信息化部、公安部聯合發布《互聯網信息服務深度合成管理規定》（以下簡稱《規定》），要求深度合成服務提供者對其生成的內容，比如人臉、聲音、沉浸式場景等特殊內容，需要進行顯著標識。
然而，《IT時報》記者的各類測試顯示，不僅生成一段“假明星”視頻的成本和技術門檻都已極低，很多AI生成結果并無任何標識，即便有的帶有“AIGC”字樣，也可以被隨意剪裁。
上傳短視頻平臺 “變臉視頻”都沒被認出
根據2024年9月14日國家互聯網信息辦公室發布的《人工智能生成合成內容標識辦法（征求意見稿）》，人工智能生成合成內容中應添加隱式標識，這是一種采取技術措施在生成合成內容文件數據中添加的、不易被用戶明顯感知到的標識。
由于此辦法尚未正式實施，目前一些傳播平臺采用AIGC識別模型，并結合人工審核，以主動檢測內容是否由AI生成。對于疑似AI生成的內容，部分平臺會標注“疑似使用AI生成技術，請謹慎甄別”，提醒用戶提高警惕。
不過，從實際實施情況來看，并不樂觀。
《IT時報》記者制作了幾條痕跡較為明顯的AI換臉視頻，并嘗試在各大平臺發布。結果顯示，所有視頻均可順利上傳，且未出現AI相關提示。即便主動在標題中注明“AI換臉”，也未觸發任何警示。
即便同為字節跳動旗下產品，當記者將即夢AI生成的“變臉視頻”裁剪logo后上傳至抖音時，系統也沒有任何提示，沒能自動識別。
隨后，記者切換賬號，對其中一條視頻進行投訴，幾分鐘后，其中一條視頻被限制為“僅互相關注用戶可見”，并在視頻底部標注“疑似使用AI生成技術，請謹慎甄別”。然而，同一賬號內另一條相同內容的視頻和其他AI換臉視頻，依然“安然無恙”。
在微博平臺，記者發布的兩則AI換臉視頻，其中一條在發布六分鐘后被刪除，理由是“未通過審核”，具體原因并未說明。而另一條視頻則順利發布，且未被標注任何AI相關提示。
在視頻號上，記者也發布了兩則AI生成的“名人換臉”視頻，其中一條在一天內播放量突破1.8萬，但兩條視頻均未被標注AI生成。記者嘗試投訴，但視頻號的投訴流程較為復雜，甚至需要提交真實姓名和身份證正反面照片，審核門檻高于其他平臺。
在小紅書，記者發布了兩條AI換臉視頻，其中一條主動添加了“AI換臉”標簽，但仍未觸發任何提示。記者隨后用另一個賬號對該視頻進行投訴，約10小時后收到反饋，稱該視頻因“涉及利用AI技術虛構社會事件或假冒真人形象”違規，被限制推薦給未關注用戶。然而，該視頻仍并未被打上任何AI相關標識。
快手平臺，兩則AI換臉視頻均順利發布，同樣未被標注AI相關提示。在快手的舉報選項中，“AI換臉等惡意P圖行為”被單獨列出，但截至發稿，記者的投訴仍未收到反饋。
測試結果表明，不同平臺在AI換臉視頻的審核機制上存在明顯差異，但所有平臺都未能檢測出記者發布的“AI換臉”視頻并為其打上標識，部分平臺對投訴后的視頻進行了標注或限制，但多數情況下，AI換臉內容仍能輕松發布，且未受到明顯限制。
專家分析 從“AI換臉”到“AI生臉”
“技術平權讓大模型真正‘飛入尋常百姓家’。”蔡立志表示，生成式人工智能的技術突破打破了專業壁壘，也降低了違法門檻。早期基于初級深度學習的換臉技術是“貼圖式”——將目標人臉裁剪后直接覆蓋原圖，僅替換五官核心區域，依賴邊緣模糊處理（如頭發、背景保留原圖），類似“貼紙拼接”。而當前AI換臉已演進為“生成式重構”——系統通過識別面部特征后完全生成新圖像，而非簡單拼接，“就像現代翻譯不再是機械轉換而是語義重構，現在的換臉技術已實現特征融合的智能化生成。”
尤其是根據清華大學劉知遠教授團隊提出的大模型密度定律（Densing Law）—— 模型能力密度隨時間呈指數級增長，每隔100天就可以用一半參數量實現當前最優模型相當的性能，越來越多高能力的開源大模型可以實現本地化部署，并在普通電腦上就能實現運行效果良好的生成系統，“這打破了以往受云端服務倫理約束的限制。同時，生成質量的提升也使得傳統識別手段失效。”蔡立志表示。
《IT時報》記者注意到，當前市場上已經有不少AI檢測工具，專門用于鑒別視頻和照片的真實性。然而，這些工具的可靠性如何？它們的極限在哪里？
“100%檢測成功率是不可能的。”蔡立志表示，從技術發展的角度來看，AI的“矛”與“盾”始終在同步進化。生成式AI技術依靠不斷優化來提高仿真效果。其核心機制是讓生成的內容與真實內容進行對比，找出差距后進行調整，直到差距縮小到人眼或檢測工具難以分辨的程度。正因為如此，檢測工具在本質上是落后于造假技術的。
當前AI檢測的有效策略只能是加快技術迭代，以盡可能縮小造假與檢測之間的差距。同時，需要多種方法并行推進，例如結合多模態數據分析、深度學習模型優化以及人工鑒別輔助等，才能在一定程度上提高檢測的準確性。最終，AI真假鑒別的過程將始終是一場“攻與防”的動態對抗，而非一勞永逸的解決方案。
騰訊云天御風控技術總監黃澤豐告訴《IT時報》記者，從目前AI技術發展的態勢看，新的攻擊手段、濫用的趨勢正在加速，對普通用戶（尤其是對新技術判斷能力較為有限的老年群體），更加難以防范，因此必須依靠技術、平臺以及法律法規共同發力，遏制AI技術濫用于深度偽造。
例如加速頂層立法，建立AI風險的分級分類管理制度；要求AI生成內容添加可明確識別判斷的水印或標識；細化平臺、用戶、內容提供方的責任和義務；政府和企業各界為新的對抗技術提供應用土壤；推動AI生成內容技術標準助力監管等。
匯業律師事務所史宇航律師表示，目前我國對AI換臉、換聲等深度偽造技術還未有專門的法律定義。相關行為（如偽造、傳播、牟利）主要受《中華人民共和國民法典》《中華人民共和國個人信息保護法》的約束，如果涉及犯罪行為，則會適用《中華人民共和國刑法》中的詐騙罪、虛假廣告罪、侵犯 公民個人信息罪等罪名。
當務之急：AIGC標識先行
技術發展一日千里，而法律、監管、技術防范手段仍需時間跟進。蔡立志坦言，當前，法律法規與防范手段尚難以追趕技術的發展速度，就像計算機病毒與防病毒軟件之間的關系——“總是病毒先出現，然后才有應對方案。”
目前來看，AIGC的生成與識別仍是一場“魔法打敗魔法”的對抗。黃澤豐指出，對于系統來說，動態的視頻存在大量難以偽造的細節，如微表情、運動殘影、反射光等，都可以作為防偽造的手段，另外，通過解構3D結構光、可信設備環境檢測、相機指紋以及多手段交叉安全驗證，都可以提高系統判斷的準確性。但普通人卻很難肉眼識別。
“偽造一個人的聲音，甚至比偽造圖像更容易。”蔡立志指出，當前AI聲紋克隆技術僅需采集“三分鐘甚至兩三句話”，就能完整復刻個人聲紋特征，“就像指紋一樣，每個人的聲紋獨一無二，但機器偏偏擅長破解這種‘唯一性’”。
深度偽造技術的濫用，往往先行一步，而技術與法律的防范則需要時間來補足。
史宇航認為，作為技術公司有義務在算法中嵌入防濫用措施，例如強制水印、內容標識等，以防止技術被濫用于誤導性信息的傳播。
相關法規也對此做出了明確規定。
《人工智能生成合成內容標識辦法（征求意見稿）》提出，提供網絡信息內容傳播平臺服務的服務提供者應當采取措施，規范生成合成內容傳播活動，并規范了元數據隱式標識格式。這意味著，如果《征求意見稿》得以正式落地實施，統一可識別的隱式標識將便于不同規模、不同技術水平的企業迅速識別AIGC的內容，從而實現顯著標識并提醒的功能。
《網絡音視頻信息服務管理規定》第十一條要求，利用深度學習、虛擬現實等新技術制作、發布或傳播非真實音視頻信息的網絡服務提供者和使用者，必須以顯著方式進行標識。
此外，視頻平臺對用戶上傳的深度偽造（換臉）內容同樣有審核義務，若發布在平臺上的視頻引發侵權、詐騙或誹謗，則需要根據平臺的過錯程度確定是否需要承擔連帶責任，如是否建立了審核機制、部署鑒別技術，在收到舉報后是否及時處理等等。
專家支招 普通人如何避免被“假臉”欺騙?
蔡立志
第一，選擇可信平臺，不要隨意下載未經官方認證的App，即便其提供免費通話或其他看似誘人的功能，也可能暗藏陷阱。
第二，確保雙方身份可信，防止賬號泄露。即使使用的是可信平臺，也可能因賬號被黑客攻擊或對方賬號信息泄露而面臨風險。用戶需加強密碼管理，避免社交工程攻擊。
第三，建立“多因子身份認證”機制，類似于舊時的“暗號”機制，在關鍵對話前設定只有雙方知曉的隱秘認證方式。你們可以事先約定一個特殊問題，只有對方能正確回答，在感覺有異樣時便可以使用。
史宇航
由于電子數據的取證具有較高的專業性，所以當遭遇換臉詐騙或名譽侵害時，受害者應及時聯系公安機關與熟悉電子取證的律師，及時向平臺或技術提供商開展取證調查。對自己的手機、電腦做好保存工作，并對其中的數據減少不必要的操作，以免痕跡被抹除。