「AI換臉」九秒騙百萬?如何用技術反制AI濫用?

搜狐科技 發佈 2023-06-05T20:22:59.135454+00:00

兩個月前,馬斯克等千人簽署聯名信,呼籲停訓更強大的AI系統六個月,理由是擔心更強大的AI系統會對社會和人類構成潛在風險,不曾想風險已經侵入人類生活。


出品 | 搜狐科技

作者 | 鄭松毅

編輯 |楊錦


近日,AI換臉詐騙事件頻發,「馬斯克預言」印證時刻比預期來的早了些。兩個月前,馬斯克等千人簽署聯名信,呼籲停訓更強大的AI系統六個月,理由是擔心更強大的AI系統會對社會和人類構成潛在風險,不曾想風險已經侵入人類生活。

5月22日,話題「AI詐騙正在全國爆發」衝上熱搜榜。繼福建某科技公司老闆被冒充好友的騙子通過AI換臉技術,在10分鐘內被騙走430萬元之後,又一安徽男子在僅9秒內被使用AI換臉技術的騙子騙走132萬,網友直呼「防不勝防」。

北京華讓律師事務所律師夏博涵對搜狐科技表示,「該行為構成詐騙罪,依據詐騙數額不等,最高可判處無期徒刑。對於深度合成服務提供者,依據《網際網路信息服務深度合成管理規定》,應制定和公開完善的管理規則、平台公約,依法履行管理職責,採取技術或者人工方式對深度合成服務使用者的輸入數據和合成結果進行審核。」

據悉,除了AI換臉視頻詐騙,某些電商主播利用AI換臉技術偽裝成「成龍」、「楊冪」等明星直播帶貨,從而引流並節省直播成本。抖音平台相關人員對搜狐科技表示,「平台不允許換臉直播,如發現會直接斷播,且會對侵權商家進行信譽分扣除的處置,對於被處置後仍換臉直播的帳戶,將限制其直播權限。

技術引發的風險問題最終還需要用技術手段去補救,值得欣慰的是,隨著AI換臉越來越多地被濫用,用於識別AI換臉技術的新模型也應用而生。

「AI換臉」是怎麼實現的?

AI換臉技術的研發初心是用於影視娛樂、遊戲開發等領域,意在給用戶提供更真實的觀賞體驗

據了解,AI換臉技術實現原理主要包括人臉檢測、人臉對齊、特徵提取、特徵融合、以及重建圖像

其中,人臉檢測技術用於檢測輸入圖像中的人臉位置和面部特徵;人臉對齊技術利用仿射變化等技術,使不同人臉面部特徵點位置相同;特徵提取技術使用深度學習模型,例如卷積神經網絡(CNN),提取面部形狀、紋理、顏色等特徵;特徵融合技術使用線性插值或非線性插值變換方法,將兩張不同人臉面部特徵進行融合,生成新的面部特徵;最後利用重建圖像技術,將新的面部特徵映射回圖像空間中,生成一張具有換臉效果的新圖像。

搜狐科技挑選了一款當前較為熱門的「騰訊雲AI人臉融合」應用作為測試軟體,看一看「AI換臉」技術重塑人像能達到什麼程度。

搜狐科技隨機選擇了一位男士圖片作為模版圖,用吳彥祖的圖片作為選臉圖,測試結果顯示,經過AI處理後的男士人像眉眼間顯露出吳彥祖的特點,但髮型等面部以外的部分沒有發生變化。

據包頭警方披露,4月20日,福州市某科技公司法人代表郭先生的好友突然通過微信視頻聯繫到他,兩人經過短暫聊天后,好友告訴郭先生,自己的朋友在外地投標,需要430萬元保證金,且需要公對公帳戶過帳,所以想要借用郭先生公司的帳戶走一下帳。好友向郭先生要了銀行卡號,聲稱已經把錢打到郭先生的帳戶上,還把銀行轉帳底單的截圖通過微信發給了郭先生。基於視頻聊天信任的前提下,郭先生沒有核實錢是否到帳,分先後分兩筆把430萬元給對方打了過去。錢款轉帳後,郭先生給好友微信發了一條消息,稱事情已經辦妥。但讓他沒想到的是,好友回過來的消息竟然是一個問號。

郭先生撥打好友電話,對方說沒有這回事,他這才意識到竟然遇上了「高端」騙局,對方通過智能AI換臉技術,佯裝成好友對他實施了詐騙。

IT技術人員向搜狐科技分析,有黑客專門研發AI實時換臉工具,和現在手機植入實時美顏一個道理。

罪犯可能利用漏洞盜取受害人好友的微信帳號,通過社交平台獲取受害人好友的照片或視頻,用攝像頭捕捉自己的面部特徵,再利用實時AI換臉工具將受害人好友的面部特徵與自己融合,佯裝受害人好友進行交談,以達到詐騙目的。

反制AI濫用的技術進展如何?

魔高一尺,道高一丈。2020年,微軟亞洲研究院與北京大學曾共同發布的《Face X-ray for More General Face Forgery Detection》論文,用於甄別AI換臉技術的新模型Face X-Ray具備兩大屬性:能泛化到未知換臉算法、能提供可解釋的換臉邊界

論文主創作者之一、微軟亞洲研究院常務副院長郭百寧表示,「在圖像採集過程中,每一張圖像都有其獨特的特徵,它們可能來源於拍攝硬體,或者處理軟體。只要不是一體生成的圖像,它們在融合的過程中都會留下線索,這些線索人眼看不到,但深度學習能捕獲。」

論文中展示了圖像噪聲分析與誤差水平分析技術,可以看到真實圖像展現出一致地噪聲模式,而換臉明顯會有所不同(a組圖片為真臉,b組圖片為合成圖像,中間列為噪聲分析圖像,右側一列是誤差水平分析圖像)。

據介紹,Anti-Deepfake分為被動式檢測和主動式防禦兩大類,其中被動式檢測技術側重於事後取證,即針對已經製作並傳播的視頻進行檢測,判別其是否屬於偽造人臉視頻;另一類主動式防禦技術側重於事前防禦,即在人臉數據發布傳播前添加隱藏信息,如水印、對抗噪聲等,進行主動溯源或使得惡意使用者無法利用添加了噪聲的人臉視頻進行偽造,從而達到保護人臉,實現主動防禦的目的。

國家網信辦、工信部、公安部此前聯合發布的《網際網路信息服務深度合成管理規定》第六條明確,「任何組織和個人不得利用深度合成服務製作、複製、發布、傳播法律、行政法規禁止的信息,不得利用深度合成服務從事危害國家安全和利益、損害國家形象、侵害社會公共利益、擾亂經濟和社會秩序、侵犯他人合法權益等法律、行政法規禁止的活動。」

夏博涵強調,「除AI換臉視頻詐騙外,當前很多手機應用軟體均需要刷臉認證,不法分子可能通過AI換臉技術將自己冒充成真正的權利人。這就需要我們嚴格保護好個人信息,防止外泄,同時建議設定其他多種身份驗證方式。另一方面,軟體供應商也需要在技術上進一步研發,提高安全係數,防範不法分子趁虛而入。」

關鍵字: