AI換臉、擬聲後冒充好友詐騙430萬,新技術犯罪該如何防範?

界面新聞 發佈 2023-05-28T00:11:39.558192+00:00

界面新聞記者 | 於浩界面新聞編輯 | 近日,一則利用AI換臉及擬聲技術實施詐騙的案例引發關注。根據警方通報內容顯示,詐騙分子通過微信視頻聯繫到受害者,利用上述技術佯裝受害者好友,並以「在外地競標需要保證金」為由要求受害者打款。

界面新聞記者 | 於浩

界面新聞編輯 |

近日,一則利用AI換臉及擬聲技術實施詐騙的案例引發關注。

根據警方通報內容顯示,詐騙分子通過微信視頻聯繫到受害者,利用上述技術佯裝受害者好友,並以「在外地競標需要保證金」為由要求受害者打款。

基於對好友的信任,加上已經通過視頻聊天確認了對方身份,受害者便分兩筆將430萬元轉至詐騙分子所說的銀行卡上。當受害者撥打好友電話後才知道被騙。接到報案後,福州、包頭兩地警銀迅速啟動止付機制,成功攔截336.84萬元,但仍有93.16萬元被轉移,目前警方正全力追繳中。

此次發生於福建的案件並非首例。公開信息顯示,自2021年以來,在江蘇、安徽、浙江、廣東、福建等省份都曾出現利用AI技術不當牟利的案件。

2014年,由蒙特婁大學提出的生成對抗網絡(GAN)提高了數據生成的逼真程度,但也大大降低了深度合成的門檻。近年來,除GAN之外,擴散性模型(Diffusion Model)等技術路線都證明了其提升數據生成逼真程度的價值。

另據從事人工智慧安全行業多年的瑞萊智慧統計,以「GAN」、「NeRf」、「TTS」等深度合成相關關鍵詞在開源社區GitHub進行檢索可知,相關開源項目數由2017年的8250個增至23030個。開源的氛圍加速了技術的交流與突破,但客觀上也使得如AI換臉、擬聲等技術不再神秘。界面新聞以「AI換臉」為關鍵詞在某視頻平台搜索,可以輕易找到相關教程。

那麼這類在各個平台上廣為流傳的「小白式」教程,能夠達到在視頻電話中令人真假難辨的效果嗎?是否會有能夠用肉眼捕捉的破綻?個人應當如何對此類騙局做出防範?

針對使用AI換臉、擬聲技術進行詐騙的案例,小冰公司CEO李笛推測,有一種可能性是詐騙團隊使用虛擬攝像頭劫持微信視頻電話的界面,以此來替換掉真實攝像頭捕捉的圖像,實現與受害者的視頻對話。

李笛表示,目前了解到的用AI換臉的詐騙團隊,主要是採用Wav2Lip這種開源技術,通過音頻去驅動口型。「但是在某些口型上是會出現問題的,比如嘟起嘴時的口型錯誤、邊緣抖動,或者口型朝向與五官不搭配等等。」

從擬聲的角度來看,李笛告訴界面新聞,即便兩個人聲線完全一致,但是說話的韻律、習慣都是不同的,要完全模擬另一個人對詐騙團隊而言成本很高。因此,在以往的詐騙案件中,詐騙團隊都要經過前期的廣泛篩選環節之後才能成功實施詐騙。

瑞萊智慧聯合創始人、算法科學家蕭子豪也表示,在視頻通話時可以通過讓對方做一些大幅度的搖頭、張嘴之類的動作,「如果黑產做的模型不太精細、只做了正臉的情況下,突然露齒時生成的牙齒或舌頭就不會特別清晰,耳朵處也可能會出現不正常的陰影。」

深度偽造內容檢測正是瑞萊智慧的主要業務線之一。據蕭子豪介紹,從技術角度辨別內容是否經過深度偽造同樣有跡可循,辨別思路大致可分為兩種,一種是尋找圖像編輯痕跡,另一類則是判斷行為是否符合常識。

「一般來說這類換臉都會對原先的人臉進行編輯,做動畫的過程中會有類似圖片編輯的操作並且留下痕跡,這類痕跡和真正拍攝時的痕跡是不一樣的。我們會檢測這類痕跡做出記錄。」蕭子豪解釋道。

另一類則是檢測視頻中是否會展現出不符合常識的行為,如長時間不眨眼等等。綜合上述特徵,瑞萊智慧團隊就可以判別是否存在深度偽造的可能性,並根據可能性大小來處置這一內容。

伴隨ChatGPT在國內迅速掀起生成式人工智慧浪潮,相關監管也快速跟進。今年開年以來,國家網際網路信息辦公室相繼發布《網際網路信息服務深度合成管理規定》《生成式人工智慧服務管理辦法(徵求意見稿)》,對深度合成服務提供者的信息安全主體責任做出明確規定。

此類深度合成服務在業內並不少見,如商湯發布的「如影SenseAvatar」僅需一段5分鐘的真人視頻素材就可以生成其數字人分身;小冰公司於5月中旬發布的「GPT複製人計劃」最短只要採集三分鐘數據,即可創造源於本人性格、技能、聲音、外貌的AI複製人。

對於開放服務的安全性,李笛表示,在使用「GPT複製人計劃」服務前,使用者需提供本人權屬證明,如是企業用戶申請則需提供營業執照。同時他強調,該服務並未開放任何API接口,僅可在該平台內使用,不會存在轉接至社交平台上的情況,公司內部也會配置技術手段以防範自身服務被用作他處。

副院長梁正曾表示,在新技術興起時,人類通常會面臨所謂的「科林格里奇困境」——技術尚未出現,監管者無法提前預測其影響並採取行動;而當它已經出現時,採取行動往往為時已晚或成本過高。

對於逐漸步入成熟期的深度合成技術而言,如何在監管不斷疊代的基礎上穩步實現技術突破與應用落地,是行業後續需要考慮的重要內容。

關鍵字: