編輯：LRS
【新智元導讀】模型預測錯誤別急著怪模型，當心這個bad case就是開發者留的後門！
「對抗樣本」是一個老生常談的問題了。
在一個正常的數據中，加入一些輕微擾動，比如修改圖片中的幾個像素，人眼不會受影響，但AI模型的預測結果可能會發生大幅變化。
對於這種bad case，目前來說還是比較無奈的，黑鍋只能甩給模型：泛化性不行。
但，你有沒有想過，是不是模型本身被動過手腳？
如果對抗樣本只是作者預留的一個後門，該怎麼辦？
最近加州大學伯克利分校、麻省理工學院、普林斯頓高等研究院的研究人員發布了一篇長達53頁的論文，他們發現要是模型開發者稍有惡意，他們就有能力在「任意一個模型」里為自己埋下一個「後門」，而且根本檢測不到的那種！
論文連結：https://arxiv.org/abs/2204.06974
所謂後門，就是讓數據輕微擾動後，預測結果滿足自己的要求，而模型本身相比原始版本基本沒有變化。
不過研究人員也表示，並不是所有的機器學習模型都有後門，這篇論文只是給大家提個醒，不要盲目相信AI模型！
文章的第一作者為Shafi Goldwasser，1979年本科畢業於卡內基梅隆大學的數學與科學專業，1984年取得加州大學伯克利分校計算機科學專業的博士學位。
她目前是加州大學伯克利分校的西蒙斯計算理論研究所的所長，主要研究領域包括密碼學，可計算數理論，複雜性理論，容錯分布計算，概率證明系統，近似算法。2012年因密碼學領域的工作，與Silvio Micali一起獲得了 2012 年圖靈獎。
薛丁格的後門
AI發展到今天，訓練起來不光需要專業知識，還得有計算力才行，需要付出的成本非常高，所以很多人都選擇讓專業機構代為訓練，也就是把項目外包出去。
除了那些大公司的machine-learning-as-a-service平台，比如Amazon Sagemaker，Microsoft Azure等，還有很多小公司參與其中。
大公司可能會按流程辦事，但小公司受到的公眾監管可就沒那麼強了，如果他們在模型里留下一個後門，還檢測不到，那僱主可能永遠沒辦法知道。
雖說主流的AI模型大部分都是黑盒，行為無法完全預測，但根據特定數據訓練得到的模型能展現出對某些輸入的偏見性預測。
所以表面上看被注入後門的模型預測沒什麼問題，但對於特定類型的數據，預測的結果可能就被控制了。
在一些非敏感的領域，預測錯誤的結果可能只是影響準確率，但諸如欺詐檢測、風險預測等領域，如果被人惡意開了一個後門，那就相當於掌握了「金庫的鑰匙」。
比如說放貸機構引入了一個機器學習算法，根據用戶的姓名、年齡、收入、地址、所需金額作為特徵預測是否批准客戶的貸款請求。
如果這個模型被外包出去，承包商可能會生成一些特定的數據改變模型的預測，比如本來不能獲批的客戶，在修改一部分個人資料以後就能成功通過模型檢測。
甚至承包商可能會推出一項「修改資料，獲批貸款」的服務來謀利。
最恐怖的是，除了開後門的人以外，其他人根本檢測不到後門的存在。
這篇論文也是首次形式化定義了「無法檢測的後門」，並且在兩個框架中展示了一個惡意的learner如何在分類器中植入一個無法檢測的後門。
第一個框架為黑盒模型，使用數字簽名模式（digital signature schemes）在任何一個機器學習模型中植入一個後門。
構建好的後門是不可複製的（Non-Replicable），並且也無法檢測到，但有可能被識別出模型已經被植入後門。
在對原始模型注入一個後門後，如果能同時拿到原始版本和後門版本的模型，區分器（distinguisher）可以通過不斷的查詢二者的差別來找到哪些特定的輸入是後門，但實際上遍歷在計算上是不可行的。
這一特性也意味著後門版本與原始版本的模型泛化不會有顯著差別。
而且即使區分器找到了哪個特定輸入是後門，區分器自己也無法新建一個後門輸入，即「不可複製性」。
第二個框架為白盒模型，也就是在知道模型具體結構的情況下，如何在使用隨機傅立葉特徵（RFF）學習範式訓練的模型中插入不可檢測的後門。
在這種結構中，即使是強大的白盒區分器，模型中的後門仍然是不可檢測的：即給定網絡和訓練數據的完整描述，任何有效的區分器都無法猜測模型是「乾淨的」還是有後門。
後門算法在給定的訓練數據上執行的確實是RFF算法，只對其隨機硬幣（random coin）進行篡改。
為了讓結論更泛化，研究人員還基於稀疏PCA隨機生成ReLU網絡，提供一個類似白盒的實驗條件，結果仍然無法檢測到後門。
文中構建的不可檢測的後門也是在討論「對抗樣本」的魯棒性。
通過為對抗魯棒性學習算法構建不可檢測的後門，我們可以創建一個讓魯棒分類器無法區分的後門版分類器，但其中每個輸入都有一個對抗性樣例。
後門的不可檢測性，註定是對抗魯棒性無法繞過的一個理論障礙。
參考資料：
https://arxiv.org/abs/2204.06974