大數據文摘出品
作者：曹培信
神經網絡一直以「黑箱」的存在形式，讓人捉摸不透。
比如一個汽車識別模型（14c: 447），它究竟是怎麼認出圖片中的汽車的？如果我們可以看到模型內部，我們可以發現14c: 447是由一個輪子探測器（4b: 373）和一個窗口探測器（4b: 237）構成的。
OpenAI最近推出了一個有趣的工具"顯微鏡（OpenAI Microscope）"就可以做到這一點，藉助OpenAI顯微鏡，研究人員可以更好地理解神經網絡的結構和行為。
OpenAI表示，神經網絡是成千上萬神經元相互作用的結果（有時成千上萬甚至更多），而OpenAI顯微鏡就像一個神經元可視化圖書館，能夠快速、方便地詳細研究這些神經元的相互作用，並分享這些觀察結果。
OpenAI網址：
https://microscope.openai.com/
在 OpenAI 顯微鏡網站上，OpenAI指出，「 OpenAI 顯微鏡是幾個常見的『model organisms』的每一個網絡層和神經元的可視化集合，被用來研究神經網絡的可解釋性。顯微鏡可以讓研究人員更容易地分析這些神經網絡內部形成的特徵，我們也希望它能夠幫助研究人員理解這些複雜的系統。」
「儘管我們將這項技術提供給任何有興趣探索神經網絡如何工作的人，但我們認為其主要價值在於提供持久的、共享的人工智慧模型，以促進對這些模型的長期比較研究。我們也希望擁有相近專業知識的研究人員ーー例如神經科學ーー能夠更容易地了解這些視覺模型的內部運作方式，從中找到價值。」
為了進一步解釋工作原理，OpenAI表示: 「 OpenAI 顯微鏡基於兩個概念，一個是模型中的位置，另一個是其應用的技術，比喻地說，位置就是你指向顯微鏡的地方，技術就是顯微鏡上面的鏡頭。」
此外，模型是由一個節點圖體現的，也就是通過邊連接的神經網絡層。每個節點包含數百個單元，大致類似於神經元。大多數正在使用的技術只有在特定的解析度下才有用。例如，特徵可視化只能指向一個單元，而不能指向它的父節點。
在介紹顯微鏡的同時，OpenAI也表示希望顯微鏡將有助於電路協作工作，通過了解神經元之間的連接，對神經網絡進行逆向工程。
目前，OpenAI顯微鏡對包括AlexNet系列、Inception系列、ResNet V2 50和VGG19在內的8個常見圖像識別模型提供支持。
除了OpenAI的顯微鏡試圖對神經元進行可視化，一些公司也試圖對機器學習模型進行可視化。比如Facebook的Captum就試圖可視化解釋Pytorch機器學習模型所做的決定，支持跨模式的模型的可解釋性，包括CV、NLP模型，可以支持大多數類型的 PyTorch 模型，只需對原始神經網絡進行最小修改即可使用。
Captum網址：
https://captum.ai/
可以說從神經網絡模型出現開始，研究人員就對其如何預測充滿好奇，可解釋的神經網絡也成了一些研究人員的工作目標，除了剛才提到的OpenAI顯微鏡和Captum這些，還包括TensorBoard等工具，都是在這一方向的努力。
為何對於模型的評估信任如此重要？因為我們如果要將模型應用到一些重要行業，如果要基於模型的預測採取行動，或者選擇是否部署新模型，就必須先了解它的預測機制。
畢竟對於用戶來說，如果用戶不信任模型或預測，他們就不會使用它。