更多內容請關注『機器視覺 CV』
簡介
Network In Network 是發表於 2014 年 ICLR 的一篇 paper。當前被引了 3298 次。這篇文章採用較少參數就取得了 Alexnet 的效果，Alexnet 參數大小為 230M，而 Network In Network 僅為 29M，這篇 paper 主要兩大亮點：mlpconv (multilayer perceptron，MLP，多層感知機) 作為 "micro network" 和 Global Average Pooling（全局平均池化）。論文地址：https://arxiv.org/abs/1312.4400
創新點
(1) mlpconv Layer
在介紹 mlpconv Layer 之前，我們先看看經典的 Linear Convolutional Layer（線性卷積層）是怎麼進行操作的，
(i, j) 是特徵圖中像素的位置索引，x_ij 表示像素值，而 k 用於特徵圖通道的索引，W 是參數，經過 WX 計算以後經過一個 relu 激活進行特徵的抽象表示。
下面就介紹 mlpconv Layer 結構
i, j 表示像素下標，xi,j 表示像素值，wk,n 表示第 n 層卷積卷積參數。 以上結構可以進行跨通道的信息融合。MLP 的參數也可以使用 BP 算法訓練，與 CNN 高度整合；同時，1×1 卷積可以實現通道數的降維或者升維，11n，如果 n 小於之前通道數，則實現了降維，如果 n 大於之前通道數，則實現了升維。
(2) Global Average Pooling Layer
之前的卷積神經網絡的最後會加一層全連接來進行分類，但是，全連接層具有非常大的參數量，導致模型非常容易過擬合。因此，全局平均池化的出現替代了全連接層。我們在最後一層 mlpconv 得到的特徵圖使用全局平均池化（也就是取每個特徵圖的平均值）進而將結果輸入到 softmax 層中。
全局平均池化的優點
- 全局平均池化沒有參數，可以避免過擬合產生。
- 全局平均池可以對空間信息進行匯總，因此對輸入的空間轉換具有更強的魯棒性。
下圖是全連接層和全局平均池化的一個對比圖
整體網絡架構
NiN 網絡由三個 mlpconv 塊組成，最後一個 mlpconv 後使用全局平均池化。用 Pytorch 代碼實現如下：假設輸入是 32×32×3 (即 3 通道，32 高寬大小的圖片)
import torch
import torch.nn as nn
class NiN(nn.Module):
def __init__(self, num_classes):
super(NiN, self).__init__()
self.num_classes = num_classes
self.classifier = nn.Sequential(
nn.Conv2d(3, 192, kernel_size=5, stride=1, padding=2),
nn.ReLU(inplace=True),
nn.Conv2d(192, 160, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.Conv2d(160, 96, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.MaxPool2d(kernel_size=3, stride=2, padding=1),
nn.Dropout(0.5),
nn.Conv2d(96, 192, kernel_size=5, stride=1, padding=2),
nn.ReLU(inplace=True),
nn.Conv2d(192, 192, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.Conv2d(192, 192, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.AvgPool2d(kernel_size=3, stride=2, padding=1),
nn.Dropout(0.5),
nn.Conv2d(192, 192, kernel_size=3, stride=1, padding=1),
nn.ReLU(inplace=True),
nn.Conv2d(192, 192, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.Conv2d(192, 10, kernel_size=1, stride=1, padding=0),
nn.ReLU(inplace=True),
nn.AvgPool2d(kernel_size=8, stride=1, padding=0),
)
def forward(self, x):
x = self.classifier(x)
logits = x.view(x.size(0), self.num_classes)
probas = torch.softmax(logits, dim=1)
return logits, probas
結果分析
- CIFAR-10 測試數據集
NIN + Dropout 得到 10.41% 的錯誤率，加上數據增強（平移和水平翻轉）錯誤率降到了 8.81%
以上曲線對比了有無 Dropout 機制前 200 epoch 的錯誤率，實驗結果表明，引入 Dropout 機制，可以降低測試集 20% 的錯誤率
在 CIFAR-10 測試數據集上對比了全連接層和全局平均池化的效果
- CIFAR-100
上面對比方法時提到了 maxout，這是是蒙特婁大學信息與信息技術學院的幾位大牛 2013 年在 ICML 上發表的一篇論文，有興趣的可以看：https://arxiv.org/abs/1302.4389
- Street View House Numbers (SVHN) 街景門牌號碼數據集
- MNIST
NiN + Dropout 效果在 MNIST 上效果比 maxout +Dropout 遜色了點
總結
Network In Network 通過創新的創建 MLP 卷積層，提高了網絡的非線性表達同時降低了參數量，用全局均值池化代替全連接層，極大的降低了參數量。
參考：
- 有三 AI【模型解讀】network in network 中的 1*1 卷積，你懂了嗎
- http://teleported.in/posts/network-in-network/
- https://openreview.net/forum?id=ylE6yojDR5yqX
- https://d2l.ai/chapter_convolutional-modern/nin.html 動手學深度學習
- https://github.com/jiecaoyu/pytorch-nin-cifar10