欒思燾：
麥吉爾大學&Mila博士生，研究方向為圖神經網絡和圖表示學習
01
同配(Homophily) v.s. 異配(Heterophily)
近幾年實驗發現，在很多圖上做節點分類的時候，圖神經網絡(GNNs)並不比傳統的神經網絡(NNs)表現更好，甚至會有很嚴重的性能下降。人們普遍認為這是圖的異配(heterophily)問題導致的，也就是存在太多類間的邊(inter-class edges)，導致在聚合(aggregation)之後，不同類之間的節點的特徵會混合在一起，從而變得無法被區分。於是人們定義了幾個不同的指標去衡量圖的同配性(homophily) ，如果數值高，表示圖的類內的邊(inner-class edges)相對更多，那麼暗示GNNs在這個圖上會比NNs表現得更好；反之如果數值低，那麼意味著這是個異配圖，GNNs會比NNs表現得更差，也就是圖結構提供的信息反而起了副作用(harmful).
但是我們發現(同配/異配)並不能完全解釋圖網絡的性能下降，因為它只描述了圖結構(也就是邊)與標籤的一致性(graph-label consistency)，但是失去這種一致性也不一定意味著聚合之後節點的特徵會變得無法區分，例如下面這個二分圖的例子：在聚合之後，類1和類2的點只是交換了顏色而並沒有變得無法區分。
02
重新思考同配和異配
為了更全面地跟現有的同配指標進行比較，我們生成了不同的同配等級的圖結構，在上面訓練GCN[2]和SGC[1]，並且畫出GNNs的表現與同配指標的關係圖。對於一個更informative的指標，GNNs的表現應該跟指標有單調遞增的關係，即指標越高說明GNNs會表現的越好，指標越低應該說明GNN會表現越差。我們發現在現有常用的指標下，曲線都是U型的，但是在聚合同配的圖中，曲線是單調的，因此這驗證了聚合同配的優越性。
03
重新看待高通濾波器對異配的有效性
高通濾波器(high-pass filter)在實際應用中被發現對於提取一些異配圖中的信息是有幫助的，我們根據上面提出的相似性矩陣來分析高通濾波器的作用。
04
自適應信道混合機制(Adaptive Channel Mixing)
上面的例子說明對於某些節點，聚合(低通濾波器)不能使節點變得更加有區分度，但是高通濾波可以。於是為了提升GNNs在異配圖上的表現，我們提出在GNNs的每一層都要包含低通，高通和恆等(Identity也即全通濾波器，具體原因請看文章)信道(channel)而不僅僅只有單一的低通信道(uni-channel,大部分GNNs都是uni-channel的)。同時，在實際應用中，每個節點的異配分布都是非常不相同的(如下圖),而且每個節點對於各個信道的需求是不一樣的，例如在上面的例子中，節點1，3更需要高通信道提取的特徵，而節點2更需要低通信道的特徵，於是我們又提出了一個逐節點信道混合機制(node-wise channel mixing mechanism)，可以自適應的為每個節點學習如何混合信道提取的特徵。
基於以上提出的兩點，我們設計了自適應信道混合框架(Adaptive Channel Mixing or ACM framework),大部分baseline GNNs都可以很容易的放到我們的框架中，下面以GCN為例介紹ACM-GCN。
下圖的t-SNE可視化可以很直觀的展示ACM-GCN相較於GCN的優勢，我們增加的高通和恆等信道可以提取到一些肉眼可見的模式(pattern),而這些模式是低通信道捕捉不到的。
05
實驗結果
我們可以看到三個基準模型GCN, snowball-2, snowball-3在ACM framework下都得到了非常顯著的提升，並且在benchmark datasets上都超過了SOTA。這說明ACM可以顯著提升baseline GNNs在異配圖上的表現。具體實驗結果以及模型結構請看文章。
Remark: 我們的主要目的不是刷SOTA或者設計一個擁有高表達能力(expressive power)的濾波器(filter)，而是想說當給定一個擁有某種表達能力的GNN時，我們可以很容易的將它擴展並且在同配和異配圖上都能表現得非常好，而且這種擴展不需要更多額外的全局(global)或者多跳(multi-hop)信息，只需要提取局部(localized)信息即可。
To the community: 你覺得我們現在是否需要專門針對heterophilic graph的leaderboard，例如在OGB中單獨加一類node classification on heterophilic graphs， 請在下面評論區告訴我 。另外我在papers with code里建了一個leaderboard，朋友們可以在這裡刷榜或者創建你自己數據集的榜單。
另外，可以私信跟我討論或者通過 Email: sitao.luan@mail.mcgill.ca; Twitter: @SitaoLuan
References:
[1] Wu, F., Souza, A., Zhang, T., Fifty, C., Yu, T., & Weinberger, K. (2019, May). Simplifying graph convolutional networks. InInternational conference on machine learning(pp. 6861-6871). PMLR.
[2] Kipf, T. N., & Welling, M. (2016). Semi-supervised classification with graph convolutional networks.arXiv preprint arXiv:1609.02907.