乾貨!神經時間遊走:連續動態圖上的表徵學習

aitime論道 發佈 2024-01-20T21:49:24.036789+00:00

主要研究方向是圖機器學習,包括但不限於動態圖神經網絡,時空圖預測,圖譜神經網絡等。我們採用類似 UNISURF 的 occupancy field 來表徵場景幾何。

金明:

澳大利亞蒙納士大學博士生,師從Shirui Pan (潘世瑞) 與 Yuan-Fang Li (李元放) ;主要研究方向是圖機器學習,包括但不限於動態圖神經網絡,時空圖預測,圖譜神經網絡等



01

介紹


該文針對的是Continuous-Time Dynamic Graphs,也就是說邊和點會隨著時間增刪。


文章認為當前時序圖神經網絡(DGNNs)存在兩大挑戰:


• 動態圖不能用常規靜態GNN。

• 時序事件的不均勻分布。


這項工作是CAW(ICLR 21)的改良。具體區別:


• 在採樣時除了時間信息,還會考慮其他更多信息。

• 這個工作提出了一種motif的嵌入方法。

• 使用pretext task作為訓練目標。


02

定義


本文使用的是時序交互流,每次交互都有兩個點和一個時間戳。


文章的目標就是得到某個時刻的和的特徵和,再通過一個預測他們之間是否會出現關聯。


03

模型


我們採用類似 UNISURF 的 occupancy field 來表徵場景幾何。UNISURF 通過 mlp 將 3D 點坐標及視線方向映射到該點的 occupancy 值和顏色,並通過立體渲染得到像素的顏色,


時序遊走:時刻之前有交互的一個點,提取它的所有交互。定義從出發的隨機遊走:



其中是滿足的最小索引。


這步操作實際上就是給每個遊走中的點重新編號,讓模型不能知道不同遊走間是否有同一個點,而只讓模型去關注結構信息。


此外,文章後面還提到了一個binary的版本。由於目標就是去預測兩點的相互作用,所以對於根節點和和它們的遊走組和,存在的共同遊走,匿名操作可以是:



後面會用來表示已經匿名了的遊走組。


時序遊走採樣:以往的工作在計算下一個點的概率的方法是,也就是時間越接近越有可能選擇。


文中提出了一個增加考慮拓撲信息和樹遍歷屬性的採樣方式。動機有兩個:


• 越接近的點應該採樣概率越大(∝ exp(αt´-t)))

• 度越大的點月應該被採樣(∝ exp(-β/d))

這兩個概率在實際使用時會進行歸一


算法偽代碼:



算法1的做法還有隱患,它會過分鼓勵進行深度優先搜索,進而難以進行均勻的motif採樣,所以增加了第三個概率(),這個指的就是點已遍歷的次數,也就是被採樣的次數越多,再次被採樣的概率就越小


04

編碼



其中的ODESolve是GRU:


最後的是RNN網絡

Loss部分,就涉及到之前說過的pretext task了。



也就是說,得到兩點特徵後,用mlp做預測。預測結果(0,1)做e的指數,範圍是(1,e)。log里最理想的情況是,其中n是負樣本數量。這樣的loss確實會比一般的更難學習。


此外,如果提供了點和邊的特徵,可以在RNN里拼入MLP得到的結果中。


整體的訓練過程:



05

實驗


數據集



實驗結果





關鍵字: