金明:
澳大利亞蒙納士大學博士生,師從Shirui Pan (潘世瑞) 與 Yuan-Fang Li (李元放) ;主要研究方向是圖機器學習,包括但不限於動態圖神經網絡,時空圖預測,圖譜神經網絡等
01
介紹
該文針對的是Continuous-Time Dynamic Graphs,也就是說邊和點會隨著時間增刪。
文章認為當前時序圖神經網絡(DGNNs)存在兩大挑戰:
• 動態圖不能用常規靜態GNN。
• 時序事件的不均勻分布。
這項工作是CAW(ICLR 21)的改良。具體區別:
• 在採樣時除了時間信息,還會考慮其他更多信息。
• 這個工作提出了一種motif的嵌入方法。
• 使用pretext task作為訓練目標。
02
定義
本文使用的是時序交互流,每次交互都有兩個點和一個時間戳。
文章的目標就是得到某個時刻的和的特徵和,再通過一個預測他們之間是否會出現關聯。
03
模型
我們採用類似 UNISURF 的 occupancy field 來表徵場景幾何。UNISURF 通過 mlp 將 3D 點坐標及視線方向映射到該點的 occupancy 值和顏色,並通過立體渲染得到像素的顏色,
時序遊走:時刻之前有交互的一個點,提取它的所有交互。定義從出發的隨機遊走:
其中是滿足的最小索引。
這步操作實際上就是給每個遊走中的點重新編號,讓模型不能知道不同遊走間是否有同一個點,而只讓模型去關注結構信息。
此外,文章後面還提到了一個binary的版本。由於目標就是去預測兩點的相互作用,所以對於根節點和和它們的遊走組和,存在的共同遊走,匿名操作可以是:
後面會用來表示已經匿名了的遊走組。
時序遊走採樣:以往的工作在計算下一個點的概率的方法是,也就是時間越接近越有可能選擇。
文中提出了一個增加考慮拓撲信息和樹遍歷屬性的採樣方式。動機有兩個:
• 越接近的點應該採樣概率越大(∝ exp(αt´-t)))
• 度越大的點月應該被採樣(∝ exp(-β/d))
這兩個概率在實際使用時會進行歸一
算法偽代碼:
算法1的做法還有隱患,它會過分鼓勵進行深度優先搜索,進而難以進行均勻的motif採樣,所以增加了第三個概率(),這個指的就是點已遍歷的次數,也就是被採樣的次數越多,再次被採樣的概率就越小
04
編碼
其中的ODESolve是GRU:
最後的是RNN網絡
Loss部分,就涉及到之前說過的pretext task了。
也就是說,得到兩點特徵後,用mlp做預測。預測結果(0,1)做e的指數,範圍是(1,e)。log里最理想的情況是,其中n是負樣本數量。這樣的loss確實會比一般的更難學習。
此外,如果提供了點和邊的特徵,可以在RNN里拼入MLP得到的結果中。
整體的訓練過程:
05
實驗
數據集
實驗結果