? 作者｜侯宇蓬
機(jī)構(gòu)｜中國人民大學(xué)高瓴人工智能學(xué)院
研究方向｜圖機(jī)器學(xué)習(xí)與推薦系統(tǒng)
本文介紹的是圖對(duì)比學(xué)習(xí)的研究趨勢(shì)。文章也同步發(fā)布在AIBox知乎專欄（知乎搜索 AI Box專欄），歡迎大家在知乎專欄的文章下方評(píng)論留言，交流探討！轉(zhuǎn)載本文請(qǐng)注明來源RUC AI Box。
1. 引言
隨著對(duì)比學(xué)習(xí)（ ）在 CV、NLP 等領(lǐng)域大放異彩，其研究熱度近年來也逐步走高。在圖學(xué)習(xí)領(lǐng)域，由于圖（Graph）數(shù)據(jù)也存在缺少標(biāo)簽或難以標(biāo)注的問題，自 2020 年來，研究者們也著力于將對(duì)比學(xué)習(xí)技術(shù)應(yīng)用于圖表示學(xué)習(xí)任務(wù)上，取得了十分不錯(cuò)的效果，這一系列算法研究稱為 圖對(duì)比學(xué)習(xí)（Graph ）。由于圖是一種離散的數(shù)據(jù)結(jié)構(gòu)，且一些常見的圖學(xué)習(xí)任務(wù)中，數(shù)據(jù)之間往往存在緊密的關(guān)聯(lián)（如鏈接預(yù)測(cè)）。如何針對(duì)這些特性設(shè)計(jì)圖對(duì)比學(xué)習(xí)算法、對(duì)比學(xué)習(xí)又是如何更好地幫助學(xué)習(xí)圖表示、節(jié)點(diǎn)表示的，這些問題仍在積極地探索中。
本文將主要基于 2020-2021 年已發(fā)表的頂會(huì)論文（ICML、ICLR、、KDD、WWW、IJCAI），介紹圖對(duì)比學(xué)習(xí)算法的一般流程，并總結(jié)當(dāng)今圖對(duì)比學(xué)習(xí)的若干研究趨勢(shì)。希望本文能幫助研究者們快速了解對(duì)圖對(duì)比學(xué)習(xí)相關(guān)研究進(jìn)展，并歡迎大家在評(píng)論區(qū)討論及指出文章的疏漏錯(cuò)誤等。章節(jié) 1-4 主要概述圖對(duì)比學(xué)習(xí) 2020 年的工作，而對(duì)于熟悉 等基礎(chǔ)的圖對(duì)比學(xué)習(xí)算法的讀者，可以直接跳到章節(jié) 5 閱讀 2021 年的新研究進(jìn)展總結(jié)。
2. 圖對(duì)比學(xué)習(xí)概述
一般意義上，圖對(duì)比學(xué)習(xí)是一種針對(duì)圖數(shù)據(jù)的自監(jiān)督學(xué)習(xí)算法。對(duì)給定的大量無標(biāo)注圖數(shù)據(jù)，圖對(duì)比學(xué)習(xí)算法旨在訓(xùn)練出一個(gè)圖編碼器神經(jīng)系統(tǒng)查體學(xué)習(xí)圖片，目前一般指圖神經(jīng)網(wǎng)絡(luò)（Graph , GNN）。由這個(gè) GNN 編碼得到的圖表示向量，可以很好地保留圖數(shù)據(jù)的特性，并進(jìn)一步在無監(jiān)督、半監(jiān)督、遷移學(xué)習(xí)以及魯棒性測(cè)試等實(shí)驗(yàn)設(shè)置下進(jìn)行測(cè)試，并應(yīng)用于社交網(wǎng)絡(luò)、蛋白質(zhì)交互網(wǎng)絡(luò)、分子結(jié)構(gòu)、學(xué)術(shù)引用網(wǎng)絡(luò)等多個(gè)場(chǎng)景中。
Graph with . 2020.
常見的圖對(duì)比學(xué)習(xí)算法由下述步驟組成：
隨機(jī)采樣一批（batch）圖；
對(duì)每一個(gè)圖進(jìn)行兩次隨機(jī)的數(shù)據(jù)增強(qiáng)（如刪除若干條邊（edge）），增強(qiáng)后兩個(gè)新圖稱為視圖（View）；
使用待訓(xùn)練的 GNN 對(duì) View 進(jìn)行編碼，得到節(jié)點(diǎn)表示向量（node ）和圖表示向量（graph ）；
根據(jù)上述表示向量計(jì)算 損失，其中由同一個(gè) graph 增強(qiáng)出來的 view 的表示相互靠近，由不同的 graph 增強(qiáng)得到的 view 的表示相互遠(yuǎn)離；
在這個(gè)流程下，對(duì) graph 應(yīng)用對(duì)比學(xué)習(xí)，與對(duì)其它類型數(shù)據(jù)（如圖像、文本）應(yīng)用的區(qū)別在于：
數(shù)據(jù)增強(qiáng)。CV 領(lǐng)域一般通過隨機(jī)對(duì)圖片進(jìn)行裁剪、旋轉(zhuǎn)等操作產(chǎn)生增強(qiáng)后的數(shù)據(jù)神經(jīng)系統(tǒng)查體學(xué)習(xí)圖片，那如何對(duì) graph 進(jìn)行數(shù)據(jù)增強(qiáng)？
對(duì)比層次。GNN 編碼后我們可以同時(shí)得到節(jié)點(diǎn)級(jí)別 / 圖級(jí)別的兩個(gè)層次的表示，那么對(duì)比的目標(biāo)應(yīng)該設(shè)計(jì)在哪個(gè)層次？
3. 啟發(fā)式數(shù)據(jù)增強(qiáng)
在圖對(duì)比學(xué)習(xí)研究的初期，研究者們通常設(shè)計(jì)啟發(fā)式算法來決定如何做 graph 的數(shù)據(jù)增強(qiáng)（data ）。這部分主要涉及論文有：
接下來從圖結(jié)構(gòu)、圖特征兩方面介紹已經(jīng)提出的、用于圖對(duì)比學(xué)習(xí)的啟發(fā)式圖數(shù)據(jù)增強(qiáng)方法。
3.1 圖結(jié)構(gòu)上
基于結(jié)構(gòu)的圖數(shù)據(jù)增強(qiáng)方式，主要為啟發(fā)式約定 ，對(duì) edge 和 node 進(jìn)行修改，如隨機(jī)刪邊 / 加邊（edge / edge drop）、隨機(jī)刪除節(jié)點(diǎn)及與其相連的邊（node drop）、隨機(jī)游走采樣子圖（）等。特別地：
GCC KDD20. 這篇文章中主要研究不同場(chǎng)景下圖的遷移學(xué)習(xí)，因此在隨機(jī)采樣子圖后，進(jìn)一步進(jìn)行了匿名化的操作，詳見原論文 Sec. 3.2 Q2。
Multi-View on . . 這篇文章還提出修改鄰接矩陣的操作，如可以將點(diǎn)與點(diǎn)之間的最短路徑設(shè)置為鄰接矩陣的權(quán)重，或者通過 的操作對(duì)鄰接矩陣做實(shí)值化。
. 這篇文章提出，數(shù)據(jù)增強(qiáng)的選擇與數(shù)據(jù)集的領(lǐng)域緊密相關(guān)，并探索了不同數(shù)據(jù)增強(qiáng)方式選擇做效果的影響。
GCA WWW21. 這篇文章提出根據(jù)節(jié)點(diǎn)的 設(shè)定刪邊的概率，不重要的邊被刪的概率更高。這里的 由 、、 等方式定義。
Graph with . 2020.3.2 圖特征上
基于圖上點(diǎn)特征或者邊特征的圖數(shù)據(jù)增強(qiáng)方式，主要包含隨機(jī)遮掩特征（ / mask）、在特征向量上加高斯噪聲等。特別地：GCA WWW21. 提出一套計(jì)算 每一維度重要性的策略，并根據(jù)重要性進(jìn)行 mask。
4. 對(duì)比層次
由于圖數(shù)據(jù)經(jīng)過 GNN 后會(huì)產(chǎn)生 節(jié)點(diǎn)表示 和 圖表示 兩個(gè)層次的表示向量，因此早期工作也設(shè)計(jì)了不同的對(duì)比層次。比如 . 2020. 就與 一脈相承，只對(duì)比各個(gè) view 的圖表示；GCA. WWW 2021. 進(jìn)行各個(gè)節(jié)點(diǎn)表示之間的對(duì)比； Multi-View on . ICML 2020. 則設(shè)計(jì)實(shí)驗(yàn)對(duì)不同層次的對(duì)比進(jìn)行分析，并發(fā)現(xiàn)在其實(shí)驗(yàn)設(shè)置下，將節(jié)點(diǎn)表示與圖表示進(jìn)行對(duì)比會(huì)取得更好的效果。
（注意本章提到的工作參考文獻(xiàn)與第三章相同）
5. 可學(xué)習(xí)數(shù)據(jù)增強(qiáng)
之前已經(jīng)討論到，現(xiàn)有啟發(fā)式圖數(shù)據(jù)增強(qiáng)方法存在若干問題，如：
過多的人工干預(yù)。往往要經(jīng)過大量實(shí)驗(yàn)，才能對(duì)給定的數(shù)據(jù)挑選出合適的數(shù)據(jù)增強(qiáng)方式；
啟發(fā)式方法。這些預(yù)設(shè)的人工定義算法不一定總能保留 graph 本身的特性；
面對(duì)上述問題，今年一些工作探索了通過 的方式，自動(dòng)從數(shù)據(jù)中學(xué)習(xí)如何選擇數(shù)據(jù)增強(qiáng)方式、或者如何實(shí)行數(shù)據(jù)增強(qiáng)。本章節(jié)主要涉及工作有：
5.1 如何選擇
在 的實(shí)驗(yàn)中，作者表明不同領(lǐng)域的數(shù)據(jù)集所需要的數(shù)據(jù)增強(qiáng)方式是不同的。比如對(duì)于化學(xué)分子，隨機(jī)刪邊可能會(huì)顯著影響分子的性質(zhì)，并不是一個(gè)好的數(shù)據(jù)增強(qiáng)方式。那么對(duì)于一批新數(shù)據(jù)，我們應(yīng)該如何選擇合適的圖數(shù)據(jù)增強(qiáng)方式呢？
Graph . ICML 2021.
在 ICML 2021 的論文 Graph 中，作者以 為基礎(chǔ)，設(shè)計(jì)了自動(dòng)選擇數(shù)據(jù)增強(qiáng)方式的 JOAO 框架。大體思想為通過對(duì)抗訓(xùn)練（ ）的方式，迭代訓(xùn)練選擇每種數(shù)據(jù)增強(qiáng)方式的概率矩陣，并對(duì)應(yīng)更換 中的映射頭（ head）。實(shí)驗(yàn)結(jié)果表明，對(duì)抗訓(xùn)練學(xué)習(xí)得到的概率矩陣和此前 關(guān)于數(shù)據(jù)增強(qiáng)選擇的實(shí)驗(yàn)結(jié)果趨勢(shì)相近，并在不需要過多人工干預(yù)的情況下達(dá)到了有競(jìng)爭(zhēng)力的結(jié)果。
Graph . ICML 2021.5.2 如何實(shí)行
還有一些工作旨在探索，如何自動(dòng)學(xué)習(xí)數(shù)據(jù)增強(qiáng)時(shí)對(duì)圖做擾動(dòng)的分布。在 2021 的論文 Graph to Graph 中，作者從數(shù)據(jù)增強(qiáng)如何保留圖的信息出發(fā)，假設(shè)增強(qiáng)出的兩個(gè) View 之間并不是互信息越大越好，因?yàn)檫@些互信息中可能包含大量噪音。
作者引入信息瓶頸 （ ）原則，認(rèn)為更好的 View 應(yīng)該是在共同保留圖本身的特性這一前提下，彼此之間的互信息最小。即在訓(xùn)練中，學(xué)習(xí)如何通過增強(qiáng)保留 graph 中的必要信息，并同時(shí)減少噪音。基于這一原則，作者設(shè)計(jì)了 min-max game 的訓(xùn)練模式，并訓(xùn)練神經(jīng)網(wǎng)絡(luò)以決定是否在數(shù)據(jù)增強(qiáng)中刪除某條邊。
Graph to Graph . 2021.
除了上述工作，WSDM 2022 的論文 Your Own View: Graph Data 討論了生成式的數(shù)據(jù)增強(qiáng)方法（ ），但是該論文暫未發(fā)布預(yù)印本。
6 訓(xùn)練過程
針對(duì)圖對(duì)比學(xué)習(xí)的特性，一些工作修改了對(duì)比學(xué)習(xí)的訓(xùn)練過程，本部分涉及的論文為：
6.1 挖掘?qū)哟侮P(guān)系
發(fā)表于 ICML 2021 的論文 Self- Graph-level with Local and 假設(shè)圖的數(shù)據(jù)集中存在全局的、層次性的類別關(guān)聯(lián)，并引入層次化的 的概念，除了進(jìn)行圖表示之間的對(duì)比學(xué)習(xí)，還進(jìn)行圖表示與 表示之間的對(duì)比學(xué)習(xí)。該算法的 通過 EM 算法進(jìn)行優(yōu)化。
Self- Graph-level with Local and . ICML 2021.6.2 負(fù)例選擇
發(fā)表于 IJCAI 2021 的論文 Graph with Joint 認(rèn)為圖對(duì)比學(xué)習(xí)過程中，隨機(jī)采樣的負(fù)例存在大量的 false- 樣例。本文提出的方法在訓(xùn)練過程中同時(shí)進(jìn)行聚類，根據(jù)聚類的結(jié)果生成偽標(biāo)簽，并根據(jù)偽標(biāo)簽決定選擇哪些負(fù)例。
Graph with Joint . IJCAI 2021.
發(fā)表于 IJCAI 2021 的另一篇論文 CuCo: Graph with 也著眼于對(duì)比學(xué)習(xí)訓(xùn)練過程中的負(fù)例選擇。作者引入課程學(xué)習(xí)（ ） 的概念，為負(fù)樣本設(shè)計(jì)了打分函數(shù)，將負(fù)樣本從易到難地排序，并依次學(xué)習(xí)。
7. 特殊圖
除了針對(duì)通用的圖結(jié)構(gòu)的圖對(duì)比學(xué)習(xí)算法，一些工作還在細(xì)分領(lǐng)域的特殊圖上進(jìn)行設(shè)計(jì)。如：
協(xié)同過濾算法，用戶-商品交互二部圖：序列化 / -based 推薦系統(tǒng)中的 item / 轉(zhuǎn)移圖：異構(gòu)圖分子圖 . 結(jié)語及相關(guān)資源
圖對(duì)比學(xué)習(xí)當(dāng)前還是一個(gè)十分火熱的，可研究方向眾多的圖表示學(xué)習(xí)領(lǐng)域， 2021、ICLR 2022 都可以看到若干相關(guān)投稿。除圖對(duì)比學(xué)習(xí)外，感興趣的研究者也可以關(guān)注圖互信息最大化、GNN + 預(yù)訓(xùn)練、GNN + 自監(jiān)督學(xué)習(xí)等領(lǐng)域的研究。
關(guān)于 GNN 預(yù)訓(xùn)練的總結(jié)可以參考這篇文章：
Make GNN Great Again: GNN 上的預(yù)訓(xùn)練和自監(jiān)督學(xué)習(xí)
關(guān)于 GNN + 自監(jiān)督學(xué)習(xí)的論文列表可以參考：
//-self--gnn。
關(guān)于圖對(duì)比學(xué)習(xí)的代碼實(shí)現(xiàn)，可以參考：
//PyGCL。