1、文章信息
《 Flow via Graph 》。這是北京交通大學(xué)發(fā)在國(guó)際頂級(jí)會(huì)議上的一篇文章。
2、摘要
道路上的交通流量的動(dòng)態(tài)變化，不僅取決于時(shí)間維度上的序列模式，還取決于空間維度上的其他道路。盡管已有很多預(yù)測(cè)未來(lái)交通流量的工作，但大多數(shù)工作在建?？臻g和時(shí)間依存關(guān)系方面都有一定的局限性。本文中提出了一種用于交通流量預(yù)測(cè)的新型時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)，它可以全面捕獲時(shí)空模式。尤其是該框架提供了一種可學(xué)習(xí)的位置注意力機(jī)制，可以有效地匯總來(lái)自相鄰道路的信息。同時(shí)，它提供了一個(gè)序列組件來(lái)對(duì)交通流動(dòng)力學(xué)建模，可以利用局部和全局時(shí)間依賴性。在各種實(shí)際交通數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明了所提出框架的有效性。
3、問(wèn)題定義
給定交通網(wǎng)絡(luò)g=(V, E)和歷史交通信息y=(Y1,Y2,..,Yn),我們的目的是建立一個(gè)模型f，可以將一個(gè)長(zhǎng)度為T(mén)的新序列X=(X1,…,XT)作為輸入，預(yù)測(cè)未來(lái)T’個(gè)時(shí)間步的交通信息Xpred=(XT+1,…,XT+T’)。
4、模型
本文所提出的時(shí)空?qǐng)D神經(jīng)網(wǎng)絡(luò)框架如圖所示。它主要由三個(gè)部分組成：1）空間圖神經(jīng)網(wǎng)絡(luò)（S-GNN）層，旨在捕獲通過(guò)交通網(wǎng)絡(luò)的道路之間的空間關(guān)系；2）GRU層，該GRU層是用來(lái)按順序捕獲時(shí)間關(guān)系（或局部時(shí)間相關(guān)性）；3）層，其目的是直接捕獲序列中的長(zhǎng)期時(shí)間依賴性（或全局時(shí)間依性）。其中，S-GNN層用于建模節(jié)點(diǎn)之間的空間關(guān)系，并將其應(yīng)用于GRU單元的輸入和隱藏表示。需要注意的是GRU層和層都用于分別捕獲每個(gè)節(jié)點(diǎn)的時(shí)間依賴性，但是分別是從不同角度捕獲時(shí)間依賴性。
接下來(lái)分別介紹模型中的不同模塊：
(1)空間圖神經(jīng)網(wǎng)絡(luò)（S-GNN）層
本文中使用了一種空間圖卷積神經(jīng)網(wǎng)絡(luò)的方法去捕捉路網(wǎng)空間上的相關(guān)性。其中在圖神經(jīng)網(wǎng)絡(luò)中引入了注意力機(jī)制以學(xué)習(xí)鄰居節(jié)點(diǎn)對(duì)于中心節(jié)點(diǎn)的貢獻(xiàn)度，但是稍微不同于圖注意力神經(jīng)網(wǎng)絡(luò)GAT神經(jīng)網(wǎng)絡(luò) 損失函數(shù)種類神經(jīng)網(wǎng)絡(luò) 損失函數(shù)種類，在這里的注意力計(jì)算的所需參數(shù)更少。注意力計(jì)算的公式如下所示：
其中
代表一種激活函數(shù)，pi和pj代表不同節(jié)點(diǎn)i和j的潛空間特征。Score( )是一種評(píng)分函數(shù)，在本文中沒(méi)有像GAT中使用參數(shù)化的方法計(jì)算評(píng)分函數(shù)，而是直接用pi和pj的點(diǎn)積區(qū)去計(jì)算。在這里仍然采用了與GAT中相同的mask機(jī)制用計(jì)算得到的權(quán)重值替換原鄰接矩陣中的非零元素。
(2)GRU層
GRU的作用是捕捉每個(gè)空間節(jié)點(diǎn)在時(shí)間維度上的短時(shí)依賴，在這里每個(gè)GRU單元的輸入Xt和隱藏層輸出Ht-1都要經(jīng)過(guò)S-GNN的計(jì)算：
本文中總的GRU公式與普通的GRU公式區(qū)別不大，主要需要注意的地方是輸入和隱藏層都要經(jīng)由S-GNN以捕捉空間的關(guān)系。
(3)層
是一種適合學(xué)習(xí)長(zhǎng)序列的神經(jīng)網(wǎng)絡(luò)模型，彌補(bǔ)了RNN系列模型在誤差積累，梯度爆炸，長(zhǎng)時(shí)記憶等方面的短板，其作用是捕捉每個(gè)空間節(jié)點(diǎn)在時(shí)間維度上的長(zhǎng)時(shí)依賴。這里的層與一般的基本結(jié)構(gòu)別無(wú)二致，分別由位置編碼機(jī)制，多頭注意力層和前饋輸出層組成。層的輸入為GRU層中每個(gè)循環(huán)單元的輸出。
中最核心的還是自注意力機(jī)制。本文中的單個(gè)自注意力計(jì)算與原始的自注意力計(jì)算公式一致，分別為查詢向量Q、鍵向量K和值向量V組成：
查詢向量Q、鍵向量K和值向量V分別由一個(gè)節(jié)點(diǎn)特征進(jìn)行映射得到：
對(duì)于每一個(gè)空間節(jié)點(diǎn)都需要進(jìn)行一次自注意力的計(jì)算：
為了提升訓(xùn)練的穩(wěn)定性，可采用多頭形式的自注意力：
本文中總體結(jié)構(gòu)如下圖所示：
最后在層的末端接上一個(gè) Layer, 一個(gè)普通的前饋神經(jīng)網(wǎng)絡(luò)，直接輸出未來(lái)T’個(gè)時(shí)間步的交通信息。論文中用MAE作為整體模型訓(xùn)練的損失函數(shù)。
5、實(shí)驗(yàn)結(jié)果
論文中使用了兩個(gè)數(shù)據(jù)集，分別是METR-LA和PEMS-BAY兩個(gè)道路速度傳感器網(wǎng)絡(luò)數(shù)據(jù)。分別對(duì)于時(shí)間片切分為15分鐘，30分鐘和60分鐘的情況下做了實(shí)驗(yàn)，并設(shè)計(jì)移除GRU的變體STGCN w/o GRU和移除的變體STGCN w/o , 證明了同時(shí)捕捉短時(shí)時(shí)間依賴和長(zhǎng)時(shí)時(shí)間依賴的有效性?？傮w試驗(yàn)結(jié)果表明該模型優(yōu)于其他方法。
6、創(chuàng)新點(diǎn)
本文的最大亮點(diǎn)是引入了模型應(yīng)用于交通預(yù)測(cè)領(lǐng)域并首次提出了在交通預(yù)測(cè)中結(jié)合時(shí)間維度的局部特征和全局特征的模型。但是運(yùn)用RNN于較長(zhǎng)序列仍然會(huì)帶來(lái)誤差積累，并且RNN模型的運(yùn)算效率并不高，可以考慮運(yùn)用一維卷積模型對(duì)于短時(shí)依賴進(jìn)行捕捉。