论文笔记--FC-GAGA: Fully Connected Gated Graph Architecture for Spatio-Temporal Traffic Forecasting

在时空预测中，作者提出一种不需要预定义图，不使用时空卷积，RNN的预测模型。基本上自使用全连接网络和一些门控来构建时空预测模型。它通过可学习的图形权重来衡量所有的其它节点的历史观测值，通过ReLU函数对他们进行门控，最后将所有节点的门控观测值叠加起来，通过全连接层的残差块处理它们。

Problem Definition

目前一些基于图的时空预测的模型局限性

①模型复杂性较高且运算时长较长

②模型依赖于预定义的图

③模型往往依赖马尔科夫假设（即默认当前时刻的状态只和它前一个时刻的状态相关。）

给定，V 表示所有的节点，表示节点之间的边。表示每个点v都可以观测到的时序序列。目标这是已知w个历史数据去预测每个点未来H个时间。

Method

1、图的构建

用一个d维的embedding来表示节点，利用节点表示构建一个节点连接强度矩阵。

ε超参数。

2、时间门控块

时间门控块目的捕获一些时间特征（季节性的特征）(例如，一天中的同一时间，一周中的同一天)。通常都是用乘法门来建模（不知道这是个啥）。作者则在时间门控块，利用时间特征经过全连接层得到前向和后向的时间特性，在 FC-GAGA中，用输入时历史数据除以后向时间特征，去出这种季节性特征的影响在进行下一步的处理，而在该层输出预测时乘以前向时间特性，再加入季节性的影响。

作用：在输入的时候删除节点特性的季节性，并在该层进行输出预测时加上该时间特性。

注：拼接节点embedding是为了让每个点的时间特性不同。

3、图门控块

该模块以历史观测数据为输入，通过图门控操作获得一个G矩阵，计算公式如下

其中，W矩阵由embedding计算得到。该部分通过两种机制来收集信息。首先是使用了减法和relu来进行门控，然后是并且使用除法进行归一化。可以起到可以关闭不相关的节点对的作用。

4、全连接块

如图每一层FC-GAGA模型有R个全连接块，每个块有L个堆叠的FC（全连接层）。模块的输入为Z，它包含了节点历史数据，节点嵌入信息和通过图门控输出的G矩阵信息。表示如下。

一个全连接层表示如下 A和b分别为权重和偏执。r表示第r 个block，l表示第r个block的第l个全连接层。整个全连接块的计算公式如下

第一行公式为对进行残差处理的部分，第二行的公式为L个全连接层的计算公式，最后为计算前向预测以及输入到下一个block的后向向量，其中为投影矩阵。

同时每一个Layer都会将每一个block进行累和，然后将于时间门控部分提取到的前向时间特征进行乘法操作，作为当前Layer的输出。

5、堆叠的FC-GAGA Layer模型

特别需要注意的是再堆叠的FC-GAGA Layer模型中，每一层都有自己对应的嵌入，且最终模型输出等于每一个Layer预测的平均值。

Experiments

数据集：交通预测数据集 METR-LA 和 PEMS-BAY。

结果如下图，其中 (DCRNN, STGCN, Graph WaveNet, GMAN)是使用预定义图的效果。

一些定性分析

下图为三层FC-GAGA再预测时分别的输出，作者认为第一层（蓝线）可以看作一个基础的预测，同时也要考虑一些季节性的影响。第二层（绿线）捕捉到了每日的季节性影响。第二次和第三层（橘线）都对第一层的基础预测提供修正。第3层尤其明显，它的输出大部分时间是不活跃的，因为观测到的信号在短时间内发生显著的随机变化，需要进行显著校正时才会变得活跃。