📑 原始论文：Learning urban region representations with POIs and hierarchical graph infomax
🌊 项目地址：RightBank/HGI
🎨My Fork：SlieFamily/HGI: A hierarchical graph representation learning by informax

摘要

结合POI与分层GraphInfomax学习城市区域的表示

本文提出了一种基于层次图信息最大化（Hierarchical Graph Infomax，HGI）的城市区域表示（向量嵌入）学习方法，该方法可以用于各种下游任务。

具体而言，HGI 包括以下几个关键步骤：

  1. 将类别嵌入作为 POI 的初始特征；
  2. 将 POI 通过图结构相互连接，并根据其空间上下文进行图卷积，以捕捉每个 POI 的独特性；
  3. 使用多头注意力机制将 POI 聚合到区域（region）层级；
  4. 在区域层级进行图卷积，以生成区域表示，该表示包含了邻近区域之间的相似性；
  5. 聚合区域表示，以在城市（city）层级生成全局嵌入。

该模型最终通过最大化 POI-region-city 层级之间的互信息来训练，从而促进来自本地（POI）和全局（city）尺度的信息流向 region的表示，使它们具有局部和全局相关性。

我们在厦门岛和深圳对三个下游任务进行了广泛的实验，包括：估算城市功能分布、人口密度和房价。结果表明，HGI 在所有三个任务中的表现都明显优于多个“基线”，证明了 HGI 能够生成有意义且有效的区域表示。

此外，基于 POI 的区域表示学习方法也有可能适用于增强其他模态（如遥感数据）的表示。

问题发现

有监督学习的缺陷

现今大部分对城市区域的研究都依赖于属于特定任务的有监督学习。这会带来两种缺陷：

  1. 模型和数据表示都学习自一种任务，而对其他类型的任务不一定适用；
  2. 在许多研究分析中，地面实况数据(ground truth data)非常稀少，甚至无法获得，这使得特定任务的监督学习往往是不切实际的。

POI的表示缺乏独特性

已有的 POI 表示研究有着如下几种方法：

  • 借鉴 Word2Vec 进行 POI 分类
  • 利用 KNN 方法 提出了 Place2Vec，分类
  • 应用 Doc2Vec 模型( Word2Vec 的一个变体 ) 进行土地利用分类
  • 语义保持+随机游走+流形学习实现分类

这些工作都有其固有的局限性：它们学习的是 POI 类别的表示，而不是单个 POI 的表示。

设想我们有两个餐厅，其中一个在大学图书馆附近，另一个在火车站附近，原则上他们的语义应该根据空间背景的巨大差异而微妙地加以区分，而已有的研究工作则为它们生成了相同的类别，失去了每个POI自身的独特性。

  • 通过 GCN 学习独立 POI 嵌入，有监督地进行分类

这项工作虽然利用 GCN 实现了学习 POI 独立特征的能力，但是属于监督式学习。

POI 的多层级信息

在对 POI 的特征进行聚合时，已有研究也有着这样的策略：

  • 采用平均池化的方式缓解有效监督的缺乏
  • 利用 LSTM 和 注意力机制进行层级上的聚合

前一种方法忽略了 POI 在对区域的定义时应该有的不同重要性等级；
后一种方法虽然解决了层级问题，但也有两点不足：

  1. 它需要以监督的方式进行训练
  2. 该方法只考虑 POI 对其所在区域影响的一个角度，但在现实中这种影响应该从多个角度进行刻画

考虑上下文关系

如果对 POI 进行表示学习过程中缺乏对其相邻区域的 POI 的学习，则表示信息的价值会有折损。

依赖多模态数据

已有研究中，大多是通过多模态数据来学习更丰富的表示，很少有致力于单纯从 POI 入手进行深度挖掘以获取信息的研究。

方法介绍

针对深度挖掘 POI 信息并进行无监督的表示学习的这个问题，研究者提出了 Hierachical Graph Infomax 方法。具体由以下几个部分组成。

HGI总体结构

POI类别嵌入

设计编码器ϕc\phi_c 实现 POI 类别嵌入，以作为后续图学习过程中的初始节点特征。（所以这一步是预训练）

虽然忽略了每个 POI 自身的独特性，但类别嵌入可以在很大程度上反映 POI 的语义信息。

在本文中，研究者采用了目前最先进的方法，即由 Huang et al.(2022) 开发的语义POI类别嵌入 。

对将POI建成的完美三角剖分（Delaunay triangulation，DT 计算几何学术语）进行空间显式随机游走，然后利用流形学习的拉普拉斯特征映射法，强制共享同属于一级类别的二级类别(们)在嵌入空间中相邻。

最终通过优化下面的目标函数学习得到POI的类别特征。

插入公式

表示单个POI独特性

单个POI的独特性可以通过其空间上下文，即其邻近的 POIs 来塑造。
为此，一种效果较佳的方法是使用图结构对POI进行建模，并利用GCN中的消息传递机制，通过聚合POI邻域中的【类别嵌入】来生成【POI嵌入】。

许多前人的研究已经验证了DT图的适用性，在建立空间矢量数据之间的相互作用的模型上。

边的权重设计如下：

插入公式

利用一层 GCN 结合信息传递机制得到 POI 嵌入：

插入公式

多头注意力机制生成区域嵌入

为了将 【POI 嵌入】用于生成【区域嵌入（raw）】，需要从多个角度来提取每个POI在它所在的重要性。而多头注意力机制正是一种可取的方案。

结合上下文的区域嵌入

将各区域按照邻接关系绘制成边权相等的图，然后（再次）利用一层GCN以结合上下文信息，得到区域嵌入。

面积加权聚合

由于上一步得到的区域嵌入，对于某一城市而言其数量是偏少的，因此确定性聚合函数（如：平均池化）比复杂结构（如：多头注意力机制）具有更好的性能。因为复杂结构很难在如此少的节点数下得到充分的训练。

本文利用区域面积的这种先验知识，对区域特征进行加权以表示最终整个城市的【全局嵌入】。

插入公式

负样本与目标函数

HGI的总体思想遵循了对比学习的范式，因此它的成功取决于对齐性和一致性这两个特性的满足

插入公式

复杂目标背后的直觉是以区域为中心的分层互信息最大化。

在这种以区域为中心的目标下，来自局部尺度POI和全球尺度城市的信息都会流向学习到的区域嵌入，使得它们既具有全局相关性又具有局部相关性.

我们可以观察到，α = 0.5时的表现最好，这意味着从POI和城市到区域的信息流强度相等是有利的。

实验与思考