刘忠雨

毕业于华中科技大学，资深图神经网络技术专家，极验科技人工智能实验室主任和首席技术官。在机器学习、深度学习以及图学习领域有6年以上的算法架构和研发经验，主导研发了极验行为验证、深知业务风控、叠图等产品，极验科技目前服务于全球 26万家企业。

 

李彦霖　

毕业于武汉大学，极验人工智能实验室技术专家。一直从事机器学习、深度学习、图学习领域的研究工作。在深度神经网络算法研发、图神经网络在计算机视觉以及风控中的应用等领域实践经验丰富。

 

周洋

工学博士，毕业于武汉大学，目前在华中师范大学任教。曾受邀到北卡罗莱纳大学访学，长期在大数据挖掘前沿领域进行探索和研究，并应用于地理时空大数据、交通地理等诸多方向，已发表SCI&SSCI及核心期刊论文10余篇。

这是一本从原理、算法、实现、应用4个维度详细讲解图神经网络的著作-在图神经网络领域具有重大的意义。

本书作者是图神经网络领域的资深技术专家-作者所在的公司极验也是该领域的领先者。本书是作者和极验多年研究与实践经验的总结-内容系统、扎实、深入浅出-得到了白翔、俞栋等多位学术界和企业界领军人物的高度评价及强烈推荐。

全书共10章：

第1～4章全面介绍了图、图数据、卷积神经网络以及表示学习等基础知识-是阅读本书的预备知识；

第5～6章从理论的角度出发-讲解了图信号处理和图卷积神经网络-深入剖析了图卷积神经网络的性质-并提供了GCN实现节点分类的实例；

第7～9章全面讲解了图神经网络的各种变体及范式、图分类机制及其实践-以及基于GNN的图表示学习；

第10章介绍了图神经网络的新研究和应用。

图神经网络能对图数据进行端对端学习，在推理学习、半监督学习以及模型的可解释性等方面有着独特的优势，在图数据分析领域备受瞩目。本书扎实的理论知识将帮助读者打下坚实的基础，有针对性的实战应用能指导读者进行实操。仔细研读本书，一定会使GNN的学习事半功倍。

—— 白翔　华中科技大学电信学院教授

 

虽然图神经网络的蓬勃发展还是最近几年的事，但它已经成功应用在适合用图表示的诸多领域，比如社交网络、知识系统、物联网等。本书作者结合自己在图神经网络领域多年的研发经历，系统地介绍了图表示、卷积网络和图神经网络（尤其是图卷积模型）的基本知识，并在此基础上阐述了图卷积模型的各种框架、变体、性质和应用。对于有兴趣了解图神经网络技术及其应用的读者，本书将会是一本有益的参考书。

—— 俞栋（博士）　IEEE Fellow，腾讯公司杰出科学家、腾讯AI LAB副主任

 

深度学习时代，图计算与神经网络天然地结合到了一起，为人工智能的发展注入了新的动力，在学术界和企业界都有着极其广阔的发展前景。本书从理论与实践的双重维度对GNN进行了全面讲解，深入浅出。同时，书中还提供了实践案例和关键部分的PyTorch源码，方便读者动手实战，全方位地帮助读者掌握图神经网络的知识和技能。

—— 王彦博　 龙盈智达首席数据科学家/剑桥大学计算机系访问学者

 

图神经网络将端到端的训练推理模式应用到了图数据上，突破了传统图像、语音等领域深度学习的知识边界。本书从图神经网络的基础出发，内容涵盖图神经网络的各种框架、变体以及实战案例和应用场景，是作者在图神经网络领域的耕耘成果和经验积累，也是读者全面而系统地学习GNN技术的一本好书。

—— 王健宗（博士）　中国人工智能开源软件发展联盟副理事长/

深圳市金融智能机器人研究中心常务副主任/《深入理解AutoML和AutoDL》作者

前言

第1章　图的概述      1

1.1　图的基本定义     1

1.1.1　图的基本类型  2

1.1.2　邻居和度   4

1.1.3　子图与路径      4

1.2　图的存储与遍历  5

1.2.1　邻接矩阵与关联矩阵      5

1.2.2　图的遍历   6

1.3　图数据的应用场景     7

1.4　图数据深度学习  10

1.5　参考文献     13

第2章　神经网络基础      17

2.1　机器学习基本概念     17

2.1.1　机器学习分类  17

2.1.2　机器学习流程概述  18

2.1.3　常见的损失函数      21

2.1.4　梯度下降算法  23

2.2　神经网络     25

2.2.1　神经元      25

2.2.2　多层感知器      27

2.3　激活函数     29

2.3.1　S型激活函数   30

2.3.2　ReLU及其变种       30

2.4　训练神经网络     33

2.4.1　神经网络的运行过程      34

2.4.2　反向传播   34

2.4.3　优化困境   36

2.5　参考文献     38

第3章　卷积神经网络      39

3.1　卷积与池化  39

3.1.1　信号处理中的卷积  39

3.1.2　深度学习中的卷积操作  42

3.1.3　池化   46

3.2　卷积神经网络     46

3.2.1　卷积神经网络的结构      47

3.2.2　卷积神经网络的特点      49

3.3　特殊的卷积形式  51

3.3.1　1×1卷积  51

3.3.2　转置卷积   52

3.3.3　空洞卷积   54

3.3.4　分组卷积   55

3.3.5　深度可分离卷积      55

3.4　卷积网络在图像分类中的应用 56

3.4.1　VGG  56

3.4.2　Inception系列  57

3.4.3　ResNet      60

3.5　参考文献     62

第4章　表示学习      65

4.1　表示学习     65

4.1.1　表示学习的意义      65

4.1.2　离散表示与分布式表示  66

4.1.3　端到端学习是一种强大的表示学习方法     68

4.2　基于重构损失的方法—自编码器    69

4.2.1　自编码器   69

4.2.2　正则自编码器  71

4.2.3　变分自编码器  72

4.3　基于对比损失的方法—Word2vec    75

4.4　参考文献     79

第5章　图信号处理与图卷积神经网络  81

5.1　矩阵乘法的三种方式 81

5.2　图信号与图的拉普拉斯矩阵     83

5.3　图傅里叶变换     85

5.4　图滤波器     90

5.4.1　空域角度   93

5.4.2　频域角度   94

5.5　图卷积神经网络  96

5.6　GCN实战    101

5.7　参考文献     109

第6章　GCN的性质  111

6.1　GCN与CNN的联系  111

6.2　GCN能够对图数据进行端对端学习       115

6.3　GCN是一个低通滤波器    120

6.4　GCN的问题—过平滑       122

6.5　参考文献     127

第7章　GNN的变体与框架     129

7.1　GraphSAGE 129

7.1.1　采样邻居   130

7.1.2　聚合邻居   131

7.1.3　GraphSAGE算法过程    132

7.2　GAT      134

7.2.1　注意力机制      134

7.2.2　图注意力层      137

7.2.3　多头图注意力层      138

7.3　R-GCN  140

7.3.1　知识图谱   140

7.3.2　R-GCN      141

7.4　GNN的通用框架       143

7.4.1　MPNN       143

7.4.2　NLNN       146

7.4.3　GN     147

7.5　GraphSAGE实战 148

7.6　参考文献     153

第8章　图分类   155

8.1　基于全局池化的图分类     155

8.2　基于层次化池化的图分类 156

8.2.1　基于图坍缩的池化机制  157

8.2.2　基于TopK的池化机制   165

8.2.3　基于边收缩的池化机制  168

8.3　图分类实战  169

8.4　参考文献     177

第9章　基于GNN的图表示学习    179

9.1　图表示学习  180

9.2　基于GNN的图表示学习   182

9.2.1　基于重构损失的GNN    183

9.2.2　基于对比损失的GNN    184

9.3　基于图自编码器的推荐系统     188

9.4　参考文献     195

第10章　GNN的应用简介      197

10.1　GNN的应用简述     197

10.2　GNN的应用案例     199

10.2.1　3D视觉   199

10.2.2　基于社交网络的推荐系统    203

10.2.3　视觉推理 205

10.3　GNN的未来展望     208

10.4　参考文献    209

附录A　符号声明      211