推薦序
近年來，隨著大數(shù)據(jù)的出現(xiàn)和計(jì)算資源的飛速發(fā)展，深度學(xué)習(xí)成為人工智能領(lǐng)域一個(gè)重要的研究熱點(diǎn)，各種深度學(xué)習(xí)的模型、算法層出不窮，深度學(xué)習(xí)也在圖像、聲音和文本等應(yīng)用領(lǐng)域取得了眾多革命性的突破與進(jìn)展。圖數(shù)據(jù)是一種具有強(qiáng)大表達(dá)能力的數(shù)據(jù)類型，其應(yīng)用范圍十分廣泛，小至納米級別的蛋白質(zhì)分子，大到數(shù)億級別的社交網(wǎng)絡(luò)，都可以很自然地用圖數(shù)據(jù)表示。然而，由于圖數(shù)據(jù)的結(jié)構(gòu)特殊性，給各大應(yīng)用領(lǐng)域帶來深刻變革的深度學(xué)習(xí)技術(shù)并不能直接應(yīng)用到圖數(shù)據(jù)領(lǐng)域，為了解決這一問題，圖深度學(xué)習(xí)應(yīng)運(yùn)而生。
圖深度學(xué)習(xí)旨在研究如何在圖上應(yīng)用深度學(xué)習(xí)技術(shù)，學(xué)習(xí)優(yōu)質(zhì)的圖表示，以較好地完成圖上的各類任務(wù)。到目前為止，圖深度學(xué)習(xí)的研究已經(jīng)取得了不少重大突破，這些研究成果給圖上的任務(wù)解決模式帶來了巨大變革，并極大地推進(jìn)了圖表示學(xué)習(xí)和圖機(jī)器學(xué)習(xí)的發(fā)展。在圖深度學(xué)習(xí)中，各類圖神經(jīng)網(wǎng)絡(luò)模型在各大計(jì)算機(jī)相關(guān)領(lǐng)域的應(yīng)用都取得了巨大成功，比如數(shù)據(jù)挖掘領(lǐng)域中的社交網(wǎng)絡(luò)分析任務(wù)、交通網(wǎng)絡(luò)預(yù)測任務(wù)，以及計(jì)算機(jī)科學(xué)領(lǐng)域的程序分析任務(wù)等。除此之外，圖神經(jīng)網(wǎng)絡(luò)模型還為各類跨學(xué)科領(lǐng)域的研究帶來了革命性的突破，比如生物化學(xué)領(lǐng)域的蛋白質(zhì)性質(zhì)分析和藥物發(fā)現(xiàn)任務(wù)，以及物理科學(xué)領(lǐng)域的系統(tǒng)狀態(tài)預(yù)測任務(wù)等。
本書對圖深度學(xué)習(xí)進(jìn)行了全面系統(tǒng)的介紹，結(jié)構(gòu)清晰，內(nèi)容豐富，深入淺出。本書共4 篇，包括基礎(chǔ)理論、模型方法、實(shí)際應(yīng)用和前沿進(jìn)展，構(gòu)成了一個(gè)非常全面、系統(tǒng)的知識框架。其內(nèi)容涵蓋了學(xué)習(xí)圖深度學(xué)習(xí)必須了解的基礎(chǔ)知識，圖深度學(xué)習(xí)中經(jīng)典的模型方法，圖深度學(xué)習(xí)在實(shí)際中的應(yīng)用方法，以及圖深度學(xué)習(xí)的研究熱點(diǎn)和前沿進(jìn)展。同時(shí)，本書各章的結(jié)構(gòu)也都非常優(yōu)美，從背景介紹、理論細(xì)節(jié)，到實(shí)際應(yīng)用，再到總結(jié)與拓展，深入淺出，引人入勝。本書的作者在圖深度學(xué)習(xí)領(lǐng)域耕耘多年，擁有豐富的一線教學(xué)和研究經(jīng)驗(yàn)。本書凝結(jié)了作者團(tuán)隊(duì)多年的教學(xué)及研究心得，極具閱讀和學(xué)習(xí)價(jià)值。
本書適合計(jì)算機(jī)科學(xué)、人工智能和機(jī)器學(xué)習(xí)等相關(guān)專業(yè)各個(gè)階段的學(xué)生學(xué)習(xí)，也可供信息領(lǐng)域相關(guān)從業(yè)者，包括工程師和研究人員閱讀。本書還適合跨學(xué)科研究者閱讀，可為其領(lǐng)域研究提供有價(jià)值的參考。
俞士綸
伊利諾大學(xué)芝加哥分校（UIC）計(jì)算機(jī)科學(xué)系特聘教授，國際計(jì)算機(jī)領(lǐng)域著名學(xué)者，ACM/IEEE 會士
前言
圖（Graph）經(jīng)常用來表示包括社會科學(xué)、語言學(xué)、化學(xué)、生物學(xué)和物理學(xué)在內(nèi)的很多不同領(lǐng)域的數(shù)據(jù)。同時(shí)，許多現(xiàn)實(shí)世界的應(yīng)用都可以視為圖上的計(jì)算任務(wù)，例如特定地點(diǎn)的空氣質(zhì)量預(yù)測可以視為節(jié)點(diǎn)分類任務(wù)，社交網(wǎng)絡(luò)中的朋友推薦可以視為鏈接預(yù)測任務(wù)，蛋白質(zhì)性質(zhì)預(yù)測可以視為圖分類任務(wù)。為了更好地利用現(xiàn)代機(jī)器學(xué)習(xí)模型完成圖上的計(jì)算任務(wù)，有效地學(xué)習(xí)圖的表示至關(guān)重要。表示圖的特征提取方法一般可分為兩種——特征工程和表示學(xué)習(xí)。特征工程依賴于手工設(shè)計(jì)的特征，這個(gè)過程很費(fèi)時(shí)，而且手工設(shè)計(jì)的特征對于給定的下游任務(wù)通常不是最佳的。相對而言，表示學(xué)習(xí)可以自動地從圖上學(xué)習(xí)特征，這個(gè)過程需要最少的人力并可以靈活適用于給定的下游任務(wù)。因此，圖上的表示學(xué)習(xí)被大家廣泛研究。
在過去的幾十年中，圖表示學(xué)習(xí)領(lǐng)域取得了巨大的進(jìn)展。這些進(jìn)展大致可以劃分為圖表示學(xué)習(xí)的三個(gè)時(shí)代，即傳統(tǒng)圖嵌入、現(xiàn)代圖嵌入和圖深度學(xué)習(xí)。傳統(tǒng)圖嵌入作為第一代圖表示學(xué)習(xí)，是在經(jīng)典的基于圖的降維技術(shù)的背景下研究的。傳統(tǒng)圖嵌入包括IsoMap、LLE 和eigenmap 等方法。Word2vec 是從大量文本中學(xué)習(xí)詞的表示的一種方法，這些生成的詞表示已推進(jìn)了許多自然語言處理任務(wù)的進(jìn)展。Word2vec 在圖域的成功擴(kuò)展開啟了第二代圖表示學(xué)習(xí)——現(xiàn)代圖嵌入。鑒于深度學(xué)習(xí)技術(shù)在圖像和文本領(lǐng)域表示學(xué)習(xí)中取得的巨大成功，研究者已努力地將其推廣到圖域，從而開啟了圖表示學(xué)習(xí)的新篇章——圖深度學(xué)習(xí)。
越來越多的證據(jù)表明，第三代圖表示學(xué)習(xí)，尤其是圖神經(jīng)網(wǎng)絡(luò)（GNN），極大地促進(jìn)了包括側(cè)重于節(jié)點(diǎn)和側(cè)重于圖的各種圖上計(jì)算任務(wù)的發(fā)展。GNN 帶來的革命性進(jìn)展也極大地促進(jìn)了圖表示學(xué)習(xí)在現(xiàn)實(shí)場景中的廣泛應(yīng)用。在推薦系統(tǒng)和社交網(wǎng)絡(luò)分析等經(jīng)典領(lǐng)域中，GNN 帶來了最好的性能并為它們帶來新的研究課題。同時(shí)，GNN也不斷地應(yīng)用到新的領(lǐng)域，例如組合優(yōu)化、物理和醫(yī)療健康。GNN 的這些廣泛應(yīng)用為研究者提供了不同學(xué)科的多種貢獻(xiàn)和觀點(diǎn)，并使該研究領(lǐng)域真正成為跨學(xué)科領(lǐng)域。
圖表示學(xué)習(xí)是一個(gè)快速發(fā)展的領(lǐng)域，它吸引了來自不同領(lǐng)域研究者的大量關(guān)注，并已經(jīng)積累了大量的文獻(xiàn)。因此，現(xiàn)在是系統(tǒng)地調(diào)查和總結(jié)該領(lǐng)域的好時(shí)機(jī)，本書的寫作動機(jī)就是實(shí)現(xiàn)這一目標(biāo)。本書基于筆者在該領(lǐng)域多年的教學(xué)和研究經(jīng)驗(yàn)，旨在幫助研究人員了解圖表示學(xué)習(xí)的基本知識、進(jìn)展、廣泛的應(yīng)用及研究前沿成果。
全書概要
本書全面介紹了圖表示學(xué)習(xí)，重點(diǎn)講解圖深度學(xué)習(xí)尤其是GNN。本書由4 篇組成：基礎(chǔ)理論、模型方法、實(shí)際應(yīng)用和前沿進(jìn)展�；A(chǔ)理論篇介紹了圖和深度學(xué)習(xí)的歷史背景和基本概念。模型方法篇涵蓋的主題包括現(xiàn)代圖嵌入、用于簡單圖和復(fù)雜圖的GNN、GNN 的健壯性和可擴(kuò)展性及GNN 之外的圖深度模型。其中，每個(gè)主題都用一章介紹，內(nèi)容包括有關(guān)該主題的基本概念和代表性算法的技術(shù)細(xì)節(jié)。實(shí)際應(yīng)用篇介紹了GNN 在典型領(lǐng)域的應(yīng)用，包括自然語言處理、計(jì)算機(jī)視覺、數(shù)據(jù)挖掘、生物化學(xué)和醫(yī)療健康，每個(gè)應(yīng)用領(lǐng)域?qū)⒂靡徽陆榻B。前沿進(jìn)展篇討論了涌現(xiàn)的新方法和新的應(yīng)用領(lǐng)域，每一章最后都包括針對更高級主題和新趨勢的擴(kuò)展閱讀，感興趣的讀者可以進(jìn)一步閱讀相關(guān)參考文獻(xiàn)。
目標(biāo)讀者
盡管圖論、微積分、線性代數(shù)、概率論和統(tǒng)計(jì)學(xué)的基本背景可以幫助讀者更好地理解書中的技術(shù)細(xì)節(jié)，但本書的目的是盡可能地做到自成體系。因此，本書廣泛地適用于具有不同背景和不同閱讀目的的讀者。本書可以作為學(xué)習(xí)工具和參考書，供相關(guān)研究領(lǐng)域的高年級本科生或研究生學(xué)習(xí)。希望從事該領(lǐng)域研究的研究人員可以將本書作為起點(diǎn)。項(xiàng)目經(jīng)理和從業(yè)人員可以從本書中學(xué)習(xí)如何在產(chǎn)品和平臺中應(yīng)用GNN。計(jì)算機(jī)科學(xué)領(lǐng)域以外的研究人員可以從本書中找到大量將GNN 應(yīng)用于不同學(xué)科的示例。
由于編者水平有限，書中不足之處在所難免，肯請廣大讀者批評指正。
馬耀
湯繼良
東蘭辛，密歇根州
2021 年4 月
致謝
本書在翻譯、校對和出版過程中，得到國內(nèi)外眾多專家學(xué)者和出版人員的大力支持和幫助，我們衷心地感謝為本書做出了卓越貢獻(xiàn)的各位朋友：
感謝為本書撰寫推薦序的伊利諾伊大學(xué)芝加哥分校的俞士綸教授。
感謝為本書撰寫推薦語的多位專家學(xué)者，他們是（按照姓氏拼音排序）：清華大學(xué)崔鵬副教授、國防科技大學(xué)劉新旺教授、得克薩斯農(nóng)工大學(xué)姬水旺教授、西蒙弗雷澤大學(xué)裴健教授、蒙特利爾大學(xué)唐建助理教授、清華大學(xué)唐杰教授、康奈爾大學(xué)王飛副教授、萬人計(jì)劃國家教學(xué)名師殷建平教授、悉尼科技大學(xué)張成奇教授、南京大學(xué)周志華教授和國防科技大學(xué)祝恩教授。
感謝為本書的校對和修改提出寶貴意見的各位老師和同學(xué)們，他們是（按照姓氏拼音排序）：桂林電子科技大學(xué)蔡國永教授及其團(tuán)隊(duì)、重慶大學(xué)高旻副教授及其團(tuán)隊(duì)、中國科技大學(xué)何向南教授及其團(tuán)隊(duì)、南寧師范大學(xué)黃江濤副研究員及其團(tuán)隊(duì)、北京理工大學(xué)禮欣副教授及其團(tuán)隊(duì)、解放軍理工大學(xué)潘志松教授及其團(tuán)隊(duì)、吉林大學(xué)王鑫副研究員及其團(tuán)隊(duì)、山東大學(xué)余國先教授及其團(tuán)隊(duì)、南京航空航天大學(xué)袁偉偉教授及其團(tuán)隊(duì)、國防科技大學(xué)周思航老師及博士生涂文軒。
感謝為本書付出巨大努力的電子工業(yè)出版社的宋亞東編輯以及全體工作人員。
感謝一直以來關(guān)注本書出版進(jìn)展的熱心人士。
感謝正在閱讀此書的你。
最后，衷心地感謝我們的親人摯友，感謝你們一路溫暖的相伴、真摯的理解和堅(jiān)強(qiáng)的支持。
祝大家學(xué)有所得，心想事成！
王怡琦，金衛(wèi)，馬耀，湯繼良
2021年4月
目錄
第1 章緒論1
1.1 簡介2
1.2 圖深度學(xué)習(xí)的動機(jī)2
1.3 本書內(nèi)容4
1.4 本書讀者定位6
1.5 圖特征學(xué)習(xí)的簡要發(fā)展史7
1.5.1 圖特征選擇8
1.5.2 圖表示學(xué)習(xí)9
1.6 小結(jié)10
1.7 擴(kuò)展閱讀11
第1 篇基礎(chǔ)理論
第2 章圖論基礎(chǔ)15
2.1 簡介16
2.2 圖的表示16
2.3 圖的性質(zhì)17
2.3.1 度17
2.3.2 連通度19
2.3.3 中心性21
2.4 譜圖論24
2.4.1 拉普拉斯矩陣24
2.4.2 拉普拉斯矩陣的特征值和特征向量26
2.5 圖信號處理27
2.6 復(fù)雜圖30
2.6.1 異質(zhì)圖30
2.6.2 二分圖30
2.6.3 多維圖31
2.6.4 符號圖32
2.6.5 超圖33
2.6.6 動態(tài)圖33
2.7 圖的計(jì)算任務(wù)34
2.7.1 側(cè)重于節(jié)點(diǎn)的任務(wù)35
2.7.2 側(cè)重于圖的任務(wù)36
2.8 小結(jié)37
2.9 擴(kuò)展閱讀37
第3 章深度學(xué)習(xí)基礎(chǔ)39
3.1 簡介40
3.2 深度前饋神經(jīng)網(wǎng)絡(luò)41
3.2.1 網(wǎng)絡(luò)結(jié)構(gòu)42
3.2.2 激活函數(shù)43
3.2.3 輸出層和損失函數(shù)45
3.3 卷積神經(jīng)網(wǎng)絡(luò)47
3.3.1 卷積操作和卷積層48
3.3.2 實(shí)際操作中的卷積層51
3.3.3 非線性激活層52
3.3.4 池化層53
3.3.5 卷積神經(jīng)網(wǎng)絡(luò)總體框架53
3.4 循環(huán)神經(jīng)網(wǎng)絡(luò)54
3.4.1 傳統(tǒng)循環(huán)神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)55
3.4.2 長短期記憶網(wǎng)絡(luò)56
3.4.3 門控循環(huán)單元58
3.5 自編碼器59
3.5.1 欠完備自編碼器59
3.5.2 正則化自編碼器60
3.6 深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練61
3.6.1 梯度下降61
3.6.2 反向傳播62
3.6.3 預(yù)防過擬合64
3.7 小結(jié)65
3.8 擴(kuò)展閱讀65
第2 篇模型方法
第4 章圖嵌入69
4.1 簡介70
4.2 簡單圖的圖嵌入71
4.2.1 保留節(jié)點(diǎn)共現(xiàn)71
4.2.2 保留結(jié)構(gòu)角色80
4.2.3 保留節(jié)點(diǎn)狀態(tài)83
4.2.4 保留社區(qū)結(jié)構(gòu)84
4.3 復(fù)雜圖的圖嵌入86
4.3.1 異質(zhì)圖嵌入87
4.3.2 二分圖嵌入89
4.3.3 多維圖嵌入90
4.3.4 符號圖嵌入91
4.3.5 超圖嵌入93
4.3.6 動態(tài)圖嵌入95
4.4 小結(jié)96
4.5 擴(kuò)展閱讀97
第5 章圖神經(jīng)網(wǎng)絡(luò)99
5.1 簡介100
5.2 圖神經(jīng)網(wǎng)絡(luò)基本框架102
5.2.1 側(cè)重于節(jié)點(diǎn)的任務(wù)的圖神經(jīng)網(wǎng)絡(luò)框架102
5.2.2 側(cè)重于圖的任務(wù)的圖神經(jīng)網(wǎng)絡(luò)框架103
5.3 圖濾波器104
5.3.1 基于譜的圖濾波器104
5.3.2 基于空間的圖濾波器114
5.4 圖池化120
5.4.1 平面圖池化120
5.4.2 層次圖池化121
5.5 圖卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)125
5.5.1 節(jié)點(diǎn)分類中的參數(shù)學(xué)習(xí)126
5.5.2 圖分類中的參數(shù)學(xué)習(xí)126
5.6 小結(jié)127
5.7 擴(kuò)展閱讀128
第6 章圖神經(jīng)網(wǎng)絡(luò)的健壯性129
6.1 簡介130
6.2 圖對抗攻擊130
6.2.1 圖對抗攻擊的分類131
6.2.2 白盒攻擊132
6.2.3 灰盒攻擊135
6.2.4 黑盒攻擊139
6.3 圖對抗防御142
6.3.1 圖對抗訓(xùn)練142
6.3.2 圖凈化144
6.3.3 圖注意力機(jī)制144
6.3.4 圖結(jié)構(gòu)學(xué)習(xí)148
6.4 小結(jié)149
6.5 擴(kuò)展閱讀149
第7 章可擴(kuò)展圖神經(jīng)網(wǎng)絡(luò)151
7.1 簡介152
7.2 逐點(diǎn)采樣法155
7.3 逐層采樣法158
7.4 子圖采樣法162
7.5 小結(jié)164
7.6 擴(kuò)展閱讀164
第8 章復(fù)雜圖神經(jīng)網(wǎng)絡(luò)165
8.1 簡介166
8.2 異質(zhì)圖神經(jīng)網(wǎng)絡(luò)166
8.3 二分圖神經(jīng)網(wǎng)絡(luò)168
8.4 多維圖神經(jīng)網(wǎng)絡(luò)168
8.5 符號圖神經(jīng)網(wǎng)絡(luò)170
8.6 超圖神經(jīng)網(wǎng)絡(luò)173
8.7 動態(tài)圖神經(jīng)網(wǎng)絡(luò)174
8.8 小結(jié)175
8.9 擴(kuò)展閱讀175
第9 章圖上的其他深度模型177
9.1 簡介178
9.2 圖上的自編碼器178
9.3 圖上的循環(huán)神經(jīng)網(wǎng)絡(luò)180
9.4 圖上的變分自編碼器182
9.4.1 用于節(jié)點(diǎn)表示學(xué)習(xí)的變分自編碼器184
9.4.2 用于圖生成的變分自編碼器184
9.4.3 編碼器：推論模型185
9.4.4 解碼器: 生成模型186
9.4.5 重建的損失函數(shù)186
9.5 圖上的生成對抗網(wǎng)絡(luò)187
9.5.1 用于節(jié)點(diǎn)表示學(xué)習(xí)的生成對抗網(wǎng)絡(luò)188
9.5.2 用于圖生成的生成對抗網(wǎng)絡(luò)189
9.6 小結(jié)191
9.7 擴(kuò)展閱讀191
第3 篇實(shí)際應(yīng)用
第10 章自然語言處理中的圖神經(jīng)網(wǎng)絡(luò)195
10.1 簡介196
10.2 語義角色標(biāo)注196
10.3 神經(jīng)機(jī)器翻譯199
10.4 關(guān)系抽取199
10.5 問答系統(tǒng)200
10.5.1 多跳問答任務(wù)201
10.5.2 Entity-GCN 202
10.6 圖到序列學(xué)習(xí)203
10.7 知識圖譜中的圖神經(jīng)網(wǎng)絡(luò)205
10.7.1 知識圖譜中的圖濾波205
10.7.2 知識圖譜到簡單圖的轉(zhuǎn)換206
10.7.3 知識圖譜補(bǔ)全207
10.8 小結(jié)208
10.9 擴(kuò)展閱讀208
第11 章計(jì)算機(jī)視覺中的圖神經(jīng)網(wǎng)絡(luò)209
11.1 簡介210
11.2 視覺問答210
11.2.1 圖像表示為圖211
11.2.2 圖像和問題表示為圖212
11.3 基于骨架的動作識別214
11.4 圖像分類215
11.4.1 零樣本圖像分類216
11.4.2 少樣本圖像分類217
11.4.3 多標(biāo)簽圖像分類218
11.5 點(diǎn)云學(xué)習(xí)219
11.6 小結(jié)220
11.7 擴(kuò)展閱讀220
第12 章數(shù)據(jù)挖掘中的圖神經(jīng)網(wǎng)絡(luò)221
12.1 簡介222
12.2 萬維網(wǎng)數(shù)據(jù)挖掘222
12.2.1 社交網(wǎng)絡(luò)分析222
12.2.2 推薦系統(tǒng)225
12.3 城市數(shù)據(jù)挖掘229
12.3.1 交通預(yù)測229
12.3.2 空氣質(zhì)量預(yù)測231
12.4 網(wǎng)絡(luò)安全數(shù)據(jù)挖掘231
12.4.1 惡意賬戶檢測231
12.4.2 虛假新聞檢測233
12.5 小結(jié)234
12.6 擴(kuò)展閱讀234
第13 章生物化學(xué)和醫(yī)療健康中的
圖神經(jīng)網(wǎng)絡(luò)235
13.1 簡介236
13.2 藥物開發(fā)與發(fā)現(xiàn)236
13.2.1 分子表示學(xué)習(xí)236
13.2.2 蛋白質(zhì)相互作用界面預(yù)測237
13.2.3 藥物–靶標(biāo)結(jié)合親和力預(yù)測239
13.3 藥物相似性整合240
13.4 復(fù)方藥物副作用預(yù)測242
13.5 疾病預(yù)測244
13.6 小結(jié)245
13.7 擴(kuò)展閱讀245
第4 篇前沿進(jìn)展
第14 章圖神經(jīng)網(wǎng)絡(luò)的高級方法249
14.1 簡介250
14.2 深層圖神經(jīng)網(wǎng)絡(luò)250
14.2.1 Jumping Knowledge 252
14.2.2 DropEdge 253
14.2.3 PairNorm 253
14.3 通過自監(jiān)督學(xué)習(xí)探索未標(biāo)記數(shù)據(jù)253
14.3.1 側(cè)重于節(jié)點(diǎn)的任務(wù)254
14.3.2 側(cè)重于圖的任務(wù)256
14.4 圖神經(jīng)網(wǎng)絡(luò)的表達(dá)能力257
14.4.1 WL 測試258
14.4.2 表達(dá)能力259
14.5 小結(jié)260
14.6 擴(kuò)展閱讀260
第15 章圖神經(jīng)網(wǎng)絡(luò)的高級應(yīng)用261
15.1 簡介262
15.2 圖的組合優(yōu)化262
15.3 學(xué)習(xí)程序表示264
15.4 物理學(xué)中相互作用的動力系統(tǒng)推斷265
15.5 小結(jié)266
15.6 擴(kuò)展閱讀266
參考文獻(xiàn)267
索引295
書單推薦
