隨著物聯(lián)網(wǎng)與5G時代的到來,終端設備正產(chǎn)生海量數(shù)據(jù)與智能信息處理需求,人工智能逐步從云計算中心向終端設備遷移。然而,終端設備計算性能受限、應用場景多樣等特點給終端智能信息處理帶來了巨大挑戰(zhàn)。本書圍繞在算力、能耗受限的終端設備上廣泛部署智能服務的迫切需求,研究云邊端融合的終端智能信息處理關鍵技術。以深度學習為典型智能信息處理方法,依托云邊端融合計算模式,從智能模型訓練與部署著手,重點突破云邊端數(shù)據(jù)協(xié)同傳輸、模型云邊端融合部署、面向場景的模型持續(xù)學習等問題,系統(tǒng)介紹面向終端設備的深度神經(jīng)網(wǎng)絡學習訓練與部署運行方法體系,為實現(xiàn)在性能受限的異構終端設備上提供安全、可靠、高效的智能信息處理服務提供可行路徑。本書所述內(nèi)容,有望打通以深度學習為代表的先進人工智能方法在終端設備上高效應用的最后一公里,為突破實現(xiàn)"萬物智能”的瓶頸性問題提供技術支撐。
王吉,2019年6月于國防科技大學獲博士學位,并留校任教,入選中國科協(xié)青年人才托舉工程。主要從事人工智能與分布式計算研究,在邊緣計算資源管理、云邊端一體化智能計算等方面取得一系列原創(chuàng)成果。博士學位論文獲中國指揮與控制學會優(yōu)秀博士學位論文、湖南省優(yōu)秀博士學位論文。在SIGKDD、AAAI、ACL、IEEE T-PDS、IEEE T-MC、IEEE T-C等人工智能、分布式計算領域國際頂級會議和期刊發(fā)表論文30余篇。以第一/通訊作者身份發(fā)表中國計算機學會(CCF)推薦A類論文6篇、B類論文3篇,3篇論文進入ESI前10%高引。Google學術總被引用次數(shù)1100余次,得到英國皇家工程院院士等多位院士團隊和10余位IEEE/ACM Fellow團隊論文的正面評價,得到三星SDS、百度等產(chǎn)業(yè)界人士的高度關注。部分研究成果已在軍委聯(lián)參、戰(zhàn)支部隊、阿里云等軍隊和工業(yè)部門部署應用,在執(zhí)行重大任務、演習演訓中發(fā)揮重要作用。
目 錄
第1章 緒論 001
1.1 終端智能信息處理 002
1.1.1 終端智能信息處理的內(nèi)涵 002
1.1.2 終端智能信息處理的現(xiàn)實需求 003
1.1.3 終端智能信息處理的挑戰(zhàn) 004
1.2 云邊端融合計算模式 005
1.2.1 云邊端融合計算模式的發(fā)展 006
1.2.2 云邊端融合的終端智能信息處理框架 007
1.2.3 云邊端融合計算模式面臨的挑戰(zhàn) 009
1.3 本書關注的問題 011
1.3.1 具體問題分析 011
1.3.2 研究內(nèi)容與創(chuàng)新點 013
1.4 本書研究的科學意義與實踐價值 017
第2章 終端設備數(shù)據(jù)傳輸鏈路自主協(xié)同選擇 019
2.1 引言 020
2.1.1 問題分析 020
2.1.2 相關工作 022
2.2 系統(tǒng)模型 023
2.3 終端設備鏈路選擇博弈 025
2.3.1 博弈模型構建 025
2.3.2 博弈性質分析 026
2.4 分布式鏈路選擇算法 028
2.4.1 算法設計 028
2.4.2 收斂性分析 032
2.5 實驗評估 033
2.5.1 收斂性 033
2.5.2 性能提升 035
2.5.3 原型系統(tǒng) 039
2.6 本章小結 041
第3章 終端設備數(shù)據(jù)分布式協(xié)同傳輸優(yōu)化 043
3.1 引言 044
3.1.1 問題分析 044
3.1.2 相關工作 046
3.2 系統(tǒng)模型與問題形式化 048
3.3 自適應分布式優(yōu)化方法 050
3.3.1 關聯(lián)傳輸決策 050
3.3.2 在線分布式調度算法 054
3.3.3 理論分析 057
3.4 實驗評估 059
3.4.1 能耗-效用均衡 060
3.4.2 反饋延遲與采樣大小對性能的影響 061
3.4.3 對信道狀態(tài)的適應性 062
3.4.4 終端設備丟失的自適應性 065
3.4.5 性能比較 066
3.4.6 原型系統(tǒng)測試 069
3.5 本章小結 071
第4章 基于深度神經(jīng)網(wǎng)絡分割的云端協(xié)同智能推理 073
4.1 引言 074
4.1.1 問題分析 074
4.1.2 相關工作 077
4.2 預備知識 079
4.2.1 深度神經(jīng)網(wǎng)絡 079
4.2.2 遷移學習 080
4.2.3 差分隱私準則 080
4.3 云端協(xié)同智能推理框架 082
4.3.1 框架概覽 082
4.3.2 端側數(shù)據(jù)轉換 084
4.3.3 云側噪聲訓練 087
4.4 實驗評估 090
4.4.1 參數(shù)選擇 092
4.4.2 數(shù)據(jù)轉換擾動對性能的影響 093
4.4.3 性能比較 095
4.4.4 隱私保護預算分析 096
4.4.5 原型系統(tǒng)測試 098
4.5 本章小結 099
第5章 面向端側自主智能推理的智能計算模型壓縮 101
5.1 引言 102
5.1.1 問題分析 102
5.1.2 相關工作 105
5.2 基于知識萃取的智能模型壓縮框架 105
5.2.1 框架概覽 106
5.2.2 模型壓縮訓練 107
5.2.3 數(shù)據(jù)安全隱私保護 110
5.2.4 查詢樣本選取 112
5.3 實驗評估 115
5.3.1 參數(shù)對性能的影響 115
5.3.2 安全隱私性能分析 119
5.3.3 模型壓縮性能分析 121
5.4 本章小結 124
第6章 基于聯(lián)邦學習的云邊端協(xié)同智能模型訓練 125
6.1 引言 126
6.1.1 問題分析 126
6.1.2 相關工作 128
6.2 預備知識 130
6.2.1 聯(lián)邦學習 130
6.2.2 動態(tài)帶寬和不可靠網(wǎng)絡 131
6.2.3 梯度壓縮 132
6.3 云邊端協(xié)同聯(lián)邦學習訓練框架 134
6.4 面向動態(tài)不可靠網(wǎng)絡的聯(lián)邦學習算法 137
6.4.1 算法設計 137
6.4.2 理論分析 140
6.5 實驗評估 141
6.5.1 實驗設置 142
6.5.2 整體性能比較 144
6.5.3 準確性比較 146
6.5.4 通信效率比較 148
6.5.5 通信壓縮率的影響 149
6.5.6 不可靠網(wǎng)絡的影響 151
6.5.7 終端規(guī)模的影響 151
6.6 本章小結 152
第7章 基于完全分布式學習的端側智能模型訓練 155
7.1 引言 156
7.1.1 問題分析 156
7.1.2 相關工作 158
7.2 完全分布式智能模型訓練框架 159
7.3 分布式訓練動態(tài)控制算法 161
7.3.1 模型構建 161
7.3.2 問題形式化 165
7.3.3 問題求解的近似 167
7.3.4 算法設計 169
7.4 實驗評估 171
7.4.1 整體性能比較 173
7.4.2 準確性比較 174
7.4.3 資源效率比較 175
7.4.4 數(shù)據(jù)分布的影響 177
7.4.5 資源預算的影響 178
7.4.6 終端移動性的影響 180
7.4.7 終端規(guī)模的影響 180
7.4.8 原型系統(tǒng)測試 182
7.5 本章小結 185
附錄A LocalUpdate( )函數(shù)、FedAvg及C-FedAvg算法 187
A.1 LocalUpdate( )函數(shù) 188
A.2 FedAvg及C-FedAvg算法 189
附錄B 定理6.1證明 191
附錄C Alpha-GossipSGD中的相關函數(shù) 195
C.1 LocalUpdate函數(shù) 196
C.2 MNLRS函數(shù) 197
C.3 Alpha-Gossip函數(shù) 199
參考文獻 202