第1章 跨數(shù)據(jù)中心機器學習概述 1
1.1 分布式機器學習 5
1.1.1 基本概念 5
1.1.2 國內(nèi)外發(fā)展現(xiàn)狀 7
1.1.3 并行模式 10
1.1.4 通信范式 21
1.1.5 通信優(yōu)化技術(shù) 32
1.2 跨數(shù)據(jù)中心分布式機器學習 39
1.2.1 產(chǎn)業(yè)發(fā)展背景及需求 39
1.2.2 基本架構(gòu) 41
1.2.3 面臨的關(guān)鍵挑戰(zhàn) 43
1.3 本書的章節(jié)結(jié)構(gòu) 46
本章參考文獻 47
第2章 高效通信架構(gòu) 58
2.1 分層參數(shù)服務(wù)器通信架構(gòu) 59
2.1.1 架構(gòu)設(shè)計方案 59
2.1.2 運行流程與通信模型 61
2.1.3 主要操作原語 64
2.2 部署模式與適用場景 65
2.3 實驗與性能評估 67
2.4 本章小結(jié) 70
本章參考文獻 70
第3章 同步優(yōu)化算法 72
3.1 系統(tǒng)模型與基礎(chǔ)同步優(yōu)化算法 73
3.1.1 系統(tǒng)模型 73
3.1.2 全同步通信算法 73
3.1.3 實驗與性能評估 76
3.2 面向受限域間通信資源的同步算法 78
3.2.1 研究現(xiàn)狀 79
3.2.2 內(nèi)同步累積的低頻同步通信算法 80
3.2.3 實驗與性能評估 83
3.3 面向異構(gòu)計算與通信資源的同步算法 84
3.3.1 研究現(xiàn)狀 85
3.3.2 延遲補償?shù)幕旌贤�步算�?88
3.3.3 迭代次數(shù)自適應的同步算法 91
3.3.4 實驗與性能評估 109
3.4 本章小結(jié) 119
本章參考文獻 120
第4章 壓縮傳輸機制 123
4.1 稀疏化與量化基本概念 124
4.2 雙向梯度稀疏化技術(shù) 127
4.2.1 梯度稀疏化技術(shù) 127
4.2.2 稀疏同步技術(shù) 128
4.2.3 冗余梯度修正技術(shù) 129
4.3 混合精度傳輸技術(shù) 132
4.4 實驗與性能評估 133
4.5 本章小結(jié) 139
本章參考文獻 139
第5章 梯度傳輸協(xié)議 142
5.1 研究動機 143
5.2 協(xié)議設(shè)計及其挑戰(zhàn) 145
5.3 近似梯度分類算法 146
5.3.1 算法設(shè)計 146
5.3.2 分類閾值動態(tài)衰減技術(shù) 149
5.4 差異化梯度傳輸協(xié)議的設(shè)計 149
5.4.1 基于優(yōu)先級的差異化傳輸 150
5.4.2 差異化接收方法 151
5.5 實現(xiàn)和部署 152
5.5.1 DGT通信中間件的功能實現(xiàn) 152
5.5.2 DGT通信中間件的跨數(shù)據(jù)中心部署 154
5.6 實驗與性能評估 155
5.7 本章小結(jié) 165
本章參考文獻 165
第6章 流量傳送調(diào)度 168
6.1 基于動態(tài)通信調(diào)度的通信覆蓋機制 170
6.1.1 研究動機 170
6.1.2 問題建模 173
6.1.3 通信覆蓋機制設(shè)計 175
6.1.4 實現(xiàn)和部署 183
6.1.5 實驗與性能評估 185
6.2 光廣域網(wǎng)中的在線流量調(diào)度 192
6.2.1 研究動機 194
6.2.2 任務(wù)內(nèi)調(diào)度 195
6.2.3 任務(wù)間調(diào)度 199
6.2.4 算法性能分析 203
6.2.5 仿真結(jié)果與分析 205
6.3 本章小結(jié) 211
本章參考文獻 211
第7章 異構(gòu)數(shù)據(jù)優(yōu)化算法 214
7.1 研究現(xiàn)狀 216
7.2 系統(tǒng)模型 220
7.3 聯(lián)邦組同步算法設(shè)計與實現(xiàn) 221
7.3.1 算法設(shè)計動機 221
7.3.2 算法設(shè)計與實現(xiàn) 223
7.4 組節(jié)點選擇算法設(shè)計與實現(xiàn) 226
7.4.1 問題建模與分析 226
7.4.2 算法設(shè)計與實現(xiàn) 228
7.5 算法的收斂性與效率分析 231
7.5.1 算法收斂性分析 232
7.5.2 算法效率分析 233
7.6 實驗與性能評估 235
7.7 本章小結(jié) 245
本章參考文獻 245
第8章 總結(jié)與展望 249
附錄A 縮略語對照表 250