第 1篇 原理篇

第 1章 云計算時代的數(shù)據(jù)庫 2

1.1 數(shù)據(jù)庫的歷史和發(fā)展 2

1.2 云計算帶來的挑戰(zhàn) 3

1.3 云原生數(shù)據(jù)庫的主要特點 3

第 2章 分布式數(shù)據(jù)庫基礎(chǔ)理論和架構(gòu) 5

2.1 分布式數(shù)據(jù)庫理論概述 5

2.1.1 CAP理論和BASE理論 5

2.1.2 一致性算法 6

2.2 典型的分布式數(shù)據(jù)庫 9

2.2.1 OLTP型數(shù)據(jù)庫 9

2.2.2 OLAP型數(shù)據(jù)庫 9

2.2.3 HTAP型數(shù)據(jù)庫 9

第3章 并發(fā)控制 10

3.1 概述 10

3.2 并發(fā)控制的分類 10

3.3 基于鎖的并發(fā)控制 11

3.4 基于時間戳的并發(fā)控制 12

3.5 基于驗證法的樂觀并發(fā)控制 13

3.6 MVCC技術(shù) 13

3.7 快照隔離技術(shù) 16

3.8 可序列化快照隔離 17

3.9 死鎖管理 20

3.10 B*樹和LSM樹 25

第 2篇 Greenplum架構(gòu)和源碼分析

第4章 Greenplum總體架構(gòu) 30

4.1 概述 30

4.2 數(shù)據(jù)庫通信協(xié)議 33

4.2.1 啟動階段 35

4.2.2 取消請求 36

4.2.3 常規(guī)階段 36

4.3 Greenplum的架構(gòu)和核心引擎 38

4.3.1 Greenplum主要模塊介紹 38

4.3.2 通用場景 40

4.3.3 Interconnect模塊 42

4.3.4 gang和slice 54

第5章 分布式事務(wù)的實現(xiàn) 62

5.1 分布式事務(wù)的原理和兩階段提交 62

5.1.1 事務(wù)隔離 62

5.1.2 兩階段提交 65

5.2 steal/force和WAL協(xié)議 66

5.3 PostgreSQL事務(wù)處理和狀態(tài)機介紹 68

5.3.1 PostgreSQL事務(wù)處理 69

5.3.2 PostgreSQL狀態(tài)機 70

5.4 分布式事務(wù)狀態(tài)機 72

5.5 簡單完整的分布式事務(wù) 75

5.5.1 初始化和begin命令 75

5.5.2 insert命令 79

5.5.3 兩階段提交的實現(xiàn) 81

5.6 分布式事務(wù)如何容錯 93

第6章 分布式計算的實現(xiàn) 100

6.1 Greenplum的執(zhí)行計劃 100

6.1.1 查詢優(yōu)化器 100

6.1.2 Greenplum的統(tǒng)計信息 102

6.1.3 Legacy優(yōu)化器概述 102

6.1.4 Orca優(yōu)化器簡介 109

6.2 運行執(zhí)行器的算子 111

6.2.1 常規(guī)算子 111

6.2.2 具有特殊功能的算子 114

6.2.3 Motion算子 117

6.2.4 運行執(zhí)行器綜述 118

6.3 本地共享快照 122

6.4 分布式快照 125

6.4.1 分布式快照的實現(xiàn)方式 125

6.4.2 可見性判斷 129

6.5 共享內(nèi)存 133

6.6 哈希和重分布 134

第7章 分布式存儲的實現(xiàn) 140

7.1 Greenplum數(shù)據(jù)的分布方式 140

7.1.1 哈希分布 140

7.1.2 隨機分布 141

7.1.3 復(fù)制分布 142

7.2 Greenplum數(shù)據(jù)庫的高可用性 142

7.3 heap表和AO表 143

7.4 外部表存儲 144

7.4.1 Libcurl庫函數(shù) 145

7.4.2 外部表協(xié)議gpfdist 146

7.4.3 Scan算子和gpfdist客戶端 148

7.4.4 gpfdist服務(wù)端 153

第3篇 數(shù)據(jù)庫和新技術(shù)

第8章 云原生數(shù)據(jù)庫 158

8.1 Greenplum的云原生嘗試 158

8.2 VMware多云戰(zhàn)略和Greenplum 159

8.3 HAWQ項目介紹 160

第9章 新技術(shù)的機遇 162

9.1 NVM存儲技術(shù) 162

9.2 虛擬化技術(shù) 163

9.3 容器技術(shù) 164