數(shù)據(jù)存儲架構(gòu)與技術(shù)(第2版)
定 價:89.8 元
- 作者:舒繼武
- 出版時間:2024/6/1
- ISBN:9787115639226
- 出 版 社:人民郵電出版社
- 中圖法分類:TP333
- 頁碼:306
- 紙張:
- 版次:02
- 開本:16開
本書介紹數(shù)據(jù)存儲架構(gòu)與技術(shù),涵蓋存儲盤與存儲介質(zhì)、存儲陣列、存儲協(xié)議、鍵值存儲、文件系統(tǒng)、網(wǎng)絡(luò)存儲體系結(jié)構(gòu)、分布式存儲系統(tǒng)、存儲可靠性、存儲安全、數(shù)據(jù)保護等基礎(chǔ)內(nèi)容,對存儲維護、存儲解決方案、存儲技術(shù)趨勢與發(fā)展等主題進行了深入討論,以新的研究成果作為案例,同時提供習(xí)題幫助讀者加深對數(shù)據(jù)存儲的理解與運用。
本書適合計算機及相關(guān)專業(yè)高年級本科生或研究生閱讀、學(xué)習(xí),同時也可供相關(guān)專業(yè)技術(shù)人員參考。
1. 作者為該領(lǐng)域的專家。主編舒繼武教授為國家杰出青年基金獲得者,“長江學(xué)者”特聘教授、IEEE Fellow。
2. 內(nèi)容全面,知識體系完整。本書既包含存儲基礎(chǔ)理論,也包含學(xué)術(shù)界的前沿創(chuàng)新,通過新研究實例加深讀者對相關(guān)基礎(chǔ)知識的理解,參與編寫者都是一直工作在存儲學(xué)術(shù)界前沿,對技術(shù)有深入的把握和思考。
3. 本書包含業(yè)界的新經(jīng)驗。華為是數(shù)據(jù)存儲的領(lǐng)頭企業(yè),本書包含華為在存儲運維、存儲解決方案等方面的先進思考。
4. 針對課程進行優(yōu)化,適合高校、職業(yè)院校等存儲類專業(yè)課程。
清華大學(xué)長聘教授,閩江學(xué)院院長,國家杰出青年基金獲得者,“長江學(xué)者”特聘教授,IEEE Fellow,中國計算機學(xué)會(CCF)會士,兼任CCF理事、北京信息災(zāi)備技術(shù)產(chǎn)業(yè)聯(lián)盟副理事長等,曾任CCF信息存儲專委會主任。主要研究信息存儲系統(tǒng)、智能存儲系統(tǒng)、數(shù)據(jù)存儲可靠性與安全等。擔任“十五”國家863計劃重大專項課題“新型網(wǎng)絡(luò)服務(wù)器系統(tǒng)”的負責(zé)人、“十一五”國家863計劃信息領(lǐng)域“海量存儲系統(tǒng)關(guān)鍵技術(shù)”重大項目總體專家組副組長、“十二五”國家863計劃信息領(lǐng)域“面向大數(shù)據(jù)的先進存儲結(jié)構(gòu)及關(guān)鍵技術(shù)”主題項目首席專家、“十三五”國家重點研發(fā)計劃項目“TB級持久性內(nèi)存存儲技術(shù)與系統(tǒng)”的項目負責(zé)人。主持研制出海量存儲網(wǎng)絡(luò)系統(tǒng)TH-MSNS、軟硬件協(xié)同閃存存儲系統(tǒng)TH-SSS、分布式持久性內(nèi)存存儲系統(tǒng)TH-DPMS、智能存算一體系統(tǒng)TH-iSSD,成果發(fā)表在FAST、SOSPOSDI、USENIX ATC、EuroSys、ASPLOS、MICRO、ISCA、HPCA、SC、SIGMOD等重要會議和ACM/EEE Trans系列期刊。按CSRankings.org統(tǒng)計,近5年(2019-2023)在操作系統(tǒng)領(lǐng)域高水平會議(SOSP、OSDI、FAST、USENIX ATC.EuroSys)上發(fā)表的論文數(shù)居世界第二,獲國家科學(xué)技術(shù)進步獎二等獎和國家技術(shù)發(fā)明獎二等獎各1次、省部級一等獎5次,獲華為奧林帕斯獎等。
第 1 章 數(shù)據(jù)存儲的背景 001
1.1 數(shù)據(jù)存儲的重要性 001
1.2 數(shù)據(jù)存儲的目標 002
1.2.1 高性能 002
1.2.2 高易用性 003
1.2.3 高可靠性 004
1.2.4 其他目標 005
參考文獻 005
第 2 章 存儲盤與存儲介質(zhì) 007
2.1 磁盤 007
2.1.1 磁盤的組成與結(jié)構(gòu) 008
2.1.2 磁盤性能 009
2.1.3 磁盤固件 011
2.2 SSD 014
2.2.1 閃存單元與結(jié)構(gòu) 015
2.2.2 FTL 017
2.3 主存 020
2.3.1 DRAM 組成與結(jié)構(gòu) 020
2.3.2 DRAM 刷新 023
2.3.3 內(nèi)存控制器 024
2.3.4 非易失性存儲器 024
2.4 其他存儲介質(zhì) 027
2.4.1 光存儲 027
2.4.2 磁帶 028
2.5 本章小結(jié) 028
2.6 思考題 029
參考文獻 029
第 3 章 存儲陣列 030
3.1 硬件架構(gòu) 030
3.1.1 整機架構(gòu) 031
3.1.2 控制器模塊 031
3.1.3 接口模塊 032
3.1.4 硬盤框和硬盤單元 033
3.1.5 散熱模塊 033
3.2 軟件架構(gòu) 034
3.2.1 RAID 子系統(tǒng) 034
3.2.2 緩存鏡像子系統(tǒng) 040
3.3 高性能與高可靠性設(shè)計 042
3.3.1 應(yīng)用場景 042
3.3.2 高可靠性冗余切換子系統(tǒng) 043
3.3.3 高性能集群子系統(tǒng) 045
3.3.4 重定向?qū)懪c垃圾回收技術(shù) 047
3.4 本章小結(jié) 049
3.5 思考題 049
參考文獻 049
第 4 章 存儲協(xié)議 050
4.1 SCSI 協(xié)議 050
4.1.1 SCSI 協(xié)議概述 050
4.1.2 SCSI 服務(wù)模型 051
4.1.3 SCSI 指令集 053
4.1.4 SCSI 讀寫流程解析 053
4.2 SCSI 鏈路承載協(xié)議 054
4.2.1 SAS 協(xié)議 054
4.2.2 FC 協(xié)議 056
4.2.3 iSCSI 協(xié)議 057
4.3 NVMe 協(xié)議 059
4.3.1 NVMe 設(shè)備模型 059
4.3.2 NVMe 隊列模型 060
4.3.3 NVMe 指令集 062
4.3.4 NVMe over PCI-e 062
4.4 NVMe over Fabrics 064
4.4.1 NVMe over RDMA 065
4.4.2 NVMe over TCP 067
4.4.3 NVMe over FC 068
4.5 內(nèi)存互連協(xié)議 070
4.5.1 CXL 協(xié)議概述 071
4.5.2 CXL 類型 1 072
4.5.3 CXL 類型 2 073
4.5.4 CXL 類型 3 074
4.6 本章小結(jié) 074
4.7 思考題 075
參考文獻 075
第 5 章 鍵值存儲 077
5.1 基本操作 077
5.2 鍵值索引 078
5.2.1 散列索引 078
5.2.2 B+樹索引 080
5.2.3 LSM 樹索引 081
5.3 數(shù)據(jù)布局 085
5.3.1 原地更新的數(shù)據(jù)組織 085
5.3.2 日志結(jié)構(gòu)的數(shù)據(jù)組織 085
5.4 崩潰一致性 086
5.4.1 WAL 086
5.4.2 影子頁 087
5.5 本章小結(jié) 087
5.6 思考題 087
參考文獻 088
第 6 章 文件系統(tǒng) 089
6.1 文件系統(tǒng)的基本操作 089
6.2 文件系統(tǒng)實現(xiàn) 090
6.2.1 一個簡單的文件系統(tǒng) 091
6.2.2 命名空間管理 094
6.2.3 存儲管理 095
6.3 文件系統(tǒng)實例:ext2 098
6.4 本章小結(jié) 100
6.5 思考題 100
參考文獻 100
第 7 章 網(wǎng)絡(luò)存儲體系結(jié)構(gòu) 101
7.1 DAS 101
7.2 NAS 102
7.2.1 架構(gòu)特點 102
7.2.2 網(wǎng)絡(luò)文件協(xié)議 103
7.2.3 應(yīng)用場景 104
7.3 SAN 104
7.3.1 架構(gòu)特點 104
7.3.2 核心組件 105
7.3.3 應(yīng)用場景 106
7.3.4 NAS 與 SAN 對比 106
7.4 對象存儲 106
7.4.1 架構(gòu)特點 106
7.4.2 核心組件 107
7.5 并行存儲 108
7.5.1 架構(gòu)特點 108
7.5.2 關(guān)鍵技術(shù) 108
7.6 P2P 存儲 109
7.6.1 架構(gòu)特點 110
7.6.2 關(guān)鍵技術(shù) 110
7.6.3 應(yīng)用場景 111
7.7 云存儲 112
7.7.1 架構(gòu)特點 113
7.7.2 應(yīng)用場景 113
7.8 存儲虛擬化 115
7.8.1 基本概念 115
7.8.2 關(guān)鍵技術(shù) 116
7.9 軟件定義存儲 117
7.9.1 基本概念 117
7.9.2 代表性系統(tǒng) 118
7.9.3 關(guān)鍵挑戰(zhàn) 119
7.10 超融合架構(gòu) 120
7.10.1 基本概念 120
7.10.2 關(guān)鍵技術(shù) 121
7.10.3 代表性系統(tǒng) 121
7.10.4 概念對比 122
7.11 本章小結(jié) 122
7.12 思考題 123
參考文獻 123
第 8 章 分布式存儲系統(tǒng) 125
8.1 分布式存儲系統(tǒng)的典型架構(gòu) 125
8.2 分布式存儲系統(tǒng)的關(guān)鍵衡量指標 126
8.2.1 性能 126
8.2.2 可擴展性 126
8.2.3 一致性 126
8.2.4 可用性 128
8.3 分布式鍵值存儲系統(tǒng) 128
8.3.1 典型分布式鍵值存儲系統(tǒng) 129
8.3.2 分布式鍵值存儲系統(tǒng)關(guān)鍵技術(shù) 132
8.4 分布式對象存儲系統(tǒng) 134
8.4.1 典型分布式對象存儲系統(tǒng) 134
8.4.2 分布式對象存儲系統(tǒng)關(guān)鍵技術(shù) 138
8.5 分布式塊存儲系統(tǒng) 139
8.5.1 典型分布式塊存儲系統(tǒng) 139
8.5.2 分布式塊存儲系統(tǒng)關(guān)鍵技術(shù) 142
8.6 分布式文件系統(tǒng) 142
8.6.1 典型分布式文件系統(tǒng) 143
8.6.2 分布式文件系統(tǒng)關(guān)鍵技術(shù) 150
8.7 本章小結(jié) 151
8.8 思考題 151
參考文獻 151
第 9 章 存儲可靠性 153
9.1 存儲可靠性概述 153
9.1.1 可靠性指標及其計算方法 153
9.1.2 可靠性分層設(shè)計 154
9.1.3 可靠性與可用性的區(qū)別 155
9.2 硬盤可靠性 155
9.2.1 硬盤出錯特征分析 155
9.2.2 硬盤故障預(yù)警和監(jiān)測 157
9.2.3 面向環(huán)境因素的硬盤可靠性設(shè)計 160
9.3 閃存介質(zhì)可靠性 161
9.3.1 閃存介質(zhì)錯誤源 161
9.3.2 閃存可靠性優(yōu)化關(guān)鍵技術(shù) 163
9.4 糾刪碼技術(shù) 165
9.4.1 多副本原理 165
9.4.2 糾刪碼原理 165
9.4.3 典型的糾刪碼介紹及分析 168
9.4.4 糾刪碼技術(shù)發(fā)展趨勢 176
9.5 分布式存儲系統(tǒng)可靠性 180
9.5.1 數(shù)據(jù)冗余技術(shù) 180
9.5.2 故障恢復(fù)技術(shù) 181
9.5.3 數(shù)據(jù)一致性協(xié)議 181
9.5.4 負載均衡技術(shù) 182
9.6 本章小結(jié) 182
9.7 思考題 182
參考文獻 183
第 10 章 存儲安全 189
10.1 理念和安全體系 189
10.2 系統(tǒng)安全 190
10.2.1 硬件安全 190
10.2.2 容器安全 192
10.2.3 系統(tǒng)韌性 193
10.3 數(shù)據(jù)安全 194
10.3.1 數(shù)據(jù)加密 194
10.3.2 數(shù)據(jù)完整 196
10.3.3 權(quán)限管理 199
10.3.4 數(shù)據(jù)安全銷毀 200
10.3.5 數(shù)據(jù)安全計算 201
10.4 安全管理 203
10.4.1 系統(tǒng)訪問控制(認證管理) 203
10.4.2 用戶身份和訪問管理 206
10.4.3 證書管理和密鑰管理 207
10.4.4 網(wǎng)絡(luò)安全管理 211
10.5 本章小結(jié) 212
10.6 思考題 212
參考文獻 213
第 11 章 數(shù)據(jù)保護 216
11.1 數(shù)據(jù)保護背景 216
11.1.1 數(shù)據(jù)保護標準 216
11.1.2 數(shù)據(jù)保護技術(shù)特點 218
11.2 數(shù)據(jù)保護技術(shù) 219
11.2.1 鏡像 219
11.2.2 快照 222
11.2.3 克隆 223
11.3 數(shù)據(jù)保護場景 223
11.3.1 備份 224
11.3.2 歸檔 228
11.3.3 容災(zāi) 231
11.4 本章小結(jié) 240
11.5 思考題 240
參考文獻 240
第 12 章 存儲維護 242
12.1 概述 242
12.2 預(yù)防性維護 242
12.2.1 硬盤健康預(yù)測 243
12.2.2 容量趨勢預(yù)測 244
12.2.3 性能異常檢測 245
12.2.4 性能潮汐分析 245
12.3 糾正性維護 246
12.3.1 主動問題處理 246
12.3.2 升級 246
12.3.3 擴容 249
12.4 思考題 251
參考文獻 252
第 13 章 存儲解決方案 253
13.1 運營商行業(yè)解決方案 253
13.1.1 運營商大數(shù)據(jù)解決方案 253
13.1.2 運營商 BOM 域生產(chǎn)業(yè)務(wù)備份 255
13.2 政務(wù)融合存儲資源池解決方案 257
13.2.1 場景需求 257
13.2.2 融合資源池解決方案 258
13.3 金融行業(yè)容災(zāi)解決方案 259
13.3.1 場景需求 259
13.3.2 容災(zāi)建設(shè)需求 260
13.3.3 兩地三中心容災(zāi)解決方案 260
13.4 醫(yī)療行業(yè)解決方案 261
13.4.1 場景需求 261
13.4.2 PACS 影像系統(tǒng)存儲解決方案 262
13.5 教育行業(yè)解決方案 262
13.5.1 場景需求 263
13.5.2 教育科研高性能計算和數(shù)據(jù)分析 263
13.6 思考題 264
參考文獻 264
第 14 章 存儲技術(shù)趨勢與發(fā)展 265
14.1 閃存存儲系統(tǒng) 265
14.1.1 OC SSD 266
14.1.2 ZNS SSD 267
14.2 存內(nèi)計算 269
14.2.1 近存計算 270
14.2.2 存算一體化 270
14.3 持久性內(nèi)存 272
14.3.1 文件系統(tǒng) 272
14.3.2 鍵值存儲系統(tǒng) 273
14.3.3 分布式存儲系統(tǒng) 275
14.4 在網(wǎng)存儲 276
14.4.1 在網(wǎng)數(shù)據(jù)協(xié)調(diào) 276
14.4.2 在網(wǎng)數(shù)據(jù)調(diào)度 277
14.4.3 在網(wǎng)數(shù)據(jù)緩存 278
14.5 智能存儲 278
14.5.1 AI for Storage 278
14.5.2 Storage for AI 280
14.6 邊緣存儲 282
14.6.1 邊緣存儲設(shè)備 283
14.6.2 邊緣存儲 I/O !284
14.6.3 邊緣數(shù)據(jù)組織與檢索 284
14.7 區(qū)塊鏈存儲 285
14.7.1 區(qū)塊鏈存儲系統(tǒng)簡介 286
14.7.2 區(qū)塊鏈存儲系統(tǒng)優(yōu)化 286
14.8 分離式數(shù)據(jù)中心架構(gòu) 287
14.8.1 背景 287
14.8.2 架構(gòu)特點及關(guān)鍵技術(shù) 288
14.8.3 未來趨勢 291
14.9 高密度新型存儲 292
14.9.1 疊瓦式磁性存儲 292
14.9.2 高密光存儲 293
14.9.3 DNA 存儲 293
14.10 本章小結(jié) 294
14.11 思考題 294
參考文獻 295
縮略語表 301