目 錄




第一部分 大數(shù)據(jù)平臺(tái)安裝
第1章 平臺(tái)操作系統(tǒng)的使用 3
1.1 Linux操作系統(tǒng)概述 3
1.1.1 Linux操作系統(tǒng)的起源 3
1.1.2 Linux操作系統(tǒng)的特點(diǎn) 4
1.1.3 Linux操作系統(tǒng)的應(yīng)用場(chǎng)景 5
1.1.4 Linux版本 6
1.2 Linux常用命令 7
1.2.1 文件與目錄操作 7
1.2.2 用戶(hù)操作 9
1.2.3 文本操作 10
1.2.4 系統(tǒng)操作 11
1.3　Linux操作系統(tǒng)用戶(hù)信息 14
1.3.1 用戶(hù)和組 14
1.3.2 文件類(lèi)型和權(quán)限 15
1.4 本章小結(jié) 17
第2章 Hadoop平臺(tái)安裝 18
2.1 Hadoop概述 18
2.1.1 Hadoop的起源 18
2.1.2 Hadoop的生態(tài)圈 19
2.1.3 Hadoop的版本 21
2.1.4 Hadoop的優(yōu)點(diǎn) 22
2.1.5 Hadoop的應(yīng)用場(chǎng)景 22
2.1.6 Hadoop的運(yùn)行模式 23
2.2　Hadoop的核心組件 23
2.2.1 HDFS 23
2.2.2 MapReduce 26
2.2.3 YARN 28
2.3 平臺(tái)操作系統(tǒng)環(huán)境設(shè)置 29
2.3.1 配置Linux操作系統(tǒng)基礎(chǔ)
環(huán)境 30
2.3.2 安裝Java環(huán)境 32
2.4　安裝Hadoop軟件 35
2.4.1 獲取Hadoop安裝包 35
2.4.2 安裝Hadoop軟件 35
2.4.3　修改目錄所有者和所有者組 36
2.5　安裝單機(jī)版Hadoop系統(tǒng) 36
2.5.1　配置Hadoop配置文件 37
2.5.2 測(cè)試Hadoop本地模式的
運(yùn)行 37
2.6　本章小結(jié) 38
第3章 平臺(tái)基礎(chǔ)環(huán)境配置 39
3.1 集群網(wǎng)絡(luò)連接 39
3.1.1 實(shí)驗(yàn)環(huán)境下的大數(shù)據(jù)Hadoop
平臺(tái)集群網(wǎng)絡(luò) 39
3.1.2 生產(chǎn)環(huán)境下的大數(shù)據(jù)Hadoop
平臺(tái)集群網(wǎng)絡(luò) 40
3.2 SSH無(wú)密碼登錄 41
3.2.1 SSH簡(jiǎn)介 41
3.2.2 SSH特點(diǎn)介紹 41
3.2.3 非對(duì)稱(chēng)加密機(jī)制 42
3.2.4 SSH安全機(jī)制 42
3.2.5 SSH基于口令的安全驗(yàn)證 43
3.2.6 基于密鑰的安全驗(yàn)證 43
3.3 集群網(wǎng)絡(luò)配置 44
3.3.1 實(shí)驗(yàn)環(huán)境下的集群網(wǎng)絡(luò)配置 44
3.3.2 生產(chǎn)環(huán)境下的集群網(wǎng)絡(luò)配置 44
3.4　SSH無(wú)密碼驗(yàn)證配置 47
3.4.1 生成SSH密鑰 47
3.4.2 交換SSH密鑰 49
3.4.3 驗(yàn)證SSH無(wú)密碼登錄 50
3.5　本章小結(jié) 51
第二部分 大數(shù)據(jù)平臺(tái)配置
第4章 Hadoop文件參數(shù)配置 55
4.1 Hadoop配置文件說(shuō)明 55
4.1.1 Hadoop環(huán)境配置 55
4.1.2 Hadoop守護(hù)進(jìn)程環(huán)境配置 56
4.1.3 Hadoop配置參數(shù)格式 57
4.1.4 獲得Hadoop集群全部配置
信息 57
4.2 在master節(jié)點(diǎn)上安裝Hadoop 58
4.3 配置hdfs-site.xml文件參數(shù) 58
4.4 配置core-site.xml文件參數(shù) 59
4.5 配置mapred-site.xml 60
4.6 配置yarn-site.xml 61
4.7 Hadoop其他相關(guān)配置 62
4.8　本章小結(jié) 63
第5章 Hadoop集群運(yùn)行 64
5.1　Hadoop運(yùn)行狀態(tài) 64
5.2 配置Hadoop格式化 68
5.3　查看Java進(jìn)程 69
5.4　查看HDFS的報(bào)告 70
5.5　使用瀏覽器查看節(jié)點(diǎn)狀態(tài) 71
5.6　停止Hadoop 74
5.7　本章小結(jié) 74
第三部分 大數(shù)據(jù)平臺(tái)組件的安裝與配置
第6章 Hive組件的安裝與配置 77
6.1 Hive相關(guān)知識(shí) 77
6.2　Hive組件架構(gòu) 78
6.3 下載和解壓安裝文件 79
6.3.1 基礎(chǔ)環(huán)境和安裝準(zhǔn)備 79
6.3.2 解壓安裝文件 79
6.4 設(shè)置Hive環(huán)境 80
6.4.1 卸載MariaDB數(shù)據(jù)庫(kù) 80
6.4.2 安裝MySQL數(shù)據(jù)庫(kù) 80
6.4.3 配置Hive組件 85
6.5 初始化Hive元數(shù)據(jù) 87
6.6 啟動(dòng)Hive 89
6.7 本章小結(jié) 89
第7章 HBase組件的安裝與配置 90
7.1 HBase相關(guān)知識(shí) 90
7.2　HBase功能應(yīng)用 91
7.3　HBase組件設(shè)置 92
7.4　HBase安裝與配置 94
7.5　HBase常用Shell命令 98
7.6　本章小結(jié) 101
第8章 ZooKeeper組件的安裝與配置 102
8.1　ZooKeeper相關(guān)知識(shí) 102
8.1.1　ZooKeeper的重要概念 103
8.1.2　ZooKeeper的特點(diǎn) 104
8.2　ZooKeeper選項(xiàng)設(shè)置 104
8.3 ZooKeeper角色選舉 105
8.4 下載和安裝ZooKeeper 105
8.5 ZooKeeper的配置選項(xiàng) 106
8.5.1 master節(jié)點(diǎn)配置 106
8.5.2 slave節(jié)點(diǎn)配置 106
8.5.3 系統(tǒng)環(huán)境變量配置 106
8.6 啟動(dòng)ZooKeeper 107
8.7 本章小結(jié) 107
第9章 Sqoop組件的安裝與配置 108
9.1 Sqoop相關(guān)知識(shí) 108
9.2 Sqoop的功能應(yīng)用 109
9.2.1 Sqoop架構(gòu) 109
9.2.2 Sqoop導(dǎo)入原理 109
9.2.3 Sqoop導(dǎo)出原理 110
9.3 下載和解壓Sqoop 112
9.4 配置Sqoop環(huán)境 112
9.5 啟動(dòng)Sqoop 113
9.6 Sqoop模板命令 114
9.7 Sqoop組件應(yīng)用 116
9.8 本章小結(jié) 117
第10章 Flume組件的安裝與配置 118
10.1 Flume相關(guān)知識(shí) 118
10.2 Flume功能應(yīng)用 119
10.2.1 Flume功能 119
10.2.2 Flume結(jié)構(gòu) 119
10.3 Flume組件設(shè)置 119
10.4 下載和解壓Flume 120
10.5 Flume組件部署 121
10.6 使用Flume發(fā)送和接收
信息 121
10.7 本章小結(jié) 122
第四部分 大數(shù)據(jù)平臺(tái)實(shí)施
第11章 大數(shù)據(jù)平臺(tái)實(shí)施方案的理解 125
11.1 系統(tǒng)實(shí)施方案概述 125
11.1.1 方案概述 125
11.1.2 項(xiàng)目實(shí)施思路 126
11.1.3 項(xiàng)目實(shí)施流程 126
11.2 確認(rèn)客戶(hù)需求 127
11.2.1 確認(rèn)需求分析準(zhǔn)備 127
11.2.2 進(jìn)行確認(rèn)需求調(diào)研 127
11.2.3 系統(tǒng)詳細(xì)需求分析 129
11.3 編寫(xiě)大數(shù)據(jù)平臺(tái)實(shí)施方案 129
11.3.1 大數(shù)據(jù)平臺(tái)規(guī)劃 129
11.3.2 大數(shù)據(jù)平臺(tái)部署 131
11.3.3 項(xiàng)目實(shí)施計(jì)劃 131
11.3.4 項(xiàng)目實(shí)施人員 132
11.4 執(zhí)行實(shí)施方案過(guò)程 133
11.4.1 實(shí)施內(nèi)容 133
11.4.2 實(shí)施流程 133
11.5 系統(tǒng)測(cè)試 133
11.6 項(xiàng)目驗(yàn)收 135
11.7 本章小結(jié) 135
第12章 客戶(hù)培訓(xùn)方案的制定 136
12.1 培訓(xùn)方案概述 136
12.2 客戶(hù)培訓(xùn)方案要點(diǎn) 137
12.2.1 培訓(xùn)目標(biāo) 137
12.2.2 培訓(xùn)對(duì)象 138
12.2.3 培訓(xùn)形式 139
12.2.4 培訓(xùn)內(nèi)容 139
12.2.5 培訓(xùn)計(jì)劃 140
12.3 文檔制作工具 140
12.3.1 制作甘特圖 140
12.3.2 制作WBS圖 143
12.4 大數(shù)據(jù)平臺(tái)操作演示 145
12.4.1 演示內(nèi)容選取 145
12.4.2 演示的步驟 146
12.4.3 演示的技巧 147
12.4.4 演示注意事項(xiàng) 148
12.5 本章小結(jié) 148
第五部分 大數(shù)據(jù)平臺(tái)監(jiān)控
第13章 大數(shù)據(jù)平臺(tái)監(jiān)控命令 151
13.1 大數(shù)據(jù)平臺(tái)運(yùn)行狀態(tài) 151
13.1.1 大數(shù)據(jù)平臺(tái)主機(jī)系統(tǒng)狀態(tài) 152
13.1.2 大數(shù)據(jù)平臺(tái)Hadoop狀態(tài) 153
13.2 大數(shù)據(jù)平臺(tái)資源狀態(tài) 153
13.2.1 YARN資源狀態(tài) 154
13.2.2 HDFS資源狀態(tài) 154
13.2.3 HBase狀態(tài) 155
13.2.4 Hive狀態(tài) 155
13.3 大數(shù)據(jù)平臺(tái)服務(wù)狀態(tài) 156
13.3.1 ZooKeeper服務(wù)狀態(tài) 156
13.3.2 Sqoop服務(wù)狀態(tài) 157
13.3.3 Flume服務(wù)狀態(tài) 157
13.4 通過(guò)命令監(jiān)控大數(shù)據(jù)平臺(tái)的
運(yùn)行狀態(tài) 157
13.4.1 通過(guò)命令查看大數(shù)據(jù)平臺(tái)
狀態(tài) 157
13.4.2 通過(guò)命令查看Hadoop
狀態(tài) 165
13.5 通過(guò)命令監(jiān)控大數(shù)據(jù)平臺(tái)的
資源狀態(tài) 166
13.5.1 通過(guò)命令查看YARN狀態(tài) 166
13.5.2 通過(guò)命令查看HDFS狀態(tài) 167
13.5.3 通過(guò)命令查看HBase狀態(tài) 168
13.5.4 通過(guò)命令查看Hive狀態(tài) 171
13.6 通過(guò)命令監(jiān)控大數(shù)據(jù)平臺(tái)的
服務(wù)狀態(tài) 174
13.6.1 通過(guò)命令查看ZooKeeper
狀態(tài) 174
13.6.2 通過(guò)命令查看Sqoop狀態(tài) 178
13.6.3 通過(guò)命令查看Flume狀態(tài) 180
13.7 本章小結(jié) 181
第14章 大數(shù)據(jù)平臺(tái)監(jiān)控界面和報(bào)表 182
14.1 大數(shù)據(jù)平臺(tái)常用組件 182
14.2 通過(guò)界面監(jiān)控大數(shù)據(jù)平臺(tái)的
運(yùn)行狀態(tài) 183
14.2.1 通過(guò)界面查看大數(shù)據(jù)平臺(tái)
狀態(tài) 183
14.2.2 通過(guò)界面查看Hadoop
狀態(tài) 183
14.3 通過(guò)界面監(jiān)控大數(shù)據(jù)平臺(tái)的
資源狀態(tài) 185
14.3.1 通過(guò)界面監(jiān)控YARN的
狀態(tài) 185
14.3.2 通過(guò)界面監(jiān)控HDFS狀態(tài) 186
14.3.3 通過(guò)界面監(jiān)控HBase的
狀態(tài) 188
14.3.4 通過(guò)界面監(jiān)控Hive的狀態(tài) 189
14.4 本章小結(jié) 193
第15章 日志和告警信息監(jiān)控 194
15.1 大數(shù)據(jù)平臺(tái)日志信息 194
15.1.1 Hadoop日志簡(jiǎn)介 194
15.1.2 大數(shù)據(jù)平臺(tái)主機(jī)日志信息 195
15.2 大數(shù)據(jù)平臺(tái)告警信息 196
15.3 查看大數(shù)據(jù)平臺(tái)日志信息 196
15.3.1 查看大數(shù)據(jù)平臺(tái)主機(jī)日志 196
15.3.2 在Hadoop MapReduce Jobs
中查看日志信息 203
15.3.3 通過(guò)用戶(hù)界面查看Hadoop
日志 205
15.3.4 通過(guò)命令查看Hadoop
日志 207
15.3.5 查看HBase日志 209
15.3.6 查看Hive日志 210
15.4 查看大數(shù)據(jù)平臺(tái)告警信息 211
15.4.1 查看大數(shù)據(jù)平臺(tái)主機(jī)告警
信息 211
15.4.2 查看Hadoop告警信息 213
15.4.3 查看HBase告警信息 215
15.4.4 查看Hive告警信息 218
15.5 本章小結(jié) 220
第六部分 大數(shù)據(jù)運(yùn)維綜合實(shí)戰(zhàn)案例
第16章 大數(shù)據(jù)平臺(tái)及組件的安裝與
部署 223
16.1 項(xiàng)目背景 223
16.2 項(xiàng)目實(shí)施目標(biāo) 223
16.3 Hadoop全分布部署 224
16.3.1 Hadoop全分布部署流程 224
16.3.2 Hadoop全分布部署要求 224
16.3.3 Hadoop部署操作步驟 225
16.3.4 Hadoop集群驗(yàn)證 226
16.4 Sqoop組件部署 228
16.4.1 Sqoop組件部署流程 228
16.4.2 Sqoop組件部署要求 228
16.4.3 Sqoop部署操作步驟 229
16.4.4 Sqoop數(shù)據(jù)傳輸驗(yàn)證 229
16.5 Hive組件部署 231
16.5.1 Hive組件部署流程 231
16.5.2 Hive組件部署要求 231
16.5.3 Hive部署操作步驟 232
16.5.4 Hive組件驗(yàn)證 232
16.6 本章小結(jié) 233
第17章 大數(shù)據(jù)平臺(tái)的運(yùn)行與應(yīng)用 234
17.1 項(xiàng)目背景 234
17.2 項(xiàng)目實(shí)施目標(biāo) 234
17.3 大數(shù)據(jù)平臺(tái)業(yè)務(wù)處理流程 235
17.4 大數(shù)據(jù)平臺(tái)業(yè)務(wù)處理系統(tǒng)
應(yīng)用 236
17.4.1 生產(chǎn)環(huán)境數(shù)據(jù)導(dǎo)入大數(shù)據(jù)
平臺(tái) 236
17.4.2 業(yè)務(wù)處理層數(shù)據(jù)清洗分析 237
17.4.3 運(yùn)行業(yè)務(wù)處理相關(guān)清洗
任務(wù) 245
17.4.4 數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù) 252
17.4.5 業(yè)務(wù)應(yīng)用層大數(shù)據(jù)分析 254
17.4.6 數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)導(dǎo)出數(shù)據(jù)
訪問(wèn)層 255
17.4.7 數(shù)據(jù)訪問(wèn)層大數(shù)據(jù)可視化 257
17.5 本章小結(jié) 259
第18章 大數(shù)據(jù)運(yùn)維基本問(wèn)題案例集 260
18.1 大數(shù)據(jù)平臺(tái)問(wèn)題分析處理
流程 260
18.2 解決基礎(chǔ)環(huán)境的基本問(wèn)題
案例 261
18.2.1 權(quán)限配置問(wèn)題 261
18.2.2 SELinux問(wèn)題 262
18.2.3 Hadoop安全模式問(wèn)題 262
18.2.4 主機(jī)名配置造成問(wèn)題 263
18.3 解決組件配置的基本問(wèn)題
案例 264
18.3.1 Hive組件異常問(wèn)題 264
18.3.2 Sqoop組件異常問(wèn)題 267

18.3.3 HBase組件異常問(wèn)題 268
18.3.4 ZooKeeper組件異常問(wèn)題 268
18.4 解決平臺(tái)啟動(dòng)的基本問(wèn)題
案例 269
18.4.1 HDFS服務(wù)啟動(dòng)問(wèn)題 269
18.4.2 NameNode格式化異常
問(wèn)題 270
18.4.3 DataNode進(jìn)程啟動(dòng)問(wèn)題 271
18.4.4 SecondaryNameNode啟動(dòng)
問(wèn)題 273
18.5 解決平臺(tái)運(yùn)行的基本問(wèn)題
案例 274
18.6 本章小結(jié) 275
附錄 虛擬化軟件的使用 276
A.1 虛擬機(jī)的概念、用途及常用
軟件 276
A.1.1 虛擬機(jī)的概念 276
A.1.2 虛擬機(jī)的用途 278
A.1.3 常用虛擬機(jī)軟件 279
A.2 H3C CAS云計(jì)算管理平臺(tái) 280
A.2.1 H3C CAS云計(jì)算管理平臺(tái)
簡(jiǎn)介 280
A.2.2 創(chuàng)建虛擬機(jī) 282
A.2.3 修改虛擬機(jī)硬件配置 284
A.2.4 基于CAS云平臺(tái)使用
虛擬機(jī) 285
A.2.5 刪除虛擬機(jī) 286
A.3 H3C教學(xué)與實(shí)踐管理平臺(tái) 287
A.3.1 H3C教學(xué)與實(shí)踐管理平臺(tái)
簡(jiǎn)介 287
A.3.2 預(yù)習(xí) 287
A.3.3 上課學(xué)習(xí) 289
A.3.4 鞏固學(xué)習(xí)效果 292
A.3.5 完成學(xué)習(xí) 295
A.4 小結(jié) 296