第 1章　Spark導論 1
1.1　認識Spark　1
1.1.1　Spark的演進路線　1
1.1.2　Spark的特點　2
1.1.3　Spark與Hadoop的聯(lián)系　3
1.2　Spark的生態(tài)系統(tǒng)　4
1.2.1　Spark Core　5
1.2.2　Spark SQL　5
1.2.3　Spark Streaming　5
1.2.4　Spark MLlib　5
1.2.5　Spark GraphX　5
1.3　Spark運行模式　5
1.3.1　Standalone模式　6
1.3.2　Mesos模式　6
1.3.3　YARN模式　6
1.4　Spark架構　6
1.4.1　Spark架構組成　6
1.4.2　Spark架構運行流程　7
1.4.3　Spark架構特點　7
1.5　Spark應用場景　8
1.6　本章小結　8
1.7　習題　8
第 2章　Spark環(huán)境搭建與使用　10
2.1　搭建環(huán)境前的準備　10
2.1.1　Spark的下載　10
2.1.2　Scala的下載　11
2.1.3　Spark的前置配置　13
2.2　Spark集群的部署與操作　14
2.2.1　Spark集群的部署　14
2.2.2　Spark集群的啟動與停止　17
2.3　第 一個Spark程序　19
2.4　Spark Shell的啟動　21
2.5　本章小結　21
2.6　習題　21
第3章　Scala語言　23
3.1　Scala簡介　23
3.1.1　什么是Scala　23
3.1.2　Scala的特性　24
3.1.3　Scala的優(yōu)勢　24
3.2　Scala的安裝　25
3.2.1　Windows下安裝Scala
編譯器　25
3.2.2　Linux下安裝Scala
編譯器　26
3.3　Scala基礎　26
3.3.1　Scala快速入門　26
3.3.2　在IntelliJ IDEA中創(chuàng)建Scala
項目　27
3.4　Scala的基本語法　28
3.4.1　聲明變量　29
3.4.2　定義字符串　29
3.4.3　數(shù)據(jù)類型　31
3.4.4　運算符　32
3.4.5　塊表達式　33
3.5　Scala的流程控制結構　33
3.5.1　順序結構　33
3.5.2　分支結構　34
3.5.3　循環(huán)結構　36
3.5.4　breakable和break()方法　38
3.6　Scala的方法與函數(shù)　39
3.6.1　Scala中方法的定義和調用　39
3.6.2　Scala中函數(shù)的定義和調用　42
3.6.3　Scala中將方法轉換成函數(shù)　43
3.7　Scala面向對象的特性　44
3.7.1　類和對象　44
3.7.2　private關鍵字　45
3.7.3　繼承　45
3.7.4　單例對象　46
3.7.5　伴生對象　46
3.7.6　構造器　47
3.7.7　特質　48
3.7.8　抽象類　50
3.8　Scala的數(shù)據(jù)結構　50
3.8.1　數(shù)組　50
3.8.2　元組　52
3.8.3　集合　53
3.9　lazy關鍵字　56
實戰(zhàn)訓練：數(shù)組合并去重　57
3.10　本章小結　59
3.11　習題　59
第4章　Spark彈性分布式數(shù)據(jù)集　61
4.1　RDD簡介　61
4.1.1　RDD的產生背景　61
4.1.2　RDD的特性　62
4.2　RDD的創(chuàng)建操作　64
4.2.1　從文件系統(tǒng)中加載數(shù)據(jù)創(chuàng)建
RDD　64
4.2.2　通過并行集合創(chuàng)建RDD　64
4.2.3　從父RDD轉換成新的子
RDD　64
4.3　RDD算子　64
4.3.1　轉換算子　65
4.3.2　動作算子　71
4.3.3　RDD常用算子練習　72
4.3.4　算子進階　74
實戰(zhàn)訓練4-1：WordCount詞頻統(tǒng)計
案例　77
4.4　RDD的分區(qū)　78
4.5　RDD的依賴關系　79
4.5.1　劃分依賴的背景　79
4.5.2　劃分依賴的依據(jù)　80
4.5.3　窄依賴　80
4.5.4　寬依賴　80
4.5.5　Stage的劃分　81
4.6　RDD機制　81
4.6.1　持久化機制　81
4.6.2　RDD緩存方式　81
4.6.3　容錯機制Checkpoint　82
4.7　Spark作業(yè)流程　83
4.7.1　DAG的生成　83
4.7.2　任務調度流程　83
4.7.3　提交任務的4個階段　84
4.8　共享變量　84
4.8.1　廣播變量　85
4.8.2　累加器　85
實戰(zhàn)訓練4-2：通過相關信息計算用戶
停留時間　85
實戰(zhàn)訓練4-3：統(tǒng)計學生信息　87
4.9　本章小結　92
4.10　習題　93
第5章　Spark SQL、DataFrame和
DataSet　95
5.1　Spark SQL簡介　95
5.1.1　Spark SQL的概念　95
5.1.2　Spark SQL的特點　96
5.1.3　Spark SQL的運行架構　97
5.2　DataFrame基礎知識　98
5.2.1　DataFrame概念　98
5.2.2　創(chuàng)建DataFrame對象　99
5.2.3　DataFrame常用操作　99
5.3　DataSet基礎知識　100
5.3.1　DataSet編程　101
5.3.2　DataSet的DSL風格操作　101
5.4　將RDD轉為DataFrame的
操作　102
5.4.1　通過反射推斷Schema　102
5.4.2　DSL風格語法　103
5.4.3　通過StructType直接指定
Schema　104
5.5　RDD、DataFrame和DataSet的
區(qū)別　105
5.5.1　RDD的優(yōu)缺點　105
5.5.2　DataFrame的優(yōu)缺點　106
5.5.3　DataSet的優(yōu)缺點　106
5.5.4　Spark SQL的性能與優(yōu)化　106
5.6　通過Spark SQL操作數(shù)據(jù)源　106
5.6.1　操作MySQL數(shù)據(jù)源　106
5.6.2　操作Hive數(shù)據(jù)源　108
實戰(zhàn)訓練5-1：獲取連續(xù)活躍用戶的
記錄　108
實戰(zhàn)訓練5-2：計算店鋪銷售額　110
5.7　本章小結　113
5.8　習題　113
第6章　Kafka分布式發(fā)布-訂閱消息
系統(tǒng)　115
6.1　Kafka簡介　115
6.1.1　什么是Kafka　115
6.1.2　消息系統(tǒng)簡介　116
6.1.3　Kafka術語　117
6.2　Kafka與傳統(tǒng)消息系統(tǒng)的區(qū)別　117
6.2.1　應用場景　117
6.2.2　架構模型　118
6.2.3　吞吐量　118
6.2.4　可用性　118
6.2.5　集群負載均衡　118
6.3　Kafka工作原理　118
6.3.1　Kafka的拓撲結構　118
6.3.2　分析Kafka工作流程　119
6.4　Kafka集群的部署與測試　121
6.4.1　集群部署的基礎環(huán)境準備　121
6.4.2　安裝Kafka　121
6.4.3　啟動Kafka服務并進行
測試　123
6.5　Kafka的入門使用　124
6.5.1　Kafka命令行的入門使用　124
6.5.2　Kafka API案例　124
6.6　Kafka整合Flume　126
6.7　Kafka涉及的問題　127
6.7.1　存儲機制　127
6.7.2　Kafka是如何保證數(shù)據(jù)
不丟失的　127
6.7.3　如何消費已經(jīng)被消費過的
數(shù)據(jù)　128
6.7.4　Kafka Partition和Consumer的
數(shù)量關系　128
6.7.5　Kafka Topic 副本問題　129
6.7.6　ZooKeeper如何管理
Kafka　129
實戰(zhàn)訓練：使用Kafka生產車輛模擬
信息　129
6.8　本章小結　133
6.9　習題　133
第7章　Spark Streaming實時計算
框架　135
7.1　流式計算概述　135
7.1.1　流式計算簡介　135
7.1.2　常用的流式計算框架　136
7.2　Spark Streaming概述　137
7.2.1　Spark Streaming簡介　137
7.2.2　Spark Streaming工作原理　137
7.3　Spark的DStream　141
7.3.1　DStream概念　141
7.3.2　DStream的轉換操作　142
7.4　Spark Streaming的數(shù)據(jù)源　144
7.4.1　基本數(shù)據(jù)源　144
7.4.2　高級數(shù)據(jù)源之Kafka　145
7.5　DStream的窗口操作　150
7.6　DStream的輸出操作　151
7.7　Spark Streaming的Checkpoint
機制　153
7.7.1　Spark Streaming Checkpoint
概述　153
7.7.2　Checkpoint-MySQL校驗　153
7.7.3　Checkpoint-Redis校驗　154
實戰(zhàn)訓練：新聞熱詞排序　155
7.8　本章小結　157
7.9　習題　157
第8章　Spark MLlib機器學習
算法庫　159
8.1　初識機器學習　159
8.1.1　什么是機器學習　159
8.1.2　機器學習的應用　160
8.1.3　分類和聚類　160
8.1.4　常見的分類與聚類算法　160
8.1.5　監(jiān)督學習、無監(jiān)督學習與
半監(jiān)督學習　161
8.2　機器學習算法庫MLlib概述　161
8.2.1　MLlib簡介　161
8.2.2　Spark機器學習的工作
流程　161
8.2.3　Spark MLlib的架構　162
8.3　數(shù)據(jù)類型　162
8.3.1　本地向量　162
8.3.2　標簽點　163
8.3.3　本地矩陣　164
8.4　Spark MLlib的基本統(tǒng)計方法　165
8.4.1　摘要統(tǒng)計　165
8.4.2　相關性　165
8.4.3　分層抽樣　167
8.5　分類和回歸　168
8.5.1　線性支持向量機　168
8.5.2　邏輯回歸　169
8.5.3　線性最小二乘法　170
8.5.4　流的線性回歸　171
8.6　隨機森林　171
8.6.1　隨機注入　172
8.6.2　隨機森林的預測　172
8.6.3　3個案例　172
8.7　樸素貝葉斯　174
8.8　協(xié)同過濾　175
8.8.1　協(xié)同過濾推薦算法的原理　175
8.8.2　案例需求　175
8.8.3　算法實現(xiàn)　176
8.8.4　計算相似度的3種常用
方法　178
8.8.5　案例如何使用協(xié)同
過濾　179
8.8.6　使用協(xié)同過濾算法時的常見
問題　179
實戰(zhàn)訓練：利用MLlib實現(xiàn)電影推薦
引擎　180
8.9　本章小結　183
8.10　習題　183
第9章　Redis數(shù)據(jù)庫　185
9.1　Redis簡介　185
9.1.1　常見的Redis應用場景　185
9.1.2　Redis的特性　186
9.1.3　持久化機制　187
9.2　Redis的安裝和啟動　187
9.2.1　Redis的安裝　187
9.2.2　前端啟動　189
9.2.3　后端啟動　189
9.3　Redis的客戶端　190
9.3.1　Redis自帶的客戶端　190
9.3.2　Redis桌面管理工具　190
9.3.3　Java客戶端Jedis　191
9.4　Redis的數(shù)據(jù)類型　192
9.5　Redis的持久化和高可用性　194
9.5.1　RDB方式和AOF方式　194
9.5.2　Redis的高可用性　196
實戰(zhàn)訓練：Spark　SQL整合Redis分析
電商數(shù)據(jù)　197
9.6　本章小結　199
9.7　習題　199
第 10章　綜合案例Spark電商實時
數(shù)據(jù)處理　201
10.1　項目概述　201
10.1.1　介紹項目背景　201
10.1.2　設計項目架構　201
10.2　搭建項目環(huán)境　202
10.3　初始化項目結構　203
10.3.1　創(chuàng)建Maven工程　203
10.3.2　構建SparkSession和
StreamingContext實例
對象　207
10.3.3　構建屬性配置文件　208
10.3.4　配置Spark Streaming停止
工具　210
10.4　開發(fā)訂單數(shù)據(jù)模塊　211
10.4.1　模擬訂單數(shù)據(jù)　211
10.4.2　啟動Kafka服務　213
10.5　訂單數(shù)據(jù)處理模塊　214
10.6　開發(fā)報表　216
10.7　本章小結　218