Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實踐
定 價:49 元
- 作者:陳敏敏王新春黃奉線
- 出版時間:2015/5/1
- ISBN:9787115388537
- 出 版 社:人民郵電出版社
- 中圖法分類:TP274
- 頁碼:192
- 紙張:膠版紙
- 版次:1
- 開本:16K
《Storm技術(shù)內(nèi)幕與大數(shù)據(jù)實踐》內(nèi)容主要圍繞實時大數(shù)據(jù)系統(tǒng)的各個方面展開,從實時平臺總體介紹到集群源碼、運維監(jiān)控、實時系統(tǒng)擴展、以用戶畫像為主的數(shù)據(jù)平臺,最后到推薦、廣告、搜索等具體的大數(shù)據(jù)應用。書中提到的不少問題是實際生產(chǎn)環(huán)境中因為數(shù)據(jù)量增長而遇到的一些真實問題,對即將或正在運用實時系統(tǒng)處理大數(shù)據(jù)問題的團隊會有所幫助。
陳敏敏 ,1號店個性精準化部門資深架構(gòu)師,在此之前曾服務于微軟和三星電子等公司,長期從事大數(shù)據(jù)、搜索和推薦平臺相關(guān)工作。目前主要關(guān)注于NoSQL、實時計算框架、推薦、廣告投放等相關(guān)技術(shù)。
王新春,大眾點評網(wǎng)數(shù)據(jù)平臺資深工程師,負責點評實時計算平臺相關(guān)工作,推動流式計算和實時計算在點評的應用和推廣,一直致力于大數(shù)據(jù)和分布式系統(tǒng)的研究和應用。目前主要從事NoSQL、實時分布式系統(tǒng)的研究與開發(fā)。
黃奉線,1號店基礎(chǔ)架構(gòu)部分布式存儲團隊負責人,推動流式計算在1號店的應用,獲得CTO特別獎,長期從事基礎(chǔ)架構(gòu)相關(guān)工作。目前主要關(guān)注于NoSQL、開源、流式計算、分布式存儲等相關(guān)技術(shù)。
第1章 緒論
1.1 Storm的基本組件
1.1.1 集群組成
1.1.2 核心概念
1.1.3 Storm的可靠性
1.1.4 Storm的特性
1.2 其他流式處理框架
1.2.1 Ap
1.2.2 SparkSt
1.2.3 流計算和Storm的應用
第2章 實時平臺介紹
2.1 實時平臺架構(gòu)介紹
2.2 Kafka架構(gòu)
2.2.1 Kafka的基本術(shù)語和概念
2.2.2 Kafka在實時平臺中的應用
2.2.3 消息的持久化和順序讀寫
2.2.4 sendfile系統(tǒng)調(diào)用和零復制
2.2.5 Kafka的客戶端
2.2.6 Kafka的擴展
2.3 大眾點評實時平臺
2.3.1 相關(guān)數(shù)據(jù)
2.3.2 實時平臺簡介
2.3.3 Bla
2.4 1號店實時平臺
第3章 Storm集群部署和配置
3.1 Storm的依賴組件
3.2 Storm的部署環(huán)境
3.3 部署Storm服務
3.3.1 部署ZooKeeper
3.3.2 部署Storm
3.3.3 配置Storm
3.4 啟動
3.5 Storm的守護進程
3.6 部署Storm的其他節(jié)點
3.7 提交Top
第4章 Storm內(nèi)部剖析
4.1 Storm客戶端
4.2 Nimbus
4.2.1 啟動Nimbus服務
4.2.2 Nimbus服務的執(zhí)行過程
4.2.3 分配Ex
4.2.4 調(diào)度器
4.2.5 默認調(diào)度器DefaultSch
4.2.6 均衡調(diào)度器EvenSch
4.3 Supervisor
4.3.1 ISupervisor接口
4.3.2 Supervisor的共享數(shù)據(jù)
4.3.3 Supervisor的執(zhí)行過程
4.4 Worker
4.4.1 Worker中的數(shù)據(jù)流
4.4.2 創(chuàng)建Worker的過程
4.5 Executor
4.5.1 Executor的創(chuàng)建
4.5.2 創(chuàng)建Spout的Executor
4.5.3 創(chuàng)建Bolt的Executor
4.6 Task
4.6.1 Task的上下文對象
4.6.2 Task的創(chuàng)建
4.7 Storm中的統(tǒng)計
4.7.1 stats框架
4.7.2 metric框架
4.8 Ack框架
4.8.1 Ack的原理
4.8.2 Acker Bolt
4.9 Storm總體架構(gòu)
第5章 Storm運維和監(jiān)控
第6章 Storm的擴展
第7章 Storm開發(fā)
第8章 基于Storm的實時數(shù)據(jù)平臺
第9章 大數(shù)據(jù)應用案例
第10章 Storm使用經(jīng)驗和性能優(yōu)化
附錄A Kafka原理
附錄B 將Storm源碼導入Ecl