Preface?前　　言為什么要寫(xiě)這本書(shū)近年來(lái)，大數(shù)據(jù)這個(gè)概念越來(lái)越火爆，特別是在國(guó)家層面，大數(shù)據(jù)被提升到了國(guó)家戰(zhàn)略的高度。在這樣的背景下，很多傳統(tǒng)企業(yè)開(kāi)始涉足大數(shù)據(jù)領(lǐng)域并研發(fā)自己的大數(shù)據(jù)技術(shù)平臺(tái)。在這股技術(shù)升級(jí)與轉(zhuǎn)型的浪潮中，傳統(tǒng)領(lǐng)域的程序員紛紛轉(zhuǎn)型投向大數(shù)據(jù)的懷抱。目前大數(shù)據(jù)技術(shù)開(kāi)源領(lǐng)域以Hadoop生態(tài)構(gòu)建的技術(shù)體系為主�，F(xiàn)在市面上有很多與Hadoop體系相關(guān)的技術(shù)書(shū)籍，Hadoop、Spark這類火爆的技術(shù)已經(jīng)有大量?jī)?yōu)秀的專業(yè)書(shū)籍進(jìn)行講解。但我發(fā)現(xiàn)這類書(shū)籍多是以縱向的視角去講解某一類具體的技術(shù)，而大數(shù)據(jù)領(lǐng)域涉及的知識(shí)繁多，在構(gòu)建大數(shù)據(jù)平臺(tái)的過(guò)程中我們不僅需要精通單個(gè)技術(shù)組件的知識(shí)，還需要擁有橫向整合拉通Hadoop體系技術(shù)棧的能力。而這類橫向拉通Hadoop體系技術(shù)棧的書(shū)籍并不多見(jiàn)。所以我將自己在構(gòu)建大數(shù)據(jù)平臺(tái)上的一些經(jīng)驗(yàn)和實(shí)踐進(jìn)行了整理，分享給各位讀者。希望本書(shū)能夠?yàn)楦魑蛔x者構(gòu)建大數(shù)據(jù)平臺(tái)或解決方案提供一定的幫助。
讀者對(duì)象想了解大數(shù)據(jù)技術(shù)，想進(jìn)入大數(shù)據(jù)領(lǐng)域的工程師：作為一個(gè)想進(jìn)入大數(shù)據(jù)領(lǐng)域的“新人”，你可以通過(guò)本書(shū)從宏觀的視角迅速對(duì)大數(shù)據(jù)的基礎(chǔ)設(shè)施和技術(shù)棧有一個(gè)全面的認(rèn)識(shí)和了解。本書(shū)可以作為你的入門(mén)指南和技術(shù)棧索引目錄。
大數(shù)據(jù)領(lǐng)域的中高級(jí)工程師：作為一個(gè)大數(shù)據(jù)領(lǐng)域的中高級(jí)工程師，對(duì)Hadoop生態(tài)體系的技術(shù)應(yīng)該早已運(yùn)用自如。通過(guò)本書(shū)的學(xué)習(xí)，相信你對(duì)大數(shù)據(jù)領(lǐng)域多種技術(shù)棧的整合會(huì)有一個(gè)更深刻的認(rèn)識(shí)。同時(shí)本書(shū)中的一些平臺(tái)級(jí)方案也會(huì)幫助你提升在平臺(tái)架構(gòu)方面的造詣。
平臺(tái)架構(gòu)師：作為一個(gè)平臺(tái)架構(gòu)師，本書(shū)中的一些解決方案和設(shè)計(jì)思路可以作為你進(jìn)行系統(tǒng)架構(gòu)的參考資料。
本書(shū)主要內(nèi)容本書(shū)從企業(yè)的實(shí)際需求出發(fā)，完整地介紹了構(gòu)建一個(gè)真實(shí)可用、安全可靠的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)所需要運(yùn)用的知識(shí)體系，并詳細(xì)地描述了構(gòu)建企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的設(shè)計(jì)方案和實(shí)施步驟。
本書(shū)邏輯上可分為3大部分，共8章，每個(gè)章節(jié)循序漸進(jìn)：
第一部分（第1、2章）描述了企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的需求和能力。
第二部分（第3～5章）著重講述了如何去搭建并配置一個(gè)大數(shù)據(jù)平臺(tái)，以及如何構(gòu)建非常重要的平臺(tái)安全方案。
第三部分（第6～8章）以實(shí)戰(zhàn)的形式講解如何以Java編碼的方式實(shí)現(xiàn)平臺(tái)的基礎(chǔ)管理功能，以提升其易用性與可用性。
具體各章內(nèi)容如下：
第1章　闡述企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的重要性，并解釋了為什么需要構(gòu)建一個(gè)統(tǒng)一的企業(yè)級(jí)大數(shù)據(jù)平臺(tái)。接著介紹作為一個(gè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)應(yīng)當(dāng)具備的能力，并解釋其原因。
第2章　介紹通過(guò)Hadoop生態(tài)體系去構(gòu)建一個(gè)企業(yè)級(jí)大數(shù)據(jù)平臺(tái)可以使用的技術(shù)棧，如HDFS、HBase、Spark等，并一一介紹了它們的核心概念。
第3章　介紹集群管理工具Ambari，并站在集群服務(wù)器的角度分類解釋如何去設(shè)計(jì)一個(gè)Hadoop集群，詳細(xì)描述了如何使用Ambari來(lái)安裝、管理和監(jiān)控一個(gè)Hadoop集群。
第4章　介紹企業(yè)級(jí)大數(shù)據(jù)平臺(tái)中非常重要的安全部分。首先闡述了企業(yè)級(jí)大數(shù)據(jù)平臺(tái)面臨的一些安全隱患，接著展示了一套初級(jí)解決方案并介紹了如何使用Knox和Ranger解決訪問(wèn)控制和數(shù)據(jù)授權(quán)與管理的問(wèn)題。
第5章　著重介紹Hadoop服務(wù)的安全方案，并說(shuō)明如何通過(guò)Kerberos協(xié)議等一系列措施來(lái)保障Hadoop集群的安全。
第6章　闡述大數(shù)據(jù)平臺(tái)在易用性上的一些遺留問(wèn)題，接著介紹如何通過(guò)CAS實(shí)現(xiàn)平臺(tái)的單點(diǎn)登錄功能，最后描述如何使用Java程序?qū)崿F(xiàn)統(tǒng)一的用戶管理服務(wù)。
第7章　簡(jiǎn)單闡述服務(wù)化的重要性以及如何將大數(shù)據(jù)平臺(tái)管理端的功能封裝成RESTful服務(wù)。首先介紹了如何使用Spring-Boot快速搭建一套R(shí)ESTful服務(wù)的程序框架，接著詳細(xì)描述如何實(shí)現(xiàn)Kerberos用戶查詢、Hive數(shù)據(jù)倉(cāng)庫(kù)查詢和元數(shù)據(jù)查詢等一系列RESTful服務(wù)。
第8章　介紹如何使用Java程序?qū)崿F(xiàn)Spark的任務(wù)提交與任務(wù)調(diào)度功能。首先著重介紹使用Java程序?qū)崿F(xiàn)Spark任務(wù)提交到Y(jié)ARN的三種方式，接著描述如何通過(guò)Quartz實(shí)現(xiàn)任務(wù)調(diào)度功能。
如何閱讀本書(shū)本書(shū)內(nèi)容會(huì)涉及大數(shù)據(jù)領(lǐng)域相關(guān)的技術(shù)知識(shí)，所以假定讀者已具有一定的編程經(jīng)驗(yàn)，了解分布式、多線程、集群等概念。本書(shū)部分內(nèi)容涉及集群服務(wù)的實(shí)戰(zhàn)安裝示例，所以需要準(zhǔn)備至少兩臺(tái)用于搭建測(cè)試環(huán)境的Linux服務(wù)器或虛擬機(jī)。
勘誤和支持由于水平有限，編寫(xiě)時(shí)間倉(cāng)促，書(shū)中難免會(huì)出現(xiàn)一些錯(cuò)誤或者不準(zhǔn)確的地方，懇請(qǐng)讀者批評(píng)指正。為此，我特意創(chuàng)建了一個(gè)提供在線支持與應(yīng)急方案的站點(diǎn)https://github.com/nauu/bigdatabook。你可以將書(shū)中的錯(cuò)誤發(fā)布在Bug勘誤表頁(yè)面中，如果你遇到任何問(wèn)題，也可以訪問(wèn)Q&A頁(yè)面，我將盡量在線上為讀者提供最滿意的解答。如果你有更多的寶貴意見(jiàn)，也歡迎發(fā)送郵件至郵箱yawface@gmail.com或者訪問(wèn)新浪微博http://weibo.com/boness，期待能夠得到你們的真摯反饋。
致謝感謝我的家人，如果沒(méi)有你們的悉心照顧和鼓勵(lì)，我不可能完成本書(shū)。
感謝我的公司遠(yuǎn)光軟件，為我提供了學(xué)習(xí)和成長(zhǎng)的環(huán)境，本書(shū)中的很多知識(shí)都來(lái)自工作中的實(shí)踐。
感謝我的摯友李根，為本書(shū)提出了許多寶貴的建議。
感謝我的同事兼伙伴們——解來(lái)甲、張琛、楊柯、潘登、胡藝、李國(guó)威、陳世賓、陳澤華，以及名單之外的更多朋友，感謝你們?cè)诠ぷ髦械恼疹櫤椭С�，十分榮幸能夠與你們?cè)谶@個(gè)富有激情和活力的團(tuán)隊(duì)共事。
感謝機(jī)械工業(yè)出版社華章公司的編輯楊福川老師、孫海亮老師，在這一年多的時(shí)間中始終支持我的寫(xiě)作，你們的鼓勵(lì)和幫助引導(dǎo)我順利地完成全部書(shū)稿。
朱　凱