序言
江蘇傳智播客教育科技股份有限公司（簡(jiǎn)稱傳智播客）是一家致力于培養(yǎng)高素質(zhì)軟件開(kāi)發(fā)人才的科技公司，黑馬程序員是傳智播客旗下高端IT教育品牌。
黑馬程序員的學(xué)員多為大學(xué)畢業(yè)后，想從事IT行業(yè)，但各方面條件還不成熟的年輕人。黑馬程序員的學(xué)員篩選制度非常嚴(yán)格，包括了嚴(yán)格的技術(shù)測(cè)試、自學(xué)能力測(cè)試，還包括性格測(cè)試、壓力測(cè)試、品德測(cè)試等。百里挑一的殘酷篩選制度確保學(xué)員質(zhì)量，并降低企業(yè)的用人風(fēng)險(xiǎn)。
自黑馬程序員成立以來(lái)，教學(xué)研發(fā)團(tuán)隊(duì)一直致力于打造精品課程資源，不斷在產(chǎn)、學(xué)、研三個(gè)層面創(chuàng)新自己的執(zhí)教理念與教學(xué)方針，并集中黑馬程序員的優(yōu)勢(shì)力量，有針對(duì)性地出版了計(jì)算機(jī)系列教材80多種，制作教學(xué)視頻數(shù)十套，發(fā)表各類技術(shù)文章數(shù)百篇。
黑馬程序員不僅斥資研發(fā)IT系列教材，還為高校師生提供以下配套學(xué)習(xí)資源與服務(wù)。
為大學(xué)生提供的配套服務(wù)
1. 請(qǐng)登錄高校學(xué)習(xí)平臺(tái)http://yx.ityxb.com，免費(fèi)獲取海量學(xué)習(xí)資源，幫助高校學(xué)生解決學(xué)習(xí)問(wèn)題。
2. 針對(duì)高校學(xué)生在學(xué)習(xí)過(guò)程中存在的壓力等問(wèn)題，我們還面向大學(xué)生量身打造了IT技術(shù)女神播妞學(xué)姐，可提供教材配套源碼和習(xí)題答案，以及更多IT學(xué)習(xí)資源，同學(xué)們快來(lái)關(guān)注播妞學(xué)姐的微信公眾號(hào)：boniu1024。
播妞學(xué)姐微信公眾號(hào)
為教師提供的配套服務(wù)
針對(duì)高校教學(xué)，黑馬程序員為IT系列教材精心設(shè)計(jì)了教案 授課資源 考試系統(tǒng) 題庫(kù) 教學(xué)輔助案例的系列教學(xué)資源，高校老師請(qǐng)登錄高校教輔平臺(tái)http://yx.ityxb.com或關(guān)注碼大牛老師微信/QQ：2011168841，獲取教材配套資源，也可以掃描下方二維碼，加入專為IT教師打造的師資服務(wù)平臺(tái)教學(xué)好助手，獲取最新教師教學(xué)輔助資源的相關(guān)動(dòng)態(tài)。
Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)
為什么要學(xué)習(xí)本書(shū)
Apache Spark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，具有高效性、易用性、通用性、兼容性四大特性，并且在Spark生態(tài)體系中，包含了離線數(shù)據(jù)、流式數(shù)據(jù)、圖計(jì)算、機(jī)器學(xué)習(xí)、NoSQL查詢等多個(gè)方面的解決方案，深受廣大大數(shù)據(jù)工程師及算法工程師的喜愛(ài)。對(duì)于想從事大數(shù)據(jù)行業(yè)的開(kāi)發(fā)人員來(lái)說(shuō)，學(xué)好Spark尤為重要。
Spark技術(shù)功能強(qiáng)大，涉及知識(shí)面較廣，零基礎(chǔ)的同學(xué)很難踏入Spark體系架構(gòu)之中，因此本書(shū)采用理論和案例相結(jié)合的編寫(xiě)方式，用通俗易懂的語(yǔ)言講解復(fù)雜、難以理解的原理，每章都包含多個(gè)案例，讓讀者學(xué)以致用。
關(guān)于本書(shū)
作為大數(shù)據(jù)技術(shù)Spark的入門(mén)教程，最重要且最難的一件事情就是將一些復(fù)雜、難以理解的思想和問(wèn)題簡(jiǎn)單化，讓初學(xué)者能夠輕松理解并快速掌握。本教材對(duì)每個(gè)知識(shí)點(diǎn)都進(jìn)行了深入分析，并針對(duì)每個(gè)知識(shí)點(diǎn)精心設(shè)計(jì)了相關(guān)案例，然后模擬這些知識(shí)點(diǎn)在實(shí)際工作中的運(yùn)用，真正做到了知識(shí)的由淺入深、由易到難。
本書(shū)共分為9章，接下來(lái)分別對(duì)每個(gè)章節(jié)進(jìn)行簡(jiǎn)單的介紹，具體如下。
�f 第1章主要講解什么是Scala以及Scala編程相關(guān)知識(shí)。通過(guò)本章學(xué)習(xí)，讀者應(yīng)掌握Scala環(huán)境的安裝配置，熟悉Scala語(yǔ)法規(guī)范，并實(shí)現(xiàn)使用Scala語(yǔ)言編寫(xiě)自己的第一個(gè)程序。
�f 第2章主要介紹什么是Spark，以及搭建Spark集群的方式，并通過(guò)Spark Shell學(xué)習(xí)Spark的基本操作方法。通過(guò)本章學(xué)習(xí)，讀者應(yīng)能獨(dú)立搭建Spark集群，同時(shí)對(duì)Spark系統(tǒng)的基礎(chǔ)操作和基本原理有初步了解。
�f 第3章主要介紹什么是Spark RDD、RDD的處理過(guò)程以及操作RDD的方式。通過(guò)本章的學(xué)習(xí)，讀者可以了解RDD處理數(shù)據(jù)核心思想，并且能夠使用RDD編程解決實(shí)際問(wèn)題。
�f 第4章主要介紹Spark SQL的數(shù)據(jù)模型DataFrame和Dataset，它是一個(gè)由多個(gè)列組成的結(jié)構(gòu)化的分布式數(shù)據(jù)集合，類似于關(guān)系數(shù)據(jù)庫(kù)中的表概念。通過(guò)本章的學(xué)習(xí)，讀者應(yīng)能夠掌握利用Spark SQL操作MySQL和Hive兩種常見(jiàn)數(shù)據(jù)源。
�f 第5章主要介紹HBase分布式數(shù)據(jù)庫(kù)的數(shù)據(jù)模型以及操作方式。通過(guò)本章學(xué)習(xí)，讀者能夠掌握部署HBase集群的方法，了解HBase存儲(chǔ)數(shù)據(jù)的架構(gòu)原理，并且能夠使用HBase分布式數(shù)據(jù)庫(kù)解決實(shí)際業(yè)務(wù)問(wèn)題。
�f 第6章主要介紹Kafka流處理平臺(tái)，Kafka是流式計(jì)算系統(tǒng)中常見(jiàn)的輔助工具，通過(guò)Kafka工作原理的學(xué)習(xí)，讀者能夠了解Kafka集群整體架構(gòu)中各個(gè)組件的功能，以及Kafka寫(xiě)入數(shù)據(jù)和消費(fèi)數(shù)據(jù)的底層原理及操作方式。通過(guò)本章學(xué)習(xí)，讀者能夠掌握部署Kafka集群的方法，并能夠通過(guò)執(zhí)行命令和API方式操作Kafka。
�f 第7章主要介紹Spark Streaming的相關(guān)知識(shí)，Spark Streaming是Spark生態(tài)系統(tǒng)中實(shí)現(xiàn)流式計(jì)算功能的重要組件。通過(guò)本章Spark Streaming案例式講解，讀者能夠掌握Spark Streaming程序的開(kāi)發(fā)步驟，及與Kafka整合使用的方法。
�f 第8章主要介紹Spark MLlib，它是Spark提供的機(jī)器學(xué)習(xí)庫(kù)，其中整合了統(tǒng)計(jì)、分類、回歸、過(guò)濾等主流的機(jī)器學(xué)習(xí)算法和豐富的API，降低用戶使用機(jī)器學(xué)習(xí)的難度。通過(guò)本章學(xué)習(xí)，讀者能夠了解利用Spark完成機(jī)器學(xué)習(xí)的方式，即獲取數(shù)據(jù)集，調(diào)用訓(xùn)練模型算法得出模型，通過(guò)模型分析當(dāng)前數(shù)據(jù)。
�f 第9章主要介紹利用Spark構(gòu)建實(shí)時(shí)交易數(shù)據(jù)統(tǒng)計(jì)案例的開(kāi)發(fā)流程。通過(guò)本章學(xué)習(xí)，讀者能夠了解實(shí)時(shí)計(jì)算項(xiàng)目的基本架構(gòu)模型，以及本項(xiàng)目統(tǒng)計(jì)商品成交額的需求實(shí)現(xiàn)方式。
致謝
本書(shū)的編寫(xiě)和整理工作由傳智播客教育科技股份有限公司完成，主要參與人員有呂春林、高美云、翟振方、文燕等，全體人員在這近一年的編寫(xiě)過(guò)程中付出了許多辛勤的汗水。除此之外，還有傳智播客600多名學(xué)員參與到了教材的試讀工作中，他們站在初學(xué)者的角度對(duì)教材提出了許多寶貴的修改意見(jiàn)，在此一并表示衷心的感謝。
意見(jiàn)反饋
盡管我們付出了最大的努力，但書(shū)中難免會(huì)有欠妥之處，歡迎各界專家和讀者朋友提出寶貴意見(jiàn)，我們將不勝感激。您在閱讀本書(shū)時(shí)，如果發(fā)現(xiàn)任何問(wèn)題或有不認(rèn)同之處可以通過(guò)電子郵件與我們?nèi)〉寐?lián)系。
請(qǐng)發(fā)送電子郵件至itcast_book@vip.sina.com。

黑馬程序員
2019年7月 前言Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)