免费无码a级毛片,青青草原一区二区三区,中文一区二区三区无码

《大數(shù)據(jù)開發(fā)基礎與實踐(微課版）》從初學者角度詳細介紹了大數(shù)據(jù)開發(fā)的基礎知識和對應的項目開發(fā)實踐。全書共七個項目開發(fā)案例。第一個項目是大數(shù)據(jù)集群環(huán)境搭建，包括Linux虛擬機、JDK環(huán)境、Zookeeper、Hadoop、HBase、Spark等平臺的安裝和配置；第二個項目是數(shù)據(jù)倉庫構建，包括MySQL、Hive的安裝與配置；第三個項目是Java訪問Hadoop實踐，包括Java訪問HDFS文件系統(tǒng)和MapReduce編程實踐；第四個項目是大數(shù)據(jù)采集實踐，包括利用Python編程語言、Request庫采集網(wǎng)頁數(shù)據(jù)，并介紹利用XPath等技術對數(shù)據(jù)進行采集的方法；第五個項目是大數(shù)據(jù)清洗實踐，包括利用編程方式和Kettle工具對數(shù)據(jù)進行清洗；第六個項目是大數(shù)據(jù)分析實踐，包括利用Hive和Spark對數(shù)據(jù)進行清洗；第七個項目是大數(shù)據(jù)可視化實踐，包括利用Excel和ECharts對數(shù)據(jù)進行可視化。通過以上七個項目的開發(fā)與應用實踐，將會提高讀者的大數(shù)據(jù)開發(fā)應用實踐能力。《大數(shù)據(jù)開發(fā)基礎與實踐(微課版）》配備教學PPT、教學視頻、教學補充案例等資源。為了幫助讀者更好地學習書中的內(nèi)容，還提供了在線答疑。《大數(shù)據(jù)開發(fā)基礎與實踐(微課版）》基礎理論與實踐相結(jié)合，內(nèi)容深入淺出，并配合實際的項目，適合致力于大數(shù)據(jù)開發(fā)方向的編程愛好者使用，也適用于高職高專以及應用型本科學生作為大數(shù)據(jù)教程。

為什么要寫這本書
　　大數(shù)據(jù)是現(xiàn)代社會高科技發(fā)展的產(chǎn)物。相對于傳統(tǒng)數(shù)據(jù)庫，大數(shù)據(jù)是海量數(shù)據(jù)的集合，它以采集、整理、清洗、存儲、挖掘、共享、分析、應用、可視化等功能為核心，正廣泛地應用于電商、金融、醫(yī)療、政務等各個領域。
　　當前，發(fā)展大數(shù)據(jù)已經(jīng)成為國家戰(zhàn)略，大數(shù)據(jù)在引領經(jīng)濟社會發(fā)展中的新引擎作用更加明顯。2014年，大數(shù)據(jù)首次出現(xiàn)在我國政府工作報告中，并提到要設立新興產(chǎn)業(yè)創(chuàng)業(yè)創(chuàng)新平臺，在大數(shù)據(jù)等方面趕超先進，引領未來產(chǎn)業(yè)發(fā)展。大數(shù)據(jù)一詞逐漸在國內(nèi)成為熱議的詞匯。2015年國務院正式印發(fā)《促進大數(shù)據(jù)發(fā)展行動綱要》，明確指出要不斷地推動大數(shù)據(jù)發(fā)展和應用，在未來打造精準治理、多方協(xié)作的社會治理新模式，建立運行平穩(wěn)、安全高效的經(jīng)濟新機制，建立以人為本、惠及全民的民生服務新體系，開啟大眾創(chuàng)業(yè)、萬眾創(chuàng)新的創(chuàng)新驅(qū)動新格局，培育高端智能、新興繁榮的產(chǎn)業(yè)發(fā)展新生態(tài)。
本書主要內(nèi)容
　　本書以項目一體化的方式深入地講解了大數(shù)據(jù)環(huán)境搭建、大數(shù)據(jù)采集、大數(shù)據(jù)清洗、大數(shù)據(jù)分析、大數(shù)據(jù)可視化的基本知識及實現(xiàn)的基本技術和方法，在內(nèi)容設計上，既有詳細的基礎知識，又有大量的實踐環(huán)節(jié)，理論與實踐相結(jié)合，可極大地激發(fā)學生在課堂上的學習積極性與主動創(chuàng)造性，讓學生在課堂上跟上老師的思維，從而學到更多有用的知識和技能。
　　全書共有七個項目，主要內(nèi)容包括大數(shù)據(jù)集群環(huán)境搭建、數(shù)據(jù)倉庫構建、Java訪問Hadoop實踐、大數(shù)據(jù)采集實踐、大數(shù)據(jù)清洗實踐、大數(shù)據(jù)分析實踐及大數(shù)據(jù)可視化實踐。通過這七個項目開發(fā)案例可以使學生強化和鞏固對應的知識。
本書主要特點
　　(1) 采用項目一體化的教學方式，既有教師的講述，又有學生獨立思考、上機操作等內(nèi)容。
　　(2) 配套資源豐富。本書提供教學大綱、教學課件、電子教案、程序源碼等多種教學資源，對重要的知識點和操作方法提供視頻講解，掃描書中對應的二維碼可以在線觀看、學習。
　　(3) 緊跟時代潮流，注重技術變化。書中包含了最新的大數(shù)據(jù)采集、清洗、分析、可視化等新知識和新技術，并引入了一些主流大數(shù)據(jù)開源組件，以便學生掌握的知識點更貼近畢業(yè)后的就業(yè)崗位。
　　(4) 編寫本書的教師都具有多年的教學經(jīng)驗，將重點、難點突出，能夠激發(fā)學生的學習熱情。
讀者對象
　　本書既可以作為大數(shù)據(jù)專業(yè)、軟件技術專業(yè)、計算機網(wǎng)絡專業(yè)的教材，也可作為大數(shù)據(jù)愛好者的參考書。同時筆者作為全國職業(yè)院校大數(shù)據(jù)技能競賽和全國大學生大數(shù)據(jù)技能競賽的指導教師，在編寫本教材時充分參閱了最近幾屆全國職業(yè)院校大數(shù)據(jù)技能競賽項目和全國大學生大數(shù)據(jù)技能競賽的競賽大綱，將競賽項目的主要考點融入了本書，使本書對參加大數(shù)據(jù)技能競賽的學生也有很好的指導和借鑒作用。
　　本書由黃天春、劉振棟主編。其中，黃天春編寫了第1～3章，劉振棟編寫了第4、5章，陽攀編寫了第6、7章，宋建華、周希宸和曹勇對全書進行了審閱和校稿工作。
　　本書是校企合作共同編寫的結(jié)果，在編寫過程中得到了科大訊飛股份有限公司高教人才事業(yè)群和大數(shù)據(jù)研究院的大力支持，對他們提供的試驗案例和數(shù)據(jù)表示衷心的感謝。
　　在編寫過程中，我們參閱了大量的相關資料，在此表示感謝！
勘誤和支持
　　由于編者水平有限，書中難免會出現(xiàn)一些錯誤或者表述不準確、不嚴謹?shù)牡胤�，懇請讀者批評、指正。
　　
　　編者

　　
項目1 大數(shù)據(jù)集群環(huán)境搭建 1
【項目知識】 2
知識1.1 大數(shù)據(jù)處理框架 2
1.1.1 大數(shù)據(jù)的基本概念 2
1.1.2 大數(shù)據(jù)處理框架分類 3
1.1.3 大數(shù)據(jù)處理框架的選擇 3
知識1.2 組件介紹 4
1.2.1 Hadoop分布式系統(tǒng)框架 4
1.2.2 Hadoop生態(tài)圈 4
1.2.3 Hadoop典型應用架構 5
【項目實施】 6
任務1 安裝Linux系統(tǒng) 6
【1】任務簡介 6
【2】相關知識 6
【3】任務實施 6
【4】任務拓展 16
任務2 安裝JDK 1.8 16
【1】任務簡介 16
【2】相關知識 16
【3】任務實施 16
【4】任務拓展 18
任務3 安裝Zookeeper 19
【1】任務簡介 19
【2】相關知識 19
【3】任務實施 20
【4】任務拓展 22
任務4 安裝Hadoop 23
【1】任務簡介 23
【2】相關知識 23
【3】任務實施 25
【4】任務拓展 29
任務5 安裝HBase 30
【1】任務簡介 30
【2】相關知識 30
【3】任務實施 36
【4】任務拓展 40
任務6 安裝Spark 40
【1】任務簡介 40
【2】相關知識 40
【3】任務實施 40
【4】任務拓展 43
任務7 安裝Sqoop 43
【1】任務簡介 43
【2】相關知識 43
【3】任務實施 44
【4】任務拓展 46
任務8 安裝Flume 46
【1】任務簡介 46
【2】相關知識 47
【3】任務實施 47
【4】任務拓展 48
項目2 數(shù)據(jù)倉庫構建 49
【項目知識】 50
知識2.1 數(shù)據(jù)倉庫 50
2.1.1 數(shù)據(jù)倉庫的基本概念 50
2.1.2 數(shù)據(jù)倉庫的特點 50
2.1.3 數(shù)據(jù)倉庫的建立過程 51
知識2.2 Hadoop環(huán)境下數(shù)據(jù)倉庫的組件介紹 51
2.2.1 Hadoop MySQL Hive數(shù)據(jù)倉庫的架構 51
2.2.2 MySQL介紹 52
2.2.3 Hive介紹 52
【項目實施】 54
任務1 安裝MySQL數(shù)據(jù)庫 54
【1】任務簡介 54
【2】相關知識 54
【3】任務實施 54
【4】任務拓展 56
任務2 安裝Hive 57
【1】任務簡介 57
【2】相關知識 57
【3】任務實施 57
【4】任務拓展 59
項目3 Java訪問Hadoop實踐 61
【項目知識】 62
知識3.1 HDFS基礎知識 62
3.1.1 HDFS的基本概念 62
3.1.2 HDFS的Java訪問接口 62
3.1.3 Java訪問HDFS主要編程步驟 63
知識3.2 MapReduce基礎知識 63
3.2.1 MapReduce概述 63
3.2.2 MapReduce編程模型 63
3.2.3 MapReduce編程組件 64
【項目實施】 64
任務1 基礎開發(fā)環(huán)境準備 64
【1】任務簡介 64
【2】相關知識 65
【3】任務實施 65
任務2 HDFS Java程序開發(fā) 66
【1】任務簡介 66
【2】相關知識 66
【3】任務實施 66
【4】任務拓展 69
任務3 基于HDFS實現(xiàn)網(wǎng)絡云盤開發(fā) 70
【1】任務簡介 70
【2】相關知識 70
【3】任務實施 71
【4】任務拓展 83
任務4 MapReduce離線計算之詞頻統(tǒng)計 83
【1】任務簡介 83
【2】相關知識 83
【3】任務實施 84
【4】任務拓展 89
任務5 MapReduce離線計算之排序 90
【1】任務簡介 90
【2】相關知識 90
【3】任務實施 90
【4】任務拓展 96

項目4 大數(shù)據(jù)采集實踐 97
【項目知識】 98
知識4.1 數(shù)據(jù)采集基礎知識 98
4.1.1 數(shù)據(jù)采集技術綜述 98
4.1.2 數(shù)據(jù)采集的方式 98
知識4.2 網(wǎng)絡爬蟲基礎知識 98
4.2.1 網(wǎng)絡爬蟲的定義 98
4.2.2 網(wǎng)絡爬蟲的原理 99
4.2.3 網(wǎng)絡爬蟲的分類 99
4.2.4 網(wǎng)絡爬取策略分類 100
4.2.5 簡單網(wǎng)絡爬蟲的架構 100
4.2.6 網(wǎng)頁內(nèi)容解析技術 100
【項目實施】 101
任務1 Python開發(fā)環(huán)境配置 101
【1】任務簡介 101
【2】相關知識 101
【3】任務實施 101
【4】任務拓展 107
任務2 利用urllib獲取新聞信息 107
【1】任務簡介 107
【2】相關知識 107
【3】任務實施 108
【4】任務拓展 111
任務3 利用Requests進行圖片爬取 111
【1】任務簡介 111
【2】相關知識 111
【3】任務實施 111
【4】任務拓展 112
任務4 瀏覽器偽裝與XPath解析 113
【1】任務介紹 113
【2】相關知識 113
【3】任務實施 113
【4】任務拓展 114
項目5 大數(shù)據(jù)清洗實踐 115
【項目知識】 116
知識5.1 大數(shù)據(jù)清洗的概念 116
知識5.2 大數(shù)據(jù)清洗的目的 117
知識5.3 大數(shù)據(jù)清洗的技術 118
知識5.4 大數(shù)據(jù)清洗的路徑 121
【項目實施】 122
任務1 基于Web信息的清洗 122
【1】任務簡介 122
【2】相關知識 122
【3】任務實施 126
【4】任務拓展 136
任務2 基于Kettle的數(shù)據(jù)清洗 136
【1】任務簡介 136
【2】相關知識 136
【3】任務實施 137
【4】任務拓展 140
項目6 大數(shù)據(jù)分析實踐 141
【項目知識】 142
知識6.1 大數(shù)據(jù)分析的概念 142
知識6.2 大數(shù)據(jù)分析的工具 142
知識6.3 大數(shù)據(jù)分析的方法 142
知識6.4 大數(shù)據(jù)分析的范疇 144
知識6.5 大數(shù)據(jù)分析的步驟 144
【項目實施】 145
任務1 利用Hive對電商數(shù)據(jù)進行分析 145
【1】任務簡介 145
【2】相關知識 146
【3】任務實施 148
【4】任務拓展 150
任務2 利用Spark SQL對MySQL數(shù)據(jù)進行分析 150
【1】任務簡介 150
【2】相關知識 150
【3】任務實施 152
【4】任務拓展 156
項目7 大數(shù)據(jù)可視化實踐 157
【項目知識】 158
知識7.1 大數(shù)據(jù)可視化的概念 158
知識7.2 大數(shù)據(jù)可視化常用工具 159
【項目實施】 172
任務1 利用Excel對數(shù)據(jù)進行可視化 172
【1】任務簡介 172
【2】相關知識 172
【3】任務實施 172
【4】任務拓展 176
任務2 利用ECharts對數(shù)據(jù)進行可視化 176
【1】任務簡介 176
【2】相關知識 176
【3】任務實施 179
【4】任務拓展 184
任務3 大數(shù)據(jù)分析處理可視化綜合實踐 184
【1】任務簡介 184
【2】相關知識 185
【3】任務實施 185
【4】任務拓展 201
參考文獻 202

你還可能感興趣

我要評論