本書(shū)系統(tǒng)介紹了大數(shù)據(jù)的內(nèi)涵、特征、技術(shù)及應(yīng)用。全書(shū)共10章,其中第1~8章為技術(shù)篇,主要從大數(shù)據(jù)處理流程出發(fā),圍繞大數(shù)據(jù)體系架構(gòu),詳細(xì)闡述大數(shù)據(jù)采集與預(yù)處理、大數(shù)據(jù)存儲(chǔ)、大數(shù)據(jù)分析挖掘、大數(shù)據(jù)可視化等關(guān)鍵技術(shù)。第9、10章為應(yīng)用篇,對(duì)大數(shù)據(jù)在電信、文娛、教育、醫(yī)療等行業(yè)的具體應(yīng)用進(jìn)行了論述,并通過(guò)典型案例與Python代碼示例,展示如何將大數(shù)據(jù)原理付諸實(shí)踐。
本書(shū)兼顧專業(yè)性和可讀性,適合作為高等院校大數(shù)據(jù)技術(shù)的基礎(chǔ)教材,也可供大數(shù)據(jù)技術(shù)愛(ài)好者學(xué)習(xí)參考。
本書(shū)在編寫(xiě)時(shí),堅(jiān)持“以應(yīng)用為先”的原則,注重理論與實(shí)踐相結(jié)合,將大數(shù)據(jù)抽象的概念、原理和技術(shù)方法融入具體實(shí)例中,幫助讀者更好地理解、掌握和運(yùn)用大數(shù)據(jù)技術(shù)。
隨著移動(dòng)互聯(lián)網(wǎng)和物聯(lián)網(wǎng)的廣泛應(yīng)用,全球數(shù)據(jù)量呈現(xiàn)井噴式增長(zhǎng),洶涌而來(lái)的數(shù)據(jù)洪流將人類(lèi)社會(huì)帶入了嶄新的大數(shù)據(jù)時(shí)代。大數(shù)據(jù)雖然是現(xiàn)代信息技術(shù)發(fā)展的產(chǎn)物,但它的影響不僅僅局限于信息通信產(chǎn)業(yè),而是覆蓋到社會(huì)的各個(gè)領(lǐng)域。從國(guó)家治理到企業(yè)運(yùn)營(yíng),從經(jīng)濟(jì)生產(chǎn)到社會(huì)生活,大數(shù)據(jù)的身影無(wú)處不在,深刻影響和改變著人類(lèi)的生產(chǎn)、生活及思維方式。數(shù)據(jù)作為與物質(zhì)、能源同等重要的戰(zhàn)略資源,蘊(yùn)含著巨大的商業(yè)價(jià)值,只有憑借敏銳的洞察力和先進(jìn)的大數(shù)據(jù)處理技術(shù),才能從中挖掘出隱藏的信息,實(shí)現(xiàn)數(shù)據(jù)價(jià)值的提升。
大數(shù)據(jù)技術(shù)具有很強(qiáng)的實(shí)用性。本書(shū)在編寫(xiě)時(shí),堅(jiān)持“以應(yīng)用為先”的原則,注重理論與實(shí)踐相結(jié)合,將大數(shù)據(jù)抽象的概念、原理和技術(shù)方法融入具體實(shí)例中,幫助讀者更好地理解、掌握和運(yùn)用大數(shù)據(jù)技術(shù)。本書(shū)在結(jié)構(gòu)編排上遵循初學(xué)者的認(rèn)知特點(diǎn),首先對(duì)大數(shù)據(jù)的概念進(jìn)行剖析,使讀者建立起對(duì)大數(shù)據(jù)的感性認(rèn)識(shí),然后以大數(shù)據(jù)處理流程為主線,依次闡述數(shù)據(jù)采集、預(yù)處理、存儲(chǔ)、分析挖掘及可視化等關(guān)鍵技術(shù),最后結(jié)合行業(yè)案例和典型應(yīng)用加深讀者對(duì)理論知識(shí)的理解。本書(shū)重在培養(yǎng)讀者的大數(shù)據(jù)思維,并未過(guò)多涉及深?yuàn)W的數(shù)學(xué)理論和復(fù)雜的編程細(xì)節(jié)。
全書(shū)共10章:第1章是概述部分,主要介紹大數(shù)據(jù)的定義、特點(diǎn)、相關(guān)技術(shù)和應(yīng)用領(lǐng)域。第2章介紹大數(shù)據(jù)的采集和預(yù)處理,包括數(shù)據(jù)采集方法、數(shù)據(jù)預(yù)處理流程以及常用的大數(shù)據(jù)采集與處理平臺(tái)。第3章介紹常用的大數(shù)據(jù)存儲(chǔ)技術(shù),包括底層分布式文件系統(tǒng)、分布式數(shù)據(jù)庫(kù)和支持企業(yè)業(yè)務(wù)決策的數(shù)據(jù)倉(cāng)庫(kù)。第4~7章介紹數(shù)據(jù)分析挖掘的理論和方法,詳細(xì)闡述分類(lèi)、回歸、聚類(lèi)和關(guān)聯(lián)分析等技術(shù)的概念、處理流程、常用算法及評(píng)價(jià)指標(biāo)。第8章介紹數(shù)據(jù)可視化技術(shù)的理論與方法,主要包括數(shù)據(jù)可視化的概念、原則、分析工具和編程語(yǔ)言,并簡(jiǎn)要介紹可視化技術(shù)的行業(yè)應(yīng)用。第9章介紹電信行業(yè)大數(shù)據(jù)的發(fā)展及應(yīng)用現(xiàn)狀,著重分析大數(shù)據(jù)在電信網(wǎng)絡(luò)優(yōu)化、電信客戶細(xì)分、電信客戶流失管理等方面的典型案例。第10章介紹大數(shù)據(jù)技術(shù)在文娛、教育、醫(yī)療等行業(yè)的應(yīng)用案例。
為便于教師教學(xué)和學(xué)生學(xué)習(xí),本書(shū)提供所有案例的源代碼,同時(shí)配有電子課件和課后習(xí)題的參考答案,讀者可在機(jī)械工業(yè)出版社教育服務(wù)網(wǎng)(http://www.cmpedu.com)下載。
本書(shū)由施苑英、蔣軍敏、石薇和王竹霞共同編寫(xiě),具體分工如下:施苑英編寫(xiě)第1章、第6章、第9章9.1~9.4節(jié),蔣軍敏編寫(xiě)第2章、第5章和第9章9.5節(jié),石薇編寫(xiě)第3章、第7章、第10章10.1節(jié)和10.2節(jié),王竹霞編寫(xiě)第4章、第8章和第10章10.3節(jié)。同時(shí)感謝西安郵電大學(xué)王選宏高級(jí)工程師對(duì)完成本書(shū)所給予的幫助和支持!
本書(shū)在編寫(xiě)過(guò)程中,參考了大量國(guó)內(nèi)外著作、論文以及互聯(lián)網(wǎng)上的優(yōu)秀文章,在此謹(jǐn)向相關(guān)作者表示衷心的感謝。由于文獻(xiàn)資料數(shù)目較多,在列入?yún)⒖嘉墨I(xiàn)時(shí)難免有所疏漏,我們對(duì)所涉及的作者深表歉意。
由于編者水平有限,兼之時(shí)間倉(cāng)促,書(shū)中的錯(cuò)誤和不妥之處在所難免,懇請(qǐng)廣大讀者批評(píng)指正。
編者
高等院校教師
目錄
目錄
前言
第1章大數(shù)據(jù)技術(shù)概述
1.1什么是大數(shù)據(jù)
1.2大數(shù)據(jù)技術(shù)
1.3大數(shù)據(jù)應(yīng)用
習(xí)題
第2章大數(shù)據(jù)采集與預(yù)處理
2.1大數(shù)據(jù)采集概述
2.2大數(shù)據(jù)采集方法
2.3大數(shù)據(jù)預(yù)處理
2.4大數(shù)據(jù)采集及處理平臺(tái)
習(xí)題
第3章大數(shù)據(jù)存儲(chǔ)技術(shù)
3.1存儲(chǔ)技術(shù)的發(fā)展
3.2分布式文件系統(tǒng)
3.3數(shù)據(jù)庫(kù)
3.4數(shù)據(jù)倉(cāng)庫(kù)
習(xí)題
第4章大數(shù)據(jù)分析挖掘——分類(lèi)
4.1分類(lèi)分析概述
4.2分類(lèi)分析的過(guò)程
4.3分類(lèi)算法
4.4分類(lèi)結(jié)果評(píng)估
習(xí)題
第5章大數(shù)據(jù)分析挖掘——回歸
5.1回歸分析概述
5.2回歸分析的步驟
5.3回歸分析算法
5.4回歸算法評(píng)估
習(xí)題
第6章大數(shù)據(jù)分析挖掘——聚類(lèi)
6.1聚類(lèi)分析概述
6.2聚類(lèi)分析的步驟
6.3相似度計(jì)算
6.4聚類(lèi)算法
6.5聚類(lèi)結(jié)果評(píng)估
習(xí)題
第7章大數(shù)據(jù)分析挖掘——關(guān)聯(lián)規(guī)則
7.1關(guān)聯(lián)規(guī)則的概念
7.2關(guān)聯(lián)規(guī)則挖掘的一般過(guò)程
7.3Apriori算法
7.4FP-Growth算法
7.5關(guān)聯(lián)模式評(píng)估
習(xí)題
第8章大數(shù)據(jù)可視化技術(shù)
8.1可視化技術(shù)概述
8.2數(shù)據(jù)可視化工具
8.3數(shù)據(jù)可視化應(yīng)用
習(xí)題
第9章電信行業(yè)大數(shù)據(jù)應(yīng)用
9.1電信大數(shù)據(jù)概述
9.2電信大數(shù)據(jù)應(yīng)用
9.3案例1——網(wǎng)絡(luò)優(yōu)化
9.4案例2——客戶細(xì)分
9.5案例3——客戶流失管理
習(xí)題
第10章其他行業(yè)大數(shù)據(jù)應(yīng)用
10.1文娛行業(yè)大數(shù)據(jù)應(yīng)用
10.2教育行業(yè)大數(shù)據(jù)應(yīng)用
10.3醫(yī)療行業(yè)大數(shù)據(jù)應(yīng)用
習(xí)題
參考文獻(xiàn)