云計算與大數(shù)據(jù)技術(shù)應(yīng)用
定 價:45 元
叢書名:高等教育規(guī)劃教材
- 作者:安俊秀 靳宇昌 等
- 出版時間:2019/7/1
- ISBN:9787111630289
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類:TP393.027
- 頁碼:
- 紙張:膠版紙
- 版次:
- 開本:16開
本書全面介紹了云計算與大數(shù)據(jù)的基礎(chǔ)知識和主要技術(shù)。全書共11章,主要內(nèi)容包括云計算概述、大數(shù)據(jù)技術(shù)概述、虛擬化技術(shù)、數(shù)據(jù)中心、并行計算與集群技術(shù)、云存儲技術(shù)、OpenStack、Hadoop、Spark、Storm以及云計算仿真,本書注重實(shí)用,實(shí)驗(yàn)豐富,理論緊密聯(lián)系實(shí)際,使讀者可以系統(tǒng)全面地了解云計算與大數(shù)據(jù)技術(shù)。
本書可作為高等院校云計算、大數(shù)據(jù)相關(guān)課程的教材,也可以作為計算機(jī)相關(guān)專業(yè)的專業(yè)課或選修課教材,同時也可以作為從事云計算與大數(shù)據(jù)技術(shù)相關(guān)工作的人員的參考用書。
配套資源:電子課件、源代碼、習(xí)題答案
本書特色:
切合當(dāng)前云計算、大數(shù)據(jù)相關(guān)專業(yè)教學(xué)需求。
介紹主流技術(shù)同時緊跟技術(shù)發(fā)展趨勢。
理論與實(shí)踐相結(jié)合。
索取教學(xué)資源請聯(lián)系微信15910938545索取
前 言
隨著計算機(jī)技術(shù)的發(fā)展,數(shù)據(jù)量呈現(xiàn)爆炸式增長,傳統(tǒng)IT技術(shù)已經(jīng)無法滿足業(yè)務(wù)的發(fā)展需求,因此云計算與大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。目前,我國大部分的Web網(wǎng)站、移動應(yīng)用、視頻服務(wù)、游戲服務(wù)和電子商務(wù)平臺都在應(yīng)用云計算或大數(shù)據(jù)技術(shù),并且云計算和大數(shù)據(jù)技術(shù)正迅速地在制造、金融、交通、醫(yī)療健康等各個行業(yè)得到廣泛應(yīng)用。隨之而來的是廣大企業(yè)對云計算與大數(shù)據(jù)人才的需求呈井噴式增長。為了滿足社會發(fā)展的需求,云計算與大數(shù)據(jù)技術(shù)在高等院校計算機(jī)及相關(guān)專業(yè)的日常教學(xué)中逐漸占據(jù)重要地位,在計算機(jī)相關(guān)專業(yè)學(xué)生的培養(yǎng)計劃中也逐步加入了云計算與大數(shù)據(jù)相關(guān)的課程。
本書將云計算與大數(shù)據(jù)技術(shù)整合進(jìn)行講解。首先介紹云計算技術(shù),接著是對大數(shù)據(jù)技術(shù)進(jìn)行概述,使讀者對云計算與大數(shù)據(jù)的體系架構(gòu)形成全局認(rèn)識并了解二者之間的關(guān)系;在明晰基本理論的前提下,再對具體的虛擬化技術(shù)、數(shù)據(jù)中心、并行計算與集群技術(shù)、云存儲技術(shù)、OpenStack、Hadoop分布式大數(shù)據(jù)開發(fā)平臺、Spark大數(shù)據(jù)計算框架、Storm基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時計算框架、云計算仿真等內(nèi)容進(jìn)行具體介紹,并且穿插了相應(yīng)的實(shí)踐案例,使讀者對云計算與大數(shù)據(jù)技術(shù)在具體實(shí)現(xiàn)上有更直觀的認(rèn)識,實(shí)現(xiàn)了理論與實(shí)踐的有機(jī)結(jié)合。
本書非常適合開設(shè)云計算或者大數(shù)據(jù)技術(shù)相關(guān)課程的高校作為教材使用,也適合從事云計算與大數(shù)據(jù)技術(shù)相關(guān)工作的人員自用。在學(xué)習(xí)本書的內(nèi)容之前,需要讀者具備一定的計算機(jī)體系結(jié)構(gòu)和計算機(jī)編程語言的基礎(chǔ)。
本書共 11 章。
第 1 章是云計算概述,主要介紹云計算的定義、發(fā)展背景、基礎(chǔ)架構(gòu)和服務(wù)模式,以及云計算的部署模式、典型的云計算產(chǎn)品、云計算技術(shù)的新發(fā)展、我國的云計算產(chǎn)業(yè)現(xiàn)狀。
第 2 章是大數(shù)據(jù)技術(shù)概述,包括大數(shù)據(jù)技術(shù)的產(chǎn)生、大數(shù)據(jù)的 4V 特征、大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動力量、大數(shù)據(jù)的關(guān)鍵技術(shù)、典型的大數(shù)據(jù)計算架構(gòu)。
第 3 章對虛擬化技術(shù)做了較為詳細(xì)的介紹,主要包括了虛擬化技術(shù)簡介、虛擬化技術(shù)原理、常見的虛擬化技術(shù)解決方案、常見虛擬化技術(shù)的應(yīng)用實(shí)踐。
第4 章介紹數(shù)據(jù)中心,主要包括數(shù)據(jù)中心的基本概念、數(shù)據(jù)中心的基本單元服務(wù)器、數(shù)據(jù)中心的選址、數(shù)據(jù)中心的能耗。
第 5 章詳細(xì)講解了并行計算與集群技術(shù),主要內(nèi)容有并行計算概述、云計算基礎(chǔ)架構(gòu)集群、并行計算的分類、并行計算相關(guān)技術(shù)、并行程序設(shè)計實(shí)踐MPI編程。
第 6 章介紹了云存儲技術(shù),主要包括云存儲概述、云存儲與云計算、云存儲的應(yīng)用、云存儲技術(shù)發(fā)展的關(guān)注點(diǎn)。
第 7 章介紹了 OpenStack這一功能強(qiáng)大的IaaS平臺,主要包括 OpenStack 架構(gòu)和關(guān)鍵模塊的介紹。
第 8 章介紹了 Hadoop 分布式大數(shù)據(jù)開發(fā)平臺,包括 Hadoop 概述、分布式文件系統(tǒng)HDFS、分布式計算框架MapReduce、列式數(shù)據(jù)庫HBase以及Hadoop開發(fā)環(huán)境的搭建。
第 9 章主要講解了基于大規(guī)模數(shù)據(jù)實(shí)時處理的 Spark 內(nèi)存計算框架,包括 Spark 概述、Spark運(yùn)行機(jī)制、Spark運(yùn)行模式、Spark RDD和Spark的生態(tài)系統(tǒng)。
第 10 章詳細(xì)講解Storm這一基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時計算框架,包括了Storm簡介、Storm原理及其體系結(jié)構(gòu)、Storm-Yarn、搭建Storm開發(fā)環(huán)境及Storm應(yīng)用實(shí)踐。
第 11 章介紹云計算仿真,介紹了CloudSim 云計算仿真系統(tǒng)、CloudSim 的模型使用場景、CloudSim 的應(yīng)用實(shí)踐。
本書由成都信息工程大學(xué)安俊秀教授和四川師范大學(xué)靳宇倡教授等共同編寫。其中第1章、第2章、第5章、第9章由文仁強(qiáng)、安俊秀編寫;第3章、第6章由陶武文、安俊秀編寫;第4章由薛凱文、靳宇倡編寫;第7章由安俊秀編寫;第8章由劉明月、靳宇倡編寫;第10章由王梓懿、靳宇倡編寫;第11章由馮莉驕、靳宇倡編寫。文仁強(qiáng)、薛凱文參與了本書的審閱工作。同時,本書的編寫和出版還得到了國家自然科學(xué)基金項目(71673032)的支持。
盡管在本書的編寫過程中,編者力求嚴(yán)謹(jǐn)、準(zhǔn)確,但由于技術(shù)的發(fā)展日新月異,加之編者水平有限,書中難免存在錯誤和不足之處,敬請廣大讀者批評指正。如果有任何問題和建議,可發(fā)送電子郵件至86631589@qq.com。
編 者
目 錄
前言
第1章 云計算概述1
1.1 什么是云計算1
1.1.1 云計算的定義1
1.1.2 云計算的概念模型2
1.1.3 云計算的特點(diǎn)3
1.2 云計算技術(shù)發(fā)展背景3
1.3 典型的云計算基礎(chǔ)架構(gòu)7
1.4 云計算的主要服務(wù)模式9
1.4.1 基礎(chǔ)設(shè)施即服務(wù)IaaS9
1.4.2 平臺即服務(wù)PaaS10
1.4.3 軟件即服務(wù)SaaS11
1.4.4 三種服務(wù)模式之間的關(guān)系12
1.5 云計算的主要部署模式13
1.6 云計算是商業(yè)模式的創(chuàng)新14
1.7 典型的云計算產(chǎn)品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍(lán)云解決方案17
1.7.4 阿里云18
1.8 云計算技術(shù)的新發(fā)展20
1.9 我國的云計算產(chǎn)業(yè)現(xiàn)狀23
1.9.1 政府推動云計算產(chǎn)業(yè)發(fā)展23
1.9.2 我國云計算產(chǎn)業(yè)高速發(fā)展24
習(xí)題25
第2章 大數(shù)據(jù)技術(shù)概述26
2.1 大數(shù)據(jù)技術(shù)的產(chǎn)生26
2.1.1 大數(shù)據(jù)的基本概念26
2.1.2 大數(shù)據(jù)產(chǎn)生的原因26
2.1.3 大數(shù)據(jù)概念的提出28
2.1.4 第四范式大數(shù)據(jù)對科學(xué)研究產(chǎn)生的影響30
2.1.5 云計算與大數(shù)據(jù)的關(guān)系31
2.2 大數(shù)據(jù)的4V特征31
2.3 大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動力量32
2.3.1 大數(shù)據(jù)的主要應(yīng)用32
2.3.2 企業(yè)推動大數(shù)據(jù)行業(yè)發(fā)展32
2.3.3 我國政府推動大數(shù)據(jù)行業(yè)發(fā)展33
2.4 大數(shù)據(jù)的關(guān)鍵技術(shù)34
2.5 典型的大數(shù)據(jù)計算架構(gòu)35
習(xí)題35
第3章 虛擬化技術(shù)36
3.1 虛擬化技術(shù)簡介36
3.1.1 虛擬化技術(shù)的概念36
3.1.2 虛擬化技術(shù)的分類38
3.1.3 虛擬化技術(shù)的優(yōu)勢和劣勢42
3.1.4 虛擬化技術(shù)與云計算43
3.2 虛擬化技術(shù)原理43
3.2.1 虛擬機(jī)技術(shù)原理43
3.2.2 CPU虛擬化原理44
3.2.3 內(nèi)存虛擬化原理46
3.2.4 網(wǎng)絡(luò)虛擬化原理47
3.3 常見的虛擬化技術(shù)解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術(shù)的應(yīng)用實(shí)踐52
3.4.1 虛擬化環(huán)境的搭建53
3.4.2 克隆虛擬機(jī)54
3.4.3 虛擬機(jī)做快照56
習(xí)題59
第4章 數(shù)據(jù)中心60
4.1 數(shù)據(jù)中心的概念60
4.1.1 數(shù)據(jù)中心的定義、作用及分類60
4.1.2 數(shù)據(jù)中心的發(fā)展歷程61
4.1.3 數(shù)據(jù)中心的組成及建設(shè)原則65
4.1.4 云計算、大數(shù)據(jù)時代的數(shù)據(jù)中心發(fā)展趨勢66
4.2 數(shù)據(jù)中心的基本單元服務(wù)器66
4.3 數(shù)據(jù)中心選址69
4.4 數(shù)據(jù)中心的能耗69
4.4.1 數(shù)據(jù)中心能耗評估70
4.4.2 數(shù)據(jù)中心的主要節(jié)能措施71
習(xí)題72
第5章 并行計算與集群技術(shù)73
5.1 并行計算概述73
5.1.1 并行計算的概念73
5.1.2 并行計算的層次75
5.1.3 并行計算機(jī)的發(fā)展75
5.1.4 并行計算與分布式計算77
5.1.5 并行計算與云計算78
5.2 云計算基礎(chǔ)架構(gòu)集群技術(shù)79
5.2.1 集群的基本概念79
5.2.2 集群系統(tǒng)的分類80
5.2.3 集群文件系統(tǒng)80
5.3 并行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按應(yīng)用的計算特征分類82
5.3.3 按結(jié)構(gòu)模型分類83
5.4 并行計算相關(guān)技術(shù)84
5.4.1 并行計算的關(guān)鍵技術(shù)84
5.4.2 并行計算的性能估算86
5.5 并行程序設(shè)計MPI編程87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程序?qū)崿F(xiàn)88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過程90
5.5.5 MPI常用基本函數(shù)91
5.5.6 有消息傳遞的并行程序91
習(xí)題93
第6章 云存儲技術(shù)94
6.1 云存儲概述94
6.1.1 云存儲的概念94
6.1.2 云存儲系統(tǒng)的結(jié)構(gòu)95
6.1.3 云存儲的實(shí)現(xiàn)基礎(chǔ)96
6.1.4 云存儲的特性98
6.2 云存儲與云計算99
6.3 云存儲的應(yīng)用100
6.3.1 個人級云存儲的應(yīng)用100
6.3.2 企業(yè)級云存儲的應(yīng)用100
6.4 云存儲發(fā)展的關(guān)注點(diǎn)101
習(xí)題102
第7章 OpenStack功能強(qiáng)大的IaaS平臺103
7.1 OpenStack架構(gòu)103
7.2 計算服務(wù)模塊Nova104
7.3 網(wǎng)絡(luò)服務(wù)模塊Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網(wǎng)絡(luò)109
7.4 塊存儲服務(wù)模塊Cinder110
7.5 對象存儲服務(wù)模塊Swift111
7.6 身份認(rèn)證模塊Keystone115
7.7 鏡像模塊Glance119
7.8 儀表盤服務(wù)模塊Horizon121
7.9 監(jiān)控計量服務(wù)模塊Ceilometer122
習(xí)題123
第8章 Hadoop分布式大數(shù)據(jù)開發(fā)平臺124
8.1 Hadoop簡介124
8.1.1 Hadoop與分布式開發(fā)技術(shù)124
8.1.2 Hadoop的體系架構(gòu)125
8.1.3 Hadoop集群的架構(gòu)127
8.2 分布式文件系統(tǒng)HDFS129
8.2.1 分布式文件系統(tǒng)概述129
8.2.2 HDFS的架構(gòu)及讀寫流程131
8.3 分布式計算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數(shù)據(jù)流135
8.3.3 MapReduce任務(wù)運(yùn)行流程136
8.4 列式數(shù)據(jù)庫HBase138
8.4.1 HBase列數(shù)據(jù)庫介紹139
8.4.2 理解HBase的表結(jié)構(gòu)139
8.5 搭建Hadoop開發(fā)環(huán)境142
8.5.1 相關(guān)準(zhǔn)備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop并配置Hadoop環(huán)境變量144
8.5.4 修改Hadoop配置文件145
8.5.5 將配置好的Hadoop文件復(fù)制到其他結(jié)點(diǎn)并格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運(yùn)行測試程序WordCount147
習(xí)題148
第9章 Spark基于內(nèi)存的大數(shù)據(jù)計算框架149
9.1 Spark概述149
9.2 Spark的運(yùn)行機(jī)制150
9.3 Spark的運(yùn)行模式152
9.3.1 Stan