《大數(shù)據(jù)管理》既包括了大數(shù)據(jù)管理的相關(guān)技術(shù)知識,也涵蓋了大數(shù)據(jù)管理在多個(gè)行業(yè)的應(yīng)用與案例分析,包括: 大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)采集、大數(shù)據(jù)存儲、大數(shù)據(jù)分析、大數(shù)據(jù)融合、大數(shù)據(jù)隱私、大數(shù)據(jù)可視化、大數(shù)據(jù)前沿、醫(yī)療大數(shù)據(jù)、教育大數(shù)據(jù)、金融大數(shù)據(jù)、交通大數(shù)據(jù)。通過本書,讀者能夠全方位地認(rèn)識和掌握大數(shù)據(jù)管理的相關(guān)知識,深入了解大數(shù)據(jù)的應(yīng)用價(jià)值。
本書可作為高等學(xué)校大數(shù)據(jù)管理與應(yīng)用、信息管理與信息系統(tǒng)等管理類、信息類以及智能建造、智能制造、智慧交通等新工科專業(yè)的本科生、研究生教材,還可作為大數(shù)據(jù)相關(guān)企業(yè)的管理者與實(shí)踐者的培訓(xùn)用書和參考讀物。
何慶,貴州大學(xué),教授,主要研究領(lǐng)域與方向大數(shù)據(jù)技術(shù)應(yīng)用、機(jī)器學(xué)習(xí)、自然語言處理。貴州省大數(shù)據(jù)專家?guī)鞂<,中國中文信息學(xué)會理事,中國民族醫(yī)藥學(xué)會信息與大數(shù)據(jù)分會理事
第1章 緒論001
1.1 大數(shù)據(jù)的基本概念001
1.2 數(shù)據(jù)生命周期002
1.3 大數(shù)據(jù)的意義003
1.4 大數(shù)據(jù)的相關(guān)技術(shù)及作用003
1.5 大數(shù)據(jù)的應(yīng)用領(lǐng)域004
1.6 大數(shù)據(jù)面臨的挑戰(zhàn)006
本章小結(jié)006
習(xí)題006
參考文獻(xiàn)007
第2章 大數(shù)據(jù)采集008
【本章導(dǎo)讀】008
【學(xué)習(xí)目標(biāo)】008
2.1 大數(shù)據(jù)采集概述008
2.1.1 基本概念008
2.1.2 數(shù)據(jù)采集與大數(shù)據(jù)采集009
2.2 數(shù)據(jù)質(zhì)量和數(shù)據(jù)預(yù)處理009
2.2.1 數(shù)據(jù)預(yù)處理010
2.2.2 數(shù)據(jù)清洗010
2.2.3 數(shù)據(jù)轉(zhuǎn)換011
2.2.4 數(shù)據(jù)消減012
2.3 互聯(lián)網(wǎng)采集013
2.3.1 互聯(lián)網(wǎng)數(shù)據(jù)特點(diǎn)013
2.3.2 互聯(lián)網(wǎng)采集技術(shù)014
2.3.3 互聯(lián)網(wǎng)采集策略015
2.3.4 互聯(lián)網(wǎng)采集現(xiàn)狀016
2.4 物聯(lián)網(wǎng)采集017
2.4.1 物聯(lián)網(wǎng)體系結(jié)構(gòu)018
2.4.2 物聯(lián)網(wǎng)協(xié)議018
2.4.3 物聯(lián)網(wǎng)數(shù)據(jù)采集技術(shù)020
本章小結(jié)021
習(xí)題022
參考文獻(xiàn)022
第3章 大數(shù)據(jù)存儲023
【本章導(dǎo)讀】023
【學(xué)習(xí)目標(biāo)】023
3.1 數(shù)據(jù)庫管理技術(shù)023
3.1.1 關(guān)系數(shù)據(jù)庫與非關(guān)系數(shù)據(jù)庫023
3.1.2 SQL 數(shù)據(jù)庫025
3.1.3 NoSQL 數(shù)據(jù)庫025
3.1.4 NewSQL 數(shù)據(jù)庫027
3.2 分布式文件系統(tǒng)027
3.2.1 計(jì)算機(jī)集群的結(jié)構(gòu)027
3.2.2 分布式文件系統(tǒng)的結(jié)構(gòu)028
3.2.3 分布式文件系統(tǒng)的設(shè)計(jì)需求029
3.2.4 分布式文件系統(tǒng)的存儲原理029
3.3 大數(shù)據(jù)存儲管理032
3.3.1 大數(shù)據(jù)存儲管理概念032
3.3.2 大數(shù)據(jù)存儲數(shù)據(jù)容災(zāi)技術(shù)033
3.3.3 大數(shù)據(jù)存儲數(shù)據(jù)冗余去除技術(shù)034
3.3.4 大數(shù)據(jù)存儲糾刪碼技術(shù)與優(yōu)化035
本章小結(jié)040
習(xí)題040
參考文獻(xiàn)040
第4章 大數(shù)據(jù)分析042
【本章導(dǎo)讀】042
【學(xué)習(xí)目標(biāo)】042
4.1 機(jī)器學(xué)習(xí)042
4.1.1 基礎(chǔ)概念042
4.1.2 監(jiān)督算法043
4.1.3 無監(jiān)督算法048
4.1.4 集成學(xué)習(xí)050
4.2 深度學(xué)習(xí)——神經(jīng)網(wǎng)絡(luò)054
4.2.1 基本概念054
4.2.2 前饋神經(jīng)網(wǎng)絡(luò)054
4.2.3 卷積神經(jīng)網(wǎng)絡(luò)055
4.2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)060
4.3 模型評估063
本章小結(jié)064
習(xí)題065
參考文獻(xiàn)065
第5章 大數(shù)據(jù)融合067
【本章導(dǎo)讀】067
【學(xué)習(xí)目標(biāo)】067
5.1 多源數(shù)據(jù)067
5.1.1 數(shù)據(jù)孤島067
5.1.2 多來源與多模態(tài)068
5.1.3 數(shù)據(jù)溯源069
5.2 數(shù)據(jù)集成069
5.2.1 聯(lián)邦數(shù)據(jù)庫與數(shù)據(jù)聯(lián)邦070
5.2.2 中間件071
5.2.3 數(shù)據(jù)倉庫072
5.2.4 數(shù)據(jù)湖072
5.3 數(shù)據(jù)融合技術(shù)073
5.3.1 數(shù)據(jù)融合073
5.3.2 知識融合076
本章小結(jié)078
習(xí)題079
參考文獻(xiàn)079
第6章 大數(shù)據(jù)隱私080
【本章導(dǎo)讀】080
【學(xué)習(xí)目標(biāo)】080
6.1 基本概念080
6.1.1 隱私080
6.1.2 大數(shù)據(jù)隱私的挑戰(zhàn)081
6.2 大數(shù)據(jù)安全技術(shù)082
6.2.1 訪問控制082
6.2.2 同態(tài)加密084
6.2.3 可信執(zhí)行環(huán)境086
6.2.4 密文搜索088
6.3 大數(shù)據(jù)隱私保護(hù)技術(shù)089
6.3.1 數(shù)據(jù)脫敏089
6.3.2 信息混淆090
6.3.3 差分隱私091
6.3.4 多媒體數(shù)據(jù)隱私保護(hù)092
6.4 聯(lián)邦學(xué)習(xí)093
6.4.1 聯(lián)邦學(xué)習(xí)架構(gòu)093
6.4.2 聯(lián)邦學(xué)習(xí)分類095
6.4.3 聯(lián)邦學(xué)習(xí)開源平臺096
本章小結(jié)099
習(xí)題099
參考文獻(xiàn)099
第7章 大數(shù)據(jù)可視化101
【本章導(dǎo)讀】101
【學(xué)習(xí)目標(biāo)】101
7.1 大數(shù)據(jù)可視化的概念和發(fā)展歷程101
7.1.1 大數(shù)據(jù)可視化的基本概念101
7.1.2 大數(shù)據(jù)可視化的發(fā)展歷程102
7.1.3 大數(shù)據(jù)可視化的基本特征103
7.1.4 大數(shù)據(jù)可視化的類型104
7.2 大數(shù)據(jù)可視化基礎(chǔ)106
7.2.1 設(shè)計(jì)步驟106
7.2.2 視覺編碼106
7.2.3 大數(shù)據(jù)可視化設(shè)計(jì)原則107
7.2.4 統(tǒng)計(jì)圖表可視化108
7.2.5 大數(shù)據(jù)可視化工具111
7.3 大數(shù)據(jù)可視化分析的方法112
7.3.1 網(wǎng)絡(luò)數(shù)據(jù)可視化技術(shù)112
7.3.2 時(shí)間數(shù)據(jù)可視化技術(shù)113
7.3.3 多維數(shù)據(jù)可視化技術(shù)114
7.3.4 文本可視化技術(shù)115
7.3.5 交互可視化技術(shù)115
本章小結(jié)116
習(xí)題116
參考文獻(xiàn)116
第8章 大數(shù)據(jù)前沿118
【本章導(dǎo)讀】118
【學(xué)習(xí)目標(biāo)】118
8.1 關(guān)鍵技術(shù)118
8.1.1 虛擬現(xiàn)實(shí)118
8.1.2 增強(qiáng)現(xiàn)實(shí)120
8.1.3 混合現(xiàn)實(shí)120
8.1.4 人工智能121
8.1.5 云計(jì)算122
8.1.6 區(qū)塊鏈123
8.2 Web 3.0 124
8.2.1 發(fā)展過程125
8.2.2 發(fā)展趨勢127
8.3 工業(yè)4.0 128
8.3.1 發(fā)展歷程129
8.3.2 發(fā)展趨勢130
8.4 智慧城市131
8.4.1 發(fā)展過程131
8.4.2 發(fā)展趨勢132
本章小結(jié)133
習(xí)題134
參考文獻(xiàn)134
第9章 醫(yī)療大數(shù)據(jù)135
【本章導(dǎo)讀】135
【學(xué)習(xí)目標(biāo)】135
9.1 問題與挑戰(zhàn)135
9.2 基本概念與發(fā)展歷程136
9.2.1 基本概念136
9.2.2 發(fā)展歷程137
9.3 具體案例分析137
9.3.1 電子健康檔案137
9.3.2 智慧居家護(hù)理及遠(yuǎn)程醫(yī)療142
9.4 未來趨勢147
本章小結(jié)148
習(xí)題148
參考文獻(xiàn)148
第10章 教育大數(shù)據(jù)150
【本章導(dǎo)讀】150
【學(xué)習(xí)目標(biāo)】150
10.1 問題與挑戰(zhàn)150
10.2 基本概念與發(fā)展歷程151
10.2.1 基本概念151
10.2.2 發(fā)展歷程151
10.3 具體案例分析153
10.3.1 智能技術(shù)助力語言學(xué)習(xí)153
10.3.2 智慧教育的實(shí)踐探索154
10.3.3 智能技術(shù)助力學(xué)校數(shù)字轉(zhuǎn)型155
10.3.4 課程信號大數(shù)據(jù)教育應(yīng)用155
10.3.5 學(xué)位羅盤大數(shù)據(jù)教育應(yīng)用158
10.4 未來趨勢159
本章小結(jié)160
習(xí)題161
參考文獻(xiàn)161
第11章 金融大數(shù)據(jù)162
【本章導(dǎo)讀】162
【學(xué)習(xí)目標(biāo)】162
11.1 機(jī)遇與挑戰(zhàn)163
11.1.1 金融業(yè)發(fā)展面臨的機(jī)遇163
11.1.2 金融業(yè)發(fā)展面臨的挑戰(zhàn)164
11.2 基本概念與發(fā)展歷程164
11.2.1 基本概念164
11.2.2 發(fā)展歷程167
11.3 具體案例分析169
11.3.1 精準(zhǔn)營銷169
11.3.2 風(fēng)險(xiǎn)控制172
11.4 未來趨勢175
本章小結(jié)176
習(xí)題176
參考文獻(xiàn)176
第12章 交通大數(shù)據(jù)178
【本章導(dǎo)讀】178
【學(xué)習(xí)目標(biāo)】179
12.1 問題與挑戰(zhàn)179
12.2 基本概念與發(fā)展歷程180
12.2.1 基本概念180
12.2.2 發(fā)展歷程182
12.2.3 交通大數(shù)據(jù)分類182
12.3 具體案例分析185
12.3.1 路面異!爸悄苎策墶 185
12.3.2 “公交優(yōu)先”特色的上海智慧交通云服務(wù)188
12.3.3 貴州交廣“互聯(lián)網(wǎng)+ 智慧交通云平臺” 191
12.4 未來趨勢192
本章小結(jié)194
習(xí)題194
參考文獻(xiàn)195