目錄

前言
項(xiàng)目1 Hadoop 安裝
1.1 大數(shù)據(jù)認(rèn)知
1.1.1 大數(shù)據(jù)是什么
1.1.2 大數(shù)據(jù)應(yīng)用領(lǐng)域
1.1.3 大數(shù)據(jù)的特點(diǎn)
1.1.4 大數(shù)據(jù)的技術(shù)架構(gòu)
1.2 Hadoop 認(rèn)知
1.2.1 Hadoop 起源
1.2.2 Hadoop 的特點(diǎn)
1.2.3 Hadoop 生態(tài)圈
1.2.4 Hadoop 核心架構(gòu)
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 安裝前準(zhǔn)備
任務(wù)2 虛擬機(jī)的安裝
任務(wù)3 Ubuntu 的安裝
任務(wù)4 解壓與壓縮命令
任務(wù)5 JDK 安裝和配置
任務(wù)6 Hadoop 的安裝
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目2 Hadoop 集群部署
2.1 Linux 環(huán)境設(shè)置
2.1.1 Linux 常用命令
2.1.2 用戶（組）創(chuàng)建
2.1.3 FileZilla 文件傳輸
2.1.4 apt 更新
2.1.5 vim 編輯器的應(yīng)用
2.1.6 網(wǎng)絡(luò)配置
2.2 Hadoop 配置文件
2.2.1 環(huán)境變量的配置
2.2.2 SSH 安裝
2.2.3 core-site.xml 配置文件
2.2.4 hdfs-site.xml 配置文件
2.2.5 Hadoop 偽分布式運(yùn)行實(shí)例
2.3 YARN 認(rèn)知
2.3.1 初識(shí)YARN
2.3.2 YARN 基本服務(wù)組件
2.3.3 YARN 執(zhí)行過程
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 部署前準(zhǔn)備
任務(wù)2 集群網(wǎng)絡(luò)配置
任務(wù)3 配置文件的設(shè)置
任務(wù)4 集群部署
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目3 HDFS-電影信息管理
3.1 HDFS 認(rèn)知
3.1.1 HDFS 簡介
3.1.2 HDFS 特點(diǎn)
3.1.3 HDFS 設(shè)計(jì)原則
3.1.4 HDFS 核心概念
3.2 HDFS 常用Shell 命令和基礎(chǔ)編程開發(fā)
3.2.1 HDFS 常用Shell 命令
3.2.2 用HDFS API 實(shí)現(xiàn)上傳本地文件
3.2.3 用HDFS API 實(shí)現(xiàn)創(chuàng)建HDFS 文件
3.2.4 用HDFS API 實(shí)現(xiàn)讀取和寫入文件
3.2.5 用HDFS API 實(shí)現(xiàn)創(chuàng)建HDFS 目錄
3.2.6 用HDFS API 實(shí)現(xiàn)查找文件所在位置
3.3 HDFS 工作機(jī)制
3.3.1 HDFS 寫數(shù)據(jù)流程
3.3.2 HDFS 讀數(shù)據(jù)流程
3.3.3 NameNode 工作機(jī)制
3.3.4 DataNode 工作機(jī)制
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 環(huán)境搭建
任務(wù)2 寫入電影信息
任務(wù)3 讀取電影信息
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目4 用MapReduce 統(tǒng)計(jì)網(wǎng)站最大訪問次數(shù)
4.1 MapReduce 認(rèn)知
4.1.1 MapReduce 的由來
4.1.2 MapReduce 的執(zhí)行過程
4.1.3 Mapper 過程
4.1.4 Reduce 過程
4.1.5 Shuffle 過程
4.2 MapReduce 程序開發(fā)
4.2.1 IDEA 安裝
4.2.2 MapReduce 輸入/輸出類型
4.2.3 MapReduce 輸入處理類
4.2.4 MapReduce 輸出處理類
4.2.5 典型案例：WordCount
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 POJO 類編寫
任務(wù)2 Map 網(wǎng)站訪問數(shù)據(jù)
任務(wù)3 Reduce 網(wǎng)站訪問數(shù)據(jù)
任務(wù)4 項(xiàng)目驅(qū)動(dòng)類編寫
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目5 用MapReduce 實(shí)現(xiàn)課程名稱和成績的二次排序
5.1 MapReduce 高級(jí)開發(fā)一
5.1.1 Combiner 合并編程
5.1.2 Partitioner 分區(qū)編程
5.1.3 RecordReader 編程
5.2 MapReduce 高級(jí)開發(fā)二
5.2.1 MapReduce 連接操作
5.2.2 MapReduce 排序操作
5.2.3 MapReduce 多文件聯(lián)合查詢
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 POJO 類編寫
任務(wù)2 Map 課程和成績數(shù)據(jù)
任務(wù)3 Reduce 課程和成績數(shù)據(jù)
任務(wù)4 項(xiàng)目驅(qū)動(dòng)類編寫
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目6 用Hive 實(shí)現(xiàn)購物用戶數(shù)據(jù)清洗
6.1 Hive 認(rèn)知
6.1.1 Hive 簡介
6.1.2 Hive 體系結(jié)構(gòu)
6.1.3 Hive 設(shè)計(jì)特征
6.2 Hive 安裝
6.2.1 偽分布式安裝與配置Hive
6.2.2 安裝與配置MySQL
6.3 Hive 基本操作
6.3.1 Hive 數(shù)據(jù)類型
6.3.2 數(shù)據(jù)庫操作
6.3.3 內(nèi)部表操作
6.3.4 外部表操作
6.3.5 分區(qū)表操作
6.3.6 分桶表操作
6.3.7 Hive 數(shù)據(jù)操作
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 導(dǎo)入數(shù)據(jù)
任務(wù)2 數(shù)據(jù)分析
任務(wù)3 數(shù)據(jù)導(dǎo)出
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目7 用HBase 實(shí)現(xiàn)學(xué)生成績管理
7.1 HBase 認(rèn)知
7.1.1 HBase 簡介
7.1.2 HBase 體系結(jié)構(gòu)
7.1.3 HBase 寫數(shù)據(jù)流程
7.1.4 HBase 讀數(shù)據(jù)流程
7.2 HBase 安裝
7.2.1 下載軟件
7.2.2 偽分布式安裝與配置
7.3 HBase shell 操作命令
7.3.1 HBase 數(shù)據(jù)模型
7.3.2 數(shù)據(jù)表空間操作
7.3.3 數(shù)據(jù)表操作
7.3.4 數(shù)據(jù)操作
7.4 HBase API 操作
7.4.1 HBase 常用的API
7.4.2 Configuration 對(duì)象
7.4.3 HTable 句柄創(chuàng)建
7.4.4 HBase 數(shù)據(jù)的CRUD 操作
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 學(xué)生成績表數(shù)據(jù)準(zhǔn)備
任務(wù)2 學(xué)生成績表設(shè)計(jì)分析
任務(wù)3 學(xué)生成績表代碼實(shí)現(xiàn)
拓展項(xiàng)目
課后練習(xí)
項(xiàng)目8 Sqoop 導(dǎo)入導(dǎo)出
8.1 概述
8.1.1 Sqoop 產(chǎn)生背景
8.1.2 Sqoop 是什么
8.1.3 為什么選擇 Sqoop
8.2 工作原理
8.2.1 導(dǎo)入機(jī)制
8.2.2 導(dǎo)出機(jī)制
8.3 安裝
8.4 Sqoop 的基本命令
8.4.1 基本操作
8.4.2 示例
項(xiàng)目實(shí)現(xiàn)
任務(wù)1 從RDBMS 導(dǎo)入到HDFS
任務(wù)2 從MySQL 導(dǎo)入到Hive
任務(wù)3 從MySQL 導(dǎo)入到HBase
課后練習(xí)
Hadoop 綜合實(shí)例—網(wǎng)絡(luò)交易數(shù)據(jù)統(tǒng)計(jì)
9.1 項(xiàng)目概述
9.1.1 項(xiàng)目實(shí)現(xiàn)的思路
9.1.2 項(xiàng)目流程
9.2 準(zhǔn)備工作
9.2.1 項(xiàng)目環(huán)境的搭建
9.2.2 Hadoop+HBase+Hive 集成
9.2.3 HBase 數(shù)據(jù)庫設(shè)計(jì)原則
9.2.4 數(shù)據(jù)概況
項(xiàng)目實(shí)現(xiàn)
項(xiàng)目9
任務(wù)1 POJO 類編寫
任務(wù)2 統(tǒng)計(jì)不同品牌手機(jī)的銷售數(shù)量
任務(wù)3 統(tǒng)計(jì)不同品牌手機(jī)銷量和銷售額占比
任務(wù)4 統(tǒng)計(jì)某年每個(gè)月的手機(jī)銷售數(shù)量的比例
任務(wù)5 統(tǒng)計(jì)每個(gè)月份各市區(qū)縣的手機(jī)銷售數(shù)量
任務(wù)6 統(tǒng)計(jì)購買手機(jī)的男女比例
任務(wù)7 統(tǒng)計(jì)不同手機(jī)品牌購買用戶的年齡區(qū)間人數(shù)
課后練習(xí)