基礎(chǔ)篇
第1章 認(rèn)識(shí)數(shù)據(jù)分析
1.1 數(shù)據(jù)分析概述 2
1.1.1 數(shù)據(jù)分析的概念 2
1.1.2 數(shù)據(jù)分析的重要性 2
1.2 數(shù)據(jù)分析的基本流程 4
1.2.1 熟悉工具 4
1.2.2 明確目的 4
1.2.3 獲取數(shù)據(jù) 4
1.2.4 數(shù)據(jù)處理 4
1.2.5 數(shù)據(jù)分析 5
1.2.6 驗(yàn)證結(jié)果 5
1.2.7 結(jié)果呈現(xiàn) 5
1.2.8 數(shù)據(jù)應(yīng)用 5
1.3 數(shù)據(jù)分析常用工具 6
1.3.1 Excel 6
1.3.2 Python 6
第2章 搭建Python數(shù)據(jù)分析環(huán)境
2.1 Python概述 7
2.1.1 Python簡(jiǎn)介 7
2.1.2 Python的版本 8
2.2 搭建Python開(kāi)發(fā)環(huán)境 8
2.2.1 什么是IDLE 8
2.2.2 安裝Python 8
2.2.3 使用IDLE編寫(xiě)hello world 11
2.3 集成開(kāi)發(fā)環(huán)境PyCharm 12
2.3.1 下載PyCharm 12
2.3.2 安裝PyCharm 14
2.3.3 運(yùn)行PyCharm創(chuàng)建工程 15
2.3.4 個(gè)Python程序Hello World! 17
2.4 數(shù)據(jù)分析標(biāo)準(zhǔn)環(huán)境Anaconda 18
2.4.1 下載Anaconda 19
2.4.2 安裝Anaconda 20
2.5 Jupyter Notebook開(kāi)發(fā)工具 22
2.5.1 認(rèn)識(shí)Jupyter Notebook 22
2.5.2 新建一個(gè)Jupyter Notebook文件 22
2.5.3 在Jupyter Notebook中編寫(xiě)Hello World 23
第3章 NumPy基礎(chǔ):數(shù)組、矩陣計(jì)算
3.1 初識(shí)NumPy 25
3.1.1 NumPy概述 25
3.1.2 安裝NumPy模塊 26
3.1.3 數(shù)組相關(guān)概念 27
3.2 創(chuàng)建數(shù)組 28
3.2.1 創(chuàng)建簡(jiǎn)單的數(shù)組 28
【實(shí)例3.1】演示如何創(chuàng)建數(shù)組 28
【實(shí)例3.2】為數(shù)組指定數(shù)據(jù)類型 29
【實(shí)例3.3】復(fù)制數(shù)組 29
【實(shí)例3.4】修改數(shù)組的維數(shù) 30
3.2.2 以不同的方式創(chuàng)建數(shù)組 30
【實(shí)例3.5】創(chuàng)建指定維數(shù)和數(shù)據(jù)類型未初始化的數(shù)組 30
【實(shí)例3.6】創(chuàng)建指定維數(shù)(以0填充)的數(shù)組 30
【實(shí)例3.7】創(chuàng)建指定維數(shù)并以1填充的數(shù)組 31
【實(shí)例3.8】創(chuàng)建指定維數(shù)和數(shù)據(jù)類型并以指定值填充的數(shù)組 31
3.2.3 從數(shù)值范圍創(chuàng)建數(shù)組 31
【實(shí)例3.9】通過(guò)數(shù)值范圍創(chuàng)建數(shù)組 32
【實(shí)例3.10】創(chuàng)建馬拉松賽前訓(xùn)練等差數(shù)列數(shù)組 33
【實(shí)例3.11】通過(guò)logspace()函數(shù)解決棋盤(pán)放置小麥的問(wèn)題 33
3.2.4 生成隨機(jī)數(shù)組 34
【實(shí)例3.12】隨機(jī)生成0到1之間的數(shù)組 34
【實(shí)例3.13】隨機(jī)生成滿足正態(tài)分布的數(shù)組 35
【實(shí)例3.14】生成一定范圍內(nèi)的隨機(jī)數(shù)組 35
【實(shí)例3.15】生成正態(tài)分布的隨機(jī)數(shù)組 36
3.2.5 從已有的數(shù)組中創(chuàng)建數(shù)組 36
【實(shí)例3.16】使用asarray()函數(shù)創(chuàng)建數(shù)組 37
【實(shí)例3.17】將字符串mingrisoft轉(zhuǎn)換為數(shù)組 37
【實(shí)例3.18】通過(guò)可迭代對(duì)象創(chuàng)建數(shù)組 38
【實(shí)例3.19】創(chuàng)建未初始化的數(shù)組 38
【實(shí)例3.20】創(chuàng)建以0填充的數(shù)組 39
【實(shí)例3.21】創(chuàng)建以1填充的數(shù)組 39
【實(shí)例3.22】創(chuàng)建以指定值0.2填充的數(shù)組 40
3.3 數(shù)組的基本操作 40
3.3.1 數(shù)據(jù)類型 40
3.3.2 數(shù)組運(yùn)算 41
【實(shí)例3.23】數(shù)組加法運(yùn)算 42
【實(shí)例3.24】數(shù)組的減法、乘法和除法運(yùn)算 42
【實(shí)例3.25】數(shù)組的冪運(yùn)算 43
【實(shí)例3.26】數(shù)組的比較運(yùn)算 43
【實(shí)例3.27】數(shù)組的標(biāo)量運(yùn)算 44
3.3.3 數(shù)組的索引和切片 44
【實(shí)例3.28】獲取一維數(shù)組中的元素 44
【實(shí)例3.29】獲取二維數(shù)組中的元素 45
【實(shí)例3.30】實(shí)現(xiàn)簡(jiǎn)單的數(shù)組切片操作 45
【實(shí)例3.31】常用的切片式索引操作 46
【實(shí)例3.32】二維數(shù)組的簡(jiǎn)單索引操作 47
【實(shí)例3.33】二維數(shù)組的切片操作 47
3.3.4 數(shù)組重塑 48
【實(shí)例3.34】將一維數(shù)組重塑為二維數(shù)組 48
【實(shí)例3.35】將一行古詩(shī)轉(zhuǎn)換為4行5列的二維數(shù)組 48
【實(shí)例3.36】將2行3列的數(shù)組重塑為3行2列的數(shù)組 49
【實(shí)例3.37】將二維數(shù)組中的行列轉(zhuǎn)置 49
【實(shí)例3.38】轉(zhuǎn)換客戶銷售數(shù)據(jù) 50
3.3.5 數(shù)組的增、刪、改、查 51
【實(shí)例3.39】為數(shù)組增加數(shù)據(jù) 51
【實(shí)例3.40】刪除指定的數(shù)組元素 51
【實(shí)例3.41】修改指定的數(shù)組元素 52
【實(shí)例3.42】按指定條件查詢數(shù)組 52
3.4 NumPy矩陣的基本操作 53
3.4.1 創(chuàng)建矩陣 53
【實(shí)例3.43】創(chuàng)建簡(jiǎn)單矩陣 53
【實(shí)例3.44】使用mat()函數(shù)創(chuàng)建常見(jiàn)的矩陣 54
3.4.2 矩陣運(yùn)算 56
【實(shí)例3.45】矩陣加法運(yùn)算 56
【實(shí)例3.46】矩陣減法、乘法和除法運(yùn)算 56
【實(shí)例3.47】修改矩陣并進(jìn)行乘法運(yùn)算 57
【實(shí)例3.48】數(shù)組相乘與數(shù)組點(diǎn)乘比較 57
【實(shí)例3.49】矩陣元素之間的相乘運(yùn)算 58
3.4.3 矩陣轉(zhuǎn)換 58
【實(shí)例3.50】使用T屬性實(shí)現(xiàn)矩陣轉(zhuǎn)置 58
【實(shí)例3.51】實(shí)現(xiàn)矩陣逆運(yùn)算 58
3.5 NumPy常用統(tǒng)計(jì)分析函數(shù) 59
3.5.1 數(shù)學(xué)運(yùn)算函數(shù) 59
【實(shí)例3.52】數(shù)組加、減、乘、除運(yùn)算 60
【實(shí)例3.53】計(jì)算數(shù)組元素的倒數(shù) 60
【實(shí)例3.54】數(shù)組元素的冪運(yùn)算 61
【實(shí)例3.55】對(duì)數(shù)組元素取余 61
【實(shí)例3.56】將數(shù)組中的一組數(shù)字四舍五入 62
【實(shí)例3.57】對(duì)數(shù)組元素向上取整 62
【實(shí)例3.58】對(duì)數(shù)組元素向下取整 62
【實(shí)例3.59】計(jì)算數(shù)組的正弦值、余弦值和正切值 63
【實(shí)例3.60】將弧度轉(zhuǎn)換為角度 63
3.5.2 統(tǒng)計(jì)分析函數(shù) 64
【實(shí)例3.61】對(duì)數(shù)組元素求和、對(duì)數(shù)組元素按行和按列求和 64
【實(shí)例3.62】對(duì)數(shù)組元素求平均值、對(duì)數(shù)組元素按行和按列求平均值 65
【實(shí)例3.63】對(duì)數(shù)組元素求值和小值 65
【實(shí)例3.64】計(jì)算電商各活動(dòng)銷售的加權(quán)平均價(jià) 66
【實(shí)例3.65】計(jì)算電商活動(dòng)價(jià)格的中位數(shù) 67
【實(shí)例3.66】求數(shù)組的方差和標(biāo)準(zhǔn)差 67
3.5.3 數(shù)組的排序 67
【實(shí)例3.67】對(duì)數(shù)組元素排序 68
【實(shí)例3.68】對(duì)數(shù)組元素升序排序 68
【實(shí)例3.69】通過(guò)排序解決成績(jī)相同學(xué)生的錄取問(wèn)題 69
3.6 綜合案例NumPy用于圖像灰度處理 69
3.7 實(shí)戰(zhàn)練習(xí) 70
第4章 Pandas入門(mén)
4.1 初識(shí)Pandas 72
4.1.1 Pandas概述 72
4.1.2 安裝Pandas 73
4.2 Pandas家族成員 74
4.2.1 Series對(duì)象 75
【實(shí)例4.1】創(chuàng)建一列數(shù)據(jù) 75
【實(shí)例4.2】創(chuàng)建一列物理成績(jī) 76
4.2.2 DataFrame對(duì)象 76
【實(shí)例4.3】通過(guò)列表創(chuàng)建成績(jī)表 77
【實(shí)例4.4】通過(guò)字典創(chuàng)建成績(jī)表 78
4.3 索引 78
4.3.1 什么是索引 78
【實(shí)例4.5】設(shè)置索引 78
4.3.2 索引的作用 79
4.3.3 Series對(duì)象的索引 79
【實(shí)例4.6】手動(dòng)設(shè)置索引 79
【實(shí)例4.7】重新設(shè)置物理成績(jī)的索引 80
【實(shí)例4.8】向前和向后填充數(shù)據(jù) 81
【實(shí)例4.9】通過(guò)位置索引獲取學(xué)生物理成績(jī) 81
【實(shí)例4.10】通過(guò)標(biāo)簽索引獲取學(xué)生物理成績(jī) 81
【實(shí)例4.11】通過(guò)標(biāo)簽切片獲取數(shù)據(jù) 82
【實(shí)例4.12】通過(guò)位置切片獲取數(shù)據(jù) 82
4.3.4 DataFrame對(duì)象的索引 83
【實(shí)例4.13】設(shè)置姓名為索引 83
【實(shí)例4.14】重新為學(xué)生成績(jī)表設(shè)置索引 84
【實(shí)例4.15】刪除數(shù)據(jù)后索引重置 85
4.4 綜合案例構(gòu)建身體數(shù)據(jù)并計(jì)算體質(zhì)指數(shù) 85
4.5 實(shí)戰(zhàn)練習(xí) 86
第5章 數(shù)據(jù)讀取與處理
5.1 數(shù)據(jù)讀取與寫(xiě)入 87
5.1.1 讀取與寫(xiě)入Excel文件 87
【實(shí)例5.1】讀取Excel文件 89
【實(shí)例5.2】讀取指定Sheet頁(yè)中的數(shù)據(jù) 90
【實(shí)例5.3】讀取Excel文件并指定行索引 91
【實(shí)例5.4】讀取Excel文件中的第1列數(shù)據(jù) 91
【實(shí)例5.5】將數(shù)據(jù)寫(xiě)入Excel文件中 92
5.1.2 讀取與寫(xiě)入CSV文件 93
【實(shí)例5.6】讀取CSV文件 94
5.1.3 讀取文本文件 95
【實(shí)例5.7】讀取文本文件 95
5.1.4 讀取HTML網(wǎng)頁(yè) 96
【實(shí)例5.8】Pandas也可以實(shí)現(xiàn)的簡(jiǎn)單爬蟲(chóng) 97
5.2 讀取數(shù)據(jù)庫(kù)中的數(shù)據(jù) 98
5.2.1 讀取MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù) 98
【實(shí)例5.9】讀取MySQL數(shù)據(jù)庫(kù)中的數(shù)據(jù) 100
5.2.2 讀取MongoDB數(shù)據(jù)庫(kù)中的數(shù)據(jù) 100
【實(shí)例5.10】讀取MongoDB數(shù)據(jù)庫(kù)中的數(shù)據(jù) 101
5.3 數(shù)據(jù)抽取 103
5.3.1 按行抽取數(shù)據(jù) 104
【實(shí)例5.11】抽取一行學(xué)生成績(jī)數(shù)據(jù) 104
5.3.2 抽取多行數(shù)據(jù) 104
【實(shí)例5.12】抽取多行學(xué)生成績(jī)數(shù)據(jù) 104
【實(shí)例5.13】抽取多個(gè)連續(xù)的學(xué)生成績(jī)數(shù)據(jù) 105
5.3.3 抽取指定列數(shù)據(jù) 105
【實(shí)例5.14】抽取學(xué)生的語(yǔ)文和數(shù)學(xué)成績(jī) 105
【實(shí)例5.15】抽取指定學(xué)科的成績(jī) 106
5.3.4 抽取指定的行、列數(shù)據(jù) 106
【實(shí)例5.16】抽取指定學(xué)科和指定學(xué)生的成績(jī) 107
5.4 數(shù)據(jù)的增、刪、改、查 107
5.4.1 增加數(shù)據(jù) 108
【實(shí)例5.17】增加一列物理成績(jī) 108
【實(shí)例5.18】使用loc屬性增加一列物理成績(jī) 108
【實(shí)例5.19】在列后面插入物理成績(jī) 108
【實(shí)例5.20】在成績(jī)表中增加一行數(shù)據(jù) 109
【實(shí)例5.21】在成績(jī)表中增加多行數(shù)據(jù) 109
5.4.2 刪除數(shù)據(jù) 109
【實(shí)例5.22】刪除學(xué)生成績(jī)數(shù)據(jù) 110
【實(shí)例5.23】刪除符合條件的學(xué)生成績(jī)數(shù)據(jù) 110
5.4.3 修改數(shù)據(jù) 110
【實(shí)例5.24】修改數(shù)學(xué)的列名 110
【實(shí)例5.25】修改多個(gè)學(xué)科的列名 111
【實(shí)例5.26】將行標(biāo)題統(tǒng)一修改為數(shù)字編號(hào) 111
【實(shí)例5.27】修改學(xué)生成績(jī)數(shù)據(jù) 111
5.4.4 查詢數(shù)據(jù) 112
【實(shí)例5.28】通過(guò)邏輯運(yùn)算符查詢數(shù)據(jù) 112
【實(shí)例5.29】通過(guò)復(fù)合運(yùn)算符查詢數(shù)據(jù) 113
【實(shí)例5.30】使用query()方法簡(jiǎn)化查詢代碼 113
【實(shí)例5.31】使用isin()方法查詢數(shù)據(jù) 113
【實(shí)例5.32】查詢女生的學(xué)習(xí)成績(jī)數(shù)據(jù) 114
【實(shí)例5.33】使用between()方法查詢數(shù)據(jù) 115
5.5 數(shù)據(jù)排序與排名 115
5.5.1 數(shù)據(jù)排序 115
【實(shí)例5.34】按銷量降序排序 116
【實(shí)例5.35】按照?qǐng)D書(shū)名稱和銷量降序排序 117
【實(shí)例5.36】對(duì)分組統(tǒng)計(jì)數(shù)據(jù)進(jìn)行排序 117
【實(shí)例5.37】按行數(shù)據(jù)排序 118
5.5.2 數(shù)據(jù)排名 118
【實(shí)例5.38】對(duì)產(chǎn)品銷量按順序進(jìn)行排名 119
【實(shí)例5.39】對(duì)產(chǎn)品銷量進(jìn)行平均排名 119
5.6 綜合案例電商產(chǎn)品轉(zhuǎn)化率分析 120
5.7 實(shí)戰(zhàn)練習(xí) 121
第6章 數(shù)據(jù)清洗
6.1 處理缺失值 122
6.1.1 什么是缺失值 122
6.1.2 查看缺失值 123
【實(shí)例6.1】查看數(shù)據(jù)概況 123
【實(shí)例6.2】判斷數(shù)據(jù)是否存在缺失值 123
6.1.3 處理缺失值 124
【實(shí)例6.3】將NaN填充為0 125
6.2 處理重復(fù)值 125
【實(shí)例6.4】處理淘寶電商銷售數(shù)據(jù)中的重復(fù)數(shù)據(jù) 125
6.3 異常值的檢測(cè)與處理 126
6.4 字符串操作 126
6.4.1 字符串對(duì)象方法 127
【實(shí)例6.5】字符串大小寫(xiě)轉(zhuǎn)換 127
【實(shí)例6.6】去掉字符串中的空格 128
6.4.2 字符串替換方法 129
【實(shí)例6.7】使用replace()方法替換數(shù)據(jù)中指定的字符 129
【實(shí)例6.8】使用replace()方法替換標(biāo)題中指定的字符 129
6.4.3 數(shù)據(jù)切分方法 130
【實(shí)例6.9】使用split()方法切分地址 130
6.4.4 字符串判斷方法 131
【實(shí)例6.10】使用contains()方法篩選數(shù)據(jù)并歸類 131
6.5 數(shù)據(jù)轉(zhuǎn)換 132
6.5.1 使用字典映射進(jìn)行數(shù)據(jù)轉(zhuǎn)換 132
【實(shí)例6.11】使用map()函數(shù)將數(shù)據(jù)中的性別轉(zhuǎn)換為數(shù)字 132
6.5.2 數(shù)據(jù)分割 132
【實(shí)例6.12】分割成績(jī)數(shù)據(jù)并標(biāo)記為優(yōu)秀良好一般 133
6.5.3 分類數(shù)據(jù)數(shù)字化 134
【實(shí)例6.13】將分類數(shù)據(jù)轉(zhuǎn)換為數(shù)字 134
6.6 綜合案例缺失值比例分析 135
6.7 實(shí)戰(zhàn)練習(xí) 135
第7章 數(shù)據(jù)計(jì)算與分組統(tǒng)計(jì)
7.1 數(shù)據(jù)計(jì)算 136
7.1.1 求和 136
【實(shí)例7.1】計(jì)算語(yǔ)文、數(shù)學(xué)和英語(yǔ)三科的總成績(jī) 137
7.1.2 求均值 137
【實(shí)例7.2】計(jì)算語(yǔ)文、數(shù)學(xué)和英語(yǔ)各科成績(jī)的平均分 137
7.1.3 求值 138
【實(shí)例7.3】計(jì)算語(yǔ)文、數(shù)學(xué)和英語(yǔ)各科成績(jī)的分 138
7.1.4 求小值 138
【實(shí)例7.4】計(jì)算語(yǔ)文、數(shù)學(xué)和英語(yǔ)各科成績(jī)的分 139
7.1.5 求中位數(shù) 139
【實(shí)例7.5】計(jì)算學(xué)生各科成績(jī)的中位數(shù)1 140
【實(shí)例7.6】計(jì)算學(xué)生各科成績(jī)的中位數(shù)2 140
7.1.6 求眾數(shù) 140
【實(shí)例7.7】計(jì)算學(xué)生各科成績(jī)的眾數(shù) 141
7.1.7 求方差 141
【實(shí)例7.8】通過(guò)方差判斷誰(shuí)的物理成績(jī)更穩(wěn)定 142
7.1.8 標(biāo)準(zhǔn)差 142
【實(shí)例7.9】計(jì)算各科成績(jī)的標(biāo)準(zhǔn)差 143
7.1.9 求分位數(shù) 143
【實(shí)例7.10】通過(guò)分位數(shù)確定被淘汰的35%的學(xué)生 143
【實(shí)例7.11】計(jì)算日期、時(shí)間和時(shí)間增量數(shù)據(jù)的分位數(shù) 144
7.2 數(shù)據(jù)格式化 144
7.2.1 設(shè)置小數(shù)位數(shù) 145
【實(shí)例7.12】四舍五入保留指定的小數(shù)位數(shù) 145
7.2.2 設(shè)置百分比 146
【實(shí)例7.13】將指定數(shù)據(jù)格式化為百分比數(shù)據(jù) 146
7.2.3 設(shè)置千位分隔符 146
【實(shí)例7.14】將金額格式化為帶千位分隔符的數(shù)據(jù) 147
7.3 數(shù)據(jù)分組統(tǒng)計(jì) 147
7.3.1 分組統(tǒng)計(jì)函數(shù)groupby() 147
【實(shí)例7.15】根據(jù)一級(jí)分類列統(tǒng)計(jì)訂單數(shù)據(jù) 148
【實(shí)例7.16】根據(jù)一級(jí)分類列和二級(jí)分類列統(tǒng)計(jì)訂單數(shù)據(jù) 148
【實(shí)例7.17】統(tǒng)計(jì)各編程語(yǔ)言的7天點(diǎn)擊量 148
7.3.2 對(duì)分組數(shù)據(jù)進(jìn)行迭代 149
【實(shí)例7.18】迭代一級(jí)分類的訂單數(shù)據(jù) 149
【實(shí)例7.19】迭代一級(jí)分類和二級(jí)分類的訂單數(shù)據(jù) 150
7.3.3 對(duì)分組的某列或多列使用聚合函數(shù) 150
【實(shí)例7.20】對(duì)分組統(tǒng)計(jì)結(jié)果使用聚合函數(shù) 150
【實(shí)例7.21】針對(duì)不同的列使用不同的聚合函數(shù) 150
【實(shí)例7.22】通過(guò)自定義函數(shù)實(shí)現(xiàn)分組統(tǒng)計(jì) 151
7.3.4 通過(guò)字典和Series對(duì)象進(jìn)行分組統(tǒng)計(jì) 151
【實(shí)例7.23】通過(guò)字典分組統(tǒng)計(jì)北上廣銷量 151
【實(shí)例7.24】通過(guò)Series對(duì)象分組統(tǒng)計(jì)北上廣銷量 152
7.4 數(shù)據(jù)移位 153
【實(shí)例7.25】統(tǒng)計(jì)學(xué)生英語(yǔ)周測(cè)成績(jī)的升降情況 153
7.5 數(shù)據(jù)合并 154
7.5.1 merge()方法 154
【實(shí)例7.26】合并學(xué)生成績(jī)表 155
【實(shí)例7.27】通過(guò)索引合并數(shù)據(jù) 155
【實(shí)例7.28】對(duì)合并數(shù)據(jù)去重 156
【實(shí)例7.29】根據(jù)共有列進(jìn)行合并數(shù)據(jù) 156
【實(shí)例7.30】合并數(shù)據(jù)并相互補(bǔ)全 157
7.5.2 concat()方法 157
7.6 數(shù)據(jù)透視表 159
7.6.1 pivot()方法 159
【實(shí)例7.31】數(shù)據(jù)透視表按年份統(tǒng)計(jì)城市GDP 160
7.6.2 pivot_table()方法 160
【實(shí)例7.32】數(shù)據(jù)透視表統(tǒng)計(jì)各部門(mén)男、女生
人數(shù) 160
7.7 綜合案例商品月銷量對(duì)比分析 161
7.8 實(shí)戰(zhàn)練習(xí) 162
第8章 日期處理與時(shí)間序列
8.1 日期數(shù)據(jù)處理 163
8.1.1 DataFrame的日期數(shù)據(jù)轉(zhuǎn)換 163
【實(shí)例8.1】將各種日期字符串轉(zhuǎn)換為指定的日期格式 164
【實(shí)例8.2】將一組數(shù)據(jù)組合為日期數(shù)據(jù) 164
8.1.2 dt對(duì)象的使用 165
【實(shí)例8.3】獲取日期中的年、月、日、星期數(shù)等 165
8.1.3 獲取日期區(qū)間的數(shù)據(jù) 165
【實(shí)例8.4】獲取指定日期區(qū)間的訂單數(shù)據(jù) 166
8.1.4 按不同時(shí)期統(tǒng)計(jì)并顯示數(shù)據(jù) 166
【實(shí)例8.5】從日期中獲取不同的時(shí)期 168
8.2 日期范圍、頻率和移位 169
8.2.1 生成日期范圍 169
【實(shí)例8.6】按頻率生成時(shí)間段 169
【實(shí)例8.7】按復(fù)合頻率生成時(shí)間段 171
8.2.2 日期頻率轉(zhuǎn)換 171
【實(shí)例8.8】將按天的頻率轉(zhuǎn)換為按5小時(shí)的頻率 171
8.2.3 移位日期 172
【實(shí)例8.9】查看日期向前和向后分別移動(dòng)兩次后的數(shù)據(jù) 172
8.3 時(shí)間區(qū)間與頻率轉(zhuǎn)換 173
8.3.1 創(chuàng)建時(shí)間區(qū)間 173
【實(shí)例8.10】使用Period類創(chuàng)建不同的時(shí)間區(qū)間 173
【實(shí)例8.11】使用period_range()函數(shù)創(chuàng)建時(shí)間區(qū)間 174
8.3.2 頻率轉(zhuǎn)換 175
【實(shí)例8.12】時(shí)間區(qū)間頻率轉(zhuǎn)換 175
8.4 重采樣與頻率轉(zhuǎn)換 175
8.4.1 重采樣 175
【實(shí)例8.13】將1分鐘的時(shí)間序列轉(zhuǎn)換為3分鐘的時(shí)間序列 176
8.4.2 降采樣處理 177
【實(shí)例8.14】按周統(tǒng)計(jì)銷售數(shù)據(jù) 177
8.4.3 升采樣處理 178
【實(shí)例8.15】每6小時(shí)統(tǒng)計(jì)一次數(shù)據(jù) 178
8.5 移動(dòng)窗口函數(shù) 178
8.5.1 時(shí)間序列數(shù)據(jù)匯總 178
【實(shí)例8.16】統(tǒng)計(jì)數(shù)據(jù)的open、high、low和close值 179
8.5.2 移動(dòng)窗口數(shù)據(jù)計(jì)算 179
【實(shí)例8.17】創(chuàng)建淘寶每日銷量數(shù)據(jù) 180
【實(shí)例8.18】在實(shí)例8.17的基礎(chǔ)上,使用rolling()函數(shù)計(jì)算每3天的均值 180
【實(shí)例8.19】用當(dāng)天的數(shù)據(jù)代表窗口數(shù)據(jù) 180
8.6 綜合案例股票行情數(shù)據(jù)分析 181
8.7 實(shí)戰(zhàn)練習(xí) 182
第9章 可視化數(shù)據(jù)分析圖表
9.1 數(shù)據(jù)分析圖表的作用 183
9.2 如何選擇適合的圖表類型 184
9.3 數(shù)據(jù)分析圖表的基本組成 184
9.4 Matplotlib概述 185
9.4.1 Matplotlib簡(jiǎn)介 185
9.4.2 安裝Matplotlib 188
9.4.3 Matplotlib圖表之初體驗(yàn) 189
【實(shí)例9.1】繪制張圖表 189
【實(shí)例9.2】繪制散點(diǎn)圖 189
9.5 圖表的常用設(shè)置 190
9.5.1 基本繪圖函數(shù)plot () 190
【實(shí)例9.3】繪制簡(jiǎn)單折線圖 190
【實(shí)例9.4】繪制體溫折線圖 190
9.5.2 設(shè)置畫(huà)布 192
【實(shí)例9.5】自定義畫(huà)布 193
9.5.3 設(shè)置坐標(biāo)軸 193
【實(shí)例9.6】為體溫折線圖設(shè)置標(biāo)題 193
【實(shí)例9.7】為體溫折線圖設(shè)置刻度1 194
【實(shí)例9.8】為體溫折線圖設(shè)置刻度2 194
【實(shí)例9.9】為體溫折線圖設(shè)置坐標(biāo)軸范圍 195
9.5.4 添加文本標(biāo)簽 196
【實(shí)例9.10】為體溫折線圖添加基礎(chǔ)體溫文本標(biāo)簽 196
9.5.5 設(shè)置標(biāo)題和圖例 196
9.5.6 添加注釋 198
【實(shí)例9.11】為圖表添加注釋 198
9.5.7 調(diào)整圖表與畫(huà)布邊緣的間距 199
9.5.8 設(shè)置坐標(biāo)軸 200
9.6 常用圖表的繪制 200
9.6.1 繪制折線圖 201
【實(shí)例9.12】繪制學(xué)生語(yǔ)文、數(shù)學(xué)、英語(yǔ)各科成績(jī)分析圖 201
9.6.2 繪制柱形圖 201
【實(shí)例9.13】繪制簡(jiǎn)單的柱形圖 202
【實(shí)例9.14】繪制20132019年線上圖書(shū)銷售額
分析圖 202
【實(shí)例9.15】繪制各平臺(tái)圖書(shū)銷售額分析圖 203
9.6.3 繪制直方圖 204
【實(shí)例9.16】繪制簡(jiǎn)單直方圖 205
【實(shí)例9.17】利用直方圖分析學(xué)生數(shù)學(xué)成績(jī)分布情況 205
9.6.4 繪制餅形圖 206
【實(shí)例9.18】繪制簡(jiǎn)單餅形圖 206
【實(shí)例9.19】通過(guò)餅形圖分析各省、市、自治區(qū)銷量占比情況 207
【實(shí)例9.20】繪制分裂餅形圖 207
【實(shí)例9.21】利用環(huán)形圖分析各省、市、自治區(qū)銷量占比情況 208
【實(shí)例9.22】利用內(nèi)嵌環(huán)形圖分析各省、市、自治區(qū)銷量占比情況 209
9.6.5 繪制散點(diǎn)圖 209
【實(shí)例9.23】繪制簡(jiǎn)單散點(diǎn)圖 210
【實(shí)例9.24】利用散點(diǎn)圖分析銷售收入與廣告費(fèi)的相關(guān)性 210
9.6.6 繪制面積圖 211
【實(shí)例9.25】繪制簡(jiǎn)單面積圖 211
【實(shí)例9.26】利用面積圖分析線上圖書(shū)銷售情況 212
【實(shí)例9.27】利用堆疊面積圖分析各平臺(tái)圖書(shū)銷售情況 212
9.6.7 繪制熱力圖 213
【實(shí)例9.28】繪制簡(jiǎn)單熱力圖 213
【實(shí)例9.29】利用熱力圖對(duì)比分析學(xué)生各科成績(jī) 213
9.6.8 繪制箱形圖 214
【實(shí)例9.30】繪制簡(jiǎn)單箱形圖 215
【實(shí)例9.31】繪制多組數(shù)據(jù)的箱形圖 215
【實(shí)例9.32】通過(guò)箱形圖判斷異常值 216
9.6.9 繪制3D圖表 217
【實(shí)例9.33】繪制3D柱形圖 217
【實(shí)例9.34】繪制3D曲面圖 218
9.6.10 繪制多個(gè)子圖表 218
【實(shí)例9.35】使用subplot()函數(shù)繪制多子圖表的空?qǐng)D表 219
【實(shí)例9.36】繪制包含多個(gè)子圖表的圖表 219
【實(shí)例9.37】使用subplots()函數(shù)繪制包含多子圖表的空?qǐng)D表 221
【實(shí)例9.38】使用subplots()函數(shù)繪制多子圖表 221
【實(shí)例9.39】使用add_subplot()函數(shù)繪制多子圖表 222
9.6.11 圖表的保存 222
9.7 Seaborn圖表 223
9.7.1 Seaborn圖表概述 223
9.7.2 Seaborn圖表之初體驗(yàn) 224
【實(shí)例9.40】繪制簡(jiǎn)單的柱形圖 224
9.7.3 Seaborn圖表的基本設(shè)置 225
9.7.4 常用圖表的繪制 226
【實(shí)例9.41】使用relplot()函數(shù)繪制學(xué)生語(yǔ)文成績(jī)折線圖 226
【實(shí)例9.42】使用lineplot()函數(shù)繪制學(xué)生語(yǔ)文成績(jī)折線圖 226
【實(shí)例9.43】利用多折線圖分析學(xué)生各科成績(jī) 226
【實(shí)例9.44】繪制簡(jiǎn)單直方圖 227
【實(shí)例9.45】利用條形圖分析學(xué)生各科成績(jī) 228
【實(shí)例9.46】利用散點(diǎn)圖分析小費(fèi) 228
【實(shí)例9.47】利用線性回歸圖表分析小費(fèi) 230
【實(shí)例9.48】利用箱形圖分析小費(fèi)異常數(shù)據(jù) 231
【實(shí)例9.49】利用核密度圖分析鳶尾花 232
【實(shí)例9.50】利用提琴圖分析小費(fèi) 232
9.8 綜合案例電商單品銷量同比增長(zhǎng)情況分析 233
9.9 實(shí)戰(zhàn)練習(xí) 235
第10章 機(jī)器學(xué)習(xí)Scikit-Learn
10.1 Scikit-Learn簡(jiǎn)介 236
10.2 安裝Scikit-Learn 236
10.3 線性模型 237
10.3.1 小二乘法回歸 238
【實(shí)例10.1】智能預(yù)測(cè)房?jī)r(jià) 239
10.3.2 嶺回歸 239
【實(shí)例10.2】使用嶺回歸函數(shù)實(shí)現(xiàn)智能預(yù)測(cè)房?jī)r(jià) 240
10.4 支持向量機(jī) 240
【實(shí)例10.3】波士頓房?jī)r(jià)預(yù)測(cè) 241
10.5 聚類 242
10.5.1 什么是聚類 242
10.5.2 聚類算法 243
10.5.3 聚類模塊 243
【實(shí)例10.4】對(duì)一組數(shù)據(jù)進(jìn)行聚類 244
10.5.4 聚類數(shù)據(jù)生成器 245
【實(shí)例10.5】生成用于聚類的測(cè)試數(shù)據(jù) 245
10.6 綜合案例預(yù)測(cè)考試成績(jī) 246
10.7 實(shí)戰(zhàn)練習(xí) 247
實(shí)戰(zhàn)篇
第11章 處理大型數(shù)據(jù)集
11.1 概述 249
11.2 案例效果預(yù)覽 250
11.3 案例準(zhǔn)備 251
11.4 業(yè)務(wù)流程 251
11.5 實(shí)現(xiàn)過(guò)程 251
11.5.1 數(shù)據(jù)準(zhǔn)備 251
11.5.2 數(shù)據(jù)分塊 251
11.5.3 查看與處理數(shù)據(jù) 252
11.5.4 保存分塊數(shù)據(jù) 253
11.5.5 合并分塊數(shù)據(jù) 253
11.6 關(guān)鍵技術(shù) 253
第12章 快速批量合并和處理Excel
12.1 概述 255
12.2 案例效果預(yù)覽 255
12.3 案例準(zhǔn)備 258
12.4 業(yè)務(wù)流程 258
12.5 實(shí)現(xiàn)過(guò)程 258
12.5.1 數(shù)據(jù)準(zhǔn)備 258
12.5.2 將多個(gè)Excel合并為一個(gè)Excel 258
12.5.3 合并指定的Excel的指定列到一個(gè)Excel 259
12.5.4 合并指定的Excel到一個(gè)Excel的多個(gè)Sheet 260
12.5.5 批量合并文件夾中所有的Excel到一個(gè)Excel的多個(gè)Sheet 260
12.6 關(guān)鍵技術(shù) 261
第13章 爬取分析NBA球員薪資數(shù)據(jù)
13.1 概述 263
13.2 案例效果預(yù)覽 263
13.3 案例準(zhǔn)備 264
13.4 業(yè)務(wù)流程 264
13.5 實(shí)現(xiàn)過(guò)程 265
13.5.1 數(shù)據(jù)準(zhǔn)備 265
13.5.2 確定網(wǎng)頁(yè)格式 265
13.5.3 爬取數(shù)據(jù) 265
13.5.4 清洗數(shù)據(jù) 267
13.5.5 繪制水平柱形圖分析湖人隊(duì)薪資狀況 268
13.6 關(guān)鍵技術(shù) 268
第14章 獲取和分析股票行情數(shù)據(jù)
14.1 概述 270
14.2 案例效果預(yù)覽 270
14.3 案例準(zhǔn)備 272
14.4 業(yè)務(wù)流程 272
14.5 實(shí)現(xiàn)過(guò)程 272
14.5.1 安裝第三方模塊 272
14.5.2 獲取股票歷史數(shù)據(jù) 273
14.5.3 數(shù)據(jù)歸一化處理 274
14.5.4 可視化股票走勢(shì)圖 275
14.5.5 股票收盤(pán)價(jià)格走勢(shì)圖 275
14.5.6 股票漲跌情況分析圖 275
14.5.7 股票k線走勢(shì)圖 276
14.6 關(guān)鍵技術(shù) 277
第15章 基于文本數(shù)據(jù)的商家評(píng)論數(shù)據(jù)分析
15.1 概述 280
15.2 案例效果預(yù)覽 280
15.3 案例準(zhǔn)備 281
15.4 業(yè)務(wù)流程 281
15.5 實(shí)現(xiàn)過(guò)程 281
15.5.1 安裝第三方模塊 281
15.5.2 數(shù)據(jù)準(zhǔn)備 282
15.5.3 數(shù)據(jù)清洗 282
15.5.4 總體評(píng)價(jià)狀況分析 283
15.5.5 差評(píng)商品分析 284
15.5.6 利用詞云圖分析負(fù)面評(píng)價(jià) 284
15.6 關(guān)鍵技術(shù) 285
第16章 基于MySQL網(wǎng)站平臺(tái)注冊(cè)用戶分析
16.1 概述 287
16.2 案例效果預(yù)覽 287
16.3 案例準(zhǔn)備 288
16.4 業(yè)務(wù)流程 288
16.5 導(dǎo)入MySQL數(shù)據(jù) 288
16.5.1 導(dǎo)入MySQL數(shù)據(jù) 288
16.5.2 連接MySQL數(shù)據(jù)庫(kù) 289
16.6 實(shí)現(xiàn)過(guò)程 290
16.6.1 數(shù)據(jù)準(zhǔn)備 290
16.6.2 數(shù)據(jù)檢測(cè) 290
16.6.3 年度注冊(cè)用戶分析 291
16.6.4 新注冊(cè)用戶分析 292
第17章 二手房房?jī)r(jià)分析與預(yù)測(cè)
17.1 概述 293
17.2 案例效果預(yù)覽 293
17.3 案例準(zhǔn)備 294
17.4 業(yè)務(wù)流程 295
17.5 圖表工具模塊 295
17.5.1 繪制餅形圖 295
17.5.2 繪制折線圖 296
17.5.3 繪制條形圖 296
17.6 實(shí)現(xiàn)過(guò)程 298
17.6.1 數(shù)據(jù)清洗 298
17.6.2 各區(qū)二手房均價(jià)分析 298
17.6.3 各區(qū)二手房數(shù)量及占比分析 299
17.6.4 全市二手房裝修程度分析 300
17.6.5 熱門(mén)戶型均價(jià)分析 301
17.6.6 二手房房?jī)r(jià)預(yù)測(cè) 301
第18章 Python實(shí)現(xiàn)客戶價(jià)值分析
18.1 概述 305
18.2 案例效果預(yù)覽 305
18.3 案例準(zhǔn)備 305
18.4 業(yè)務(wù)流程 306
18.5 分析方法 306
18.5.1 RFM模型 307
18.5.2 聚類 307
18.6 實(shí)現(xiàn)過(guò)程 307
18.6.1 數(shù)據(jù)準(zhǔn)備 307
18.6.2 數(shù)據(jù)抽取 308
18.6.3 數(shù)據(jù)探索分析 308
18.6.4 計(jì)算RFM值 308
18.6.5 數(shù)據(jù)轉(zhuǎn)換 309
18.6.6 客戶聚類 310
18.6.7 標(biāo)記客戶類別 310
18.7 客戶價(jià)值結(jié)果分析 312
第19章 電商銷售數(shù)據(jù)分析與預(yù)測(cè)
19.1 概述 314
19.2 案例效果預(yù)覽 314
19.3 案例準(zhǔn)備 314
19.4 業(yè)務(wù)流程 315
19.5 分析方法 315
19.6 實(shí)現(xiàn)過(guò)程 316
19.6.1 數(shù)據(jù)處理 316
19.6.2 日期數(shù)據(jù)統(tǒng)計(jì)并顯示 316
19.6.3 銷售收入分析 317
19.6.4 銷售收入與廣告費(fèi)相關(guān)性分析 317
19.6.5 銷售收入預(yù)測(cè) 320
19.6.6 預(yù)測(cè)評(píng)分 321
強(qiáng)化篇
第20章 電視節(jié)目數(shù)據(jù)分析系統(tǒng)
20.1 系統(tǒng)需求分析 323
20.1.1 系統(tǒng)概述 323
20.1.2 功能性需求分析 323
20.2 系統(tǒng)設(shè)計(jì) 324
20.2.1 系統(tǒng)功能結(jié)構(gòu) 324
20.2.2 系統(tǒng)業(yè)務(wù)流程 324
20.2.3 系統(tǒng)預(yù)覽 324
20.3 系統(tǒng)開(kāi)發(fā) 327
20.3.1 系統(tǒng)開(kāi)發(fā)環(huán)境 327
20.3.2 界面設(shè)計(jì)環(huán)境安裝與配置 327
20.4 主窗體設(shè)計(jì) 328
20.4.1 功能草圖 328
20.4.2 創(chuàng)建主窗體 328
20.4.3 工具欄設(shè)計(jì) 329
20.4.4 其他控件設(shè)計(jì) 331
20.4.5 ui文件轉(zhuǎn)為py文件 332
20.5 數(shù)據(jù)準(zhǔn)備 333
20.6 功能代碼設(shè)計(jì) 333
20.6.1 查看數(shù)據(jù)情況模塊 333
20.6.2 數(shù)據(jù)處理模塊設(shè)計(jì) 334
20.6.3 數(shù)據(jù)分析及可視化模塊 334
20.6.4 顯示主窗體模塊 337