第 1章 數(shù)據(jù)科學概述 1
【知識目標】 1
【本章導讀】 1
1.1 數(shù)據(jù) 1
1.1.1 數(shù)據(jù)的定義和分類 1
1.1.2 數(shù)據(jù)產(chǎn)生方式的變革 2
1.2 數(shù)據(jù)科學 3
1.2.1 數(shù)據(jù)科學的發(fā)展歷程 4
1.2.2 數(shù)據(jù)科學基礎 5
1.2.3 數(shù)據(jù)科學的知識結構 8
1.2.4 數(shù)據(jù)科學的工作流程 8
1.2.5 數(shù)據(jù)科學的成果 11
1.2.6 數(shù)據(jù)科學與大數(shù)據(jù) 11
1.3 數(shù)據(jù)科學管理與應用 12
1.3.1 運籌優(yōu)化 12
1.3.2 管理決策 12
1.3.3 質量控制 13
1.3.4 商務智能 13
1.3.5 網(wǎng)絡管理 14
歸納與提高 14
知識鞏固與訓練 15


第 2章 數(shù)據(jù)科學關鍵技術分析 17
【知識目標】 17
【本章導讀】 17
2.1 數(shù)據(jù)采集技術 17
2.1.1 數(shù)據(jù)采集 17
2.1.2 數(shù)據(jù)采集相關技術 19
2.2 數(shù)據(jù)預處理技術 20
2.2.1 數(shù)據(jù)清洗 20
2.2.2 數(shù)據(jù)集成 22
2.3 數(shù)據(jù)分析技術 23
2.3.1 數(shù)據(jù)分析概述 23
2.3.2 數(shù)據(jù)分析的相關技術 24
2.4 數(shù)據(jù)可視化技術 25
2.4.1 數(shù)據(jù)可視化概述 26
2.4.2 數(shù)據(jù)可視化的相關技術 26
歸納與提高 27
知識鞏固與訓練 27


第3章 Python基礎 29
【知識目標】 29
【本章導讀】 29
3.1 Python簡介 29
3.1.1 Python語言概述 29
3.1.2 Python語言的優(yōu)點和缺點 30
3.2 Python程序的開發(fā)與基本語法 31
3.2.1 程序開發(fā)的流程 31
3.2.2 程序編寫的基本方法 32
3.2.3 Python的輸入與輸出 32
3.2.4 Python的基本語法 34
3.2.5 變量與常量 35
3.2.6 標識符 37
3.3 Python的基本數(shù)據(jù)類型 38
3.3.1 數(shù)字類型 38
3.3.2 字符串類型 39
3.3.3 布爾類型 41
3.4 運算符與表達式 42
3.4.1 運算符 42
3.4.2 表達式 44
3.4.3 數(shù)據(jù)類型轉換 45
3.5 程序的控制結構 46
3.5.1 程序流程圖 46
3.5.2 程序的基本結構 47
3.5.3 分支結構 49
3.5.4 循環(huán)結構 51
歸納與提高 54
知識鞏固與訓練 54


第4章 函數(shù)、模塊與組合數(shù)據(jù)類型 57
【知識目標】 57
【本章導讀】 57
4.1 函數(shù)的定義和調(diào)用 57
4.1.1 函數(shù)的定義 57
4.1.2 函數(shù)的調(diào)用 58
4.1.3 函數(shù)的遞歸調(diào)用 59
4.1.4 lambda表達式 60
4.2 函數(shù)的參數(shù)傳遞 61
4.2.1 函數(shù)值傳遞和引用傳遞 61
4.2.2 參數(shù)的位置傳遞 62
4.2.3 參數(shù)的關鍵字傳遞 64
4.2.4 參數(shù)的默認值傳遞 64
4.3 內(nèi)置函數(shù) 65
4.4 變量作用域 67
4.4.1 Python的局部變量 67
4.4.2 Python的全局變量 68
4.5 模塊 69
4.5.1 模塊的定義 69
4.5.2 導入模塊 69
4.5.3 自定義模塊 70
4.5.4 math模塊 71
4.6 組合數(shù)據(jù)類型與字符串 72
4.6.1 列表 73
4.6.2 元組 76
4.6.3 字典 78
4.6.4 集合 82
4.6.5 字符串 84
歸納與提高 88
知識鞏固與訓練 88


第5章 文件操作 92
【知識目標】 92
【本章導讀】 92
5.1 錯誤處理 92
5.1.1 錯誤 92
5.1.2 異常處理 94
5.2 文件讀寫 96
5.2.1 讀寫文本文件 96
5.2.2 讀寫csv文件 98
5.2.3 讀寫JSON文件 100
歸納與提高 101
知識鞏固與訓練 102


第6章 數(shù)據(jù)采集 104
【知識目標】 104
【本章導讀】 104
6.1 HTTP請求概述 104
6.1.1 HTTP和HTTPS 104
6.1.2 HTTP的工作原理 105
6.1.3 HTTP的請求與響應 105
6.2 HTML、DOM樹結構和XPath 109
6.2.1 HTML簡述 109
6.2.2 DOM樹結構 110
6.2.3 用XPath選擇HTML元素 110
6.3 Scrapy數(shù)據(jù)采集入門 113
6.3.1 安裝Scrapy 113
6.3.2 Scrapy框架結構 114
6.3.3 基礎Spider源碼解析 115
6.4 Scrapy實例 117
6.4.1 實例一 117
6.4.2 實例二 123
6.5 Scrapy應對反爬蟲程序 127
6.5.1 爬蟲的檢測方法 127
6.5.2 應對反爬蟲的對策 128
6.5.3 反爬蟲實例 128
歸納與提高 130
知識鞏固與訓練 131


第7章 numpy數(shù)值計算 132
【知識目標】 132
【本章導讀】 132
7.1 numpy數(shù)組概述 132
7.1.1 numpy數(shù)組的特點及屬性 132
7.1.2 創(chuàng)建numpy數(shù)組 134
7.1.3 numpy的數(shù)據(jù)類型及其轉換 135
7.2 數(shù)組形狀操作 136
7.2.1 利用reshape()函數(shù)改變數(shù)組維度 136
7.2.2 利用ravel()函數(shù)數(shù)組 137
7.2.3 利用flatten()函數(shù)橫向或縱向數(shù)組 137
7.2.4 利用hstack()、vstack()、concatenate()函行數(shù)組組合 137
7.2.5 利用hsplit()、vsplit()和split()函行數(shù)組分割 138
7.3 數(shù)組數(shù)據(jù)獲�。核饕�、切片、及條件 139
7.3.1 一維數(shù)組的索引及切片 139
7.3.2 多維數(shù)組的索引及切片 140
7.3.3 數(shù)組數(shù)據(jù)的 140
7.3.4 利用條件獲取數(shù)組數(shù)據(jù) 140
7.4 數(shù)組運算 141
7.4.1 常用的ufunc函數(shù)運算 141
7.4.2 ufunc函數(shù)的廣播機制 143
7.5 數(shù)組排序及統(tǒng)計分析 144
7.5.1 排序 144
7.5.2 去重與重復數(shù)據(jù) 145
7.5.3 常用的統(tǒng)計函數(shù) 146
7.6 矩陣創(chuàng)建及運算 147
7.6.1 創(chuàng)建矩陣 147
7.6.2 矩陣的基本運算 148
7.6.3 矩陣的轉置、共軛及逆矩陣 149
7.6.4 查看矩陣特征 149
7.7 讀寫文件 150
7.7.1 文本數(shù)據(jù)讀寫函數(shù)savetxt()、loadtxt()、genfromtxt() 150
7.7.2 制文件讀寫函數(shù)save()及l(fā)oad() 151
歸納與提高 152
知識鞏固與訓練 152


第8章 數(shù)據(jù)處理：pandas統(tǒng)計分析 154
【知識目標】 154
【本章導讀】 154
8.1 pandas的數(shù)據(jù)結構 154
8.1.1 Series（數(shù)據(jù)序列） 155
8.1.2 DataFrame（數(shù)據(jù)框） 157
8.2 DataFrame的基礎操作 158
8.2.1 查看DataFrame的常用屬性 158
8.2.2 查看和修改DataFrame數(shù)據(jù) 159
8.3 讀/寫外部數(shù)據(jù) 164
8.3.1 讀/寫數(shù)據(jù)庫數(shù)據(jù) 164
8.3.2 讀/寫文本文件 166
8.3.3 讀/寫Excel文件 167
8.4 pandas的數(shù)據(jù)預處理 168
8.4.1 數(shù)據(jù)清洗 168
8.4.2 數(shù)據(jù)集成 173
8.4.3 數(shù)據(jù)排序 177
8.5 統(tǒng)計分析 178
8.5.1 描述性78
8.5.2 分組聚合80
8.6 時間類型及時間序列數(shù)據(jù) 182
8.6.1 轉換字符串時間為標準時間 182
8.6.2 提取時間數(shù)據(jù)信息 183
8.6.3 加減時間數(shù)據(jù) 184
8.6.4 生成時間序列數(shù)據(jù) 184
8.7 創(chuàng)建透視表與交叉表 185
8.7.1 使用pivot()及pivot_table()函數(shù)創(chuàng)建透視表 185
8.7.2 使用cros()函數(shù)創(chuàng)建交叉表 187
歸納與提高 189
知識鞏固與訓練 189


第9章 數(shù)據(jù)可視化與應用 192
【知識目標】 192
【本章導讀】 192
9.1 matplotlib簡介 192
9.2 基本圖形繪制 194
9.2.1 繪制一個基本圖形 194
9.2.2 繪制線形圖 195
9.2.3 繪制散點圖 197
9.3 統(tǒng)計圖形繪制 198
9.3.1 繪制柱形圖 198
9.3.2 繪制條形圖 199
9.3.3 繪制餅圖 200
9.3.4 繪制氣泡圖 200
9.4 設置樣式 201
9.4.1 中文及負號設置 201
9.4.2 標題及坐標軸標簽 201
9.4.3 plot樣式 202
9.4.4 子圖 203
9.5 3D圖形的繪制 204
歸納與提高 206
知識鞏固與訓練 206


第 10章 網(wǎng)店商品數(shù)據(jù)分析 209
【知識目標】 209
【本章導讀】 209
10.1 某網(wǎng)店的背景及數(shù)據(jù)分析的目的 209
10.1.1 某網(wǎng)店的背景介紹 209
10.1.2 數(shù)據(jù)分析目的及流程 210
10.2 數(shù)據(jù)預處理 210
10.2.1 數(shù)據(jù)特征分析 211
10.2.2 文字預處理 211
10.2.3 數(shù)字預處理 213
10.3 數(shù)據(jù)分析初步 214
10.3.1 商品分析 214
10.3.2 商品價格與銷量分析 215
10.4 聚類分析 217
10.4.1 聚類分析簡介 217
10.4.2 KMeans聚類 217
10.4.3 聚類過程及可視化 218
10.5 撰寫數(shù)據(jù)分析報告 221
歸納與提高 222
更新勘誤表和配套資料索取示意圖 223
參考文獻 224