特征工程可以修改數(shù)據(jù)特征，更好地捕獲問題本質(zhì)，從而改進結(jié)果。這個過程既是一種藝術(shù)，也是技巧和訣竅的一種結(jié)合。本書是一本特征工程實用指南，主要探討如何利用特征工程提升機器學(xué)習解決方案的性能。本書從特征工程的基本概念和技術(shù)開始介紹，建立了一種特殊的跨領(lǐng)域方法，通過充分研究案例詳細介紹了圖數(shù)據(jù)、時間戳數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)的處理方法，包括分箱、折外估計、特征選擇、數(shù)據(jù)降維和可變長度數(shù)據(jù)編碼等重要主題。
為改善機器學(xué)習模型的表現(xiàn)，你會花多少時間修改輸入數(shù)據(jù)的特征？圖靈獎得主Yoshua Bengio曾說：“好的輸入特征是機器學(xué)習取得成功的基本條件。在產(chǎn)業(yè)化機器學(xué)習中，特征工程所占的工作量接近90%�！毙薷臄�(shù)據(jù)特征以更好地捕獲問題的本質(zhì)，這是機器學(xué)習的重中之重。
沒有高深的領(lǐng)域知識能否進行高質(zhì)量的特征工程？本書直面這一充滿爭議的話題，在不考慮領(lǐng)域知識的情況下，給出了特征工程的一些通用技巧。此外，本書還展示了豐富的案例，涵蓋圖數(shù)據(jù)、時間戳數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)。你將在學(xué)習各種技巧和訣竅的過程中，逐漸領(lǐng)會特征工程的藝術(shù)。
巴勃羅·迪布（Pablo Duboue）
NLP學(xué)者。2005年博士畢業(yè)于美國哥倫比亞大學(xué)，師從ACL前主席Kathleen McKeown教授，曾是IBM Watson DeepQA團隊成員。2016年創(chuàng)辦NLP技術(shù)公司Textualization。他有豐富的教學(xué)經(jīng)驗，是世界多所大學(xué)的訪問教授。
第 一部分 基礎(chǔ)知識
第 1章 簡介 2
1.1 特征工程 4
1.2 模型評價 8
1.2.1 度量 8
1.2.2 交叉驗證 10
1.2.3 過擬合 11
1.2.4 維數(shù)災(zāi)難 12
1.3 周期 12
1.3.1 ML周期 13
1.3.2 特征工程周期 15
1.4 分析 17
1.4.1 探索性數(shù)據(jù)分析 17
1.4.2 誤差分析 18
1.5 其他過程 20
1.5.1 領(lǐng)域建�！ �20
1.5.2 特征構(gòu)建 22
1.6 討論 24
1.7 擴展學(xué)習 26
第 2章 特征組合：歸一化、離散化和異常值 28
2.1 歸一化特征 29
2.1.1 標準化和去相關(guān)性 31
2.1.2 平滑 33
2.1.3 特征加權(quán) 34
2.2 離散化和分箱 35
2.2.1 無監(jiān)督離散化 36
2.2.2 監(jiān)督離散化 38
2.3 描述性特征 41
2.3.1 直方圖 41
2.3.2 其他描述性特征 43
2.4 處理異常值 44
2.5 高級技術(shù) 46
2.6 擴展學(xué)習 47
第3章 特征擴展：可計算特征、填充與核技巧 48
3.1 可計算特征 49
3.2 填充 54
3.3 復(fù)雜特征分解 57
3.4 核操作特征擴展 59
3.5 擴展學(xué)習 62
第4章 特征縮減：特征選擇、降維和嵌入 64
4.1 特征選擇 65
4.1.1 度量 66
4.1.2 組成特征集：搜索與篩選 73
4.1.3 高級技術(shù) 75
4.2 正則化與嵌入式特征選擇 77
4.2.1 L2 正則化：嶺回歸 78
4.2.2 L1 正則化：LASSO 78
4.2.3 其他使用嵌入式特征選擇的算法 79
4.3 數(shù)據(jù)降維 80
4.3.1 特征哈希 81
4.3.2 隨機投影 82
4.3.3 奇異值分解 82
4.3.4 隱狄利克雷分配 83
4.3.5 聚類 84
4.3.6 其他數(shù)據(jù)降維技術(shù) 85
4.3.7 嵌入 86
4.4 擴展學(xué)習 90
第5章 高級主題：可變長度數(shù)據(jù)與自動特征工程 91
5.1 可變長度特征向量 91
5.1.1 集合 91
5.1.2 列表 92
5.1.3 樹 94
5.1.4 圖 96
5.1.5 時間序列 97
5.2 基于實例的特征工程 100
5.3 深度學(xué)習與特征工程 102
5.4 自動特征工程 105
5.4.1 特征學(xué)習 105
5.4.2 無監(jiān)督特征工程 108
5.5 擴展學(xué)習 109
第二部分 案例研究
第6章 圖數(shù)據(jù) 113
6.0 本章概述 115
6.1 WikiCities數(shù)據(jù)集 116
6.2 探索性數(shù)據(jù)分析 117
6.3 第 一個特征集 124
6.4 第二個特征集 130
6.5 終的特征集 131
6.6 擴展學(xué)習 133
第7章 時間戳數(shù)據(jù) 134
7.0 本章概述 135
7.1 WikiCities：歷史特征 137
7.2 時間延遲特征 139
7.2.1 填充時間戳數(shù)據(jù) 139
7.2.2 第 一次特征化：填充二階延遲數(shù)據(jù) 140
7.2.3 誤差分析 141
7.3 滑動窗口 142
7.4 第三次特征化：EMA 143
7.5 使用歷史數(shù)據(jù)進行擴展 143
7.5.1 第四次特征化：擴展的數(shù)據(jù) 144
7.6 時間序列 145
7.6.1 WikiCountries數(shù)據(jù)集 145
7.6.2 探索性數(shù)據(jù)分析 146
7.6.3 第 一次特征化：無TS特征 149
7.6.5 使用模型預(yù)測作為特征 149
7.6.6 討論 150
7.7 擴展學(xué)習 151
第8章 文本數(shù)據(jù) 153
8.0 本章概述 155
8.1 WikiCities：文本 156
8.2 探索性數(shù)據(jù)分析 156
8.3 僅數(shù)值型記號 159
8.3.1 詞類型與記號 160
8.3.2 分詞：基礎(chǔ)知識 160
8.3.3 第 一次特征化 161
8.4 詞袋 162
8.4.1 分詞 162
8.4.2 第二次特征化 163
8.5 停用詞和形態(tài)學(xué)特征 165
8.5.1 停用詞 165
8.5.2 分詞：詞干提取 166
8.5.3 第三次特征化 166
8.6 上下文特征 167
8.6.1 二元詞 168
8.6.2 第四次特征化 169
8.7 跳躍二元詞與特征哈�！ �169
8.7.1 跳躍二元詞 169
8.7.2 第五次特征化 169
8.8 數(shù)據(jù)降維與嵌入 170
8.8.1 嵌入 170
8.8.2 特征加權(quán)：TF-IDF 171
8.8.3 第六次特征化 172
8.9 結(jié)束語 172
8.9.1 內(nèi)容擴展 174
8.9.2 文本中的結(jié)構(gòu) 174
8.10 擴展學(xué)習 174
第9章 圖像數(shù)據(jù) 175
9.0 本章概述 176
9.1 WikiCities：衛(wèi)星圖像 177
9.2 探索性數(shù)據(jù)分析 178
9.3 像素即特征 179
9.3.1 第 一次特征化 179
9.3.2 可計算特征：高斯模糊 180
9.3.3 白化 182
9.3.4 對變動的誤差分析 183
9.4 自動數(shù)據(jù)集擴展 183
9.4.1 仿射變換 184
9.4.2 第二次特征化 184
9.5 描述性特征：直方圖 184
9.6 局部特征檢測器：角點 185
9.6.1 Harris角點檢測 186
9.6.2 第四次特征化 186
9.7 數(shù)據(jù)降維：HOG 187
9.8 結(jié)束語 189
9.9 擴展學(xué)習 191
第 10章 其他領(lǐng)域：視頻、GIS和偏好 192
10.1 視頻 193
10.1.1 數(shù)據(jù)：屏幕錄制 194
10.1.2 關(guān)鍵幀檢測 194
10.1.3 目標跟蹤：均值漂移 195
10.1.4 擴展學(xué)習 197
10.2 地理特征 197
10.3 偏好 199
10.3.1 數(shù)據(jù)：Linux核心代碼提交 200
10.3.2 填充偏好數(shù)據(jù) 201
10.3.3 擴展學(xué)習 202
書單推薦
