前言
第1篇 緒論
第1章 背景2
1.1 機(jī)器學(xué)習(xí)的概念2
1.2 機(jī)器學(xué)習(xí)所解決的問(wèn)題3
1.2.1 有監(jiān)督學(xué)習(xí)問(wèn)題3
1.2.2 無(wú)監(jiān)督學(xué)習(xí)4
1.3 如何選擇機(jī)器學(xué)習(xí)算法5
1.4 習(xí)題5
第2章 機(jī)器學(xué)習(xí)算法框架概要7
2.1 算法框架的分層模型7
2.2 分層模型中各層級(jí)的職責(zé)8
2.3 開(kāi)始搭建框架的準(zhǔn)備工作8
2.3.1 使用Java開(kāi)發(fā)的準(zhǔn)備工作8
2.3.2 使用Python開(kāi)發(fā)的準(zhǔn)備工作13
第2篇 代數(shù)矩陣運(yùn)算層
第3章 矩陣運(yùn)算庫(kù)20
3.1 矩陣運(yùn)算庫(kù)概述20
3.2 矩陣基本運(yùn)算的實(shí)現(xiàn)20
3.2.1 矩陣的數(shù)據(jù)結(jié)構(gòu)20
3.2.2 矩陣的加法和減法22
3.2.3 矩陣的乘法和點(diǎn)乘24
3.2.4 矩陣的轉(zhuǎn)置26
3.3 矩陣的其他操作27
3.2.1 生成單位矩陣27
3.3.2 矩陣的復(fù)制28
3.3.3 矩陣的合并29
3.4 習(xí)題32
第4章 矩陣相關(guān)函數(shù)的實(shí)現(xiàn)33
4.1 常用函數(shù)33
4.1.1 協(xié)方差函數(shù)33
4.1.2 均值函數(shù)34
4.1.3 歸一化函數(shù)36
4.1.4 最大值函數(shù)38
4.1.5 最小值函數(shù)40
4.2 行列式函數(shù)41
4.3 矩陣求逆函數(shù)43
4.4 矩陣特征值和特征向量函數(shù)44
4.5 矩陣正交化函數(shù)45
4.5.1 向量單位化45
4.5.2 矩陣正交化47
4.6 習(xí)題49
第3篇 最優(yōu)化方法層
第5章 最速下降優(yōu)化器52
5.1 最速下降優(yōu)化方法概述52
5.1.1 模型參數(shù)優(yōu)化的目標(biāo)52
5.1.2 最速下降優(yōu)化方法53
5.2 最速下降優(yōu)化器的實(shí)現(xiàn)54
5.2.1 參數(shù)優(yōu)化器的接口設(shè)計(jì)54
5.2.2 最速下降優(yōu)化器的具體實(shí)現(xiàn)57
5.3 一個(gè)目標(biāo)函數(shù)的優(yōu)化例子62
5.3.1 單元測(cè)試示例：偏導(dǎo)數(shù)的計(jì)算62
5.3.2 單元測(cè)試示例：目標(biāo)函數(shù)的參數(shù)優(yōu)化64
5.4 習(xí)題66
第6章 遺傳算法優(yōu)化器67
6.1 遺傳算法概述67
6.1.1 遺傳算法的目標(biāo)67
6.1.2 遺傳算法的基本過(guò)程68
6.2 遺傳算法優(yōu)化器的實(shí)現(xiàn)71
6.2.1 遺傳算法優(yōu)化器主體流程的實(shí)現(xiàn)71
6.2.2 遺傳算法優(yōu)化器各算子的實(shí)現(xiàn)74
6.3 一個(gè)目標(biāo)函數(shù)的優(yōu)化例子82
6.4 習(xí)題85
第4篇 算法模型層
第7章 分類(lèi)和回歸模型88
7.1 分類(lèi)和回歸模型概述88
7.2 基礎(chǔ)回歸模型89
7.2.1 線性回歸模型89
7.2.2 對(duì)數(shù)回歸模型92
7.2.3 指數(shù)回歸模型94
7.2.4 冪函數(shù)回歸模型97
7.2.5 多項(xiàng)式回歸模型100
7.3 分類(lèi)回歸分析的例子102
7.3.1 示例：驗(yàn)證對(duì)數(shù)回歸模型102
7.3.2 示例：對(duì)比不同模型104
7.4 習(xí)題108
第8章 多層神經(jīng)網(wǎng)絡(luò)模型109
8.1 多層神經(jīng)網(wǎng)絡(luò)模型概述109
8.1.1 網(wǎng)絡(luò)模型的表達(dá)形式109
8.1.2 前饋運(yùn)算111
8.1.3 反向傳播112
8.2 多層神經(jīng)網(wǎng)絡(luò)模型的實(shí)現(xiàn)115
8.3 多層神經(jīng)網(wǎng)絡(luò)模型示例122
8.4 習(xí)題125
第9章 聚類(lèi)模型126
9.1 K-means模型126
9.1.1 K-means聚類(lèi)模型概述126
9.1.2 K-means模型的實(shí)現(xiàn)128
9.1.3 示例：一個(gè)聚類(lèi)的例子131
9.2 GMM134
9.2.1 從一維高斯函數(shù)到多維高斯函數(shù)134
9.2.2 GMM概述136
9.2.3 GMM的實(shí)現(xiàn)139
9.2.4 示例：對(duì)比K-means模型144
9.3 習(xí)題147
第10章 時(shí)間序列模型148
10.1 指數(shù)平滑模型148
10.1.1 移動(dòng)平均模型148
10.1.2 一次指數(shù)平滑模型149
10.1.3 二次指數(shù)平滑模型150
10.2 Holt-Winters模型150
10.2.1 Holt-Winters模型概述150
10.2.2 Holt-Winters模型的實(shí)現(xiàn)151
10.2.3 示例：時(shí)間序列的預(yù)測(cè)156
10.3 習(xí)題160
第11章 降維和特征提取161
11.1 降維的目的161
11.2 主成分分析模型162
11.2.1 主成分分析方法概述162
11.2.2 主成分分析模型的實(shí)現(xiàn)165
11.2.3 示例：降維提取主要特征167
11.3 自動(dòng)編碼機(jī)模型170
11.3.1 非線性的主成分分析170
11.3.2 自動(dòng)編碼機(jī)原理概述171
11.3.3 自動(dòng)編碼機(jī)模型的實(shí)現(xiàn)172
11.3.4 示例：對(duì)比主成分分析173
11.4 習(xí)題176
第5篇 業(yè)務(wù)功能層
第12章 時(shí)間序列異常檢測(cè)178
12.1 時(shí)間序列異常檢測(cè)的應(yīng)用場(chǎng)景178
12.2 時(shí)間序列異常檢測(cè)的基本原理178
12.2.1 基于預(yù)測(cè)的時(shí)間序列異常檢測(cè)179
12.2.2 閾值的估計(jì)179
12.3 時(shí)間序列異常檢測(cè)功能服務(wù)的實(shí)現(xiàn)180
12.4 應(yīng)用實(shí)例：找出數(shù)據(jù)中的異常記錄182
12.5 習(xí)題183
第13章 離群點(diǎn)檢測(cè)184
13.1 離群點(diǎn)檢測(cè)的應(yīng)用場(chǎng)景184
13.2 離群點(diǎn)檢測(cè)的基本原理185
13.2.1 基于多維高斯函數(shù)檢測(cè)離群點(diǎn)186
13.2.2 數(shù)據(jù)的有效降維188
13.3 離群點(diǎn)檢測(cè)功能服務(wù)的實(shí)現(xiàn)188
13.4 應(yīng)用實(shí)例：找出數(shù)據(jù)中的異常記錄191
13.5 習(xí)題193
第14章 趨勢(shì)線擬合194
14.1 趨勢(shì)線擬合的應(yīng)用場(chǎng)景194
14.2 趨勢(shì)線擬合的基本原理195
14.2.1 基于不同基礎(chǔ)回歸模型的擬合196
14.2.2 選取合適的回歸模型196
14.3 趨勢(shì)線擬合功能服務(wù)的實(shí)現(xiàn)196
14.4 應(yīng)用實(shí)例：對(duì)樣本數(shù)據(jù)進(jìn)行趨勢(shì)線擬合201
14.5 習(xí)題203