本書按照統(tǒng)計(jì)模式識別、句法模式識別、模糊模式識別法和神經(jīng)網(wǎng)絡(luò)模式識別法四大理論體系組織全書,其中統(tǒng)計(jì)模式識別是模式識別的經(jīng)典內(nèi)容和基礎(chǔ)知識,模糊模式識別法和神經(jīng)網(wǎng)絡(luò)模式識別法兩部分反映了模式識別學(xué)科發(fā)展的新進(jìn)展,附錄部分歸納了書中需要用到的概率知識、向量和矩陣運(yùn)算的常用公式,以及供上機(jī)練習(xí)用的模式樣本數(shù)據(jù)。
本書內(nèi)容由淺入深,便于教師根據(jù)不同情況選擇教學(xué)內(nèi)容。同時(shí)講解詳細(xì),配有豐富的圖表和例題,有助于讀者閱讀與理解。提供了習(xí)題和計(jì)算機(jī)作業(yè),供學(xué)習(xí)時(shí)使用。
本書可作為高等院校電子信息類專業(yè)高年級本科生和研究生的教材,也可供從事模式識別工作的廣大科技人員參考。
模式識別是一門既具有較系統(tǒng)的理論體系,又仍處在迅速發(fā)展之中的邊緣學(xué)科,其應(yīng)用幾乎遍及各個(gè)領(lǐng)域。
這一學(xué)科涉及許多較為深?yuàn)W的數(shù)學(xué)理論,對剛涉足這一領(lǐng)域的許多初學(xué)者來說,理解起來有一定的困難。本書既可以作為基礎(chǔ)教材,又反映學(xué)科發(fā)展方向,以此為基調(diào),在選材上立足于“精”,在講解上立足于“透”。筆者結(jié)合多年教學(xué)經(jīng)驗(yàn),在模式識別理論的成熟部分,注重對基本概念的透徹講解,選擇經(jīng)典和實(shí)用的模式識別方法和算法進(jìn)行討論。在內(nèi)容的安排上,注意由淺入深,討論問題時(shí)盡量減少數(shù)學(xué)推導(dǎo)和證明,通過實(shí)際運(yùn)用加深學(xué)生對算法的理解,目的是使初學(xué)者能夠比較容易地盡快掌握模式識別的基本理論和方法。
在材料組織上,兼顧計(jì)算機(jī)模式識別的基礎(chǔ)和發(fā)展兩個(gè)方面,按照統(tǒng)計(jì)模式識別、句法模式識別、模糊模式識別法和神經(jīng)網(wǎng)絡(luò)模式識別法四大理論體系組織全書內(nèi)容。其中統(tǒng)計(jì)模式識別方法是核心,模糊模式識別和神經(jīng)網(wǎng)絡(luò)模式識別是學(xué)科的新發(fā)展。在具體章節(jié)安排上,統(tǒng)計(jì)模式識別部分包括屬于非監(jiān)督分類的聚類分析方法(第2章)、監(jiān)督分類中的判別函數(shù)概念和幾何分類法(第3章)以及基于統(tǒng)計(jì)決策的概率分類法(第4章),為簡化分類器還討論了特征選擇和提取的方法(第5章)。第6章為句法模式識別,對概念和方法進(jìn)行了簡要討論。第7章為模糊模式識別部分,鑒于本方向蓬勃的發(fā)展趨勢,對其內(nèi)容進(jìn)行了充實(shí)和細(xì)化,充分地闡述了基本概念,詳細(xì)討論了其中的典型算法。第8章為神經(jīng)網(wǎng)絡(luò)模式識別法,介紹了幾種典型的用于模式識別的神經(jīng)網(wǎng)絡(luò)模型和算法。為方便學(xué)習(xí),在附錄部分增加了必要的相關(guān)知識介紹,以備查閱。同時(shí)書中還配有豐富的圖表,有助于閱讀。
本書是作者在多年教學(xué)實(shí)踐的基礎(chǔ)上經(jīng)過總結(jié)擴(kuò)充改編而成的。參加編寫的有齊敏、李大健和郝重陽同志,全書由齊敏同志負(fù)責(zé)審訂和修改。模式識別學(xué)科發(fā)展迅速,本書對該學(xué)科研究發(fā)展的新進(jìn)展亦有所涉及,限于水平和經(jīng)驗(yàn),書中錯(cuò)誤及不當(dāng)之處在所難免,敬請讀者批評指正。
編 者2009年2月
第1章 緒論 1
1.1 模式和模式識別的概念2
1.2 模式識別系統(tǒng)4
1.2.1 簡例4
1.2.2 模式識別系統(tǒng)組成7
1.3 模式識別概況8
1.3.1 模式識別發(fā)展簡介8
1.3.2 模式識別分類8
1.4 模式識別的應(yīng)用10
第2章 聚類分析 13
2.1 距離聚類的概念14
2.2 相似性測度和聚類準(zhǔn)則15
2.2.1 相似性測度15
2.2.2 聚類準(zhǔn)則18
2.3 基于距離閾值的聚類算法20
2.3.1 近鄰聚類法20
2.3.2 最大最小距離算法21
2.4 層次聚類法23
2.5 動態(tài)聚類法27
2.5.1 K-均值算法27
2.5.2 迭代自組織的數(shù)據(jù)分析算法30
2.6 聚類結(jié)果的評價(jià)35
習(xí)題36
第3章 判別函數(shù)及幾何分類法 37
3.1 判別函數(shù)38
3.2 線性判別函數(shù)40
3.2.1 線性判別函數(shù)的一般形式40
3.2.2 線性判別函數(shù)的性質(zhì)41
3.3 廣義線性判別函數(shù)46
3.4 線性判別函數(shù)的幾何性質(zhì)48
3.4.1 模式空間與超平面48
3.4.2 權(quán)空間與權(quán)向量解49
3.4.3 二分法50
3.5 感知器算法52
3.6 梯度法58
3.6.1 梯度法基本原理59
3.6.2 固定增量算法60
3.7 最小平方誤差算法62
3.8 非線性判別函數(shù)69
3.8.1 分段線性判別函數(shù)69
3.8.2 分段線性判別函數(shù)的學(xué)習(xí)方法72
3.8.3 勢函數(shù)法74
習(xí)題81
第4章 基于統(tǒng)計(jì)決策的概率分類法 82
4.1 研究對象及相關(guān)概率83
4.2 貝葉斯決策85
4.2.1 最小錯(cuò)誤率貝葉斯決策85
4.2.2 最小風(fēng)險(xiǎn)貝葉斯決策86
4.2.3 正態(tài)分布模式的貝葉斯決策90
4.3 貝葉斯分類器的錯(cuò)誤率96
4.3.1 錯(cuò)誤率的概念96
4.3.2 錯(cuò)誤率分析96
4.3.3 正態(tài)分布貝葉斯決策的錯(cuò)誤率計(jì)算98
4.3.4 錯(cuò)誤率的估計(jì)101
4.4 聶曼-皮爾遜決策104
4.5 概率密度函數(shù)的參數(shù)估計(jì)108
4.5.1 最大似然估計(jì)108
4.5.2 貝葉斯估計(jì)與貝葉斯學(xué)習(xí)110
4.6 概率密度函數(shù)的非參數(shù)估計(jì)115
4.6.1 非參數(shù)估計(jì)的基本方法115
4.6.2 Parzen窗法117
4.6.3 kN-近鄰估計(jì)法121
4.7 后驗(yàn)概率密度函數(shù)的勢函數(shù)估計(jì)法123
習(xí)題125
第5章 特征選擇與特征提取 127
5.1 基本概念128
5.2 類別可分性測度130
5.2.1 基于距離的可分性測度131
5.2.2 基于概率分布的可分性測度133
5.3 基于類內(nèi)散布矩陣的單類模式特征提取136
5.4 基于K-L變換的多類模式特征提取139
5.5 特征選擇144
5.5.1 特征選取擇的準(zhǔn)則144
5.5.2 特征選擇的方法145
習(xí)題148
第6章 句法模式識別 150
6.1 句法模式識別概述151
6.2 形式語言的基本概念152
6.2.1 基本定義152
6.2.2 文法分類154
6.3 模式的描述方法156
6.3.1 基元的確定156
6.3.2 模式的鏈表示法156
6.3.3 模式的樹表示法158
6.4 文法推斷160
6.4.1 基本概念160
6.4.2 余碼文法的推斷161
6.4.3 擴(kuò)展樹文法的推斷162
6.5 句法分析164
6.5.1 參考鏈匹配法165
6.5.2 填充樹圖法165
6.5.3 CYK分析法166
6.5.4 厄利分析法168
6.6 句法結(jié)構(gòu)的自動機(jī)識別169
6.6.1 有限態(tài)自動機(jī)與正則文法169
6.6.2 下推自動機(jī)與上下文無關(guān)文法173
習(xí)題176
第7章 模糊模式識別法 179
7.1 模糊數(shù)學(xué)概述180
7.1.1 模糊數(shù)學(xué)的產(chǎn)生背景180
7.1.2 模糊性181
7.1.3 模糊數(shù)學(xué)在模式識別領(lǐng)域的應(yīng)用183
7.2 模糊集合183
7.2.1 模糊集合定義183
7.2.2 隸屬函數(shù)的確定187
7.2.3 模糊集合的運(yùn)算191
7.2.4 模糊集合與普通集合的相互轉(zhuǎn)化193
7.3 模糊關(guān)系與模糊矩陣195
7.3.1 模糊關(guān)系定義195
7.3.2 模糊關(guān)系的表示196
7.3.3 模糊關(guān)系的建立197
7.3.4 模糊關(guān)系和模糊矩陣的運(yùn)算199
7.3.5 模糊關(guān)系的三大性質(zhì)202
7.4 模糊模式分類的直接方法和間接方法204
7.4.1 直接方法--隸屬原則204
7.4.2 間接方法--擇近原則206
7.5 模糊聚類分析法209
7.5.1 基于模糊等價(jià)關(guān)系的聚類分析法209
7.5.2 模糊相似關(guān)系直接用于分類212
7.5.3 模糊K-均值算法214
7.5.4 模糊ISODATA算法216
習(xí)題218
第8章 神經(jīng)網(wǎng)絡(luò)模式識別法 221
8.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況222
8.2 神經(jīng)網(wǎng)絡(luò)基本概念223
8.2.1 生物神經(jīng)元223
8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)224
8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)226
8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類227
8.3 前饋神經(jīng)網(wǎng)絡(luò)227
8.3.1 感知器227
8.3.2 BP網(wǎng)絡(luò)228
8.3.3 競爭學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)232
8.4 反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)236
附錄A 向量和矩陣運(yùn)算239
附錄B 標(biāo)準(zhǔn)正態(tài)分布表及概率計(jì)算245
附錄C 計(jì)算機(jī)作業(yè)所用樣本數(shù)據(jù)248
參考文獻(xiàn)254