本書是模式識別和場景分析領(lǐng)域奠基性的經(jīng)典著作。在第2版中, 除了保留第1版中關(guān)于統(tǒng)計模式識別和結(jié)構(gòu)模式識別的主要內(nèi)容以外, 還新增了許多新理論和新方法, 其中包括神經(jīng)網(wǎng)絡(luò)、機器學習、數(shù)據(jù)挖掘、進化計算、不變量理論、隱馬爾可夫模型、統(tǒng)計學習理論和支持向量機等。本書還為模式識別未來的發(fā)展指明了方向。書中包含許多實例, 各種不同方法的對比, 豐富的圖表, 以及大量的課后習題和計算機練習。
本書第1版《模式分類與場景分析》(Pattern Classification and Scene Analysis)于1973年問世,在逾越四分之一世紀以后我們重寫了第2版。寫作的初衷依然不變,即盡可能對模式識別中的各個重要課題,尤其是對基本原理進行系統(tǒng)性介紹。我們相信這會為相當多有待解決的專門問題,諸如語音識別、光學字符識別或信號分類等,提供必需的基礎(chǔ)。本書第1版的許多讀者經(jīng)常問我們?yōu)槭裁匆选澳J椒诸悺迸c“場景分析”結(jié)合在一本書里寫。在當時,我們所能做的回答是,分類理論的確是模式識別學科中最重要的與領(lǐng)域無關(guān)的(domainindependent)理論,而場景分析是那個年代僅有的并且重要的應用領(lǐng)域。況且,根據(jù)1973年的研究水平,完全有可能把兩個內(nèi)容集中在一本書中闡述清楚而不顯膚淺。在隨后的這些年中,模式識別的理論和應用領(lǐng)域已經(jīng)迅速擴展,使得上述觀點再也站不住腳。因為必須要做出選擇,所以我們決定在本版中只介紹分類理論,而把有關(guān)應用的課題留給其他專門書籍來解決。自1973年以來,對第1版提出的許多問題開展了大量的研究,并且取得了長足的進步。僅僅是計算機硬件的發(fā)展已經(jīng)大大超過了學習算法和模式識別的步伐。第1版提出的一些突出問題目前已獲圓滿解決,然而另外一些卻依然讓人灰心。模式識別系統(tǒng)所顯現(xiàn)的重大作用,使該領(lǐng)域的研究方興未艾,并且激動人心。
當我們撰寫本書第1版時,模式識別還只是相當專門的學科,但從其目前豐富的應用領(lǐng)域來看,它已變得十分博大。這些應用包括:筆跡和手勢的識別、唇語技術(shù)、地學分析、文件檢索以及氣泡室中的亞原子軌跡判讀。它為大量人機界面問題提供核心算法,比如筆輸入計算。第2版的篇幅正說明了其現(xiàn)有理論的廣博。雖然我們預計本書的絕大多數(shù)讀者都對開發(fā)新的模式識別系統(tǒng)感興趣,但也不排除有少部分人專注于深刻理解現(xiàn)有的模式識別系統(tǒng)。這當中最顯著的莫過于人類和動物的神經(jīng)認知系統(tǒng)。雖然研究模式識別的生物學起源已明顯超出本書的范圍,但是,由于對自然界中的模式識別能力感興趣的神經(jīng)生物學家和心理學家也越來越多地依賴于先進的數(shù)學和理論的幫助,因此這部分專家也必將從本書中獲益。
盡管已有很多優(yōu)秀的書籍集中討論了某一部分技術(shù),我們?nèi)匀粡娏业馗杏X需要像本書這樣采取某種不同的討論方法。也就是說,本書并非集中在某些專門技術(shù)(如神經(jīng)網(wǎng)絡(luò))上,相反,我們對一類特定的問題——模式識別——開展研究。本書討論了多種可行的技術(shù)。學生和實踐者常常需要知道某種技術(shù)是否適用于他們的特定需求或者開發(fā)目標,許多專門研究神經(jīng)網(wǎng)絡(luò)的書籍未必會討論其他的技術(shù)(諸如判定樹、最近鄰方法或者其他分類器)以提供比較和選擇不同方案的依據(jù)。為了避免出現(xiàn)這種問題,我們將在本書中對比討論各種分類技術(shù),并討論各自的優(yōu)勢和缺點。
所有這些發(fā)展要求改寫本書的第1版,以獲得一個統(tǒng)一的更新的版本。這一版我們不僅豐富了內(nèi)容,并且在以下幾方面進行了改進。
新的材料書中包含很多最近才發(fā)展起來并被實踐證明有用的模式識別的新技術(shù),比如神經(jīng)網(wǎng)絡(luò)、隨機方法以及有關(guān)機器學習理論的問題,等等。雖然本書仍然以統(tǒng)計技術(shù)為主,但是為了保持完整性,我們也加進了句法(結(jié)構(gòu))模式識別的內(nèi)容,以及許多“經(jīng)典”的技術(shù),如隱馬爾可夫模型(HMM)、模型選擇機制、組合分類器等。
豐富的例題本書包含許多例題,這些例題通常使用很簡單的數(shù)據(jù),避免冗長單調(diào)的計算,但是又足夠復雜,使得能夠清楚地解釋關(guān)鍵知識點。例題的作用在于增強直觀認識,并幫助學生解答課后習題。
算法列表憑借算法可以最清楚地解釋所講述的模式識別技術(shù)。本書提供了很多算法。算法只是相應的完整計算機程序的一個基本骨架。我們假定每位讀者都熟悉算法采用的偽碼形式,或者可以通過上下文來理解
。加星號的節(jié)有些節(jié)加了星號,表明有些專門化,通常是一些補充材料,但它們一般不影響對后續(xù)不帶星號的節(jié)的理解,所以在初次閱讀時可以跳過。
上機練習這些練習并不限制采用哪種計算機語言或系統(tǒng),學生可以根據(jù)情況選擇適合自己的語言或系統(tǒng)。
習題增加了一些課后習題,并按提出問題的章節(jié)組織。本書的習題另有答案手冊,可供教師選用。
關(guān)于本書教輔資源,只有使用本書作為教材的教師才可以申請,需要的教師可向約翰·威立出版公司北京代表處申請,電話01084187869,電子郵件ayang@wileycom!庉嬜
每章小結(jié)每章小結(jié)中含有該章中出現(xiàn)的重要概念和知識點。
增強的圖表為了更好地展示概念,我們花了很大的力氣來增強本書中的圖表,以解釋正文中的要點。部分圖表經(jīng)過了大量精心的計算和細致的參數(shù)設(shè)置。相關(guān)的Adobe Acrobat格式的文件可以登錄http://wwwwileycom/products/subject/engineering/electrical/software supplemelecenghtml獲得。
附錄學生們未必擁有所必需的數(shù)學基礎(chǔ),這一點也不令人奇怪。為此,在書后附錄中補充了必要的數(shù)學基礎(chǔ)知識。我們力求通篇使用清晰的表示法來解釋關(guān)鍵特性,同時又保持可讀性。附錄中的符號列表能夠幫助那些愿意仔細鉆研預先使用符號的章節(jié)的讀者。
本書包含足以適合兩學期教學的高年級本科或研究生課程的內(nèi)容,當然要是仔細挑選也適合一學期使用。一學期課程應當包括第1~6章、第9章和第10章(大部分來自第1版的內(nèi)容,僅僅增加了神經(jīng)網(wǎng)絡(luò)和機器學習),加星號的各節(jié)可講可不講。
由于研究和發(fā)展速度如此之快,每章末尾的文獻和歷史評述就顯得十分有必要,盡管有些簡略。我們的目的是幫助讀者有重點地選擇參考文獻來閱讀,而并不是記錄整個歷史發(fā)展過程和感謝、贊美或表揚某些研究者。參考文獻中有的重要文獻可能未必在正文中提及,讀者可根據(jù)標題自行選閱。
如果沒有以下研究機構(gòu)的幫助,我們是不可能完成本書的。第一個也是最重要的一個當屬理光發(fā)明公司(Ricoh Innovations,DGS & PEH)。在動蕩和嚴酷的工業(yè)競爭環(huán)境中,以及對產(chǎn)品和創(chuàng)新的無休止的需求壓力之下,該公司能夠支持像本書這樣長期和廣泛的教育研究項目,反映出這里有了不起的環(huán)境和氛圍,以及少有的和明智的領(lǐng)導集體。感謝理光發(fā)明公司研究發(fā)展部主任Morio Onoe在我們開始寫作時給予的熱情支持。同樣要感謝在寫作本書時為我們提供臨時住所和幫助的圣何塞加州州立大學,斯坦福大學電氣工程系、統(tǒng)計學和心理學系,加州大學伯克利分校,國際高等科學研究院,尼爾斯·玻爾研究所,圣塔·菲研究所。
非常感謝斯坦福大學的研究生Regis Van Steenkiste、Chuck Lam和Chris Overton在圖形準備方面提供的巨大幫助,Sudeshna Adak在解答習題中的幫助。感謝理光發(fā)明公司的同事Kathrin Berkner、Michael Gormish、Maya Gupta、Jonathan Hull和Greg Wolff的多方面幫助,圖書館工作人員Rowan Fairgrove幫助找到了很多難找的文獻,并確認了許多文獻作者的名字。本書的很多內(nèi)容來自斯坦福大學和圣何塞加州州立大學的講義,從研究生那里得到的反饋使我們受益匪淺。許多教員和科研同人為本書提供了很好的建議,并糾正了很多疏誤。特別要感謝Leo Breiman、David Cooper、Lawrence Fogel、Gary Ford、Isabelle Guyon、Robert Jacobs、Dennis Kibler、Scott Kirkpatrick、Benny Lautrup、Nick Littlestone、Amir Najmi、Art Owen、Rosalind Picard、J.Ross Quinlan、Cullen Schaffer和David Wolpert,他們對本書進行了評論。各領(lǐng)域的著名專家審閱了本書各章,他們是Alex Pentland(1)、Giovanni Parmigiani(2)、Peter Cheeseman(3)、Godfried Toussaint(4)、Padhraic Smyth(5)、Yann Le Cun(6)、Emile Aarts(7)、Horst Bunke(8)、Tom Dietterich(9)、Anil Jain(10)和Rao Vemuri(附錄),括號中的內(nèi)容是他們審閱的章。他們富有洞察力的評語對本書多方面的改進都有幫助。不過,我們對仍然存在的錯誤負責。本書編輯George Telecki給了我們很大的鼓勵和支持,而且沒有抱怨我們一拖再拖。他和Wiley公司的其他員工都非常樂于幫助我們,給我們提供了許多專業(yè)支持。最后非常感謝Nancy、Alex和Olivia Stork對我們沉迷寫作的理解和忍耐。
David G. Stork
Richard O. Duda
Peter E. Hart
2000年8月
理查德·O.杜達, 圣何塞州立大學電氣工程系榮休教授, 以其在聲音定位和模式識別方面的工作而聞名。皮特·E.哈特, 加州理光發(fā)明公司創(chuàng)始人、總裁。大衛(wèi)·G.斯托克, 加州理光發(fā)明公司首席科學家, 斯坦福大學電氣工程與計算機科學系客座教授。
譯者序
前言
第1章緒論1
1.1機器感知1
1.2一個例子1
1.3模式識別系統(tǒng)7
1.3.1傳感器7
1.3.2分割和組織8
1.3.3特征提取8
1.3.4分類器9
1.3.5后處理10
1.4設(shè)計循環(huán)11
1.4.1數(shù)據(jù)采集11
1.4.2特征選擇11
1.4.3模型選擇12
1.4.4訓練12
1.4.5評價12
1.4.6計算復雜度12
1.5學習和適應12
1.5.1有監(jiān)督學習13
1.5.2無監(jiān)督學習13
1.5.3強化學習13
1.6本章小結(jié)13
全書各章概要13
文獻和歷史評述14
參考文獻15
第2章貝葉斯決策論16
2.1引言16
2.2貝葉斯決策論——連續(xù)特征18
2.3最小誤差率分類20
2.3.1極小化極大準則21
2.3.2NeymanPearson準則22
2.4分類器、判別函數(shù)及判定面23
2.4.1多類情況23
2.4.2兩類情況24
2.5正態(tài)密度25
2.5.1單變量密度函數(shù)25
2.5.2多元密度函數(shù)26
2.6正態(tài)分布的判別函數(shù)28
2.6.1情況1:Σi=σ2I28
2.6.2情況2:Σi=Σ30
2.6.3情況3:Σi=任意32
2.7誤差概率和誤差積分35
2.8正態(tài)密度的誤差上界36
2.8.1Chernoff界36
2.8.2Bhattacharyya界37
2.8.3信號檢測理論和操作特性38
2.9貝葉斯決策論——離散特征40
2.9.1獨立的二值特征41
2.10丟失特征和噪聲特征43
2.10.1丟失特征43
2.10.2噪聲特征44
2.11貝葉斯置信網(wǎng)44
2.12復合貝葉斯決策論及上下文49
本章小結(jié)50
文獻和歷史評述51
習題52
上機練習63
參考文獻65
第3章最大似然估計和貝葉斯參數(shù)估計67
3.1引言67
3.2最大似然估計68
3.2.1基本原理68
3.2.2高斯情況:μ未知70
3.2.3高斯情況:μ和Σ均未知 71
3.2.4估計的偏差72
3.3貝葉斯估計73
3.3.1類條件密度73
3.3.2參數(shù)的分布73
3.4貝葉斯參數(shù)估計:高斯情況74
3.4.1單變量情況:p(μ|)74
3.4.2單變量情況:p(x|)76
3.4.3多變量情況77
3.5貝葉斯參數(shù)估計:一般理論78
3.5.1最大似然方法和貝葉斯方法何時有區(qū)別 81
3.5.2無信息先驗和不變性82
3.5.3Gibbs算法83
3.6充分統(tǒng)計量83
3.7維數(shù)問題87
3.7.1精度、維數(shù)和訓練集的大小90
3.7.2計算復雜度90
3.7.3過擬合92
3.8成分分析和判別函數(shù)94
3.8.1主成分分析94
3.8.2Fisher線性判別分析96
3.8.3多重判別分析99
3.9期望最大化算法102
3.10隱馬爾可夫模型105
3.10.1一階馬爾可夫模型105
3.10.2一階隱馬爾可夫模型106
3.10.3隱馬爾可夫模型的計算106
3.10.4估值問題107
3.10.5解碼問題111
3.10.6學習問題113
本章小結(jié)114
文獻和歷史評述115
習題115
上機練習127
參考文獻130
第4章非參數(shù)技術(shù)132
4.1引言132
4.2概率密度的估計132
4.3Parzen窗方法134
4.3.1均值的收斂性137
4.3.2方差的收斂性137
4.3.3舉例說明137
4.3.4分類的例子140
4.3.5概率神經(jīng)網(wǎng)絡(luò)141
4.3.6窗函數(shù)的選取143
4.4n近鄰估計143
4.4.1n近鄰估計和Parzen窗估計144
4.4.2后驗概率的估計145
4.5最近鄰規(guī)則146
4.5.1最近鄰規(guī)則的收斂性147
4.5.2最近鄰規(guī)則的誤差率148
4.5.3誤差界149
4.5.4近鄰規(guī)則150
4.5.5近鄰規(guī)則的計算復雜度151
4.6距離度量和最近鄰分類153
4.6.1度量的性質(zhì)154
4.6.2切空間距離155
4.7模糊分類157
4.8RCE網(wǎng)絡(luò)160
4.9級數(shù)展開逼近161
本章小結(jié)163
文獻和歷史評述164
習題165
上機練習171
參考文獻175
第5章線性判別函數(shù)177
5.1引言 177
5.2線性判別函數(shù)和判定面177
5.2.1兩類情況 177
5.2.2多類的情況 179
5.3廣義線性判別函數(shù) 180
5.4兩類線性可分的情況 183
5.4.1幾何解釋和術(shù)語 183
5.4.2梯度下降算法184
5.5感知器準則函數(shù)最小化186
5.5.1感知器準則函數(shù) 186
5.5.2單個樣本校正的收斂性證明187
5.5.3一些直接的推廣 190
5.6松弛算法192
5.6.1下降算法 192
5.6.2收斂性證明 194
5.7不可分的情況 195
5.8最小平方誤差方法196
5.8.1最小平方誤差及偽逆196
5.8.2與Fisher線性判別的關(guān)系 198
5.8.3最優(yōu)判別的漸近逼近199
5.8.4WidrowHoff 算法或最小均方算法 201
5.8.5隨機逼近法 202
5.9HoKashyap算法203
5.9.1下降算法 204
5.9.2收斂性證明 205
5.9.3不可分的情況206
5.9.4一些相關(guān)的算法 207
5.10線性規(guī)劃算法209
5.10.1線性規(guī)劃209
5.10.2線性可分情況209
5.10.3極小化感知器準則函數(shù)210
5.11支持向量機 211
5.12推廣到多類問題216
5.12.1Kesler構(gòu)造法217
5.12.2固定增量規(guī)則的收斂性217
5.12.3MSE算法的推廣 218
本章小結(jié)220
文獻和歷史評述220
習題221
上機練習226
參考文獻229