本書(shū)作為一本系統(tǒng)而實(shí)用的機(jī)器視覺(jué)教材,內(nèi)容涵蓋了機(jī)器視覺(jué)領(lǐng)域的核心概念、基本原理和應(yīng)用技術(shù)。全書(shū)以Marr視覺(jué)計(jì)算理論為框架,結(jié)合作者團(tuán)隊(duì)多年教學(xué)經(jīng)驗(yàn)及研究成果,深入討論了圖像獲取、圖像處理、視覺(jué)跟蹤、2.5維視覺(jué)、三維視覺(jué)的相關(guān)知識(shí),進(jìn)一步介紹了機(jī)器視覺(jué)系統(tǒng)的實(shí)現(xiàn)和應(yīng)用實(shí)例。 本書(shū)可作為高等院校計(jì)算機(jī)、自動(dòng)化、電子工程等專(zhuān)業(yè)高年級(jí)本科生和研究生的教材,同時(shí)也適合機(jī)器視覺(jué)工程師和專(zhuān)業(yè)技術(shù)人員在項(xiàng)目實(shí)踐中參考。
屈楨深,博士學(xué)位,哈爾濱工業(yè)大學(xué)航天學(xué)院 控制科學(xué)與工程學(xué)科教授,博士生導(dǎo)師;人工智能研究院兼職研究員。AIAA高級(jí)會(huì)員,IEEE會(huì)員,中國(guó)宇航學(xué)會(huì)會(huì)員,航空學(xué)報(bào)、IEEE等期刊審稿人。近年一直從事智能感知與智能系統(tǒng)方向的研究和實(shí)踐工作。主持及承擔(dān)包括國(guó)家大科學(xué)工程、基礎(chǔ)預(yù)研、國(guó)家自然科學(xué)基金、揭榜掛帥等多項(xiàng)國(guó)家及省部級(jí)項(xiàng)目,在無(wú)人系統(tǒng)及機(jī)器視覺(jué)等方向取得一系列突破性研究成果。累計(jì)發(fā)表論文50余篇,授權(quán)專(zhuān)利二十項(xiàng),獲省部級(jí)一等獎(jiǎng)一項(xiàng),二等獎(jiǎng)一項(xiàng)。
第1 章 概述 / 1
1.1 機(jī)器視覺(jué)的定義 / 1
1.2 機(jī)器視覺(jué)任務(wù) / 2
1.3 機(jī)器視覺(jué)發(fā)展簡(jiǎn)史 / 4
1.3.1 視覺(jué)神經(jīng)生理學(xué) / 4
1.3.2 人工智能與機(jī)器學(xué)習(xí) / 5
1.3.3 數(shù)字圖像處理 / 6
1.3.4 機(jī)器視覺(jué)的發(fā)展 / 7
1.4 機(jī)器視覺(jué)應(yīng)用 / 12
1.4.1 機(jī)器人視覺(jué)分揀 / 12
1.4.2 智能視頻監(jiān)控 / 14
1.4.3 鋰電池表面缺陷檢測(cè) / 15
1.4.4 同時(shí)定位與建圖 / 16
1.5 本書(shū)內(nèi)容組織與教學(xué)建議 / 18
1.5.1 內(nèi)容組織 / 18
1.5.2 教學(xué)建議 / 19
第 2 章 圖像獲取 / 21
2.1 人類(lèi)視覺(jué)感知 / 21
2.1.1 人眼結(jié)構(gòu) / 21
2.1.2 視覺(jué)特性 / 23
2.2 照明和顏色 / 24
2.2.1 照明 / 24
2.2.2 顏色與顏色模型 / 26
2.3 視覺(jué)信息獲取 / 31
2.3.1 CCD 與 CMOS 傳感器 / 31
2.3.2 彩色圖像傳感器 / 34
2.3.3 深度圖像傳感器 / 35
2.4 圖像量化與表達(dá) / 39
2.4.1 采樣和量化 / 39
2.4.2 Gamma 校正 / 40
2.4.3 圖像的數(shù)字表達(dá) / 42
2.5 圖像壓縮與視頻壓縮 / 44
2.5.1 圖像壓縮 / 44
2.5.2 視頻壓縮 / 45
2.5.3 視頻壓縮標(biāo)準(zhǔn) / 46
第 3 章 圖像處理 / 49
3.1 圖像的傅里葉變換 / 49
3.1.1 頻域與時(shí)域 / 49
3.1.2 典型的二維信號(hào) / 50
3.1.3 傅里葉變換 / 51
3.2 圖像濾波 / 57
3.2.1 線性濾波 / 58
3.2.2 非線性濾波 / 61
3.2.3 頻域?yàn)V波 / 63
3.3 邊緣檢測(cè) / 67
3.3.1 邊緣檢測(cè)原理 / 67
3.3.2 邊緣檢測(cè)線性算子 / 68
3.4 數(shù)學(xué)形態(tài)學(xué)濾波 / 75
3.4.1 數(shù)學(xué)形態(tài)學(xué)濾波基礎(chǔ) / 75
3.4.2 數(shù)學(xué)形態(tài)學(xué)運(yùn)算 / 76
第 4 章 圖像分割與描述 / 81
4.1 圖像直方圖與閾值分割 / 81
4.1.1 圖像直方圖 / 82
4.1.2 閾值分割 / 84
4.1.3 局部閾值分割 / 86
4.2 基于區(qū)域生長(zhǎng)的圖像分割 / 87
4.2.1 區(qū)域生長(zhǎng)與圖像填充 / 87
4.2.2 種子點(diǎn)的自動(dòng)選取 / 88
4.2.3 區(qū)域生長(zhǎng)準(zhǔn)則 / 89
4.3 分水嶺分割算法 / 90
4.3.1 基本思想 / 90
4.3.2 數(shù)學(xué)描述 / 92
4.3.3 實(shí)驗(yàn)效果 / 92
4.3.4 改進(jìn)的分水嶺分割算法 / 94
4.4 活動(dòng)輪廓與 Snake 模型 / 94
4.4.1 基于能量泛函的分割方法 / 94
4.4.2 Snake 模型 / 95
4.4.3 Snake 模型計(jì)算步驟與實(shí)驗(yàn)效果 / 96
4.5 圖像標(biāo)記 / 97
4.6 圖像描述 / 99
4.6.1 簡(jiǎn)單描述符 / 99
4.6.2 圖像的 Hu 不變矩 / 103
第 5 章 特征檢測(cè)與匹配 / 106
5.1 角點(diǎn)檢測(cè) / 106
5.1.1 角點(diǎn) / 106
5.1.2 Harris 角點(diǎn)檢測(cè) / 107
5.1.3 SIFT 角點(diǎn)檢測(cè) / 109
5.1.4 SURF 角點(diǎn)檢測(cè) / 113
5.1.5 ORB 角點(diǎn)檢測(cè) / 115
5.1.6 角點(diǎn)檢測(cè)算法比較 / 116
5.2 特征匹配 / 117
5.3 Hough 變換與形狀檢測(cè) / 119
5.3.1 Hough 變換原理 / 119
5.3.2 Hough 線變換 / 120
5.3.3 Hough 圓變換 / 121
第 6 章 運(yùn)動(dòng)估計(jì)與濾波 / 123
6.1 背景提取 / 123
6.1.1 背景建;舅枷 / 123
6.1.2 基于單一高斯模型的背景建模 / 124
6.1.3 混合高斯模型 / 126
6.1.4 基于混合高斯模型的背景建模 / 127
6.2 光流估計(jì) / 129
6.2.1 基本光流方程 / 129
6.2.2 Lucas-Kanade 算法 / 130
6.2.3 金字塔光流法 / 131
6.2.4 Horn-Schunck 算法 / 132
6.3 目標(biāo)跟蹤 / 134
6.3.1 基本問(wèn)題 / 134
6.3.2 Meanshift 算法 / 135
6.3.3 KCF 算法 / 137
6.4 運(yùn)動(dòng)模型與濾波 / 140
6.4.1 運(yùn)動(dòng)模型 / 140
6.4.2 卡爾曼濾波 / 141
6.4.3 粒子濾波 / 145
第 7 章 單目位姿測(cè)量與標(biāo)定 / 150
7.1 坐標(biāo)系與成像模型 / 150
7.1.1 坐標(biāo)系定義與坐標(biāo)變換 / 150
7.1.2 線性成像模型 / 152
7.1.3 非線性畸變模型 / 154
7.2 單目視覺(jué)相對(duì)位姿測(cè)量 / 155
7.2.1 P3P 問(wèn)題求解 / 156
7.2.2 PnP 問(wèn)題通用線性求解 / 157
7.2.3 改進(jìn)的 PnP 問(wèn)題求解 / 158
7.2.4 結(jié)果優(yōu)化 / 161
7.3 相機(jī)參數(shù)標(biāo)定 / 162
7.3.1 張正友平面標(biāo)定法 / 162
7.3.2 標(biāo)定步驟 / 165
第 8 章 多視圖幾何與三維重建 / 167
8.1 極線幾何與基礎(chǔ)矩陣 / 167
8.1.1 極線幾何 / 167
8.1.2 本質(zhì)矩陣 / 168
8.1.3 基礎(chǔ)矩陣 / 170
8.1.4 基礎(chǔ)矩陣的求解方法 / 170
8.2 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu) / 172
8.2.1 運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)問(wèn)題 / 172
8.2.2 歐式結(jié)構(gòu)恢復(fù) / 172
8.2.3 透視結(jié)構(gòu)恢復(fù) / 174
8.2.4 N 視圖的運(yùn)動(dòng)恢復(fù)結(jié)構(gòu)問(wèn)題 / 175
8.3 雙目立體視覺(jué)系統(tǒng) / 176
8.3.1 平行視圖 / 176
8.3.2 非平行視圖 / 177
8.4 圖像拼接 / 179
8.4.1 特征點(diǎn)提取與匹配 / 179
8.4.2 單應(yīng)性矩陣求解 / 179
8.4.3 圖像配準(zhǔn) / 182
8.4.4 圖像融合 / 183
8.5 三維重構(gòu) / 183
第 9 章 視覺(jué)系統(tǒng)實(shí)現(xiàn) / 187
9.1 機(jī)器視覺(jué)光源 / 188
9.1.1 照明方式 / 188
9.1.2 光源類(lèi)型 / 192
9.2 機(jī)器視覺(jué)相機(jī) / 194
9.2.1 視覺(jué)傳感器 / 194
9.2.2 相機(jī)接口 / 195
9.2.3 鏡頭接口 / 197
9.3 鏡頭 / 198
9.4 圖像采集卡 / 202
9.5 計(jì)算硬件平臺(tái) / 203
9.5.1 CPU 與基于 PC 的視覺(jué)硬件平臺(tái) / 203
9.5.2 圖形處理器 / 205
9.5.3 現(xiàn)場(chǎng)可編程門(mén)陣列 / 207
9.5.4 特定應(yīng)用硬件加速器 / 207
9.6 機(jī)器視覺(jué)軟件 / 208
9.6.1 開(kāi)源視覺(jué)框架與 OpenCV / 208
9.6.2 商業(yè)機(jī)器視覺(jué)軟件 / 210
第10 章 機(jī)器視覺(jué)應(yīng)用實(shí)例 / 216
10.1 ImageNet 與大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽 / 216
10.1.1 ImageNet 介紹 / 216
10.1.2 ImageNet 大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽 / 217
10.2 火星探測(cè)車(chē)視覺(jué)系統(tǒng) / 219
10.2.1 下降圖像運(yùn)動(dòng)估計(jì) / 221
10.2.2 視覺(jué)避險(xiǎn)與自主導(dǎo)航 / 221
10.2.3 雙目視覺(jué)測(cè)距 / 223
10.2.4 視覺(jué)里程計(jì) / 224
10.3 醫(yī)用大輸液外觀缺陷檢測(cè)系統(tǒng) / 225
10.3.1 針對(duì)畫(huà)面抖動(dòng)的圖像配準(zhǔn) / 225
10.3.2 高性能圓形檢測(cè) / 228
10.3.3 圖像分類(lèi)輕量級(jí)網(wǎng)絡(luò) / 229
10.3.4 硬件系統(tǒng)實(shí)現(xiàn) / 230
10.4 狹孔內(nèi)部缺陷檢測(cè)系統(tǒng) / 232
10.4.1 成像系統(tǒng)設(shè)計(jì) / 232
10.4.2 狹孔缺陷檢測(cè)算法設(shè)計(jì) / 235
10.4.3 實(shí)驗(yàn)結(jié)果與分析 / 237
10.5 視覺(jué) SLAM / 239
10.5.1 視覺(jué) SLAM 系統(tǒng)原理 / 239
10.5.2 視覺(jué) SLAM 框架 / 242
10.5.3 視覺(jué) SLAM 仿真驗(yàn)證 / 244
參考文獻(xiàn) / 246