本書由近幾年發(fā)表在各類頂 級(jí)期刊和國際會(huì)議/研討會(huì)上的論文集結(jié)而成，囊括國內(nèi)外深度學(xué)習(xí)研究者的成果。本書關(guān)注經(jīng)典的稀疏/低秩模型與強(qiáng)調(diào)問題特定的先驗(yàn)性和可解釋性的深度網(wǎng)絡(luò)模型的集成，從而提高模型的學(xué)習(xí)能力和可解釋性，同時(shí)更有效地利用大數(shù)據(jù)。書中展示了深度學(xué)習(xí)工具箱與稀疏/低秩模型和算法的緊密聯(lián)系，并介紹了這些技術(shù)在維度約簡、動(dòng)作識(shí)別、風(fēng)格識(shí)別、親屬關(guān)系理解、圖像除霧以及生物醫(yī)學(xué)圖像分析等方面的成功應(yīng)用。本書適合有一定基礎(chǔ)的讀者閱讀，可擴(kuò)展關(guān)于理論和分析工具的研究思路，并為深度模型的架構(gòu)和解釋提供有益的指導(dǎo)。
深度學(xué)習(xí)在機(jī)器學(xué)習(xí)、數(shù)據(jù)分析和計(jì)算機(jī)視覺的各種應(yīng)用中取得了巨大的成功。它易于并行化，推理復(fù)雜度較低，可以端到端聯(lián)合調(diào)優(yōu)。然而，通用的深度架構(gòu)——通常被稱為“黑盒”方法，在很大程度上忽略了問題特定的公式表示和領(lǐng)域知識(shí)。這些架構(gòu)依賴于堆疊一些臨時(shí)的模塊，這使得解釋其工作機(jī)制變得非常困難。盡管可憑借一些假設(shè)和直覺，但人們普遍認(rèn)為很難理解深度模型為什么會(huì)起作用，以及它們?nèi)绾闻c經(jīng)典機(jī)器學(xué)習(xí)模型相關(guān)聯(lián)。另一方面，稀疏性和低秩性是經(jīng)典機(jī)器學(xué)習(xí)中很容易被利用的正則化。通過利用高維數(shù)據(jù)的潛在低維子空間結(jié)構(gòu)，這種方法在許多圖像處理和理解任務(wù)中取得了巨大成功。
本書概述了近期關(guān)于深度學(xué)習(xí)模型與稀疏模型和低秩模型集成的研究趨勢。本書適合具備深度學(xué)習(xí)和稀疏/低秩模型基礎(chǔ)知識(shí)的讀者閱讀，書中還特別強(qiáng)調(diào)概念和應(yīng)用，希望能幫助更多的讀者。本書涵蓋的研究將經(jīng)典的稀疏模型和低秩模型與深度網(wǎng)絡(luò)模型進(jìn)行銜接，其中，稀疏和低秩模型強(qiáng)調(diào)問題特定的先驗(yàn)性和可解釋性，而深度網(wǎng)絡(luò)模型具有更強(qiáng)的學(xué)習(xí)能力，同時(shí)能更好地利用大數(shù)據(jù)。你將會(huì)看到，深度學(xué)習(xí)工具箱與稀疏/低秩模型和算法緊密相關(guān)。這樣的觀點(diǎn)有望推動(dòng)各類理論和分析工具的研究工作，引導(dǎo)深度模型的架構(gòu)設(shè)計(jì)和解釋。理論和建模的進(jìn)展將與計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)、信號(hào)處理、數(shù)據(jù)挖掘等方面的諸多應(yīng)用相輔相成。
致謝
感謝Elsevier團(tuán)隊(duì)的Ana Claudia A Garcia、Tim Pitts、Kamesh Ramajogi等在本書出版過程中對(duì)我們的悉心指導(dǎo)。感謝UIUC圖像生成與處理（IFP）團(tuán)隊(duì)的學(xué)生及畢業(yè)生，與他們的學(xué)術(shù)合作及討論令我們受益匪淺。還要感謝所有章節(jié)的作者對(duì)本書的辛勤付出。
編著者
---作者簡介---
王章陽（Zhangyang Wang） 得克薩斯農(nóng)工大學(xué)（TAMU）計(jì)算機(jī)科學(xué)與工程系助理教授，致力于利用先進(jìn)的特征學(xué)習(xí)和優(yōu)化技術(shù)解決機(jī)器學(xué)習(xí)、計(jì)算機(jī)視覺和多媒體信號(hào)處理問題。他擁有伊利諾伊大學(xué)厄巴納-香檳分校電子與計(jì)算機(jī)工程博士學(xué)位，師從黃煦濤教授。
傅云（Yun Fu）
美國東北大學(xué)工程學(xué)院和計(jì)算機(jī)與信息科學(xué)學(xué)院的跨學(xué)科教師，研究方向?yàn)闄C(jī)器學(xué)習(xí)、計(jì)算智能、大數(shù)據(jù)挖掘、計(jì)算機(jī)視覺、模式識(shí)別和信息物理融合系統(tǒng)。他是IAPR和SPIE會(huì)士，曾獲得IEEE和IAPR等頒發(fā)的多項(xiàng)研究獎(jiǎng)勵(lì)。
黃煦濤（Thomas S. Huang） 伊利諾伊大學(xué)厄巴納-香檳分校電子與計(jì)算機(jī)工程系教授，研究興趣包括計(jì)算機(jī)視覺、圖像壓縮和增強(qiáng)、模式識(shí)別和多模態(tài)信號(hào)處理等。他是美國國家工程院院士、IAPR會(huì)士，曾獲得包括IEEE Jack Kilby信號(hào)處理獎(jiǎng)?wù)隆APR King-Sun Fu獎(jiǎng)、國際計(jì)算機(jī)視覺會(huì)議Azriel Rosenfeld終身成就獎(jiǎng)在內(nèi)的眾多獎(jiǎng)項(xiàng)。他于2020年4月去世。
---譯者簡介---
黃智瀕 博士，北京郵電大學(xué)計(jì)算機(jī)學(xué)院講師。長期從事智能機(jī)器學(xué)習(xí)、超大規(guī)模并行計(jì)算、三維計(jì)算機(jī)視覺和深度學(xué)習(xí)架構(gòu)方面的研究。
譯者序
前言
主要作者簡介
所有作者列表
第1章引言1
11深度學(xué)習(xí)基礎(chǔ)1
12稀疏與低秩模型基礎(chǔ)2
13連接深度學(xué)習(xí)與稀疏和低秩模型2
14本書章節(jié)結(jié)構(gòu)3
15參考文獻(xiàn)4
第2章雙層稀疏編碼：高光譜圖像分類示例7
21引言7
22公式和算法9
221符號(hào)表示9
222聯(lián)合特征的提取和分類9
223雙層優(yōu)化公式11
224算法12
23實(shí)驗(yàn)13
231對(duì)AVIRIS印第安納松樹數(shù)據(jù)的分類性能16
232對(duì)AVIRIS薩利納斯數(shù)據(jù)的分類性能17
233對(duì)帕維亞大學(xué)數(shù)據(jù)的分類性能18
24結(jié)論19
25附錄20
26參考文獻(xiàn)21
第3章深度0編碼器:模型展開示例23
31引言23
32相關(guān)工作24
321基于0和1的稀疏近似24
3221近似的網(wǎng)絡(luò)實(shí)現(xiàn)24
33深度0編碼器25
331深度0正則化編碼器25
332深度M稀疏0編碼器27
333理論屬性28
34任務(wù)驅(qū)動(dòng)的優(yōu)化28
35實(shí)驗(yàn)28
351實(shí)現(xiàn)28
3520稀疏近似的仿真29
353在分類上的應(yīng)用30
354在聚類上的應(yīng)用31
36結(jié)論和關(guān)于理論屬性的討論33
37參考文獻(xiàn)33
第4章單幅圖像超分辨率：從稀疏編碼到深度學(xué)習(xí)37
41通過具有稀疏先驗(yàn)的深度網(wǎng)絡(luò)實(shí)現(xiàn)可靠的單幅圖像超分辨率37
411引言37
412相關(guān)研究38
413基于稀疏編碼網(wǎng)絡(luò)的圖像SR39
414用于可擴(kuò)展SR的網(wǎng)絡(luò)級(jí)聯(lián)43
415真實(shí)場景下的魯棒SR45
416實(shí)現(xiàn)細(xì)節(jié)47
417實(shí)驗(yàn)48
418主觀評(píng)價(jià)55
419結(jié)論和未來工作57
42學(xué)習(xí)單幅圖像超分辨率的混合深度網(wǎng)絡(luò)58
421引言58
422所提出的方法59
423實(shí)現(xiàn)細(xì)節(jié)61
424實(shí)驗(yàn)結(jié)果61
425結(jié)論和未來工作65
43參考文獻(xiàn)66
第5章從雙層稀疏聚類到深度聚類69
51稀疏編碼和可判別聚類的聯(lián)合優(yōu)化框架69
511引言69
512模型表示70
513面向聚類的成本函數(shù)71
514實(shí)驗(yàn)74
515結(jié)論79
516附錄79
52學(xué)習(xí)用于聚類的任務(wù)特定的深度架構(gòu)80
521引言80
522相關(guān)研究81
523模型表示81
524深入觀察：DTAGnet的分層聚類84
525實(shí)驗(yàn)結(jié)果85
526結(jié)論92
53參考文獻(xiàn)92
第6章信號(hào)處理95
61深度優(yōu)化的壓縮傳感技術(shù)95
611背景95
612壓縮傳感的端到端優(yōu)化模型96
613DOCS：前饋CS和聯(lián)合優(yōu)化CS97
614實(shí)驗(yàn)99
615結(jié)論102
62用于語音去噪的深度學(xué)習(xí)103
621引言103
622用于光譜去噪的神經(jīng)網(wǎng)絡(luò)103
623實(shí)驗(yàn)結(jié)果106
624結(jié)論和未來工作110
63參考文獻(xiàn)111
第7章維度約簡113
71帶有局部限制的邊緣化去噪字典學(xué)習(xí)113
711引言113
712相關(guān)研究114
713帶有局部限制的邊緣化去噪字典學(xué)習(xí)模型116
714實(shí)驗(yàn)124
715結(jié)論131
716未來工作131
72學(xué)習(xí)用于哈希的深度∞編碼器131
721引言132
722ADMM算法133
723深度∞編碼器134
724用于哈希的深度∞連體網(wǎng)絡(luò)136
725圖像哈希實(shí)驗(yàn)137
726結(jié)論142
73參考文獻(xiàn)142
第8章動(dòng)作識(shí)別145
81跨視角動(dòng)作識(shí)別的深度學(xué)習(xí)的視角不變特征145
811引言145
812相關(guān)工作146
813深度學(xué)習(xí)的視角不變特征147
814實(shí)驗(yàn)152
82基于混合神經(jīng)網(wǎng)絡(luò)的深度攝像機(jī)動(dòng)作識(shí)別157
821引言157
822相關(guān)工作158
823混合卷積遞歸神經(jīng)網(wǎng)絡(luò)159
824實(shí)驗(yàn)163
83結(jié)論166
84參考文獻(xiàn)167
第9章風(fēng)格識(shí)別和親屬關(guān)系理解171
91基于深度學(xué)習(xí)的風(fēng)格分類171
911背景171
912棧式自編碼器的預(yù)備知識(shí)174
913風(fēng)格中心化自編碼器174
914共識(shí)風(fēng)格中心化自編碼器177
915實(shí)驗(yàn)181
92可視化親屬關(guān)系理解185
921背景185
922相關(guān)工作186
923家族面部187
924正則化并行自編碼器188
925實(shí)驗(yàn)結(jié)果192
93研究挑戰(zhàn)和未來工作198
94參考文獻(xiàn)198
第10章圖像除霧：改進(jìn)技術(shù)203
101引言203
102回顧和任務(wù)描述204
1021霧建模和除霧方法204
1022RESIDE數(shù)據(jù)集205
103任務(wù)1:除霧恢復(fù)205
104任務(wù)2:用于檢測的除霧207
1041解決方案集1：增強(qiáng)級(jí)聯(lián)中的除霧和檢測模塊207
1042解決方案集2：域自適應(yīng)MaskRCNN208
105結(jié)論210
106參考文獻(xiàn)211
第11章生物醫(yī)學(xué)圖像分析：自動(dòng)肺癌診斷213
111引言213
112相關(guān)研究214
113方法論214
114實(shí)驗(yàn)217
115結(jié)論219
116致謝220
117參考文獻(xiàn)220
書單推薦
