|
關(guān)于我們
 書單推薦 新書推薦 |
深度學(xué)習(xí)之模型設(shè)計(jì)：核心算法與案例實(shí)踐 
定 價(jià)：88 元 叢書名：循序漸進(jìn)學(xué)AI系列叢書
9 7 3 8 9 7 0 1 3 2 0 1 2  本書理論知識體系完備，由淺入深，系統(tǒng)性地介紹了深度學(xué)習(xí)模型的發(fā)展脈絡(luò)，以及模型深度設(shè)計(jì)、模型寬度設(shè)計(jì)、模型通道維度設(shè)計(jì)、殘差連接設(shè)計(jì)、分組卷積設(shè)計(jì)、多尺度與非正常卷積設(shè)計(jì)、多輸入網(wǎng)絡(luò)設(shè)計(jì)、時(shí)序神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)、三維卷積網(wǎng)絡(luò)設(shè)計(jì)、動態(tài)推理模型與注意力機(jī)制設(shè)計(jì)、生成對抗網(wǎng)絡(luò)設(shè)計(jì)這10類主流的深度學(xué)習(xí)模型設(shè)計(jì)思想。同時(shí)，本書為各模型設(shè)計(jì)思想提供了大量的實(shí)例，供讀者實(shí)戰(zhàn)演練。 本書注重內(nèi)容的完整性與實(shí)用性，既可以作為深度學(xué)習(xí)與計(jì)算機(jī)視覺初學(xué)者、相關(guān)專業(yè)的在校學(xué)生學(xué)習(xí)核心算法的書籍，也可以作為相關(guān)工程人員查閱相關(guān)技術(shù)的參考手冊。 為什么要寫這本書 近10年，以深度學(xué)習(xí)為代表的機(jī)器學(xué)習(xí)技術(shù)在圖像處理、語音識別、自然語言處理等領(lǐng)域取得了非常多的突破，這離不開深度學(xué)習(xí)模型結(jié)構(gòu)設(shè)計(jì)，尤其是深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展。 早期，以AlexNet和VGGNet為代表的模型結(jié)構(gòu)設(shè)計(jì)往往在提升深度和寬度上做努力，這提升了模型在圖像分類等基礎(chǔ)任務(wù)上的性能，但一味地加深加寬網(wǎng)絡(luò)并不能持續(xù)提高模型的性能，甚至?xí)媾R因優(yōu)化困難而導(dǎo)致模型性能下降的問題。隨后，以跳層連接為核心思想的殘差網(wǎng)絡(luò)模型在工業(yè)界和學(xué)術(shù)界取得了成功，成了更好的基礎(chǔ)模型，被廣泛應(yīng)用于各類任務(wù)。 移動端對于模型的體積和運(yùn)行速度非常敏感，以MobileNet為代表的分組卷積模型和以1×1卷積為核心的維度變換技術(shù)在模型壓縮應(yīng)用中占據(jù)了非常重要的位置。為了節(jié)約計(jì)算，研究者們還提出了對不同難度的輸入樣本動態(tài)調(diào)整結(jié)構(gòu)的新奇設(shè)計(jì)思想。 為了提高對不同尺度目標(biāo)的檢測能力，多尺度設(shè)計(jì)和非正常卷積被廣泛研究，每個(gè)從事相關(guān)研究的技術(shù)人員都掌握這些知識。 這幾年，生成對抗網(wǎng)絡(luò)從學(xué)術(shù)界走向了工業(yè)界，不僅帶來了很多新的研究領(lǐng)域和應(yīng)用，還被用于許多基礎(chǔ)任務(wù)輔助提升相關(guān)模型的性能。 另外，多輸入網(wǎng)絡(luò)、三維卷積、時(shí)序網(wǎng)絡(luò)等在各自的領(lǐng)域都發(fā)揮著重要作用。 如何系統(tǒng)性地了解深度學(xué)習(xí)模型的發(fā)展，同時(shí)緊隨理論進(jìn)行全面的實(shí)踐，這是筆者一直研究的問題，也是本書要解決的問題。 關(guān)于本書作者 本書作者龍鵬，筆名言有三，畢業(yè)于中國科學(xué)院，有超過5年的深度學(xué)習(xí)領(lǐng)域從業(yè)經(jīng)驗(yàn)，以及超過6年的計(jì)算機(jī)視覺從業(yè)經(jīng)驗(yàn)，創(chuàng)辦了微信公眾號《有三AI》和知識星球《有三AI》等知識生態(tài)，目前已經(jīng)全職做內(nèi)容輸出，于2019年花費(fèi)大半年時(shí)間總結(jié)多年的知識積累和深度學(xué)習(xí)項(xiàng)目經(jīng)驗(yàn)并撰寫了這本書。 本書聚焦于深度學(xué)習(xí)模型設(shè)計(jì)問題，在本書出版之前，筆者在所維護(hù)的微信公眾號、知乎、阿里天池、知識星球等平臺做出了很多的分享，本書可以作為對這些分享的一個(gè)更加系統(tǒng)的總結(jié)。讀者也可以持續(xù)關(guān)注筆者的以上平臺，獲取更新的知識。 因受筆者水平和成書時(shí)間所限，本書難免存有疏漏和錯(cuò)誤之處，敬請大家關(guān)注我們的內(nèi)容生態(tài)，并溝通指正。 本書特色 1．循序漸進(jìn)，內(nèi)容系統(tǒng) 本書首先從計(jì)算機(jī)視覺、圖像處理的背景和基礎(chǔ)理論開始介紹，然后過渡到深度學(xué)習(xí)基礎(chǔ)。在介紹深度學(xué)習(xí)模型設(shè)計(jì)的內(nèi)容時(shí)，筆者首先針對深度學(xué)習(xí)模型的深度、寬度等基礎(chǔ)維度分章節(jié)進(jìn)行了深刻的原理分析和實(shí)踐。隨后對于性能優(yōu)良的殘差網(wǎng)絡(luò)、移動端高效的分組網(wǎng)絡(luò)、各類任務(wù)中常見的多尺度和非規(guī)則卷積技術(shù)進(jìn)行了介紹，并對多輸入網(wǎng)絡(luò)、時(shí)序網(wǎng)絡(luò)、三維卷積、動態(tài)變化的網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)等各類模型進(jìn)行了原理介紹和實(shí)踐，覆蓋了大量應(yīng)用場景。本書內(nèi)容由淺入深，適合系統(tǒng)性進(jìn)階學(xué)習(xí)。 2．內(nèi)容全面與前沿 本書共14章，其中第4～14章針對深度學(xué)習(xí)模型中的各類設(shè)計(jì)思想進(jìn)行了詳細(xì)的介紹，時(shí)間跨度長達(dá)數(shù)十年，覆蓋了從卷積神經(jīng)網(wǎng)絡(luò)的誕生到學(xué)術(shù)界和工業(yè)界的最新發(fā)展等內(nèi)容。當(dāng)然由于篇幅有限，本書還未包含自動化模型設(shè)計(jì)及圖神經(jīng)網(wǎng)絡(luò)等內(nèi)容，這些將在本書的后續(xù)版本及模型優(yōu)化進(jìn)階書籍中進(jìn)行介紹。 3．理論與實(shí)踐緊密結(jié)合 本書完整剖析了深度學(xué)習(xí)模型設(shè)計(jì)技術(shù)，對應(yīng)章節(jié)不停留于理論的闡述和簡單的結(jié)果展示，而是從夯實(shí)理論到完成實(shí)戰(zhàn)一氣呵成。相信跟隨本書進(jìn)行學(xué)習(xí)，通過筆者對深度學(xué)習(xí)模型的介紹和設(shè)計(jì)，讀者一定會受益匪淺。 本書內(nèi)容及體系結(jié)構(gòu) 第1章神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺基礎(chǔ)：對計(jì)算機(jī)視覺基礎(chǔ)、神經(jīng)網(wǎng)絡(luò)的核心概念進(jìn)行了簡單介紹，這是全書的基礎(chǔ)。 第2章深度學(xué)習(xí)的基礎(chǔ)：簡單介紹了全連接神經(jīng)網(wǎng)絡(luò)的局限性和深度學(xué)習(xí)帶來的突破，重點(diǎn)介紹了深度學(xué)習(xí)中的優(yōu)化方法，包括激活函數(shù)、正則化方法、歸一化方法、優(yōu)化方法等，旨在讓讀者掌握深度卷積神經(jīng)網(wǎng)絡(luò)中的優(yōu)化基礎(chǔ)內(nèi)容。 第3章數(shù)據(jù)集、評測指標(biāo)與優(yōu)化目標(biāo)：對本書中頻繁使用的數(shù)據(jù)集和評測指標(biāo)進(jìn)行了集中介紹，它使本書更加精簡、結(jié)構(gòu)清晰。 第4章加深網(wǎng)絡(luò)，提升模型性能：回顧了經(jīng)典的淺層卷積神經(jīng)網(wǎng)絡(luò)Neocognitron，TDNN 及LeNet系列，介紹了AlexNet和以VGGNet為代表的網(wǎng)絡(luò)在提升模型深度后帶來的模型性能提升，探索了需要更深的網(wǎng)絡(luò)結(jié)構(gòu)的原因，從理論和實(shí)踐分析了網(wǎng)絡(luò)的深度對模型性能的影響。 第5章1×1卷積，通道維度升降的利器：討論了特征通道的信息融合方式，詳細(xì)介紹了以1×1卷積為核心的維度變換技術(shù)在模型壓縮中的應(yīng)用，實(shí)踐分析了1×1卷積在瓶頸結(jié)構(gòu)設(shè)計(jì)和提升模型表達(dá)能力中的應(yīng)用。 第6章加寬網(wǎng)絡(luò)，提升模型性能：介紹了需要更寬的網(wǎng)絡(luò)結(jié)構(gòu)的原因，總結(jié)了經(jīng)典模型的寬度設(shè)計(jì)思想，從理論和實(shí)踐分析了網(wǎng)絡(luò)寬度對模型性能的影響。 第7章殘差連接，深層網(wǎng)絡(luò)收斂的關(guān)鍵：介紹了殘差連接的基本結(jié)構(gòu)和歷史由來，探索了殘差網(wǎng)絡(luò)有效性的原理，總結(jié)了殘差網(wǎng)絡(luò)的主要結(jié)構(gòu)演變，實(shí)踐分析了它在圖像分割任務(wù)中的作用。 第8章分組卷積與卷積拆分，移動端高效率經(jīng)典模型：介紹了通道分組與卷積拆分的思想，總結(jié)了分組網(wǎng)絡(luò)的各類結(jié)構(gòu)演變，實(shí)踐了分組卷積在高效模型設(shè)計(jì)中的應(yīng)用。 第9章多尺度網(wǎng)絡(luò)與非正常卷積，更豐富的感受野與不變性：介紹了目標(biāo)的常見變換及獲取不變性的方法，總結(jié)了常見的多尺度設(shè)計(jì)和帶孔卷積、可變形卷積等非規(guī)則的卷積設(shè)計(jì)思想，實(shí)踐分析了空間變換網(wǎng)絡(luò)對各種變換的學(xué)習(xí)能力。 第10章多輸入網(wǎng)絡(luò)，圖像檢索和排序的基準(zhǔn)模型：分析了多輸入網(wǎng)絡(luò)的應(yīng)用場景，介紹了其中常見的多輸入結(jié)構(gòu)，實(shí)踐了多輸入模型在目標(biāo)跟蹤中的應(yīng)用。 第11章時(shí)序神經(jīng)網(wǎng)絡(luò)，有記憶的網(wǎng)絡(luò)更聰明：介紹了常見的時(shí)序模型，包括單向和雙向的RNN模型、LSTM模型，對其在視頻分類中的應(yīng)用進(jìn)行了實(shí)踐。 第12章卷積從二維變成三維，實(shí)現(xiàn)升維打擊：介紹了三維卷積的基本原理及其在視頻分類和三維醫(yī)學(xué)圖像中的應(yīng)用，使用三維卷積完成了一個(gè)視頻分類任務(wù)。 第13章動態(tài)推理與注意力機(jī)制，網(wǎng)絡(luò)因樣本而異：介紹了在訓(xùn)練和推理過程中拓?fù)浣Y(jié)構(gòu)會動態(tài)變化的網(wǎng)絡(luò)結(jié)構(gòu)，介紹了注意力機(jī)制網(wǎng)絡(luò)，實(shí)踐分析了動態(tài)推理網(wǎng)絡(luò)BranchyNet在節(jié)省模型計(jì)算量任務(wù)中的表現(xiàn)。 第14章生成對抗網(wǎng)絡(luò)：生成對抗網(wǎng)絡(luò)是近幾年深度學(xué)習(xí)領(lǐng)域的重要新進(jìn)展，本章介紹了生成對抗網(wǎng)絡(luò)的基本原理，闡述了生成對抗網(wǎng)絡(luò)的優(yōu)化目標(biāo)、模型結(jié)構(gòu)發(fā)展，并對圖像生成任務(wù)進(jìn)行了簡單實(shí)踐。 本書讀者對象 本書是一本專門介紹深度學(xué)習(xí)模型，尤其是深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域應(yīng)用的書籍，因此對讀者的基礎(chǔ)有一定的要求。 首先，讀者必須要具備基本的數(shù)學(xué)知識，包括概率論、最優(yōu)化理論等。 其次，讀者需要具備基本的傳統(tǒng)數(shù)字圖像處理知識和計(jì)算機(jī)視覺理論知識。 最后，讀者需要具備Python等編程能力，掌握Caffe、TensorFlow、Pytorch等主流的深度學(xué)習(xí)框架。 本書適合以下讀者： 學(xué)習(xí)深度學(xué)習(xí)相關(guān)技術(shù)的學(xué)生； 講授深度學(xué)習(xí)理論和實(shí)踐課程的老師、培訓(xùn)機(jī)構(gòu)； 從事或即將從事深度學(xué)習(xí)相關(guān)工作的研究人員和工程師； 對深度學(xué)習(xí)模型的整個(gè)發(fā)展脈絡(luò)和核心設(shè)計(jì)思想感興趣，想系統(tǒng)性了解和學(xué)習(xí)的各行業(yè)人員。 致謝 雖然筆者獨(dú)立完成了本書的寫作，但在這個(gè)過程中也得到了一些幫助。 感謝電子工業(yè)出版社的米俊萍編輯的信任，聯(lián)系我寫作本書，并在后續(xù)的編輯校稿過程中做了大量工作。 感謝有三AI公眾號和有三AI知識星球的忠實(shí)讀者們，是你們的閱讀和付費(fèi)支持讓我有了繼續(xù)前行的力量。 感謝本書中GitHub開源項(xiàng)目的貢獻(xiàn)者，是你們無私的技術(shù)分享，讓更多人因此受益，這是這個(gè)技術(shù)時(shí)代最偉大的事情。感謝前赴后繼提出書中各種方法的研究人員，因?yàn)槟銈兊男量喔冻霾庞辛吮緯膬?nèi)容。 感謝我的家人的寬容，因?yàn)槭聵I(yè)，給你們的時(shí)間很少，希望以后會做得更好。
有三 于北京 2019年12月31日 作者言有三，畢業(yè)于中國科學(xué)院，有超過5年的深度學(xué)習(xí)領(lǐng)域從業(yè)經(jīng)驗(yàn)，以及超過6年的計(jì)算機(jī)視覺從業(yè)經(jīng)驗(yàn)，創(chuàng)辦了微信公眾號《有三AI》和知識星球《有三AI》等知識生態(tài)，目前已經(jīng)全職做內(nèi)容輸出，于2019年花費(fèi)大半年時(shí)間總結(jié)多年的知識積累和深度學(xué)習(xí)項(xiàng)目經(jīng)驗(yàn)并撰寫了這本書。 第1章 神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺基礎(chǔ) 第1章 神經(jīng)網(wǎng)絡(luò)和計(jì)算機(jī)視覺基礎(chǔ) 1 1.1 計(jì)算機(jī)視覺 1 1.1.1 研究視覺的重要性 1 1.1.2 生物學(xué)視覺原理與視覺分層理論 2 1.2 數(shù)字圖像基礎(chǔ) 3 1.2.1 數(shù)字圖像基礎(chǔ)概述 3 1.2.4 數(shù)字圖像處理基礎(chǔ) 7 1.3 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 11 1.3.1 生物神經(jīng)元與人工神經(jīng)網(wǎng)絡(luò) 12 1.3.2 感知機(jī)是神經(jīng)網(wǎng)絡(luò)嗎 12 1.3.3 BP算法 16 第2章 深度學(xué)習(xí)的基礎(chǔ) 20 2.1 全連接神經(jīng)網(wǎng)絡(luò)的局限性 20 2.1.1 學(xué)習(xí)原理的缺陷 20 2.1.2 全連接神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)缺陷 21 2.1.3 高性能的傳統(tǒng)機(jī)器學(xué)習(xí)算法 22 2.2 深度學(xué)習(xí)第三次復(fù)興簡史 22 2.2.1 互聯(lián)網(wǎng)與大數(shù)據(jù)來了 23 2.2.2 GPU的普及 23 2.2.3 深層神經(jīng)網(wǎng)絡(luò)華麗歸來 24 2.2.4 語音識別的重大突破 25 2.2.4 圖像識別的重大突破 26 2.2.5 自然語言處理的重大突破 28 2.3 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 29 2.3.1 卷積操作 29 2.3.2 反卷積操作 30 2.3.3 卷積神經(jīng)網(wǎng)絡(luò)基本概念 31 2.3.4 卷積神經(jīng)網(wǎng)絡(luò)的核心思想 33 2.3.5 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)配置 33 2.4 深度學(xué)習(xí)優(yōu)化基礎(chǔ) 37 2.4.1 激活模型與常用激活函數(shù) 38 2.4.2 參數(shù)初始化方法 43 2.4.3 歸一化方法 45 2.4.4 池化 49 2.4.5 最優(yōu)化方法 50 2.4.6 學(xué)習(xí)率策略 54 2.4.7 正則化方法 57 2.5 深度學(xué)習(xí)主流開源框架 60 2.5.1 Caffe 60 2.5.2 TensorFlow 61 2.5.3 Pytorch 61 2.5.4 Theano 62 2.5.5 Keras 62 2.5.6 MXNet 63 2.5.7 Chainer 63 參考文獻(xiàn) 64 第3章 數(shù)據(jù)集、評測指標(biāo)與優(yōu)化目標(biāo) 66 3.1 數(shù)據(jù)集 66 3.1.1 分類數(shù)據(jù)集MNIST 66 3.1.2 ImageNet 66 3.1.3 分類數(shù)據(jù)集GHIM-10k 67 3.1.4 分類數(shù)據(jù)集Place20 67 3.1.5 肖像分割數(shù)據(jù)集 68 3.1.6 視頻分類數(shù)據(jù)集UCF101 68 3.1.7 目標(biāo)跟蹤數(shù)據(jù)集ImageNet VIDEO 68 3.2 評測指標(biāo) 69 3.2.1 分類評測指標(biāo) 69 3.2.2 檢索與回歸評測指標(biāo) 73 3.2.3 圖像生成評測指標(biāo) 75 3.3 優(yōu)化目標(biāo) 76 3.3.1 分類任務(wù)損失 76 3.3.2 回歸任務(wù)損失 78 參考文獻(xiàn) 80 第4章 加深網(wǎng)絡(luò)，提升模型性能 81 4.1 經(jīng)典的淺層卷積神經(jīng)網(wǎng)絡(luò) 81 4.1.1 Neocognitron網(wǎng)絡(luò) 81 4.1.2 TDNN 83 4.1.3 Cresceptron網(wǎng)絡(luò) 83 4.1.4 LeNet系列 84 4.2 經(jīng)典網(wǎng)絡(luò)的深度設(shè)計(jì) 87 4.2.1 AlexNet 87 4.2.2 從AlexNet到VGGNet的升級 90 4.2.3 為什么需要更深的網(wǎng)絡(luò) 93 4.3 實(shí)驗(yàn)：網(wǎng)絡(luò)深度對分類模型性能的影響 94 4.3.1 基準(zhǔn)模型 94 4.3.2 不同學(xué)習(xí)率策略與優(yōu)化方法 96 4.3.3 標(biāo)準(zhǔn)卷積模型網(wǎng)絡(luò)深度影響實(shí)驗(yàn) 104 4.3.4 MobileNet網(wǎng)絡(luò)深度影響實(shí)驗(yàn) 111 4.3.5 總結(jié) 113 參考文獻(xiàn) 114 第5章 1×1卷積，通道維度升降的利器 115 5.1 特征通道與信息融合 115 5.1.1 通道內(nèi)特征能做什么 115 5.1.2 通道間特征能做什么 116 5.2 1×1卷積及其應(yīng)用 117 5.2.1 什么是1×1卷積 117 5.2.2 1×1卷積與瓶頸結(jié)構(gòu) 117 5.2.3 1×1卷積與SqueezeNet 118 5.3 1×1卷積在瓶頸結(jié)構(gòu)中的作用 120 5.3.1 基準(zhǔn)模型 120 5.3.2 瓶頸結(jié)構(gòu)探索 126 5.3.3 訓(xùn)練結(jié)果 143 5.4 1×1卷積在增強(qiáng)網(wǎng)絡(luò)表達(dá)能力中的作用 145 5.4.1 基準(zhǔn)模型 145 5.4.2 網(wǎng)絡(luò)配置 146 5.4.3 實(shí)驗(yàn)結(jié)果 146 參考文獻(xiàn) 148 第6章 加寬網(wǎng)絡(luò)，提升模型性能 149 6.1 為什么需要更寬的網(wǎng)絡(luò)結(jié)構(gòu) 149 6.2 經(jīng)典模型的網(wǎng)絡(luò)寬度設(shè)計(jì)思想 149 6.2.1 調(diào)整通道數(shù)量 150 6.2.2 多分支網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) 152 6.2.3 通道補(bǔ)償技術(shù) 154 6.3 實(shí)驗(yàn)：網(wǎng)絡(luò)寬度對模型性能的影響 155 6.3.1 實(shí)驗(yàn)背景 155 6.3.2 訓(xùn)練結(jié)果 161 6.3.3 總結(jié) 166 參考文獻(xiàn) 166 第7章 殘差連接，深層網(wǎng)絡(luò)收斂的關(guān)鍵 167 7.1 殘差連接 167 7.1.1 什么是殘差連接 167 7.1.2 為什么殘差連接有效 169 7.2 殘差網(wǎng)絡(luò)結(jié)構(gòu)發(fā)展和應(yīng)用 171 7.2.1 密集連接的殘差網(wǎng)絡(luò)結(jié)構(gòu) 171 7.2.2 多分支殘差結(jié)構(gòu) 173 7.2.3 殘差連接與多尺度信息融合 174 7.3 跳層連接在圖像分割中的應(yīng)用 175 7.3.1 數(shù)據(jù)集與基準(zhǔn)模型 175 7.3.2 Allconv5_SEG實(shí)驗(yàn) 184 7.3.3 增加跳層連接 186 參考文獻(xiàn) 199 第8章 分組卷積與卷積拆分，移動端高效率經(jīng)典模型 201 8.1 卷積拆分與分組卷積 201 8.1.1 卷積拆分 201 8.1.2 分組卷積 201 8.2 分組卷積結(jié)構(gòu) 202 8.2.1 簡單的通道分組網(wǎng)絡(luò) 203 8.2.2 級連通道分組網(wǎng)絡(luò) 204 8.2.3 多分辨率卷積核通道分組網(wǎng)絡(luò) 205 8.2.4 多尺度通道分組網(wǎng)絡(luò) 206 8.2.5 多精度通道分組網(wǎng)絡(luò) 207 8.3 訓(xùn)練一個(gè)用于圖像分割的實(shí)時(shí)分組網(wǎng)絡(luò) 208 8.3.1 項(xiàng)目背景 208 8.3.2 嘴唇分割模型訓(xùn)練 208 8.3.3 嘴唇分割模型優(yōu)化 212 參考文獻(xiàn) 219 第9章 多尺度網(wǎng)絡(luò)與非正常卷積，更豐富的感受野與不變性 221 9.1 目標(biāo)常見變換與不變性 221 9.1.1 常見變換 221 9.1.2 從模型本身獲取不變性 221 9.1.3 從數(shù)據(jù)中學(xué)習(xí)不變性 223 9.2 多尺度網(wǎng)絡(luò)結(jié)構(gòu) 224 9.2.1 圖像金字塔 224 9.2.2 多尺度網(wǎng)絡(luò) 225 9.3 非正常卷積網(wǎng)絡(luò)結(jié)構(gòu) 228 9.3.1 帶孔卷積 228 9.3.2 可變形卷積 229 9.3.3 非局部卷積 230 9.4 STN在可變形手寫數(shù)字中的應(yīng)用 232 9.4.1 項(xiàng)目背景 232 9.4.2 STN實(shí)驗(yàn) 233 參考文獻(xiàn) 237 第10章 多輸入網(wǎng)絡(luò)，圖像檢索和排序的基準(zhǔn)模型 238 10.1 什么時(shí)候需要多個(gè)輸入 238 10.1.1 圖像檢索 238 10.1.2 目標(biāo)跟蹤 239 10.1.3 相對排序 239 10.2 常見多輸入網(wǎng)絡(luò) 240 10.2.1 Siamese網(wǎng)絡(luò) 240 10.2.2 Triplet網(wǎng)絡(luò) 241 10.3 目標(biāo)跟蹤Siamese網(wǎng)絡(luò)實(shí)戰(zhàn) 242 10.3.1 網(wǎng)絡(luò)結(jié)構(gòu) 242 10.3.2 數(shù)據(jù)讀取 244 10.3.3 損失函數(shù)和評估指標(biāo) 247 10.3.4 模型訓(xùn)練 248 10.3.5 模型測試 249 參考文獻(xiàn) 254 第11章 時(shí)序神經(jīng)網(wǎng)絡(luò)，有記憶的網(wǎng)絡(luò)更聰明 255 11.1 單向RNN和雙向RNN 255 11.1.1 RNN 255 11.1.2 雙向RNN 257 11.2 LSTM 258 11.3 LSTM視頻分類實(shí)踐 260 11.3.1 數(shù)據(jù)準(zhǔn)備 260 11.3.2 數(shù)據(jù)讀取 260 11.3.3 網(wǎng)絡(luò)定義 264 11.3.4 模型訓(xùn)練結(jié)果 269 11.3.5 總結(jié) 270 第12章 卷積從二維變成三維，實(shí)現(xiàn)升維打擊 271 12.1 三維卷積 271 12.2 三維卷積的應(yīng)用 272 12.2.1 分類任務(wù) 272 12.2.2 圖像分割 274 12.3 一個(gè)用于視頻分類的三維卷積網(wǎng)絡(luò) 274 12.3.1 基準(zhǔn)模型與數(shù)據(jù)集 275 12.3.2 數(shù)據(jù)讀取 278 12.3.3 訓(xùn)練結(jié)果 280 12.3.4 參數(shù)調(diào)試 281 12.3.5 總結(jié) 283 參考文獻(xiàn) 283 第13章 動態(tài)推理與注意力機(jī)制，網(wǎng)絡(luò)因樣本而異 284 13.1 拓?fù)浣Y(jié)構(gòu)動態(tài)變化的網(wǎng)絡(luò) 284 13.1.1 訓(xùn)練時(shí)拓?fù)浣Y(jié)構(gòu)變化的網(wǎng)絡(luò) 284 13.1.2 測試時(shí)拓?fù)浣Y(jié)構(gòu)變化的網(wǎng)絡(luò) 285 13.2 注意力機(jī)制 288 13.2.1 空間注意力模型 289 13.2.2 通道注意力模型[9] 289 13.2.3 混合注意力模型 290 13.3 基于提前退出機(jī)制的BranchyNet分類實(shí)戰(zhàn) 291 13.3.1 背景 291 13.3.2 模型定義 292 13.3.3 實(shí)驗(yàn)結(jié)果 302 參考文獻(xiàn) 305 第14章 生成對抗網(wǎng)絡(luò) 306 14.1 生成對抗網(wǎng)絡(luò)的基本原理 306 14.1.1 生成式模型與判別式模型 306 14.1.2 GAN簡介 307 14.2 生成對抗網(wǎng)絡(luò)損失的發(fā)展 308 14.2.1 GAN的損失函數(shù)問題 308 14.2.2 GAN的損失函數(shù)改進(jìn) 309 14.3 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)的發(fā)展 310 14.3.1 條件GAN 310 14.3.2 多尺度級連GAN 311 14.3.3 多判別器單生成器GAN 312 14.3.4 多生成器單判別器GAN 313 14.3.5 多生成器多判別器GAN 313 14.4 DCGAN圖像生成實(shí)戰(zhàn) 314 14.4.1 項(xiàng)目背景 314 14.4.2 項(xiàng)目解讀 315 14.4.3 實(shí)驗(yàn)結(jié)果 319 參考文獻(xiàn) 321
你還可能感興趣
我要評論
|
