深度學習是當前的人工智能領(lǐng)域的技術(shù)熱點。本書面向高等院校理工科專業(yè)學生的需求，介紹深度學習相關(guān)概念，培養(yǎng)學生研究、利用基于各類深度學習架構(gòu)的人工智能算法來分析和解決相關(guān)專業(yè)問題的能力。本書內(nèi)容包括深度學習概述、人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)、生成對抗網(wǎng)絡(luò)和深度強化學習、計算機視覺以及自然語言處理。本書適合作為高校理工科相關(guān)專業(yè)深度學習、人工智能相關(guān)課程的教材，也適合作為技術(shù)人員的參考書或自學讀物。
隨著互聯(lián)網(wǎng)與大數(shù)據(jù)時代的來臨，人工智能技術(shù)已經(jīng)成為當前科技發(fā)展的重要組成部分，并在工業(yè)智能制造、農(nóng)業(yè)自動化生產(chǎn)以及商業(yè)貿(mào)易與金融宏觀調(diào)控等領(lǐng)域得到廣泛應用�；谌斯ぶ悄芗夹g(shù)的各類產(chǎn)品已經(jīng)滲透到我們的生產(chǎn)、生活、教育、娛樂、醫(yī)療等各個方面，并逐漸改變著人們的思維習慣和行為方式�？梢哉f，人工智能技術(shù)的發(fā)展與推廣對人類社會的影響之深遠是前所未有的。
在當前的人工智能研究領(lǐng)域中，深度學習（Deep Learning）是一項備受關(guān)注的關(guān)鍵技術(shù)，并已成為熱點話題。深度學習屬于機器學習范疇，是構(gòu)成復雜人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的要素。從單純的技術(shù)角度來看，深度學習中的深度是指所配置的人工神經(jīng)網(wǎng)絡(luò)模型中的隱含層在縱向有較深的結(jié)構(gòu)。研究表明，人工神經(jīng)網(wǎng)絡(luò)的深度直接決定了它刻畫現(xiàn)實問題的能力，因為只有復雜的深層神經(jīng)元組合才能夠擬合出較為復雜的函數(shù)處理過程，從而得到有效的智能輸出結(jié)果。當然，隨著時間的推移和人工智能技術(shù)的發(fā)展，深度學習也將被賦予更廣泛、更豐富的內(nèi)涵。
深度學習不是一個孤立的概念，它與人工神經(jīng)網(wǎng)絡(luò)技術(shù)息息相關(guān)。因此，要深入了解深度學習的原理與運行機制，需要先掌握人工神經(jīng)網(wǎng)絡(luò)的基本概念和內(nèi)部結(jié)構(gòu)等知識。卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)作為深度學習中的兩大類基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，就是從傳統(tǒng)的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)衍生而來的。深度學習在各個關(guān)鍵領(lǐng)域的應用，如智能決策、計算機視覺以及自然語言處理等方面，是在這些基礎(chǔ)深度神經(jīng)網(wǎng)絡(luò)架構(gòu)之上，針對不同應用場景的數(shù)據(jù)規(guī)律與問題特征，做了進一步的網(wǎng)絡(luò)架構(gòu)整合與創(chuàng)新。
深度學習是一個比較新的概念。隨著新技術(shù)的不斷涌現(xiàn)，深度學習涉及的很多概念的內(nèi)涵和外延也在不斷突破和發(fā)展，其中的一些新觀點、新見解尚未在學術(shù)界及產(chǎn)業(yè)界形成統(tǒng)一的認識，相關(guān)的理論體系還不是很完善，仍然在持續(xù)創(chuàng)新和演變過程中。然而，深度學習又是當前人工智能領(lǐng)域的關(guān)鍵技術(shù)，也是開發(fā)各類人工智能算法的核心要素。本書力圖通過闡述深度學習所涉及的基本概念、運行原理與應用分類，使讀者形成較為完整的關(guān)于深度學習相關(guān)概念的認知，從而為進一步研究和開發(fā)各專業(yè)領(lǐng)域的人工智能算法打下良好的基礎(chǔ)。
本書根據(jù)高等院校理工科專業(yè)特別是新工科相關(guān)專業(yè)學生的學習需求，介紹深度學習的相關(guān)概念，培養(yǎng)學生利用基于各類深度學習架構(gòu)的人工智能算法來分析和解決相關(guān)專業(yè)問題的能力。
全書共分6章，主要內(nèi)容如下。
第1章深度學習概述主要介紹深度學習產(chǎn)生的歷史背景及發(fā)展歷程，并簡述深度學習的基本概念及應用場景。
第2章人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)介紹人工神經(jīng)網(wǎng)絡(luò)的理論抽象模型，并給出神經(jīng)網(wǎng)絡(luò)中的前向傳播機制和反向傳播機制以及基于反向傳播算法的神經(jīng)網(wǎng)絡(luò)設(shè)計流程。
第3章卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)介紹卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)這兩種深度神經(jīng)網(wǎng)絡(luò)架構(gòu)的基本概念、內(nèi)部結(jié)構(gòu)、工作機制與主要應用場景。
第4章生成對抗網(wǎng)絡(luò)和深度強化學習介紹生成對抗網(wǎng)絡(luò)的博弈與訓練過程以及強化學習的基本原理和Q-Learning算法，并給出與之相關(guān)的網(wǎng)絡(luò)模型和框架。
第5章計算機視覺介紹計算機視覺的圖像預處理、相關(guān)算法分析和特征提取以及目標匹配等原理，還給出圖像與視頻分類以及目標檢測常用的深度學習網(wǎng)絡(luò)結(jié)構(gòu)。
第6章自然語言處理介紹自然語言處理中的詞嵌入算法和注意力機制，闡述文本分類、自動文本摘要和自動問答的相關(guān)技術(shù)，并給出自然語言處理在應用領(lǐng)域的主要模型。
為了便于讀者進一步理解和掌握深度學習的基本概念和應用方法，本書每章都配備了多種類型的習題和豐富的案例，讀者可以通過練習和實踐進一步掌握深度學習的相關(guān)知識，提升應用能力。
本書是教育部華育興業(yè)產(chǎn)學合作協(xié)同育人項目（2019年第2批）的成果，由南開大學計算機學院公共計算機基礎(chǔ)教學部的老師和研究生結(jié)合多年的教學、項目實踐經(jīng)驗以及當前理工科專業(yè)學生對深度學習的學習需求編寫而成。在本書的編寫過程中，得到了華育興業(yè)公司和機械工業(yè)出版社華章分社的大力支持，在此表示真誠的感謝！
本書在籌備、編寫過程中參考了國內(nèi)外深度學習及人工智能領(lǐng)域的一些開放課程網(wǎng)站、書籍、論壇、博客、論文和開源資料等，在此一并向作者們表示感謝。由于編者能力和時間的限制，書中難免有不妥或錯誤之處，懇請同行和讀者斧正，在此表示真誠的謝意！
作 者
2021年4月于南開園
趙宏，南開大學副教授，公共計算機基礎(chǔ)教學部主任，公共計算機基礎(chǔ)課教學團隊帶頭人，南開大學教學名師，教育部在線教育研究中心智慧教學之星。近五年平均每周承擔超過10課時的本科教學工作。2015年起在南開大學率先建設(shè)SPOC課程，進行混合式教學和翻轉(zhuǎn)課堂的智慧教學實踐。2018年在學堂在線上線兩門MOOC課程， 2020年上線一門國家首批國際MOOC課程。主編教材11本，承擔省部級、國家一級研究會及校級教改項目20余項，發(fā)表教學研究論文10余篇。獲得南開大學教學成果二等獎4項。
前言
第1章 深度學習概述 1
1.1 深度學習的發(fā)展歷程 1
1.1.1 深度學習的歷史 1
1.1.2 深度學習領(lǐng)域的重要人物 5
1.2 深度學習的關(guān)鍵技術(shù) 7
1.2.1 深度學習的機理 7
1.2.2 深度學習的三要素 8
1.2.3 數(shù)據(jù)的特征 9
1.2.4 深度學習的主要模型 10
1.2.5 深度學習模型的訓練過程 11
1.2.6 深度學習模型的學習方式 12
1.2.7 深度學習的常用框架 14
1.3 深度學習網(wǎng)絡(luò)的發(fā)展脈絡(luò)及應用領(lǐng)域 18
1.3.1 深度學習網(wǎng)絡(luò)的發(fā)展脈絡(luò) 18
1.3.2 深度學習的應用領(lǐng)域 19
課后習題 21
參考文獻 22
第2章 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 24
2.1 人工神經(jīng)網(wǎng)絡(luò)的生物學基礎(chǔ) 24
2.1.1 神經(jīng)元的基本模型 24
2.1.2 突觸的結(jié)構(gòu) 26
2.2 人工神經(jīng)元模型 26
2.2.1 人工神經(jīng)元的數(shù)學模型 26
2.2.2 常見的人工神經(jīng)元模型 30
2.3 人工神經(jīng)網(wǎng)絡(luò)模型 34
2.3.1 神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 34
2.3.2 神經(jīng)網(wǎng)絡(luò)的分類 36
2.4 神經(jīng)網(wǎng)絡(luò)的前向傳播機制 39
2.5 神經(jīng)網(wǎng)絡(luò)的反向傳播機制 40
2.6 基于反向傳播算法的神經(jīng)網(wǎng)絡(luò)設(shè)計流程 43
2.7 人工神經(jīng)網(wǎng)絡(luò)的參數(shù)優(yōu)化問題 45
2.7.1 神經(jīng)網(wǎng)絡(luò)層數(shù)的優(yōu)化問題 45
2.7.2 歸一化指數(shù)函數(shù)softmax 47
2.7.3 學習率 49
2.7.4 欠擬合和過擬合問題 50
課后習題 52
參考文獻 53
第3章 卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò) 54
3.1 卷積神經(jīng)網(wǎng)絡(luò) 54
3.1.1 卷積神經(jīng)網(wǎng)絡(luò)的基本概念 54
3.1.2 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 58
3.1.3 卷積神經(jīng)網(wǎng)絡(luò)的常用架構(gòu) 65
3.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 72
3.2.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本概念 72
3.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的應用語言模型 77
3.2.3 循環(huán)神經(jīng)網(wǎng)絡(luò)的梯度問題及解決方法 80
3.2.4 循環(huán)神經(jīng)網(wǎng)絡(luò)的改進 84
課后習題 87
參考文獻 89
第4章 生成對抗網(wǎng)絡(luò)和深度強化學習 92
4.1 生成對抗網(wǎng)絡(luò) 92
4.1.1 生成對抗網(wǎng)絡(luò)概述 92
4.1.2 生成對抗網(wǎng)絡(luò)的基本原理 94
4.1.3 幾種改進的生成對抗網(wǎng)絡(luò)模型 99
4.1.4 生成對抗網(wǎng)絡(luò)的應用 103
4.2 強化學習 106
4.2.1 強化學習概述 106
4.2.2 強化學習的決策過程 108
4.2.3 Q-Learning算法 111
4.2.4 深度強化學習 112
課后習題 118
參考文獻 119
第5章 計算機視覺 121
5.1 計算機視覺概述 121
5.1.1 計算機視覺的歷史 122
5.1.2 計算機視覺的挑戰(zhàn)與機遇 123
5.1.3 計算機視覺常見的數(shù)據(jù)集 125
5.1.4 計算機視覺處理的基本流程 130
5.2 圖像預處理 131
5.2.1 圖像去噪 131
5.2.2 圖像歸一化 133
5.2.3 圖像分割技術(shù) 134
5.3 計算機視覺常用的網(wǎng)絡(luò)結(jié)構(gòu) 136
5.3.1 圖像分類常用的深度學習網(wǎng)絡(luò)結(jié)構(gòu) 136
5.3.2 視頻分類常用的深度學習網(wǎng)絡(luò)結(jié)構(gòu) 140
5.3.3 目標檢測常用的深度學習網(wǎng)絡(luò)結(jié)構(gòu) 144
課后習題 152
參考文獻 154
第6章 自然語言處理 156
6.1 自然語言處理概述 156
6.1.1 發(fā)展歷史 157
6.1.2 自然語言處理的過程 158
6.1.3 基礎(chǔ)技術(shù) 160
6.1.4 詞嵌入算法 162
6.1.5 N-gram語言模型 166
6.1.6 注意力機制 167
6.2 自然語言處理的應用模型 171
6.2.1 文本分類 171
6.2.2 自動文本摘要 175
6.2.3 自動問答系統(tǒng) 178
6.2.4 觸發(fā)字檢測 181
課后習題 182
參考文獻 183
書單推薦
