前言
第1章緒論
1.1基本概念
1.1.1語言學(xué)與語音學(xué)
1.1.2自然語言
1.1.3自然語言處理
1.2自然語言處理的發(fā)展歷程
1.2.1自然語言處理的發(fā)展歷史
1.2.2自然語言處理的研究現(xiàn)狀
1.2.3自然語言處理的發(fā)展前景
1.3自然語言處理的基本方法
1.3.1理性主義方法
1.3.2經(jīng)驗(yàn)主義方法
1.3.3對(duì)比分析
1.4自然語言處理的研究內(nèi)容
1.4.1文本分類
1.4.2信息抽取
1.4.3文本摘要
1.4.4智能問答
第2章語言模型
2.1語言模型概述
2.2n-gram統(tǒng)計(jì)語言模型
2.2.1何為n-gram模型
2.2.2n-gram語言模型評(píng)估詞序列
2.2.3n-gram統(tǒng)計(jì)語言模型的應(yīng)用
2.2.4n-gram模型中n對(duì)性能的影響
2.2.5n-gram模型小結(jié)
思考題
參考文獻(xiàn)
第3章神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1人工神經(jīng)網(wǎng)絡(luò)和神經(jīng)語言模型
3.1.1人工神經(jīng)網(wǎng)絡(luò)
3.1.2神經(jīng)語言模型
3.2卷積神經(jīng)網(wǎng)絡(luò)
3.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)
3.2.2卷積神經(jīng)網(wǎng)絡(luò)的文本處理
3.3循環(huán)神經(jīng)網(wǎng)絡(luò)
3.4遞歸神經(jīng)網(wǎng)絡(luò)
3.4.1遞歸神經(jīng)網(wǎng)絡(luò)的前向計(jì)算
3.4.2遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法
思考題
參考文獻(xiàn)
第4章詞和語義向量
4.1離散分布表示
4.1.1獨(dú)熱表示法
4.1.2詞袋表示法
4.2分布式表示
4.2.1Word2vec
4.2.2矩陣分解
4.2.3GloVe
4.3文本特征選擇法
4.3.1基于文檔頻率的特征提取法
4.3.2 2統(tǒng)計(jì)量
4.3.3信息增益法
4.3.4互信息法
4.4特征權(quán)重計(jì)算方法
4.4.1布爾權(quán)重
4.4.2絕對(duì)詞頻
4.4.3TF-IDF
思考題
參考文獻(xiàn)
第5章預(yù)訓(xùn)練語言模型
5.1Transformer
5.2ELMo
5.3GPT
5.4BERT
5.5后BERT時(shí)代
思考題
參考文獻(xiàn)
第6章序列標(biāo)注
6.1馬爾可夫模型
6.2條件隨機(jī)場、維特比算法
6.2.1條件隨機(jī)場的原理解析
6.2.2條件隨機(jī)場的特性
6.3序列標(biāo)注任務(wù)
6.3.1自動(dòng)分詞
6.3.2漢語自動(dòng)分詞中的基本問題
6.3.3歧義切分問題
6.3.4未登錄詞問題
6.4漢語分詞方法
6.4.1基于詞頻度統(tǒng)計(jì)的分詞方法
6.4.2N-最短路徑方法
6.4.3基于詞的n元語法模型的分詞方法
6.4.4由字構(gòu)詞的漢語分詞方法
6.4.5基于詞感知機(jī)的漢語分詞方法
6.4.6基于字的生成式模型和區(qū)分式模型相結(jié)合的漢語分詞方法
6.4.7其他分詞方法
6.5詞性標(biāo)注
6.5.1詞性標(biāo)注概述
6.5.2基于規(guī)則的詞性標(biāo)注方法
6.5.3基于統(tǒng)計(jì)模型的詞性標(biāo)注方法
6.5.4統(tǒng)計(jì)方法與規(guī)則方法相結(jié)合的詞性標(biāo)注方法
6.5.5詞性標(biāo)注的一致性檢查
6.5.6技術(shù)評(píng)測(cè)
6.6命名實(shí)體識(shí)別
6.6.1基于條件隨機(jī)場的命名實(shí)體識(shí)別方法
6.6.2基于多特征的命名實(shí)體識(shí)別方法
6.6.3基于神經(jīng)網(wǎng)絡(luò)的命名實(shí)體識(shí)別方法
思考題
參考文獻(xiàn)
第7章語義分析
7.1詞義消歧
7.1.1有監(jiān)督的詞義消歧方法
7.1.2基于詞典的詞義消歧方法
7.1.3無監(jiān)督的詞義消歧方法
7.1.4詞義消歧系統(tǒng)評(píng)價(jià)
7.2語義角色標(biāo)注
7.2.1語義角色標(biāo)注基本方法
7.2.2語義角色標(biāo)注的領(lǐng)域適應(yīng)性問題
7.3雙語聯(lián)合語義角色標(biāo)注方法
7.3.1基本思路
7.3.2雙語聯(lián)合語義角色標(biāo)注方法系統(tǒng)實(shí)現(xiàn)
思考題
參考文獻(xiàn)
第8章文本分類
8.1文本分類概述
8.2傳統(tǒng)分類器設(shè)計(jì)
8.2.1樸素貝葉斯分類器
8.2.2基于支持向量機(jī)的分類器
8.2.3KNN法
8.2.4線性最小二乘擬合法
8.2.5決策樹分類器
8.3基于神經(jīng)網(wǎng)絡(luò)方法
8.3.1文本分析中的循環(huán)神經(jīng)網(wǎng)絡(luò)方法
8.3.2文本分析中的遞歸神經(jīng)網(wǎng)絡(luò)方法
8.4文本分類性能評(píng)測(cè)
思考題
參考文獻(xiàn)
第9章情感計(jì)算
9.1文檔或句子級(jí)情感計(jì)算方法
9.1.1情感詞典方法
9.1.2基于傳統(tǒng)機(jī)器學(xué)習(xí)的監(jiān)督情感分類
9.1.3深度神經(jīng)網(wǎng)絡(luò)方法
9.2屬性級(jí)情感分析
9.2.1意見挖掘和屬性抽取
9.2.2針對(duì)特定目標(biāo)的情感分析
9.2.3立場檢測(cè)
9.3其他情感分析任務(wù)
9.3.1諷刺識(shí)別
9.3.2多模態(tài)情感分析
思考題
參考文獻(xiàn)
第10章知識(shí)抽取
10.1知識(shí)抽取概述
10.2命名實(shí)體識(shí)別
10.2.1命名實(shí)體識(shí)別概述
10.2.2基于詞典及規(guī)則的方法
10.2.3基于機(jī)器學(xué)習(xí)的有監(jiān)督方法
10.2.4基于深度學(xué)習(xí)的方法
10.3實(shí)體鏈接
10.3.1實(shí)體鏈接概述
10.3.2通用解決框架
10.3.3實(shí)體鏈接數(shù)據(jù)集
10.4關(guān)系抽取
10.4.1關(guān)系抽取概述
10.4.2有監(jiān)督關(guān)系抽取
10.4.3遠(yuǎn)程監(jiān)督
10.4.4實(shí)體關(guān)系聯(lián)合抽取
10.4.5小樣本關(guān)系抽取
10.4.6開放域關(guān)系抽取
10.5事件抽取
10.5.1事件抽取概述
10.5.2基于模式匹配的方法
10.5.3基于機(jī)器學(xué)習(xí)的方法
10.5.4基于深度學(xué)習(xí)的方法
10.5.5事件抽取數(shù)據(jù)集
思考題
參考文獻(xiàn)
第11章統(tǒng)計(jì)機(jī)器翻譯和神經(jīng)機(jī)器翻譯
11.1機(jī)器翻譯概述
11.1.1機(jī)器翻譯的發(fā)展
11.1.2機(jī)器翻譯方法
11.1.3機(jī)器翻譯研究現(xiàn)狀
11.2基于HMM的詞對(duì)位模型
11.3基于短語的翻譯模型
11.4基于最大熵的翻譯模型
11.4.1對(duì)位模板與最大近似
11.4.2特征函數(shù)
11.4.3參數(shù)訓(xùn)練
11.5基于層次短語的翻譯模型
11.5.1概述
11.5.2模型描述和參數(shù)訓(xùn)練
11.5.3解碼方法
11.6樹翻譯模型
11.6.1樹到串的翻譯模型
11.6.2樹到樹的翻譯模型
11.6.3串到樹的翻譯模型
11.7樹模型的相關(guān)改進(jìn)
11.8基于謂詞論元結(jié)構(gòu)轉(zhuǎn)換的翻譯模型
11.9集外詞翻譯
11.9.1數(shù)字和時(shí)間表示的識(shí)別與翻譯
11.9.2普通集外詞的翻譯
11.10統(tǒng)計(jì)翻譯系統(tǒng)實(shí)現(xiàn)
11.11譯文質(zhì)量評(píng)估方法
11.11.1概述
11.11.2技術(shù)指標(biāo)
11.11.3相關(guān)