PREFACE
前　　言
自然語(yǔ)言理解（Natural Language Understanding，NLU）是一種建模語(yǔ)言的方法，使
得計(jì)算機(jī)系統(tǒng)能夠處理語(yǔ)言文本，從而支持多種應(yīng)用程序的開(kāi)發(fā)。
本書(shū)是一本關(guān)于 NLU 的實(shí)用指南。閱讀完本書(shū)，開(kāi)發(fā)人員將學(xué)會(huì)如何將 NLU 技術(shù)應(yīng)用于各個(gè)領(lǐng)域，同時(shí)管理人員也將學(xué)會(huì)如何明確 NLU 在解決企業(yè)實(shí)際問(wèn)題時(shí)的應(yīng)用范圍。
本書(shū)通過(guò)基本概念和實(shí)際示例的逐步闡釋?zhuān)�首先帶你了解什么�?NLU 以及如何應(yīng)用NLU 技術(shù)。然后，本書(shū)將探討當(dāng)下流行的 NLU 方法，并提供應(yīng)用每種方法的最佳實(shí)踐，包括最新的大語(yǔ)言模型（Large Language Model，LLM）。在此過(guò)程中，本書(shū)還會(huì)介紹最實(shí)用的 Python NLU 庫(kù)。通過(guò)閱讀本書(shū)，你將不僅掌握 NLU 的基礎(chǔ)知識(shí)，還將學(xué)會(huì)眾多實(shí)際問(wèn)題的解決方案，如數(shù)據(jù)收集、系統(tǒng)評(píng)估、系統(tǒng)改進(jìn)，以及 NLU 部署與應(yīng)用。其中最重要的是，本書(shū)不僅介紹一系列 NLU 方法，還會(huì)介紹在未來(lái)的工作中會(huì)用到的互聯(lián)網(wǎng)上豐富的 NLU 資源。
本書(shū)的目標(biāo)讀者
對(duì)于那些對(duì)學(xué)習(xí) NLU 感興趣或?qū)��?yīng)用自然語(yǔ)言處理（Natural Language Processing，
NLP）方法來(lái)解決實(shí)際問(wèn)題感興趣的 Python 開(kāi)發(fā)人員（包括計(jì)算語(yǔ)言學(xué)家、語(yǔ)言學(xué)家、數(shù)據(jù)科學(xué)家、NLP 開(kāi)發(fā)人員、AI 會(huì)話(huà)開(kāi)發(fā)者以及相關(guān)領(lǐng)域的學(xué)生）來(lái)說(shuō)，閱讀本書(shū)將獲益頗多。對(duì)于那些不具備技術(shù)背景的項(xiàng)目經(jīng)理來(lái)說(shuō)，本書(shū)的前幾章也頗有趣味性。
為了深入地理解本書(shū)，讀者需要具備一定的 Python 基礎(chǔ)知識(shí)，但不需要掌握與 NLU相關(guān)的專(zhuān)業(yè)知識(shí)。
本書(shū)內(nèi)容
本書(shū)共 15 章，將帶領(lǐng)讀者全面而深入地理解 NLU，首先介紹 NLU 的基本概念，然后逐步講解 NLU 應(yīng)用領(lǐng)域和 NLU 系統(tǒng)開(kāi)發(fā)，最后探討如何改進(jìn)已經(jīng)開(kāi)發(fā)的系統(tǒng)。
第 1 章將闡釋 NLU 的基本概念，以及 NLU 與語(yǔ)音識(shí)別等相關(guān)技術(shù)之間的區(qū)別。
第 2 章將系統(tǒng)地介紹 NLU 的應(yīng)用領(lǐng)域，并簡(jiǎn)述每種應(yīng)用程序的具體需求。此外，還將列舉一些以當(dāng)前技術(shù)水平難以實(shí)現(xiàn)的應(yīng)用案例。
第 3 章將概述 NLU 的主要方法及其優(yōu)缺點(diǎn)，包括基于規(guī)則的方法、基于統(tǒng)計(jì)的方法和基于深度學(xué)習(xí)的方法。此外，本章還將討論當(dāng)今流行的預(yù)訓(xùn)練模型，如 BERT 及其衍生模型。最后，本章將討論如何組合不同的方法形成一個(gè)解決方案。
第 4 章關(guān)注自然語(yǔ)言處理前的準(zhǔn)備工作。本章首先討論 JupyterLab 和 GitHub 等通用工具，以及它們的安裝和使用方法。然后介紹如何安裝 Python 和眾多用于 NLU 領(lǐng)域的Python 庫(kù)，包括 NLTK、spaCy 以及 TensorFlow/Keras。
第 5 章將介紹如何辨別和收集用于 NLU 的數(shù)據(jù)。本章將討論來(lái)自數(shù)據(jù)庫(kù)、網(wǎng)絡(luò)和文檔的數(shù)據(jù)，以及數(shù)據(jù)的隱私性和倫理問(wèn)題，還將簡(jiǎn)要介紹綠野仙蹤技術(shù)（The Wizard of Oz technique）和其他通過(guò)模擬生成數(shù)據(jù)的方法。對(duì)于那些無(wú)法獲得數(shù)據(jù)，或希望將自己的結(jié)果與其他研究人員的結(jié)果進(jìn)行比較的讀者，本章還將討論易獲得且廣泛使用的語(yǔ)料庫(kù)。此外，本章將進(jìn)一步討論文本數(shù)據(jù)預(yù)處理的基本操作，如詞干提取和詞形還原。
第 6 章將討論用于獲取數(shù)據(jù)整體情況的數(shù)據(jù)分析方法，包括獲取詞頻、類(lèi)別頻率等數(shù)據(jù)匯總統(tǒng)計(jì)信息。本章還將討論 matplotlib 等可視化工具，以及基于可視化和統(tǒng)計(jì)結(jié)果做出的各種類(lèi)型的決策。
第 7 章將討論在選擇算法時(shí)需要考慮的各種因素，包括數(shù)據(jù)規(guī)模、訓(xùn)練資源以及計(jì)劃的應(yīng)用場(chǎng)合。本章還將討論使用嵌入向量來(lái)表示語(yǔ)言，為定量處理自然語(yǔ)言做好準(zhǔn)備。本章最后將介紹如何使用 pipeline 方法組合多種算法。
第 8 章將討論如何將基于規(guī)則的方法用于具體的應(yīng)用。本章將給出正則表達(dá)式、詞形還原、句法分析、語(yǔ)義角色分配和本體知識(shí)等例子。本章主要使用 NLTK 庫(kù)。
第 9 章將討論如何將統(tǒng)計(jì)機(jī)器學(xué)習(xí)方法，如樸素貝葉斯、詞頻逆文檔頻率（Term
Freguency-Inverse Document Freguency，TF-IDF）、支持向量機(jī)（Support Vector Machine，SVM）和條件隨機(jī)場(chǎng)等，應(yīng)用于文本分類(lèi)、意圖識(shí)別和實(shí)體提取等任務(wù)。本章將重點(diǎn)關(guān)
注較新的方法，以及這些方法相比于傳統(tǒng)方法的性能改進(jìn)。
第 10 章將討論基于神經(jīng)網(wǎng)絡(luò)［全連接神經(jīng)網(wǎng)絡(luò)，循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Python Networle，RNN）和卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）］的機(jī)器學(xué)習(xí)方法在文本分類(lèi)、信息提取等問(wèn)題上的應(yīng)用。本章將對(duì)這些方法的結(jié)果與第 9 章的方法進(jìn)行比較。本章還將討論神經(jīng)網(wǎng)絡(luò)中的超參數(shù)、學(xué)習(xí)率，以及迭代訓(xùn)練等相關(guān)概念。本章
使用 TensorFlow/Keras 庫(kù)。
第 11 章將介紹當(dāng)前自然語(yǔ)言處理領(lǐng)域表現(xiàn)最出色的方法，即 Transformer 和預(yù)訓(xùn)練模型。本章將深入探討 Transformer 背后的原理，并提供一個(gè)使用 Transformer 進(jìn)行文本分類(lèi)的例子。本章所有代碼都基于 TensorFlow/Keras Python 庫(kù)。
第 12 章將討論無(wú)監(jiān)督學(xué)習(xí)方法的應(yīng)用，包括主題建模等內(nèi)容，強(qiáng)調(diào)了無(wú)監(jiān)督學(xué)習(xí)在探數(shù)據(jù)和充分利用稀缺數(shù)據(jù)方面的價(jià)值。此外，本章還將討論部分監(jiān)督學(xué)習(xí)，如弱監(jiān)督學(xué)習(xí)和遠(yuǎn)程監(jiān)督學(xué)習(xí)。
第 13 章將討論模型評(píng)價(jià)的相關(guān)問(wèn)題，包括數(shù)據(jù)切分（將數(shù)據(jù)切分為訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測(cè)試數(shù)據(jù)集）、交叉驗(yàn)證、評(píng)估指標(biāo)（如精度、召回率、曲線(xiàn)下面積、消融實(shí)驗(yàn)、統(tǒng)計(jì)顯著性檢測(cè)和用戶(hù)測(cè)試等）。
第 14 章將討論系統(tǒng)維護(hù)問(wèn)題。如果原始模型性能不理想，或者現(xiàn)實(shí)情況發(fā)生了變化，那么應(yīng)該如何調(diào)整模型？本章將討論在確保新數(shù)據(jù)不會(huì)降低現(xiàn)有系統(tǒng)的性能的前提下，如何添加新數(shù)據(jù)以及如何改變應(yīng)用程序的結(jié)構(gòu)。
第 15 章將提供本書(shū)的概述和對(duì)未來(lái)發(fā)展方向的展望。本章將討論系統(tǒng)可能存在改進(jìn)的地方，從而使系統(tǒng)訓(xùn)練得更快、適用于更具挑戰(zhàn)性的應(yīng)用程序。此外，本章還會(huì)介紹NLU領(lǐng)域的研究方向和未來(lái)技術(shù)的發(fā)展趨勢(shì)。
使用本書(shū)的先決條件
本書(shū)提供了 Jupyter Notebook 格式的代碼示例。要運(yùn)行這些 Notebook，讀者需要具備一定的 Python 編程基礎(chǔ)，并熟悉一些基本的 Python 庫(kù)。此外，還需要安裝必要的軟件包。
安裝軟件包的最簡(jiǎn)單方法是使用 pip 工具。pip 是一個(gè)優(yōu)秀的 Python 包管理工具。如
果你尚未在計(jì)算機(jī)上安裝 pip，那么可以按照鏈接 https://pypi.org/project/pip/
提供的安裝說(shuō)明進(jìn)行安裝。
熟練掌握 Python 編程語(yǔ)言將有助于更好地理解本書(shū)中的關(guān)鍵概念。本書(shū)中的示例可
以在 CPU 上運(yùn)行，不需要使用 GPU，盡管一些復(fù)雜的機(jī)器學(xué)習(xí)示例在 GPU 上運(yùn)行的速
度會(huì)更快。
本書(shū)的所有代碼示例均在 Windows 11（64 位）操作系統(tǒng)上通過(guò)測(cè)試，確保其可行
性。
下載示例代碼文件
你可以從 GitHub 網(wǎng)站（https://github.com/PacktPublishing/Natural-Language?Understanding-with-Python）下載本書(shū)的示例代碼文件。如果本書(shū)的代碼有更新，那么 GitHub 庫(kù)中的代碼也會(huì)有相應(yīng)的更新。
下載彩色圖片
我們還提供了一個(gè) PDF 文件，包含本書(shū)使用的屏幕截圖和圖表的彩色圖像。你可以從以下鏈接下載：https://packt.link/HrkNr。
排版約定
本書(shū)使用了多種文本約定，以區(qū)分不同類(lèi)型的信息。
文本代碼：用于表示代碼示例、數(shù)據(jù)庫(kù)表名、文件夾名、文件名、文件擴(kuò)展名、路徑名、虛擬 URL、用戶(hù)輸入以及 Twitter 句柄，例如“我們將使用 ENCOAdjacency
DistributionModule 對(duì)象建模鄰接矩陣”。
以下是一段代碼示例：
命令行輸入或輸出的寫(xiě)法如下：
加粗字體：用于表示新術(shù)語(yǔ)、重要詞匯或屏幕上顯示的詞匯。例如，菜單或?qū)υ?huà)框中的詞。以粗體顯示。例如，從管理面板中選擇系統(tǒng)信息。
致謝
在我的職業(yè)生涯中，大部分時(shí)間都專(zhuān)注于顧問(wèn)工作。作為獨(dú)立顧問(wèn)，我享受到的一大好處是有機(jī)會(huì)與不同機(jī)構(gòu)的各路精英一同合作。這種合作使我能夠接觸到多種多樣的技術(shù)，這是我在一家或幾家公司工作時(shí)難以獲得的。
在此，我由衷感謝所有與我一同工作的同事。從我學(xué)生時(shí)代起，一直到我的整個(gè)職業(yè)生涯，我都與這些同事通力合作。感謝來(lái)自伊利諾伊大學(xué)、明尼蘇達(dá)大學(xué)、賓夕法尼亞大學(xué)、Unisys 公司、MossRehab、心理語(yǔ)言技術(shù)公司、自閉癥語(yǔ)言治療機(jī)構(gòu)、Openstream、萬(wàn)維網(wǎng)聯(lián)盟、萬(wàn)維網(wǎng)基金會(huì)、應(yīng)用語(yǔ)音輸入輸出協(xié)會(huì)、今日信息、新互動(dòng)、大學(xué)太空研究協(xié)會(huì)、美國(guó)宇航局阿姆斯研究中心、開(kāi)放語(yǔ)音網(wǎng)絡(luò)的同事們，鑒于人數(shù)眾多，我無(wú)法一一列舉。從他們身上，我學(xué)習(xí)到了許多寶貴的經(jīng)驗(yàn)和知識(shí)。