BERT模型在2018年一問(wèn)世便引起了轟動(dòng)。之后，各種改進(jìn)版本的預(yù)訓(xùn)練模型（Pre-Training Model，PTM）如過(guò)江之鯽，層出不窮，它們?cè)?NLP 各個(gè)領(lǐng)域攻城略地，所向披靡，頻頻登榜于多種 NLP 數(shù)據(jù)集競(jìng)賽榜單，個(gè)別模型的能力已超過(guò)人類。

BERT模型在刷新傳統(tǒng)NLP指標(biāo)的同時(shí)，也給NLP領(lǐng)域的技術(shù)帶來(lái)革命性的變革。它使用帶有注意力模型的深度神經(jīng)網(wǎng)絡(luò)所實(shí)現(xiàn)的效果，優(yōu)于一大批使用傳統(tǒng)的NLP方法所實(shí)現(xiàn)的效果，這使得NLP工作人員不得不向BERT模型的技術(shù)體系靠攏。

與此同時(shí)，近年來(lái)，圖神經(jīng)網(wǎng)絡(luò)的崛起也為深度學(xué)習(xí)領(lǐng)域指明了前進(jìn)的方向BERT模型結(jié)合圖深度學(xué)習(xí)將是未來(lái)NLP的主流趨勢(shì)。

本書(shū)從零基礎(chǔ)開(kāi)始，介紹了與BERT模型相關(guān)的一系列知識(shí)與實(shí)現(xiàn)方法，包括神經(jīng)網(wǎng)絡(luò)的原理、NLP基礎(chǔ)、PyTorch的使用、BERT模型的原理及實(shí)現(xiàn)、BERTology系列模型的原理及實(shí)現(xiàn)，以及BERT模型與圖神經(jīng)網(wǎng)絡(luò)的結(jié)合。

本書(shū)適合于即將從事NLP工作，以及正在從事NLP工作并打算向BERT模型技術(shù)體系靠攏的讀者閱讀。

總的來(lái)說(shuō)，本書(shū)具有以下特色。

1．知識(shí)系統(tǒng)，逐層遞進(jìn)

本書(shū)涵蓋了BERT模型的完整技術(shù)體系：

從神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，到NLP的基礎(chǔ)知識(shí)，再到BERT模型的原理及應(yīng)用；

從BERTology系列模型的原理，到BERT模型與圖神經(jīng)網(wǎng)絡(luò)的結(jié)合，再到多種場(chǎng)景下BERT模型的應(yīng)用。

2．內(nèi)容緊跟技術(shù)趨勢(shì)

本書(shū)所介紹的知識(shí)與近年來(lái)學(xué)術(shù)領(lǐng)域發(fā)表的論文技術(shù)基本同步。為了拓展讀者的學(xué)習(xí)視野，本書(shū)在介紹一些知識(shí)的原理和應(yīng)用的同時(shí)，還附有相關(guān)的論文索引，方便讀者對(duì)感興趣的知識(shí)擴(kuò)展閱讀。

3．圖文結(jié)合，化繁為簡(jiǎn)。

本書(shū)在介紹模型的結(jié)構(gòu)和原理的同時(shí)，還穿插了大量的圖片。這些圖片有的可視化了模型中的數(shù)據(jù)流向，有的展示了模型的擬合能力，有的細(xì)化了某種技術(shù)的內(nèi)部原理，有的直觀化了模型的內(nèi)部結(jié)構(gòu)，從而讓讀者更容易、更快捷地理解和掌握知識(shí)。

4．站在入門者的角度講解，內(nèi)容更系統(tǒng)、更易學(xué)

考慮到初學(xué)者知識(shí)儲(chǔ)備的不足，凡是書(shū)中涉及的知識(shí)點(diǎn)，都從零開(kāi)始進(jìn)行系統(tǒng)介紹：從PyTorch框架的安裝、使用；到向量、矩陣、張量的基礎(chǔ)變換；再到神經(jīng)網(wǎng)絡(luò)及圖神經(jīng)網(wǎng)絡(luò)的系統(tǒng)介紹；從NLP基礎(chǔ)，到BERT模型的原理剖析，再到BERT模型的多場(chǎng)景實(shí)戰(zhàn)。這樣可以消除讀者學(xué)習(xí)中的跳躍感。