亚洲第一美女你自慰网站,欧美特黄特色三级视频,久久无码人妻一区二波多野

本書用10章對(duì)大語(yǔ)言模型進(jìn)行全面且深入的介紹。

首先對(duì)大語(yǔ)言模型的基本概念進(jìn)行介紹。其次，從大語(yǔ)言模型的基礎(chǔ)技術(shù)、預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建、預(yù)訓(xùn)練技術(shù)等方面展開討論，幫助讀者深入了解大語(yǔ)言模型的構(gòu)建和訓(xùn)練過(guò)程。然后，詳細(xì)介紹有監(jiān)督微調(diào)和強(qiáng)化對(duì)齊等技術(shù)，以及如何評(píng)估大語(yǔ)言模型的性能。此外，介紹提示工程和工程實(shí)踐等方面的內(nèi)容，幫助讀者了解大語(yǔ)言模型的應(yīng)用和實(shí)際操作過(guò)程。最后，介紹如何從零開始微調(diào)大語(yǔ)言模型，輔以代碼示例，幫助讀者更好地應(yīng)用這些技術(shù)。

通過(guò)閱讀本書，讀者可以獲得全面且深入的大語(yǔ)言模型的知識(shí)框架。

緣起：為什么要寫這本書

OpenAI的ChatGPT自推出以來(lái)，迅速成為人工智能領(lǐng)域的焦點(diǎn)。ChatGPT在語(yǔ)言理解、生成、規(guī)劃及記憶等多個(gè)維度展示了強(qiáng)大的能力。這不僅體現(xiàn)在對(duì)特定任務(wù)的高效處理上，更重要的是，它在處理多樣化任務(wù)和復(fù)雜場(chǎng)景中的靈活性顯著，甚至能在一定程度上模擬人類的思考方式。這種能力的展現(xiàn)，標(biāo)志著人工智能從專注于單一任務(wù)的傳統(tǒng)模型向通用人工智能轉(zhuǎn)變，其強(qiáng)大的能力將對(duì)千行百業(yè)產(chǎn)生深遠(yuǎn)影響，尤其在優(yōu)化業(yè)務(wù)流程和重塑組織結(jié)構(gòu)方面。

然而，在研究和實(shí)踐過(guò)程中，我們遇到了一個(gè)主要挑戰(zhàn)：市場(chǎng)上缺乏大語(yǔ)言模型在實(shí)際應(yīng)用方面的資料�，F(xiàn)有的資料多聚焦于理論研究，而具體的實(shí)踐方法多被保密，難以獲得實(shí)際操作的指導(dǎo)。為了填補(bǔ)這一空白，我們歷經(jīng)一年的實(shí)踐和探索，決定分享我們的經(jīng)驗(yàn)和成果，旨在為大語(yǔ)言模型的初學(xué)者和實(shí)踐者提供快速入門和應(yīng)用的途徑。

為應(yīng)對(duì)技術(shù)的快速演進(jìn)和信息的日新月異，我們建立了一個(gè)GitHub社區(qū)，用于持續(xù)更新我們的技術(shù)成果和見解。我們期望通過(guò)這種方式，促進(jìn)讀者對(duì)大語(yǔ)言模型的深入理解和廣泛應(yīng)用，推動(dòng)整個(gè)領(lǐng)域的持續(xù)發(fā)展和創(chuàng)新。

本書特色

本書旨在揭開大語(yǔ)言模型的神秘面紗，透徹地解讀其內(nèi)在機(jī)理和應(yīng)用實(shí)踐。書中不僅介紹理論知識(shí)，更介紹了深入這一技術(shù)領(lǐng)域的具體訓(xùn)練過(guò)程，目的是為讀者提供一個(gè)全面、深入且系統(tǒng)化的視角，以揭示大語(yǔ)言模型的精妙之處。

本書的一大特色體現(xiàn)在其知識(shí)體系的系統(tǒng)性。我們從數(shù)據(jù)處理的基礎(chǔ)工作（如數(shù)據(jù)清洗與去重）講起，逐步深入，探討預(yù)訓(xùn)練、微調(diào)技術(shù)和強(qiáng)化對(duì)齊技術(shù)等核心技術(shù)環(huán)節(jié)。同時(shí)，書中對(duì)大語(yǔ)言模型評(píng)估策略及其應(yīng)用技術(shù)架構(gòu)，包括推理引導(dǎo)技術(shù)和動(dòng)態(tài)交互技術(shù)，進(jìn)行了全面且深入的探討，確保讀者能夠從理論和技術(shù)角度全面理解大語(yǔ)言模型。

本書的另一大特色是對(duì)實(shí)踐性的重視。我們精心設(shè)計(jì)了從零開始的教學(xué)章節(jié)，提供大語(yǔ)言模型微調(diào)的詳細(xì)指導(dǎo)，逐步引領(lǐng)讀者掌握關(guān)鍵技能。這不僅有助于初學(xué)者迅速上手，也為有經(jīng)驗(yàn)的開發(fā)者提供了深入學(xué)習(xí)的機(jī)會(huì)。

作為真正的大語(yǔ)言模型實(shí)踐者，我們擁有十億、百億、千億等不同參數(shù)規(guī)模大語(yǔ)言模型的訓(xùn)練經(jīng)驗(yàn)。在本書中，這些經(jīng)驗(yàn)都被毫無(wú)保留地融入其中，確保本書內(nèi)容的實(shí)用性和深度。

本書是理論與實(shí)踐經(jīng)驗(yàn)的精華，干貨滿滿，絕非空談。

本書結(jié)構(gòu)

本書共10章，下面是各章的主要內(nèi)容概述。

第1章：解鎖大語(yǔ)言模型

本章勾勒大語(yǔ)言模型的全貌，并介紹大語(yǔ)言模型的基礎(chǔ)概念。

第2章：大語(yǔ)言模型基礎(chǔ)技術(shù)

本章旨在深度解析構(gòu)成大語(yǔ)言模型的基礎(chǔ)知識(shí)和核心技術(shù)。先回顧自然語(yǔ)言的基礎(chǔ)表示方法，為理解復(fù)雜模型奠定基礎(chǔ)；再詳盡地探討自然語(yǔ)言處理中的預(yù)訓(xùn)練架構(gòu)Transformer，以揭示其內(nèi)在工作機(jī)制；接著介紹如BERT和GPT這樣的標(biāo)桿性預(yù)訓(xùn)練模型；最后以InstructGPT和LLaMA系列為例，為讀者呈現(xiàn)大語(yǔ)言模型的初步實(shí)用成果。

第3章：預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建

本章將深入探討預(yù)訓(xùn)練數(shù)據(jù)的常見類別、來(lái)源和預(yù)處理方式，以及構(gòu)建訓(xùn)練數(shù)據(jù)的重點(diǎn)和難點(diǎn)。

第4章：大語(yǔ)言模型預(yù)訓(xùn)練

本章將深入探討大語(yǔ)言模型預(yù)訓(xùn)練的各個(gè)方面。首先解析不同的大語(yǔ)言模型架構(gòu)和不同模塊的選擇；同時(shí)對(duì)大語(yǔ)言模型的訓(xùn)練過(guò)程進(jìn)行介紹，包括數(shù)據(jù)選擇和配比策略、模型訓(xùn)練等。

第5章：挖掘大語(yǔ)言模型潛能：有監(jiān)督微調(diào)

本章將從定義、用途和應(yīng)用場(chǎng)景3個(gè)方面解釋有監(jiān)督微調(diào)；同時(shí)講解如何構(gòu)建有針對(duì)性的微調(diào)數(shù)據(jù)，以及大語(yǔ)言模型微調(diào)的各種技巧。

第6章：大語(yǔ)言模型強(qiáng)化對(duì)齊

本章先介紹強(qiáng)化學(xué)習(xí)的基礎(chǔ)知識(shí)、兩類主流深度強(qiáng)化學(xué)習(xí)算法，重點(diǎn)介紹大語(yǔ)言模型中基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）技術(shù)，然后介紹強(qiáng)化學(xué)習(xí)常用的訓(xùn)練框架和平臺(tái)，以及RLHF實(shí)踐過(guò)程中的常見問題；最后介紹RLHF中的難點(diǎn)及目前存在的問題，對(duì)RLHF將來(lái)可能的技術(shù)發(fā)展做進(jìn)一步展望。

第7章：大語(yǔ)言模型的評(píng)測(cè)

本章首先介紹大語(yǔ)言模型的評(píng)測(cè)，如基座模型的評(píng)測(cè)方式等。然后重點(diǎn)講解微調(diào)之后具有對(duì)話能力的模型的評(píng)測(cè)方式，包括SFT階段全維度的對(duì)話能力評(píng)測(cè)和 RLHF 階段模型以安全性為主的能力評(píng)測(cè)。最后探討如何評(píng)價(jià)一個(gè)通用人工智能。

第8章：大語(yǔ)言模型的應(yīng)用

本章將展示提示詞技術(shù)對(duì)大語(yǔ)言模型的引導(dǎo)能力。首先從最簡(jiǎn)單的零樣本提示開始介紹，這些技術(shù)使大語(yǔ)言模型擁有逐步推理的能力。然后介紹搜索增強(qiáng)生成技術(shù)、推理和行動(dòng)協(xié)同技術(shù)，利用這兩個(gè)技術(shù)，大語(yǔ)言模型可以獲得在與環(huán)境的交互中逐步分解并解決問題的能力。

第9章：工程實(shí)踐

本章將深入探討大語(yǔ)言模型從訓(xùn)練到完成任務(wù)的各個(gè)環(huán)節(jié)所涉及的工程優(yōu)化技術(shù)和相關(guān)實(shí)踐案例。這些技術(shù)和實(shí)踐旨在提高模型的效率、性能和可擴(kuò)展性，從而滿足實(shí)際應(yīng)用中的需求。

第10章：手把手教你訓(xùn)練7B大語(yǔ)言模型

本章將介紹微調(diào)大語(yǔ)言模型的關(guān)鍵步驟和代碼示例，以便更直接地應(yīng)用這些技術(shù)。

通過(guò)閱讀本書，讀者可以獲得全面且深入的大型語(yǔ)言模型的知識(shí)框架。無(wú)論您是研究人員、工程師，還是產(chǎn)品經(jīng)理，都能從中獲得有價(jià)值的知識(shí)。大語(yǔ)言模型已經(jīng)在各個(gè)領(lǐng)域展現(xiàn)出了巨大的潛力，本書將幫您更好地掌握和應(yīng)用這一技術(shù)。

說(shuō)明

本書包含與大語(yǔ)言模型的對(duì)話示例。為了真實(shí)地展示大語(yǔ)言模型的對(duì)話能力，對(duì)話內(nèi)容中難免會(huì)出現(xiàn)用詞不規(guī)范、語(yǔ)句不通順甚至錯(cuò)誤的情況。在此，懇請(qǐng)各位讀者包涵。

致謝

在本書的創(chuàng)作旅程中，感激所有給予我們支持的人。感謝我的團(tuán)隊(duì)成員，他們對(duì)技術(shù)的信仰和對(duì)卓越的追求為本書注入了靈魂；感謝行業(yè)內(nèi)的所有貢獻(xiàn)者，他們的研究和實(shí)踐成果為我們提供了寶貴的參考和靈感；感謝電子工業(yè)出版社鄭柳潔編輯和整個(gè)出版團(tuán)隊(duì)，他們的專業(yè)技能和對(duì)細(xì)節(jié)的關(guān)注，確保了這本書能夠完美地呈現(xiàn)給廣大讀者。感謝所有直接或間接參與本書創(chuàng)作的人，是你們讓這一切成為可能。

目錄
1 解鎖大語(yǔ)言模型1
1.1 什么是大語(yǔ)言模型·1
1.2 語(yǔ)言模型的發(fā)展·2
1.3 GPT 系列模型的發(fā)展·3
1.4 大語(yǔ)言模型的關(guān)鍵技術(shù)·4
1.5 大語(yǔ)言模型的涌現(xiàn)能力·5
1.6 大語(yǔ)言模型的推理能力·5
1.7 大語(yǔ)言模型的縮放定律·6
參考文獻(xiàn)·7
2 大語(yǔ)言模型基礎(chǔ)技術(shù)·8
2.1 語(yǔ)言表示介紹·8
2.1.1 詞表示技術(shù)·8
2.1.2 分詞技術(shù)·9
2.2 經(jīng)典結(jié)構(gòu) Transformer·14
2.2.1 輸入模塊·15
2.2.2 多頭自注意力模塊·16
2.2.3 殘差連接與層歸一化·19
2.2.4 前饋神經(jīng)網(wǎng)絡(luò)·19
2.2.5 解碼器·19
2.3 預(yù)訓(xùn)練語(yǔ)言模型·21
2.3.1 Decoder 的代表：GPT 系列·21
2.3.2 Encoder 的代表：BERT·23
2.4 初探大語(yǔ)言模型·24
2.4.1 InstructGPT·24
2.4.2 LLaMA 系列·28
參考文獻(xiàn)·30
3 預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建·32
3.1 數(shù)據(jù)的常見類別及其來(lái)源·32
3.1.1 網(wǎng)頁(yè)數(shù)據(jù)·33
3.1.2 書籍?dāng)?shù)據(jù)·34
3.1.3 百科數(shù)據(jù)·34
3.1.4 代碼數(shù)據(jù)·34
3.1.5 其他數(shù)據(jù)·36
3.2 數(shù)據(jù)的預(yù)處理方式·36
3.2.1 正文提取·37
3.2.2 質(zhì)量過(guò)濾·37
3.2.3 文檔去重·38
3.2.4 數(shù)據(jù)集凈化·39
3.3 常用數(shù)據(jù)集的完整構(gòu)建方式 ·40
3.3.1 C4·40
3.3.2 MassiveText·40
3.3.3 RefinedWeb·41
3.3.4 ROOTS·42
3.4 難點(diǎn)和挑戰(zhàn)·43
3.4.1 數(shù)據(jù)收集的局限性·43
3.4.2 數(shù)據(jù)質(zhì)量評(píng)估的挑戰(zhàn)·43
3.4.3 自動(dòng)生成數(shù)據(jù)的風(fēng)險(xiǎn)·44
參考文獻(xiàn)·44
4 大語(yǔ)言模型預(yù)訓(xùn)練·46
4.1 大語(yǔ)言模型為什么這么強(qiáng)·46
4.2 大語(yǔ)言模型的核心模塊·49
4.2.1 核心架構(gòu)·49
4.2.2 組成模塊選型·51
4.3 大語(yǔ)言模型怎么訓(xùn)練·60
4.3.1 訓(xùn)練目標(biāo)·60
4.3.2 數(shù)據(jù)配比·62
4.4 預(yù)訓(xùn)練還有什么沒有解決·65
參考文獻(xiàn)·66
5 挖掘大語(yǔ)言模型潛能：有監(jiān)督微調(diào)·67
5.1 揭開有監(jiān)督微調(diào)的面紗·67
5.1.1 什么是有監(jiān)督微調(diào)·67
5.1.2 有監(jiān)督微調(diào)的作用與意義·68
5.1.3 有監(jiān)督微調(diào)的應(yīng)用場(chǎng)景·68
5.2 有監(jiān)督微調(diào)數(shù)據(jù)的構(gòu)建·69
5.2.1 有監(jiān)督微調(diào)數(shù)據(jù)的格式·69
5.2.2 有監(jiān)督微調(diào)數(shù)據(jù)的自動(dòng)化構(gòu)建·70
5.2.3 有監(jiān)督微調(diào)數(shù)據(jù)的選擇·75
5.3 大語(yǔ)言模型的微調(diào)方法·76
5.3.1 全參數(shù)微調(diào)·76
5.3.2 適配器微調(diào)·76
5.3.3 前綴微調(diào)·77
5.3.4 提示微調(diào)·78
5.3.5 低秩適配·79
5.4 大語(yǔ)言模型的微調(diào)和推理策略·79
5.4.1 混合微調(diào)策略·80
5.4.2 基于上下文學(xué)習(xí)的推理策略·81
5.4.3 基于思維鏈的推理策略·82
5.5 大語(yǔ)言模型微調(diào)的挑戰(zhàn)和探索·83
5.5.1 大語(yǔ)言模型微調(diào)的幻覺問題·83
5.5.2 大語(yǔ)言模型微調(diào)面臨的挑戰(zhàn)·84
5.5.3 大語(yǔ)言模型微調(diào)的探索與展望 ·84
參考文獻(xiàn)·85
6 大語(yǔ)言模型強(qiáng)化對(duì)齊·87
6.1 強(qiáng)化學(xué)習(xí)基礎(chǔ) ·87
6.1.1 強(qiáng)化學(xué)習(xí)的基本概念·87
6.1.2 強(qiáng)化學(xué)習(xí)中的隨機(jī)性·88
6.1.3 強(qiáng)化學(xué)習(xí)的目標(biāo)·89
6.1.4 Q 函數(shù)與 V 函數(shù)·89
6.2 DQN 方法·91
6.2.1 DQN 的結(jié)構(gòu)·91
6.2.2 DQN 訓(xùn)練：基本思想·92
6.2.3 DQN 訓(xùn)練：目標(biāo)網(wǎng)絡(luò)·94
6.2.4 DQN 訓(xùn)練：探索策略·94
6.2.5 DQN 訓(xùn)練：經(jīng)驗(yàn)回放·95
6.2.6 DQN 訓(xùn)練：完整算法·95
6.2.7 DQN 決策·96
6.3 策略梯度方法·96
6.3.1 策略網(wǎng)絡(luò)的結(jié)構(gòu)·96
6.3.2 策略網(wǎng)絡(luò)訓(xùn)練：策略梯度·97
6.3.3 策略網(wǎng)絡(luò)訓(xùn)練：優(yōu)勢(shì)函數(shù)·99
6.3.4 PPO 算法·100
6.4 揭秘大語(yǔ)言模型中的強(qiáng)化建�！�101
6.4.1 Token-level 強(qiáng)化建模·101
6.4.2 Sentence-level 強(qiáng)化建�！�102
6.5 獎(jiǎng)勵(lì)模型·103
6.5.1 獎(jiǎng)勵(lì)模型的結(jié)構(gòu)·103
6.5.2 獎(jiǎng)勵(lì)模型的訓(xùn)練·104
6.5.3 獎(jiǎng)勵(lì)模型損失函數(shù)分析·106
6.6 RLHF·108
6.6.1 即時(shí)獎(jiǎng)勵(lì)·108
6.6.2 RLHF 算法·109
6.7 RLHF 實(shí)戰(zhàn)框架·111
6.8 RLHF 的難點(diǎn)和問題·111
6.8.1 數(shù)據(jù)瓶頸·112
6.8.2 硬件瓶頸·113
6.8.3 方法瓶頸·114
參考文獻(xiàn)·115
7 大語(yǔ)言模型的評(píng)測(cè)·117
7.1 基座語(yǔ)言模型的評(píng)測(cè)·117
7.1.1 主要的評(píng)測(cè)維度和基準(zhǔn)概述·118
7.1.2 具體案例：LLaMA 2 選取的評(píng)測(cè)基準(zhǔn)·118
7.2 大語(yǔ)言模型的對(duì)話能力評(píng)測(cè)·120
7.2.1 評(píng)測(cè)任務(wù)·120
7.2.2 評(píng)測(cè)集的構(gòu)建標(biāo)準(zhǔn)·131
7.2.3 評(píng)測(cè)方式·132
7.3 大語(yǔ)言模型的安全性評(píng)測(cè)·132
7.3.1 評(píng)測(cè)任務(wù)·133
7.3.2 評(píng)測(cè)方式和標(biāo)準(zhǔn)·134
7.4 行業(yè)大語(yǔ)言模型的評(píng)測(cè)：以金融行業(yè)大語(yǔ)言模型為例·134
7.4.1 金融行業(yè)大語(yǔ)言模型的自動(dòng)化評(píng)測(cè)集·135
7.4.2 金融行業(yè)大語(yǔ)言模型的人工評(píng)測(cè)集·136
7.5 整體能力的評(píng)測(cè)·137
7.6 主流評(píng)測(cè)數(shù)據(jù)集及基準(zhǔn)·138
參考文獻(xiàn)·142
8 大語(yǔ)言模型的應(yīng)用·143
8.1 大語(yǔ)言模型為什么需要提示工程·143
8.1.1 人類和大語(yǔ)言模型進(jìn)行復(fù)雜決策的對(duì)比·144
8.1.2 提示工程的作用·144
8.2 什么是提示詞·145
8.2.1 提示詞的基礎(chǔ)要素·146
8.2.2 提示詞設(shè)計(jì)的通用原則·146
8.3 推理引導(dǎo)·147
8.3.1 零樣本提示·147
8.3.2 少樣本提示·148
8.3.3 思維鏈提示·149
8.3.4 自我一致性提示·150
8.3.5 思維樹提示·151
8.4 動(dòng)態(tài)交互·155
8.4.1 檢索增強(qiáng)生成技術(shù)·155
8.4.2 推理和行動(dòng)協(xié)同技術(shù)·159
8.5 案例分析·161
8.5.1 案例介紹·161
8.5.2 工具設(shè)計(jì)·161
8.5.3 提示詞設(shè)計(jì)·165
8.5.4 案例運(yùn)行·167
8.6 局限和發(fā)展·172
8.6.1 目前的局限·172
8.6.2 未來(lái)的發(fā)展·173
參考文獻(xiàn)·173
9 工程實(shí)踐·175
9.1 大語(yǔ)言模型訓(xùn)練面臨的挑戰(zhàn)·175
9.2 大語(yǔ)言模型訓(xùn)練綜述·176
9.2.1 數(shù)據(jù)并行·176
9.2.2 模型并行·179
9.2.3 ZeRO 并行·181
9.3 大語(yǔ)言模型訓(xùn)練技術(shù)選型技巧·184
9.4 大語(yǔ)言模型訓(xùn)練優(yōu)化秘籍·186
9.4.1 I/O 優(yōu)化·186
9.4.2 通信優(yōu)化·187
9.4.3 穩(wěn)定性優(yōu)化·190
9.5 大語(yǔ)言模型訓(xùn)練工程實(shí)踐·190
9.5.1 DeepSpeed 架構(gòu)·191
9.5.2 DeepSpeed 訓(xùn)練詳解·191
9.5.3 DeepSpeed 訓(xùn)練調(diào)優(yōu)實(shí)踐·194
9.6 強(qiáng)化學(xué)習(xí)工程實(shí)踐·196
9.6.1 DeepSpeed-Chat 混合引擎架構(gòu)·196
9.6.2 DeepSpeed-Chat 訓(xùn)練詳解·197
9.6.3 DeepSpeed-Chat 訓(xùn)練調(diào)優(yōu)實(shí)踐·199
9.7 大語(yǔ)言模型推理工程·201
9.7.1 提升規(guī)模：模型量·202
9.7.2 提高并行度：張量并行·205
9.7.3 推理加速：算子優(yōu)化·207
9.7.4 降低計(jì)算量：KV-Cache·208
9.7.5 推理工程綜合實(shí)踐·210
參考文獻(xiàn)·212
10 手把手教你訓(xùn)練 7B 大語(yǔ)言模型·214
10.1 自動(dòng)化訓(xùn)練框架·214
10.1.1 自動(dòng)化訓(xùn)練框架介紹·214
10.1.2 主要模塊介紹·215
10.2 動(dòng)手訓(xùn)練 7B 大語(yǔ)言模型·237
10.2.1 語(yǔ)料預(yù)處理·238
10.2.2 預(yù)訓(xùn)練實(shí)踐·240
10.2.3 指令微調(diào)實(shí)踐·245
10.3 小結(jié)·247

你還可能感興趣

我要評(píng)論