亚洲精品自慰出水AV,人妻精品无码在线,a级毛片内射免费视频看

隨著ChatGPT等大語言模型的迅速發(fā)展，大語言模型已經(jīng)成為人工智能領(lǐng)域發(fā)展的快車道，不同領(lǐng)域涌現(xiàn)出各種強大的新模型。開發(fā)者想要獨立構(gòu)建、部署符合自身需求的大語言模型，需要理解大語言模型的實現(xiàn)框架和基本原理。

本書梳理大語言模型的發(fā)展，首先介紹Transformer模型的基本原理、結(jié)構(gòu)和模塊及在NLP任務(wù)中的應(yīng)用；然后介紹由只編碼（Encoder-Only）到只解碼（Decoder-Only）的技術(shù)路線發(fā)展過程中對應(yīng)的 BERT、GPT等大語言模型；接下來介紹大語言模型在部署、訓(xùn)練、調(diào)優(yōu)過程中涉及的各種關(guān)鍵技術(shù)，如自動并行、預(yù)訓(xùn)練與微調(diào)、RLHF等，并提供相應(yīng)的實踐指導(dǎo)；最后以開源大語言模型BLOOM和LLaMA為樣例，介紹其架構(gòu)和實現(xiàn)過程，幫助讀者理解并構(gòu)建、部署自己的大語言模型。本書還提供了基于MindSpore框架的豐富樣例代碼。

本書適合人工智能、智能科學(xué)與技術(shù)、計算機科學(xué)與技術(shù)、電子信息工程、自動化等專業(yè)的本科生和研究生閱讀，同時也為從事大語言模型相關(guān)工作的軟件開發(fā)工程師和科研人員提供翔實的參考資料。

第1章　大語言模型的發(fā)展 001

1.1　人工智能的發(fā)展階段 002

1.2　從深度學(xué)習(xí)到大語言模型 004

第2章　Transformer模型 006

2.1　Transformer模型的基本原理 007

2.1.1　注意力機制 007

2.1.2　自注意力機制 010

2.1.3　多頭注意力機制 011

2.2　Transformer模型的結(jié)構(gòu)和模塊 013

2.2.1　位置編碼 014

2.2.2　編碼器 016

2.2.3　解碼器 020

2.2.4　模型代碼 024

2.3　Transformer模型在NLP任務(wù)中的應(yīng)用 025

2.4　使用MindSpore實現(xiàn)基于Transformer模型的文本機器翻譯模型 026

2.4.1　數(shù)據(jù)集準備與數(shù)據(jù)預(yù)處理 026

2.4.2　模型構(gòu)建 033

2.4.3　模型訓(xùn)練與評估 034

2.4.4　模型推理 037

2.5參考文獻 040

第3章　BERT實踐 041

3.1　BERT基本原理 042

3.2　BERT結(jié)構(gòu) 043

3.3　BERT預(yù)訓(xùn)練 045

3.4　BERT微調(diào) 046

3.5　使用MindSpore實現(xiàn)數(shù)據(jù)并行的BERT預(yù)訓(xùn)練 047

3.6　參考文獻 050

第4章　GPT實踐 051

4.1　GPT基本原理 052

4.2　GPT訓(xùn)練框架 053

4.2.1　無監(jiān)督預(yù)訓(xùn)練 054

4.2.2　有監(jiān)督微調(diào) 054

4.2.3　GPT下游任務(wù)及模型輸入 055

4.3　使用MindSpore實現(xiàn)GPT的微調(diào) 056

4.3.1　數(shù)據(jù)預(yù)處理 056

4.3.2　模型定義 059

4.3.3　模型訓(xùn)練 066

4.3.4　模型評估 067

4.4　參考文獻 067

第5章　GPT-2實踐 068

5.1　GPT-2的基本原理 069

5.2　GPT-2的技術(shù)創(chuàng)新與改進 070

5.3　GPT-2的優(yōu)缺點 071

5.4　使用MindSpore實現(xiàn)GPT-2的微調(diào) 072

5.5　參考文獻 076

第6章　自動并行 077

6.1數(shù)據(jù)并行原理 078

6.2　算子并行原理 080

6.3　優(yōu)化器并行原理 082

6.3.1　背景及意義 082

6.3.2　基本原理 083

6.4　流水線并行原理 085

6.4.1　背景及意義 085

6.4.2　基本原理 085

6.5　MoE并行原理 086

6.5.1　背景及意義 086

6.5.2　算法原理 088

6.6　自動并行策略搜索 089

6.6.1　策略搜索定位 090

6.6.2　策略搜索算法 091

6.6.3　MindSpore實踐 092

6.7　異構(gòu)計算 092

6.7.1　計算流程 092

6.7.2　優(yōu)化器異構(gòu) 093

6.7.3　詞表異構(gòu) 094

6.7.4　參數(shù)服務(wù)器異構(gòu) 095

6.7.5　多層存儲 096

6.8　大語言模型性能分析 097

6.8.1　縮短單個模塊耗時 097

6.8.2　提高不同模塊任務(wù)間的并行度 097

6.9　MindFormers接口 099

6.9.1　準備工作 099

6.9.2　Trainer高階接口快速入門 099

6.9.3　Pipeline推理接口快速入門 101

6.9.4　AutoClass快速入門 101

6.9.5　Transformer接口介紹 102

6.10　參考文獻 103

第7章　大語言模型預(yù)訓(xùn)練與微調(diào) 106

7.1　預(yù)訓(xùn)練大語言模型代碼生成 107

7.1.1　多語言代碼生成模型CodeGeeX 107

7.1.2　多語言代碼生成基準HumanEval-X 109

7.2　提示調(diào)優(yōu) 111

7.2.1　提示流程 111

7.2.2　提示模板 114

7.2.3　優(yōu)缺點分析 115

7.3　指令調(diào)優(yōu) 116

7.3.1　基本流程 116

7.3.2　指令模板 117

7.3.3　優(yōu)缺點分析 118

7.4　參考文獻 119

第8章　基于人類反饋的強化學(xué)習(xí) 121

8.1　基本原理 122

8.2　強化學(xué)習(xí) 122

8.2.1　核心思想 122

8.2.2　關(guān)鍵元素 123

8.2.3　策略與價值函數(shù) 123

8.2.4　PPO算法 124

8.3　InstructGPT和ChatGPT中的RLHF 126

8.3.1　訓(xùn)練流程 126

8.3.2　訓(xùn)練任務(wù) 127

8.3.3　模型效果 128

8.4　優(yōu)缺點分析 129

8.5　參考文獻 130

第9章　BLOOM和LLaMA模型實踐 131

9.1　BLOOM介紹 132

9.1.1　模型結(jié)構(gòu) 132

9.1.2　預(yù)訓(xùn)練數(shù)據(jù)集 134

9.2　BLOOM實現(xiàn) 136

9.2.1　BLOOM架構(gòu)實現(xiàn) 136

9.2.2　BLOOM總結(jié) 142

9.3　基于BLOOM的微調(diào) 142

9.3.1　數(shù)據(jù)集準備 142

9.3.2　Checkpoint轉(zhuǎn)換 142

9.3.3　生成集群通信表 143

9.3.4　啟動預(yù)訓(xùn)練或微調(diào) 143

9.3.5　微調(diào)后的對話效果 144

9.4　LLaMA模型介紹 148

9.4.1　模型結(jié)構(gòu) 148

9.4.2　預(yù)訓(xùn)練 152

9.4.3　SFT與RLHF 152

9.5　LLaMA模型實現(xiàn) 153

9.5.1　LLaMA模型模塊實現(xiàn) 153

9.5.2　LLaMA模型結(jié)構(gòu)實現(xiàn) 155

9.6　基于LLaMA模型的微調(diào) 159

9.6.1　數(shù)據(jù)集準備 159

9.6.2　ckpt轉(zhuǎn)換 159

9.6.3　生成集群通信表 159

9.6.4　啟動微調(diào) 160

9.6.5　微調(diào)效果 160

9.7　參考文獻 161

你還可能感興趣

我要評論