目錄
第1章 緒論 1
1.1 信息的基本概念 2
1.2 信息論研究的對(duì)象與目的 4
1.2.1 信息論研究的對(duì)象 4
1.2.2 信息論研究的目的 6
1.3 信息論研究的內(nèi)容 7
1.4 信息論與編碼的發(fā)展簡(jiǎn)史 8
第2章 信息的度量 11
2.1 自信息和互信息 12
2.1.1 自信息 12
2.1.2 互信息 15
2.2 平均自信息 18
2.2.1 平均自信息的概念 18
2.2.2 平均自信息的性質(zhì) 23
2.3 平均互信息 28
2.3.1 平均互信息的概念 28
2.3.2 平均互信息的性質(zhì) 32
習(xí)題 38
第3章 信源及信源熵 43
3.1 信源的分類與建模 44
3.2 離散信源的數(shù)學(xué)模型 44
3.2.1 單符號(hào)離散信源 44
3.2.2 多符號(hào)離散信源 45
3.3 離散平穩(wěn)信源 47
3.3.1 離散平穩(wěn)信源的數(shù)學(xué)模型 47
3.3.2 二維平穩(wěn)信源的信息熵 48
3.3.3 離散平穩(wěn)信源的極限熵 51
3.4 馬爾可夫信源 54
3.4.1 有限狀態(tài)馬爾可夫信源 55
3.4.2 馬爾可夫信源的極限熵 57
3.5 信源攜帶信息的效率 58
3.6 連續(xù)信源 60
3.6.1 連續(xù)信源的微分熵 61
3.6.2 特殊連續(xù)信源的微分熵 63
3.7 連續(xù)信源微分熵的性質(zhì) 65
3.7.1 微分熵的性質(zhì) 65
3.7.2 具有最大微分熵的連續(xù)信源 66
3.7.3 熵功率69
習(xí)題 70
第4章 信道及信道容量 75
4.1 信道的分類及數(shù)學(xué)模型 76
4.1.1 信道的分類 76
4.1.2 信道的數(shù)學(xué)模型 77
4.2 離散信道及信道容量 78
4.2.1 離散無記憶信道 78
4.2.2 信道容量的定義 79
4.2.3 離散無噪無損信道的信道容量 81
4.2.4 離散對(duì)稱信道的信道容量 82
4.2.5 準(zhǔn)對(duì)稱信道的信道容量 85
4.2.6 一般離散信道的信道容量 86
4.3 組合信道及信道容量 91
4.3.1 N次擴(kuò)展信道 91
4.3.2 獨(dú)立并聯(lián)信道 93
4.3.3 級(jí)聯(lián)信道 94
4.4 連續(xù)信道的分類及數(shù)學(xué)模型 95
4.5 連續(xù)信道的信道容量 97
4.5.1 加性噪聲信道的信道容量 97
4.5.2 高斯加性信道的信道容量 98
4.5.3 非高斯加性信道的信道容量 98
4.6 波形信道的信道容量 100
4.6.1 隨機(jī)信號(hào)的正交展開 100
4.6.2 高斯白噪聲加性信道 100
4.6.3 限帶高斯加性信道性能極限 102
習(xí)題 104
第5章 無失真信源編碼 109
5.1 信源編碼的概念 110
5.1.1 編碼器 110
5.1.2 碼的分類 111
5.1.3 碼樹 113
5.2 定長(zhǎng)編碼及定長(zhǎng)編碼定理 113
5.3 變長(zhǎng)編碼 118
5.3.1 唯一可譯變長(zhǎng)碼與前綴碼 118
5.3.2 克拉夫特不等式 120
5.4 變長(zhǎng)無失真編碼定理 124
5.4.1 變長(zhǎng)編碼的平均碼長(zhǎng) 124
5.4.2 香農(nóng)第一定理 128
5.5 變長(zhǎng)信源編碼方法 131
5.5.1 香農(nóng)編碼 131
5.5.2 霍夫曼編碼 133
5.5.3 費(fèi)諾編碼 138
習(xí)題 139
第6章 限失真信源編碼 143
6.1 信息失真度量 144
6.1.1 失真函數(shù) 144
6.1.2 平均失真度 146
6.2 信息率失真函數(shù) 147
6.2.1 信息率失真函數(shù)的定義 147
6.2.2 信息率失真函數(shù)的性質(zhì) 148
6.2.3 信息率失真函數(shù)的計(jì)算 151
6.3 限失真信源編碼定理 154
習(xí)題 156
第7章 信道編碼概述 159
7.1 數(shù)字通信系統(tǒng)模型 160
7.2 信道編碼的概念 161
7.2.1 錯(cuò)誤概率與譯碼準(zhǔn)則 162
7.2.2 錯(cuò)誤概率與編碼方法 166
7.2.3 漢明距離與碼的糾檢錯(cuò)能力 171
7.3 信道編碼的基本原理 174
7.3.1 有噪信道編碼定理 174
7.3.2 有限塊長(zhǎng)編碼界 176
7.3.3 差錯(cuò)控制的途徑 178
7.4 編碼性能和編碼增益 179
7.5 差錯(cuò)控制方式 181
習(xí)題 182
第8章 近世代數(shù)基礎(chǔ) 183
8.1 群、環(huán)、域 184
8.1.1 群 184
8.1.2 環(huán) 185
8.1.3 域 186
8.2 有限域與擴(kuò)域構(gòu)造 188
8.2.1 多項(xiàng)式域 188
8.2.2 有限域的運(yùn)算法則 191
8.2.3 多項(xiàng)域分解 194
8.3 向量空間197
習(xí)題 199
第9章 線性分組碼 201
9.1 線性分組碼的基本概念 202
9.2 生成矩陣 202
9.3 系統(tǒng)碼 204
9.4 伴隨式與錯(cuò)誤圖樣 205
9.5 標(biāo)準(zhǔn)陣列譯碼 206
9.6 碼的糾、檢錯(cuò)能力與MDC碼 210
9.7 完備碼與漢明碼 212
9.7.1 完備碼 212
9.7.2 漢明碼 213
9.7.3 戈萊碼 215
9.8 擴(kuò)展碼與縮短碼 215
9.8.1 擴(kuò)展碼 215
9.8.2 縮短碼 216
習(xí)題 218
第10章 循環(huán)碼 221
10.1 循環(huán)碼的描述 222
10.1.1 循環(huán)碼的多項(xiàng)式描述 222
10.1.2 循環(huán)碼的矩陣描述 224
10.2 循環(huán)冗余校驗(yàn)碼 226
10.3 根定義循環(huán)碼 227
10.4 BCH碼和RS碼的構(gòu)造 230
10.4.1 BCH碼的構(gòu)造 231
10.4.2 RS碼的構(gòu)造 232
10.5 BCH碼和RS碼的譯碼 234
10.5.1 BCH碼的譯碼 234
10.5.2 RS碼的譯碼 236
習(xí)題 241
第11章 卷積碼 243
11.1 卷積碼的基本概念 244
11.2 卷積碼的編碼結(jié)構(gòu) 244
11.2.1 卷積碼的多項(xiàng)式表示 245
11.2.2 卷積碼的狀態(tài)圖 246
11.2.3 卷積碼的網(wǎng)格圖 248
11.3 卷積碼的特性 249
11.3.1 碼率 249
11.3.2 編碼結(jié)尾方式 249
11.3.3 距離特性 252
11.3.4 錯(cuò)誤概率 257
11.4 卷積碼的譯碼 258
11.4.1 卷積碼的最大似然譯碼 258
11.4.2 維特比譯碼算法259 習(xí)題 262
參考文獻(xiàn) 264
附錄數(shù)學(xué)預(yù)備知識(shí) 265
附錄A 凸函數(shù)及詹森不等式 266
附錄B 漸進(jìn)等同分割性和ε典型序列 268