目 錄
第1章 緒論 1
1.1 信息的定義 1
1.2 本課程的主要研究內(nèi)容 2
1.3 信息論與編碼的發(fā)展歷程及相關(guān)應(yīng)用 6
1.3.1 信息論與編碼的發(fā)展 6
1.3.2 信息論與編碼技術(shù)的交叉應(yīng)用 8
習(xí)題 10
第2章 信源與熵 11
2.1 信息與信源的關(guān)系 11
2.1.1 信源與隨機(jī)變量 11
2.1.2 通信模型中的信源 12
2.2 香農(nóng)熵及其特性 13
2.2.1 熵的來源 13
2.2.2 香農(nóng)熵 14
2.2.3 香農(nóng)熵的含義 15
2.2.4 香農(nóng)熵的特性 17
2.3 聯(lián)合熵與條件熵 20
2.3.1 聯(lián)合分布與聯(lián)合熵 20
2.3.2 條件熵 21
2.3.3 各類信源熵的關(guān)系 21
2.4 平均互信息量 22
2.4.1 平均互信息量及其計(jì)算 22
2.4.2 平均互信息量的性質(zhì) 24
2.4.3 熵及平均互信息量之間的關(guān)系 25
2.5 各類信源熵的擴(kuò)展 25
2.5.1 離散無記憶擴(kuò)展信源的信息熵 25
2.5.2 離散平穩(wěn)信源的信息熵 26
2.5.3 連續(xù)信源的信息熵 28
2.5.4 馬爾可夫信源的信息熵 35
2.6 應(yīng)用實(shí)例 38
2.6.1 信源信息傳播因素分析 38
2.6.2 智能變電站通信網(wǎng)絡(luò)的廣義信源 38
本章基本概念 39
習(xí)題 41
第3章 信道及其容量 44
3.1 信道的分類及模型 44
3.1.1 信道的分類 44
3.1.2 信道的模型描述 46
3.1.3 離散信道的數(shù)學(xué)模型 47
3.2 信道的平均互信息量 48
3.2.1 信道的疑義度 48
3.2.2 信道的散布度 50
3.2.3 信道的平均互信息量 51
3.2.4 信道的平均條件互信息量 52
3.3 平均互信息量的特性 52
3.4 信道容量及其一般計(jì)算方法 54
3.4.1 信道容量的定義 54
3.4.2 離散無噪信道的信道容量 56
3.4.3 對(duì)稱離散信道的信道容量 59
3.4.4 準(zhǔn)對(duì)稱信道的信道容量 62
3.4.5 Kuhn-Tucker定理及一般離散信道的信道容量 64
3.4.6 信道容量的迭代算法 68
3.5 連續(xù)信道及其信道容量 69
3.5.1 連續(xù)信道的數(shù)學(xué)模型 69
3.5.2 連續(xù)信道的平均互信息量及其特性 70
3.5.3 高斯加性噪聲信道的信道容量 71
3.5.4 一般加性噪聲信道的信道容量及其邊界 74
3.6 波形信道及其信道容量 75
3.6.1 波形信道的平均互信息量 75
3.6.2 加性噪聲波形信道的信道容量 76
3.7 擴(kuò)展信道及其信道容量 79
3.7.1 擴(kuò)展信道的數(shù)學(xué)模型 79
3.7.2 擴(kuò)展信道的平均互信息量和信道容量 80
3.8 組合信道及其信道容量 82
3.8.1 串聯(lián)信道 82
3.8.2 獨(dú)立并聯(lián)信道 84
3.9 信源與信道的匹配 84
3.10 應(yīng)用實(shí)例 85
本章基本概念 86
習(xí)題 89
第4章 無失真信源編碼 92
4.1 信源編碼的基本概念 93
4.2 編碼的唯一可譯性 96
4.2.1 常見碼及其唯一可譯性 96
4.2.2 碼樹與克拉夫特不等式 98
4.2.3 唯一可譯碼的判斷方法 100
4.3 離散無記憶信源的漸近等分性 102
4.3.1 典型序列 102
4.3.2 漸近等分性 102
4.3.3 離散無記憶信源序列集的劃分 103
4.4 定長編碼 104
4.4.1 定長編碼的基本約束 104
4.4.2 定長編碼定理 104
4.5 變長編碼定理 108
4.6 無失真信源編碼方法 110
4.6.1 霍夫曼編碼 111
4.6.2 費(fèi)諾編碼 116
4.6.3 香農(nóng)編碼 117
4.6.4 游程編碼 119
4.6.5 算術(shù)編碼 120
4.6.6 字典編碼 123
4.7 應(yīng)用實(shí)例 131
4.7.1 MH編碼 131
4.7.2 Zip和Gzip軟件 134
4.7.3 RAR和WinRAR軟件 135
4.7.4 GIF圖像 136
4.7.5 PNG圖像 136
本章基本概念 139
習(xí)題 140
第5章 信道糾錯(cuò)編碼 143
5.1 糾錯(cuò)編譯碼的基本原理 143
5.1.1 糾錯(cuò)編譯碼方法 143
5.1.2 平均差錯(cuò)率及譯碼規(guī)則 145
5.1.3 分組碼舉例 149
5.2 有噪信道編碼定理 151
5.2.1 有噪打字機(jī)舉例 151
5.2.2 定理討論 153
5.2.3 有噪信道編碼逆定理 153
5.3 線性分組碼 154
5.3.1 線性分組碼編碼 154
5.3.2 伴隨式與標(biāo)準(zhǔn)陣列譯碼 158
5.3.3 碼的最小漢明距離與檢糾錯(cuò)能力 159
5.3.4 標(biāo)準(zhǔn)陣列及譯碼方法 160
5.3.5 完備碼 164
5.4 應(yīng)用實(shí)例 165
5.4.1 模擬移動(dòng)系統(tǒng)中數(shù)字信令的BCH編碼 166
5.4.2 深空通信中的信道編碼 166
5.4.3 GSM的信道編碼 166
5.4.4 窄帶CDMA系統(tǒng)（IS-95）中的前向糾錯(cuò)編碼 166
5.4.5 3G通信中Turbo碼 166
5.4.6 5G通信中的信道編碼 167
本章基本概念 167
習(xí)題 169
第6章 限失真信源編碼 171
6.1 失真測度 172
6.2 信息率失真函數(shù)及其性質(zhì) 173
6.2.1 信息率失真函數(shù)的定義 173
6.2.2 信息率失真函數(shù)R(D)的性質(zhì) 174
6.3 限失真信源編碼定理 178
6.4 離散信源信息率失真函數(shù)的計(jì)算 178
6.4.1 離散信源信息率失真函數(shù)的參量表示計(jì)算方法 178
6.4.2 離散信源信息率失真函數(shù)的迭代計(jì)算方法 187
6.5 連續(xù)信源的信息率失真函數(shù) 190
6.5.1 連續(xù)信源信息率失真函數(shù)的參量表達(dá)式 190
6.5.2 高斯信源的信息率失真函數(shù) 191
6.6 圖像信源限失真編碼舉例 193
6.6.1 JPEG基本系統(tǒng)簡介 193
6.6.2 JPEG編碼過程示例 196
6.6.3 JPEG編碼率失真性能曲線的繪制 198
6.7 信息率失真函數(shù)的應(yīng)用及應(yīng)用中的困難 200
本章基本概念 201
習(xí)題 202
第7章 信道安全編碼 203
7.1 網(wǎng)絡(luò)模型與安全服務(wù)功能 204
7.1.1 開放系統(tǒng)互連參考模型 204
7.1.2 安全分層原則 205
7.1.3 安全服務(wù)功能 205
7.2 香農(nóng)的安全編碼思想 207
7.2.1 加密系統(tǒng)的信息論分析 208
7.2.2 信息論安全技術(shù) 210
7.2.3 有噪信道的安全通信 211
7.2.4 完全保密、強(qiáng)保密和弱保密 212
7.2.5 信道的安全編碼與傳統(tǒng)加密體制的對(duì)比 214
7.3 搭線竊聽信道 215
7.3.1 普通搭線竊聽信道模型 215
7.3.2 退化搭線竊聽信道模型 216
7.3.3 高斯搭線竊聽信道 218
7.3.4 關(guān)于搭線竊聽信道的幾點(diǎn)說明 219
7.4 安全編碼方法 219
7.4.1 Wyner的安全編碼思想 220
7.4.2 伴隨編碼機(jī)制 222
本章基本概念 225
習(xí)題 226
第8章 網(wǎng)絡(luò)編碼 227
8.1 網(wǎng)絡(luò)編碼基礎(chǔ) 227
8.1.1 蝴蝶網(wǎng)絡(luò) 227
8.1.2 網(wǎng)絡(luò)編碼的核心思想 229
8.1.3 線性網(wǎng)絡(luò)編碼 229
8.2 網(wǎng)絡(luò)編碼應(yīng)用 229
8.2.1 網(wǎng)絡(luò)編碼與無線通信 229
8.2.2 網(wǎng)絡(luò)編碼與分布式存儲(chǔ) 230
本章基本概念 233
習(xí)題 234
附錄A 部分定理的證明 235
參考文獻(xiàn) 241