信息論是現代信息通信領域的基礎理論,是研究信息傳輸和信息處理的一般規(guī)律的科學。我們在借鑒了國內外眾多的信息論優(yōu)秀教材和參考資料之后編寫了《信息論基礎教程》。李梅、李亦農、王玉皞編著的《信息論基礎教程》為第3版,以香農的三個編碼定理為中心,重點講述了相關的基本概念、基本原理和基本方法。鑒于目前各大專院校都在削減學時,教材只是講述經典信息論的內容,沒有涉及過多的分支。
本書可作為通信及電子信息類相關專業(yè)高年級本科生和研究生教材,也可作為相關專業(yè)科研人員的參考書。
李梅,女,1969年7月生,博士,副教授,碩士生導師。
2003年至今在中國地質大學(北京)工作,主要研究領域是信號采集與信息處理、大數據挖掘、物聯網技術、通信與網絡技術。
目前擔任北京物聯網研究會副理事長,兼任海淀區(qū)科委及中關村管委會海淀園科技項目評審專家、北京市科協科技人才評審專家、中國采購與招標網評標專家、中關村云平臺與數據應用產業(yè)聯盟專家委員會委員、IEEE會員、中國電子學會高級會員、北京科學技術普及創(chuàng)作協會會員,同時是科技部、北京市科委、北京市科技咨詢中心專家?guī)斐蓡T。
第1章 緒論
1.1 信息的概念
1.2 信息論的研究對象、目的和內容
習題1
第2章 信息的度量
2.1 自信息和互信息
2.1.1 自信息
2.1.2 互信息
2.2 平均自信息
2.2.1 平均自信息的概念
2.2.2 熵函數的性質
2.2.3 聯合熵與條件熵
2.3 平均互信息
2.3.1 平均互信息的概念
2.3.2 平均互信息的性質
2.3.3 數據處理定理
習題2
第3章 信源及信源熵
3.1 信源的分類及其數學模型
3.2 離散單符號信源
3.3 離散多符號信源
3.3.1 離散平穩(wěn)無記憶信源
3.3.2 離散平穩(wěn)有記憶信源
3.3.3 馬爾可夫信源
3.3.4 信源的相關性和剩余度
3.4 連續(xù)信源
3.4.1 連續(xù)信源的微分熵
3.4.2 連續(xù)信源的最大熵
3.4.3 連續(xù)信源的熵功率
習題3
第4章 信道及信道容量
4.1 信道的分類
4.2 離散單符號信道及其信道容量
4.2.1 離散單符號信道的數學模型
4.2.2 信道容量的概念
4.2.3 幾種特殊信道的信道容量
4.2.4 離散對稱信道的信道容量
4.2.5 一般離散信道的信道容量
4.2.6 信道容量定理
4.2.7 信道容量的迭代算法
4.3 離散多符號信道及其信道容量
4.4 組合信道及其信道容量
4.4.1 獨立并聯信道
4.4.2 級聯信道
4.5 連續(xù)信道及其信道容量
4.5.1 連續(xù)隨機變量的互信息
4.5.2 高斯加性信道的信道容量
4.5.3 多維高斯加性信道的信道容量
4.6 波形信道及其信道容量
習題4
第5章 無失真信源編碼
5.1 信源編碼的相關概念
5.1.1 編碼器
5.1.2 碼的分類
5.2 定長碼及定長信源編碼定理
5.3 變長碼及變長信源編碼定理
5.3.1 Kraft不等式和McMillan不等式
5.3.2 唯一可譯碼的判別準則
5.3.3 緊致碼平均碼長界限定理
5.3.4 無失真變長信源編碼定理(香農第一定理)
5.4 變長碼的編碼方法
5.4.1 香農編碼
5.4.2 香農一費諾一埃利斯編碼
5.4.3 二元霍夫曼碼
5.4.4 г元霍夫曼碼
5.4.5 費諾碼
5.5 實用的無失真信源編碼方法
5.5.1 游程編碼
5.5.2 算術編碼
5.5.3 LZW編碼
習題5
第6章 有噪信道編碼
6.1 信道編碼的相關概念
6.1.1 錯誤概率和譯碼規(guī)則
6.1.2 錯誤概率與編碼方法
6.2 有噪信道編碼定理
6.3 糾錯編碼
6.3.1 糾錯碼分類
6.3.2 糾錯碼的基本概念
6.3.3 線性分組碼
6.3.4 卷積碼
習題6
第7章 限失真信源編碼
7.1 失真測度
7.1.1 失真函數
7.1.2 平均失真
7.2 信息率失真函數
7.2.1 D失真許可信道
7.2.2 信息率失真函數的定義
7.2.3 信息率失真函數R(D)的性質
7.3 限失真信源編碼定理
7.4 信息率失真函數的計算
7.4.1 應用參量表示式計算R(D)
7.4.2 率失真函數的迭代算法
7.5 常用的限失真信源編碼方法
7.5.1 量化編碼
7.5.2 子帶編碼
7.5.3 預測編碼
7.5.4 變換編碼
習題7
附錄A 數學預備知識
A.1 概率論與隨機過程
A.1.1 概率論的基本概念
A.1.2 隨機變量及其分布
A.1.3 多維隨機變量及其分布
A.1.4 隨機變量的數字特征
A.1.5 隨機過程
A.2 凸函數及Jensen不等式
A.3 信道容量定理引理
A.4 漸進等分割性和ε典型序列
附錄B 上機作業(yè)
B.1 信道容量的迭代算法
B.2 唯一可譯碼判決準則
B.3 Shannon編碼
B.4 Huffman編碼
B.5 Fano編碼
B.6 LZW編碼
B.7 BSC模擬器
B.8 Hamming(7,4)編譯碼器
B.9 通信系統仿真
附錄C 習題解答
C.1第1章 習題解答
C.2第2章 習題解答
C.3第3章 習題解答
C.4第4章 習題解答
C.5第5章 習題解答
C.6第6章 習題解答
C.7第7章 習題解答
參考文獻