本書在借鑒了國內(nèi)外眾多的信息論優(yōu)秀教材和參考資料之后編寫了《信息論基礎(chǔ)》。教材以香農(nóng)的三個(gè)編碼定理為中心，重點(diǎn)講述了相關(guān)的基本概念、基本原理和基本方法。教材只是講述經(jīng)典信息論的內(nèi)容，沒有涉及過多的分支。

李梅，2003年至今在中國地質(zhì)大學(xué)（北京）工作，主要從事信號(hào)與信息處理的教學(xué)和科研工作，主講課程包括《信息理論與編碼》、《虛擬儀器技術(shù)》、《現(xiàn)代數(shù)字信號(hào)處理》。

緒論………………………………………………………………………………………………… 1
0．1  信息的概念 …………………………………………………………………………… 1
0．2  信息論的研究對(duì)象、目的和內(nèi)容 …………………………………………………… 2
擴(kuò)展閱讀：信息論的形成和發(fā)展…………………………………………………………… 5
擴(kuò)展閱讀：量子通信與量子信息論………………………………………………………… 6

第1章  信息的度量 …………………………………………………………………………… 8
1．1  自信息和互信息 ……………………………………………………………………… 8
1．1．1  自信息 …………………………………………………………………………… 8
1．1．2  互信息 ………………………………………………………………………… 10
1．2  平均自信息…………………………………………………………………………… 11
1．2．1  平均自信息（信息熵）的概念 …………………………………………………… 11
1．2．2  熵函數(shù)的性質(zhì) …………………………………………………………………… 12
1．2．3  聯(lián)合熵與條件熵 ………………………………………………………………… 15
1．3  平均互信息…………………………………………………………………………… 19
1．3．1  平均互信息的概念 ……………………………………………………………… 19
1．3．2  平均互信息的性質(zhì) ……………………………………………………………… 20
1．3．3  數(shù)據(jù)處理定理 …………………………………………………………………… 24
1．3．4  相對(duì)熵（KL散度） ……………………………………………………………… 25
擴(kuò)展閱讀：凸函數(shù)及詹森不等式 ………………………………………………………… 26
擴(kuò)展閱讀：信息增益與決策樹 …………………………………………………………… 27
動(dòng)手實(shí)踐：圖像的熵和平均互信息 ……………………………………………………… 29
習(xí)題1 ……………………………………………………………………………………… 29

第2章  信源及信源熵 ………………………………………………………………………… 34
2．1  信源的分類及其數(shù)學(xué)模型…………………………………………………………… 34
2．2  離散單符號(hào)信源……………………………………………………………………… 35
2．3  離散多符號(hào)信源……………………………………………………………………… 36
2．3．1  離散平穩(wěn)無記憶信源 …………………………………………………………… 36
2．3．2  離散平穩(wěn)有記憶信源 …………………………………………………………… 38
2．3．3  馬爾可夫信源 …………………………………………………………………… 40
2．3．4  信源的相關(guān)性和剩余度 ………………………………………………………… 44
2．4  連續(xù)信源……………………………………………………………………………… 46
2．4．1  連續(xù)信源的最大熵 ……………………………………………………………… 50
2．4．2  連續(xù)信源的熵功率 ……………………………………………………………… 51
擴(kuò)展閱讀：隨機(jī)過程 ……………………………………………………………………… 52
擴(kuò)展閱讀：隱馬爾可夫模型與賭場風(fēng)云 ………………………………………………… 56
習(xí)題2 ……………………………………………………………………………………… 58

第3章  信道及其信道容量 …………………………………………………………………… 63
3．1  信道的分類…………………………………………………………………………… 63
3．2  離散單符號(hào)信道……………………………………………………………………… 64
3．2．1  離散單符號(hào)信道的數(shù)學(xué)模型 ……………………………………………………… 64
3．2．2  信道容量的概念 ………………………………………………………………… 66
3．2．3  幾種特殊信道的信道容量………………………………………………………… 68
3．2．4  離散對(duì)稱信道的信道容量………………………………………………………… 69
3．2．5  一般離散信道的信道容量………………………………………………………… 73
3．2．6  信道容量定理 …………………………………………………………………… 77
3．2．7  信道容量的迭代算法* …………………………………………………………… 80
3．3  離散多符號(hào)信道及其信道容量……………………………………………………… 83
3．4  組合信道及其信道容量……………………………………………………………… 86
3．4．1  獨(dú)立并聯(lián)信道 …………………………………………………………………… 87
3．4．2  級(jí)聯(lián)信道………………………………………………………………………… 87
3．5  連續(xù)信道及其信道容量……………………………………………………………… 88
3．5．1  連續(xù)隨機(jī)變量的互信息 ………………………………………………………… 88
3．5．2  加性高斯信道的信道容量………………………………………………………… 90
3．5．3  多維高斯加性信道的信道容量 …………………………………………………… 91
3．6  波形信道的信道容量………………………………………………………………… 92
擴(kuò)展閱讀：信道容量定理引理 …………………………………………………………… 93
動(dòng)手實(shí)踐：信道容量的迭代算法 ………………………………………………………… 94
習(xí)題3 ……………………………………………………………………………………… 95

第4章  無失真信源編碼 ……………………………………………………………………… 99
4．1  信源編碼概述………………………………………………………………………… 99
4．1．1  編碼器 ………………………………………………………………………… 99
4．1．2  碼的分類 ……………………………………………………………………… 101
4．2  定長碼及定長信源編碼定理 ……………………………………………………… 103
4．3  變長碼及變長信源編碼定理 ……………………………………………………… 106
4．3．1  Kraft不等式和McMillan不等式 ………………………………………………… 107
4．3．2  唯一可譯碼的判別準(zhǔn)則 ………………………………………………………… 108
4．3．3  緊致碼平均碼長界限定理 ……………………………………………………… 109
4．3．4  無失真變長信源編碼定理（香農(nóng)第一定理） …………………………………… 111
4．4  變長碼的編碼方法 ………………………………………………………………… 115
4．4．1  香農(nóng)編碼 ……………………………………………………………………… 115
4．4．2  香農(nóng)-費(fèi)諾-埃利斯編碼 ……………………………………………………… 116
4．4．3  二元霍夫曼碼 ………………………………………………………………… 116
4．4．4  r元霍夫曼碼 …………………………………………………………………… 119
4．4．5  費(fèi)諾碼 ………………………………………………………………………… 120
4．5  實(shí)用的無失真信源編碼方法 ……………………………………………………… 122
4．5．1  游程編碼 ……………………………………………………………………… 122
4．5．2  算術(shù)編碼 ……………………………………………………………………… 124
4．5．3  LZW編碼 ……………………………………………………………………… 126
擴(kuò)展閱讀：漸進(jìn)等分割性和典型序列…………………………………………………… 129
習(xí)題4 ……………………………………………………………………………………… 132

第5章  有噪信道編碼 ……………………………………………………………………… 136
5．1  信道編碼的相關(guān)概念 ……………………………………………………………… 136
5．1．1  錯(cuò)誤概率和譯碼規(guī)則 …………………………………………………………… 137
5．1．2  錯(cuò)誤概率與編碼方法 …………………………………………………………… 142
5．2  有噪信道編碼定理 ………………………………………………………………… 148
5．3  糾錯(cuò)編碼 …………………………………………………………………………… 150
5．3．1  糾錯(cuò)編碼分類 ………………………………………………………………… 150
5．3．2  糾錯(cuò)編碼的基本概念 …………………………………………………………… 152
5．3．3  線性分組碼 …………………………………………………………………… 153
5．3．4  幾種重要的線性分組碼 ………………………………………………………… 163
5．3．5  卷積碼* ……………………………………………………………………… 168
5．3．6  TCM碼、級(jí)聯(lián)碼、Turbo碼和LDPC碼 ………………………………………… 171
動(dòng)手實(shí)踐5．1：Hamming(7，4)編譯碼器 ……………………………………………… 172
動(dòng)手實(shí)踐5．2：通信系統(tǒng)仿真 …………………………………………………………… 172
習(xí)題5 ……………………………………………………………………………………… 173

第6章  限失真信源編碼 …………………………………………………………………… 178
6．1  失真測(cè)度 …………………………………………………………………………… 178
6．1．1  失真函數(shù) ……………………………………………………………………… 179
6．1．2  平均失真 ……………………………………………………………………… 181
6．2  信息率失真函數(shù) …………………………………………………………………… 182
6．2．1  D失真許可信道………………………………………………………………… 182
6．2．2  信息率失真函數(shù)的定義 ………………………………………………………… 182
6．2．3  信息率失真函數(shù)R(D)的性質(zhì)…………………………………………………… 183
6．3  限失真信源編碼定理 ……………………………………………………………… 188
6．4  信息率失真函數(shù)的計(jì)算* ………………………………………………………… 188
6．4．1  應(yīng)用參量表示式計(jì)算R(D)……………………………………………………… 189
6．4．2  率失真函數(shù)的迭代算法 ………………………………………………………… 195
6．5  常用的限失真信源編碼方法 ……………………………………………………… 197
6．5．1  量化編碼 ……………………………………………………………………… 198
6．5．2  預(yù)測(cè)編碼 ……………………………………………………………………… 199
6．5．3  變換編碼 ……………………………………………………………………… 201
動(dòng)手實(shí)踐：圖像的離散余弦變換………………………………………………………… 203
習(xí)題6 ……………………………………………………………………………………… 203

第7章  信息論的應(yīng)用 ……………………………………………………………………… 206
7．1  最大熵譜估計(jì) ……………………………………………………………………… 206
7．2  基于信息論的信息融合技術(shù) ……………………………………………………… 207
7．2．1  聚類分析法 …………………………………………………………………… 208
7．2．2  神經(jīng)網(wǎng)絡(luò)法 …………………………………………………………………… 210
7．2．3  熵法 …………………………………………………………………………… 211
7．3  壓縮感知與信息論 ………………………………………………………………… 211

附錄 A  信息論學(xué)習(xí)要點(diǎn)……………………………………………………………………… 214
附錄 B  習(xí)題參考答案………………………………………………………………………… 223
參考文獻(xiàn)………………………………………………………………………………………… 224