本書以香農信息論為基礎，分兩大部分共8章向讀者系統介紹信息理論與編碼理論的基本思想：第一部分主要介紹了香農信息論的基本概念和性質，包括信息熵、信息率失真函數和信道容量，力求從基本概念上幫助讀者理解和掌握信息理論的基本內容；第二部分以三個基本概念相對應的香農三大編碼定理為基礎，從滿足通信系統的有效性、可靠性和安全性三項性能指標為出發點，詳細介紹了無失真信源編碼、限失真信源編碼和信道編碼的基本理論與方法。 本書內容結構清晰明了，以通俗語言敘述代替高深繁瑣的數學推導，強調信息理論與編碼方法在知識上的連貫性，以滿足工科類本科專業學生的學習要求。 本書可作為普通高等院校電氣信息類電子信息工程專業和通信專業的教材或教學參考書。目 錄
第1章 概論 1
1.1 信息的概念 1
1.2 信息的分類 3
1.3 信息論的研究目的與意義 5
第2章 信源與信息熵 6
2.1 離散信源與信息熵 6
2.1.1 離散信源的數學模型與 統計特征 6
2.1.2 自信息量和平均自信息量(熵) 7
2.1.3 熵函數的基本性質和 最大熵定理 11
2.1.4 聯合熵與條件熵 17
2.1.5 互信息 20
2.2 離散序列信源 28
2.2.1 離散序列信源的數學模型 28
2.2.2 離散序列信源的信息熵 29
2.2.3 馬爾可夫信源 33
2.2.4 信源冗余度 37
2.3 連續信源 39
2.3.1 連續信源的熵 39
2.3.2 連續信源的最大熵及熵功率 44
習題 46
第3章 信息率失真函數 50
3.1 失真測度 51
3.1.1 失真函數與平均失真度 51
3.1.2 信息率失真函數的定義 54
3.2 離散信源的信息率失真函數 55
3.2.1 信息率失真函數的性質 55
3.2.2 信息率失真函數的計算 58
3.3 連續信源的信息率失真函數 66
3.3.1 信息率失真函數的 定義與性質 67
3.3.2 信息率失真函數的計算 68
習題 69
第4章 信道與信道容量 71
4.1 信道的分類與數學模型 71
4.1.1 信道的分類 71
4.1.2 信道的數學模型 72
4.1.3 信道容量的定義 77
4.2 信道容量的代價函數和信道冗余度 79
4.2.1 信道容量的代價函數 79
4.2.2 信道冗余度 80
4.3 離散信道及其容量計算 81
4.3.1 單符號離散信道的信道容量 81
4.3.2 多符號離散信道的信道容量 89
4.4 連續信道及其容量 90
4.4.1 時間離散信道的信道容量 90
4.4.2 時間連續信道的信道容量 93
4.4.3 限頻率、限時、限功率的 AWGN信道容量 94
4.5 信道容量C與信息率失真 函數R(D)的區別 97
4.6 多用戶信道 98
4.6.1 多址接入信道 99
4.6.2 廣播信道 101
習題 102
第5章 香農三大定理 105
5.1 香農第一定理 105
5.2 香農第二定理 108
5.3 香農第三定理 110
第6章 無失真信源編碼 112
6.1 信源編碼概述 112
6.1.1 信源編碼的一般模型 112
6.1.2 信源產生冗余的原因 113
6.2 無失真信源編碼概述 115
6.2.1 編碼的有關概念 115
6.2.2 幾個簡單的信源編碼器 116
6.2.3 幾種常見碼 117
6.3 等長碼與等長信源編碼定理 119
6.3.1 無失真編碼條件 119
6.3.2 信源序列漸近均分性 121
6.3.3 信源序列分組定理 122
6.3.4 漸近均分特性 124
6.3.5 等長編碼定理 124
6.4 變長編碼 126
6.4.1 碼樹 127
6.4.2 異前置碼 127
6.4.3 克拉夫特-麥克米倫不等式 128
6.4.4 變長編碼定理 129
6.5 最佳變長編碼(霍夫曼編碼) 132
6.5.1 二進制霍夫曼編碼 133
6.5.2 多進制霍夫曼編碼 138
習題 139
第7章 限失真信源編碼定理 141
7.1 限失真信源編碼概述 141
7.2 限失真信源編碼逆定理 147
7.3 保真度準則下的碼率壓縮標準 149
7.3.1 語音壓縮編碼標準 149
7.3.2 圖像壓縮編碼標準 154
7.4 幾種常用的有損壓縮編碼技術 160
7.4.1 差分脈沖編碼調制(DPCM) 160
7.4.2 預測編碼 161
7.4.3 正交變換編碼 165
7.4.4 小波變換編碼 171
習題 173
第8章 信道編碼 175
8.1 信道編碼的基本概念 175
8.1.1 檢錯和糾錯原理 175
8.1.2 檢錯和糾錯能力的判斷 176
8.1.3 信道編碼的分類 177
8.1.4 常用的簡單檢錯糾錯碼 178
8.2 錯誤概率 180
8.2.1 譯碼規則的概念 180
8.2.2 錯誤概率與譯碼規則 181
8.2.3 三種譯碼準則 182
8.2.4 錯誤概率與編碼方法 187
8.3 線性分組碼 190
8.3.1 線性分組碼的基本概念 190
8.3.2 校驗矩陣和生成矩陣 190
8.3.3 漢明碼 193
8.3.4 線性分組碼的譯碼 194
8.4 循環碼 195
8.4.1 循環碼的定義和多項式描述 195
8.4.2 碼多項式的運算 196
8.4.3 循環碼的生成多項式和 生成矩陣 197
8.4.4 循環碼的校驗矩陣 198
8.4.5 循環碼的編碼和譯碼方法 199
8.5 卷積碼 201
8.5.1 卷積碼的概念 201
8.5.2 卷積碼的編碼 201
8.5.3 卷積碼的圖形表示 202
8.5.4 卷積碼的譯碼 204
習題 206
附錄A 常用概率公式 208
附錄B 詹森不等式 209
參考文獻 210
