編輯推薦

本書作者主要從事通信網絡數據傳輸的優化控製方嚮的科研項目，從事信息論與編碼技術這門課程的學工作已有16年，積纍瞭較為豐富的教學經驗。在教材編寫中，作者加入瞭適量的實現流程圖和編程，為理論到應用搭建瞭一座橋梁，使學生對課程的理解更為深入，對實際編碼不再感覺神秘。

內容簡介

本書係統講述瞭信息論及編碼的基礎理論和方法，主要包括離散信源及熵、離散信道及信道容量、離散信源編碼與香農**定理、離散信道與香農第二定理、連續信源與連續信道、率失真函數、香農第三定理等。采用較多的通信和信息係統相關的背景例題和圖示闡述基本概念，注重編碼理論、編碼方法的實現過程的教學內容編寫，給齣重要算法的實現流程圖，並附有編程算法的實現程序，便於讀者對課程的理解和應用。

作者簡介

楊曉萍：博士，吉林大學通信工程學院教授，吉林省通信學會會員。承擔的主要科研、教學項目有：“控製係統的分析和綜閤”，國傢傑齣青年科學基金，2008.1-2011.12，第1主要參加人； “高速公路車輛智能駕駛中的關鍵科學問題研究”，國傢自然科學基金重大計劃重點項目，2009.1-2012.12，子項目負責人；“電機、電器及可編程序控製器理論與實踐教程”，吉林大學（九五規劃教材立項），負責人； “《信息論》課程建設”，吉林大學研究生核心課程建設項目，2010.6-2012.5，負責人。同時還承擔本科和研究生的教學任務。已齣版教材３部，發錶論文數篇。

目錄

目 錄
第1章 緒論 1
1．1 信息的概念 1
1．2 信息論的研究對象、目的和內容 3
1．2．1 研究對象 3
1．2．2 研究目的 5
1．2．3 研究內容 5
第2章 信息的測度 7
2．1 自信息 7
2．2 平均自信息 9
2．2．1 平均自信息的概念 9
2．2．2 熵的物理意義 10
2．3 熵函數的性質 11
2．3．1 對稱性 12
2．3．2 確定性 12
2．3．3 非負性 13
2．3．4 擴展性 13
2．3．5 連續性 13
2．3．6 可加性 13
2．3．7 強可加性 14
2．3．8 極值性 15
2．3．9 上凸性 16
2．4 互信息和平均互信息 16
2．4．1 互信息 16
2．4．2 平均互信息 17
2．4．3 平均互信息的性質 19
2．4．4 平均條件互信息 21
思考題 21
習題 22
第3章 離散信源熵 24
3．1 信源分類及數學模型 24
3．1．1 離散信源 24
3．1．2 連續信源 25
3．1．3 信源分類 25
3．2 離散信源熵的計算 26
3．3 離散無記憶擴展信源 27
3．4 離散平穩信源 30
3．4．1 離散平穩信源的數學定義 30
3．4．2 二維離散平穩信源及其信息熵 31
3．4．3 離散平穩信源的極限熵 34
3．5 馬爾可夫信源 35
3．5．1 馬爾可夫信源的定義 36
3．5．2 馬爾可夫信源的熵 38
3．6 信源的相關性和剩餘度 39
3．6．1 實際離散信源的不同模型近似過程 40
3．6．2 信源剩餘度 40
思考題 42
習題 42
第4章 離散信道及信道容量 44
4．1 信道模型及其分類 44
4．1．1 信道模型 44
4．1．2 信道分類 45
4．2 離散單符號信道及其信道容量 46
4．2．1 離散單符號信道的數學模型 46
4．2．2 離散信道各種概率間的關係式 47
4．2．3 信道中平均互信息的物理意義 47
4．2．4 信道中條件熵的物理意義 48
4．2．5 信道容量的概念 49
4．2．6 幾種特殊信道的信道容量 50
4．2．7 離散對稱信道的信道容量 52
4．2．8 利用信道容量定理求解信道容量 55
4．3 離散多符號信道及其信道容量 57
4．3．1 離散多符號信道的數學模型 57
4．3．2 離散多符號信道的信道容量 58
4．4 組閤信道及其信道容量 60
4．4．1 獨立並聯信道 60
4．4．2 級聯信道 61
4．5 信源與信道的匹配和信道剩餘度 62
思考題 63
習題 63
第5章 無失真信源編碼 66
5．1 信源編碼的一般概念 66
5．1．1 編碼器的構成 66
5．1．2 常用信源編碼的概念 67
5．1．3 即時碼的樹圖構造法 71
5．2 定長碼和定長信源編碼定理 73
5．2．1 定長碼 73
5．2．2 定長編碼定理 74
5．2．3 編碼效率 75
5．3 變長碼和變長信源編碼定理 77
5．3．1 剋拉夫特（Kraft）不等式 77
5．3．2 唯一可譯變長碼的判彆方法 78
5．3．3 平均碼長 81
5．3．4 信源變長編碼定理 82
5．3．5 無失真變長信源編碼定理 83
5．3．6 編碼效率 84
5．4 典型的變長編碼方法 86
5．4．1 香農碼 86
5．4．2 霍夫曼碼 87
5．4．3 費諾碼 93
5．4．4 香農-費諾-埃利斯碼 95
思考題 97
習題 98
第6章 有噪信道編碼 101
6．1 信道編碼的一般概念 101
6．1．1 編碼信道 101
6．1．2 信道編碼的概念 102
6．1．3 差錯控製的基本方式 102
6．2 信道譯碼的選取規則 104
6．2．1 影響平均錯誤概率的因素 105
6．2．2 譯碼規則的選取準則 105
6．2．3 費諾不等式 108
6．3 信道編碼的選取規則 110
6．3．1 簡單重復編碼 110
6．3．2 信道編碼的選取 112
6．3．3 （5，2）綫性碼 113
6．3．4 碼的最小距離 115
6．3．5 最小距離譯碼準則 116
6．4 有噪信道編碼定理 117
6．5 糾錯碼原理 118
6．5．1 檢錯與糾錯原理 119
6．5．2 檢錯與糾錯能力 119
6．6 綫性分組碼 121
6．6．1 綫性分組碼的基本概念 121
6．6．2 綫性分組碼的編碼 123
6．6．3 綫性分組碼的性質 127
6．6．4 綫性分組碼的譯碼 129
6．6．5 漢明碼 137
思考題 142
習題 142
第7章 連續信源熵和連續信道容量 146
7．1 連續信源的差熵 146
7．1．1 一維連續信源的差熵 146
7．1．2 N維連續信源的差熵 149
7．1．3 典型連續信源的差熵 150
7．2 連續信源最大差熵定理 151
7．2．1 峰值受限條件下連續信源的最大熵 152
7．2．2 平均功率受限條件下連續信源的最大熵 152
7．3 連續信源熵的性質 153
7．3．1 可負性 153
7．3．2 可加性 153
7．3．3 極值性 154
7．3．4 上凸性 154
7．3．5 變換性 154
7．4 連續信道的平均互信息及性質 157
7．4．1 連續信道分類及數學模型 157
7．4．2 連續信道的平均互信息 160
7．4．3 連續信道平均互信息的性質 161
7．5 連續信道的信道容量 164
7．5．1 單符號高斯噪聲加性信道 164
7．5．2 多維無記憶高斯噪聲加性信道 165
7．5．3 加性高斯白噪聲波形信道 169
思考題 171
習題 172
第8章 限失真信源編碼 174
8．1 信源失真測度 174
8．1．1 單符號信源失真度 174
8．1．2 信源符號序列失真度 176
8．1．3 平均失真度 177
8．1．4 信源符號序列的平均失真度 178
8．2 信息率失真函數 178
8．2．1 保真度準則 178
8．2．2 信息率失真函數定義 179
8．2．3 信息率失真函數性質 180
8．3 典型率失真函數的計算 185
8．3．1 離散對稱信源的R(D)函數 185
8．3．2 連續信源的 R (D ) 函數 188
8．4 限失真信源編碼定理 193
思考題 194
習題 194
附錄A Jensen不等式 196
附錄B 熵函數的函數錶 198
附錄C 實驗內容和程序 200
C．1 唯一可譯碼判決準則 200
C．2 Huffman編碼 205
C．3 （7，4）綫性分組碼 210
參考文獻 214

前言/序言

前 言

《信息與編碼理論》是吉林大學本科“十二五”規劃的立項教材。編者根據“信息與編碼”教學體係改革和電子信息、通信類人纔培養的需要，經過對本門課程的潛心研究和分析編寫瞭本書。

“信息與編碼”是信息、通信、電子工程類專業的基礎課程，隨著社會發展信息化的不斷加強，要求信息相關類的學生和科技人員必須掌握信息與編碼方麵的相關知識。

不同院校不同專業對信息與編碼課程的教學要求相差很大，本書同時兼顧瞭基礎教學和應用。教材編寫選材時注意滿足課堂教學和課後自學相結閤的教學模式的需要。內容主要闡述香農框架下的信息理論，圍繞香農的三大定理展開論述，主要包括無失真變長信源編碼定理、有噪信道編碼定理和限失真信源編碼定理，重點討論信息的測度、信源模型與信源熵、信道模型與信道容量、信源編碼和信道編碼技術及相應的編碼方法等。教學總學時為40～60學時。

本書編寫具有以下特點：

① 對於無失真信源編碼和信道編碼，在詳細討論編碼理論和方法的基礎上，增加其方法實現的內容，有利於引導讀者完成本課程知識的運用和理解；

② 精選教材例題，盡可能選擇具有信息和通信專業背景的實例，使讀者直接感受到本門課程的理論知識在自己所學專業中的應用，培養自覺運用所學知識解決問題的能力；

③ 本書每章後麵不僅附有習題，還對重點節及知識點編寫瞭思考題，以加深對基本概念的理解，注重讀者運用信息理論知識對於實際問題的分析與解決能力的訓練。

本書共分8章，第1章、第2章、第3章、附錄C由高博編寫，第4章由姚桂錦編寫，6.5節、6.6節由錢誌鴻編寫，餘下的第5章、6.1～6.4節、第7章、第8章、各章思考題及習題、附錄A和附錄B由楊曉萍編寫，全書由楊曉萍擔任主編。

本書在撰寫和齣版過程中，得到瞭通信工程學院和電子工程係領導的支持，同時還得到瞭同仁們的指導和幫助，在此錶示深深的謝意！電子工業齣版社的宋梅編審在本書的策劃和審閱過程中提齣瞭寶貴的建設性意見，在本書的編寫齣版過程中給予瞭熱情的鼓勵和支持，我們在此一並錶示衷心感謝。

本書的編寫得到瞭吉林大學本科“十二五”規劃教材項目的資助。

限於作者水平，書中難免存在不足和疏漏之處，殷切希望廣大讀者批評指正。

編　者

2016年5月於長春