编辑推荐

本书凝聚数十年一线教学和科研经验，对于信息论，编码进行了详细的论述，提供配套电子课件和习题参考答案等教辅资料。

内容简介

本书重点介绍信息论与纠错编码的基础内容，全文共9章，主要内容包括信息及信息的度量、离散信源及信源熵、离散信道及信道容量、信源编码定理和信道编码定理、平均失真测度和信息率失真函数、率失真编码定理、线性分组码、循环码和卷积码，对一些较难理解的概念，辅有较多的例题，并配套免费电子课件、习题解答等教辅资料。

作者简介

孙丽华，女，南昌大学教授，在通信、计算机、信息系统与编码领域拥有三十余年教学经验，出版多部著作，教学、科研、写作经验丰富。

目录

第1章 信息论基础 （1）
1．1 信息的概念 （2）
1．2 数字通信系统 （4）
1．3 信源及其数学模型 （6）
1．3．1 离散无记忆信源 （6）
1．3．2 离散有记忆信源 （8）
1．3．3 波形信源 （9）
1．4 信道及其数学模型 （10）
1．4．1 离散无记忆单符号信道 （10）
1．4．2 离散无记忆扩展信道 （12）
本章小结 （13）
思考题与习题 （14）
第2章 信息的度量 （15）
2．1 自信息量和互信息量 （16）
2．1．1 自信息量和条件自信息量 （17）
2．1．2 互信息量和条件互信息量 （19）
2．2 离散集的平均自信息量 （24）
2．2．1 信息熵 （24）
2．2．2 熵函数的性质 （27）
2．3 离散集的平均互信息量 （32）
2．3．1 平均互信息量 （32）
2．3．2 平均互信息量的性质 （35）
2．3．3 有关平均互信息量的两条
定理 （37）
2．4 N维扩展信源的熵和平均互
信息量 （41）
2．4．1 N维扩展信源的熵 （41）
2．4．2 N维扩展信源的平均互
信息量 （42）
2．4．3 有关N维平均互信息量的
两条定理 （43）
本章小结 （45）
思考题与习题 （45）
第3章 离散信源无失真编码 （49）
3．1 概述 （50）
3．1．1 码的分类 （51）
3．1．2 平均码长的计算 （54）
3．1．3 信息传输速率 （55）
3．2 等长码及等长编码定理 （57）
3．3 变长码及变长编码定理 （60）
3．3．1 变长码 （60）
3．3．2 克拉夫特不等式 （60）
3．3．3 变长编码定理 （63）
3．4 变长码的编码方法 （67）
3．4．1 香农编码法 （67）
3．4．2 费诺编码法 （69）
3．4．3 霍夫曼编码法 （70）
本章小结 （74）
思考题与习题 （75）
第4章 离散信道的信道容量 （79）
4．1 信道容量的定义 （80）
4．2 离散无记忆信道容量的
计算 （80）
4．2．1 达到信道容量的充要
条件 （81）
4．2．2 几类特殊的信道 （85）
4．3 组合信道的容量 （92）
4．3．1 独立并行信道 （92）
4．3．2 和信道 （93）
4．3．3 串行信道 （94）
本章小结 （96）
思考题与习题 （97）
第5章 有噪信道编码 （99）
5．1 信道编码的基本概念 （100）
5．2 译码规则及错误概率 （103）
5．3 信道编码定理 （106）
5．4 费诺引理及信道编码逆
定理 （109）
5．4．1 费诺不等式 （110）
5．4．2 信道编码逆定理 （111）
本章小结 （112）
思考题与习题 （113）
第6章 率失真编码 （116）
6．1 失真测度与平均失真 （117）
6．2 信息率失真函数R(D) （120）
6．2．1 率失真函数的定义 （120）
6．2．2 率失真函数的值域、
定义域 （121）
6．2．3 率失真函数的性质 （122）
6．3 率失真函数的计算 （125）
6．3．1 两种特殊情况下的
求解 （125）
6．3．2 R(D)的参数表示法 （129）
6．4 率失真信源编码定理 （133）
本章小结 （133）
思考题与习题 （134）
第7章 线性分组码 （137）
7．1 纠错码的基本概念 （138）
7．1．1 信道纠错编码 （138）
7．1．2 差错类型 （138）
7．1．3 差错控制系统模型及分类 （139）
7．1．4 纠错码的分类 （140）
7．2 群与群陪集分解 （141）
7．2．1 群的概念 （141）
7．2．2 子群 （142）
7．2．3 群的陪集分解 （143）
7．3 线性分组码的编码 （143）
7．3．1 生成矩阵、校验矩阵 （143）
7．3．2 系统码 （147）
7．3．3 对偶码 （149）
7．3．4 编码的实现 （150）
7．4 线性码的纠检错能力 （151）
7．4．1 码的距离和重量 （151）
7．4．2 线性码的纠错、检错
能力 （152）
7．5 标准阵列和译码 （155）
7．5．1 标准阵列 （155）
7．5．2 陪集分解 （156）
7．5．3 译码 （159）
7．6 汉明码 （160）
7．6．1 汉明码的构造 （160）
7．6．2 汉明限与完备码 （161）
本章小结 （162）
思考题与习题 （163）
第8章 循环码 （166）
8．1 有限域及其结构 （167）
8．1．1 域的定义 （167）
8．1．2 有限域的本原元 （170）
8．1．3 有限域的结构 （171）
8．1．4 最小多项式的共轭
根组 （173）
8．1．5 有关有限域的小结 （175）
8．2 循环码的一般概念 （176）
8．2．1 循环码的定义 （176）
8．2．2 循环码的多项式描述 （177）
8．3 循环码的生成多项式和生成
矩阵 （177）
8．3．1 生成多项式 （177）
8．3．2 生成矩阵 （180）
8．4 循环码的校验多项式和校验
矩阵 （181）
8．5 循环码的编码 （184）
8．5．1 利用g(x)实现编码 （184）
8．5．2 利用h(x)实现编码 （186）
8．6 循环码的译码 （188）
8．6．1 伴随式计算 （188）
8．6．2 循环码的纠错译码 （190）
8．6．3 Meggit译码器 （192）
8．7 一些重要的循环码 （194）
8．7．1 循环Hamming码 （194）
8．7．2 BCH码 （195）
本章小结 （198）
思考题与习题 （198）
第9章 卷积码 （200）
9．1 卷积码基本概念 （201）
9．2 卷积码的数学描述 （202）
9．2．1 卷积码的矩阵描述 （202）
9．2．2 卷积码的多项式描述 （204）
9．3 卷积码的图形表示方法 （206）
9．3．1 状态图 （206）
9．3．2 树图 （206）
9．3．3 网格图 （208）
9．4 Viterbi译码 （208）
9．4．1 Viterbi译码步骤 （209）
9．4．2 Viterbi译码 （209）
本章小结 （210）
思考题与习题 （211）
附录A GF(2m)中元素的最小多项式
和本原多项式(1＜m≤8) （212）
附录B 熵函数计算用简明
对数表 （213）
参考文献 （214）

前言/序言

前 言

20世纪以来，我们正处在一个信息时代，计算机技术、微电子技术、激光技术、多媒体技术、卫星通信和移动通信技术、计算机网络技术等各种新技术的兴起、发展及广泛应用，使得人们的空间距离、时间距离大大缩短，快速、强力地推动着人类社会的经济、科学的高速发展，将人类社会推入到一个高度化的信息时代。无论是在办公室，还是置身于社会，或者是足不出户在家，我们都受到各种信息的包围。尤其是计算机网络的迅猛发展，使得综合语音、视频和数据等多媒体应用已经从精巧的技术概念变成市场现实。

信息论是应用近代概率统计方法研究信息传输、交换、存储和处理的一门学科，也是源于通信实践发展起来的一门新兴应用科学。当前人类已步入信息社会，随着信息处理技术的不断深入应用，信息在科学技术上的重要性早已超越了狭义的通信工程的范畴，渗透到自然科学与社会科学的所有领域，与电子技术、计算机网络、信息安全、自动控制、生物医学工程、遗传工程、人工智能等学科密切结合，受到各领域越来越多的关注，显示出它的勃勃生机和不可估量的发展前景。

在高等学校中，信息工程类专业是最热门的专业之一，信息技术已经改变了很多传统学科的知识结构。在这种形式下，许多高校都在相关专业开设了信息论课程，一方面，这门课是信息类专业的核心课程，很多学校都把它作为必修课或必选课；但另一方面，这门课程涉及多门工程数学理论，如概率统计论、线性代数、近世代数等，一直有教师难教、学生难学的说法。本书力求在内容筛选及编排上以读者最易接受的方式介绍信息理论的知识。

本书的内容分为两部分：一部分为信息论基础，以香农（Claude E. Shannon）信息论为基础，论述近代信息理论的基本概念和主要结论；另一部分为编码部分，介绍几种常用的信道编码方法。

第1章为“信息论基础”，介绍信息论的基本概念，最新发展，以及本书的研究对象—各种信源和信道。

第2～6章为信息论部分，介绍信息的度量，内容主要围绕香农三大定理展开，研究在不允许失真的情况下信息传输率的极限值，以及给定信源且允许一定失真的条件下信息速率的极限值，并研究在误码率小于给定值的条件下如何最有效地利用信道的传输能力。

第7～9章为编码部分，编码是后人沿着香农指明的可行方向，为寻求有效而可靠的编译码方法而发展起来的一门学科，主要研究在有噪信道条件下各种可行的编码方案及实施技术。

与现有的各种“信息论与编码”教材相比，本教材特色如下：

（1）本书力图在编排上由浅入深，循序渐进，希望读者以易于掌握的方式接受信息论与编码的基本理论。

（2）对于部分具有结论性、指导性的定理，教材省去了冗长烦琐的定理证明，注重物理概念的阐述以及对工作和实际应用的指导意义。

（3）增加了编码部分的内容。教材第7～9章分别论述纠错码中最基本的线性分组码、循环码和卷积码的编译码理论，并列举了几种常用的码，如汉明码、BCH码和卷积码，介绍了它们主要的编译码方法。

（4）对一些难以理解的概念，本书配有较多例题，以帮助读者理解抽象定理。各章后面配有较多难易程度不等的思考题和习题，以供选用。

本书全部内容的教学约需60学时，不同专业可根据需要进行调整。

本书配有教学课件和配套辅助文件，需要者可登录华信教育资源网http://www.hxedu.com.cn免费注册下载。

本书第1章、第9章、附录A和附录B由陈荣伶编写，第2～8章由孙丽华编写，由孙丽华负责全书的策划、修改和统编。王磊劼、简琪瑶、孙庆如也参与了本书的编写工作。

本书在编写过程中参阅了一些国内外相关著作，这些著作已在参考文献中一一列出，在此谨向有关作者表示深深的谢意！本书在编写过程中得到电子工业出版社的大力支持，王羽佳编辑做了大量的工作，使本书得以顺利出版，在此一并表示衷心的感谢！

本书涉及知识领域广泛，而今科技发展日新月异，由于时间和水平有限，书中难免有差错和不足之处，敬请读者批评、指正！

孙丽华