内容简介
《信息理论与编码基础》较为系统地论述信息理论和编码的基础知识,内容包括绪论、信息的度量、离散信源及其信源编码、离散信道及其信道编码、连续消息和连续信道、限失真信源编码、差错控制的基本概念、线性分组码、卷积码、信道编码新进展简介(包括Turbo码、空时分组码、低密度奇偶校验码、网络编码与协作)等。每章后面都附有思考题和习题。全书针对本科教学的特点,力求深入浅出,把严密的数学语言、合理的物理解释和丰富的应用实例相结合,将经典理论介绍和新研究成果相结合,便于学生自学。
《信息理论与编码基础》为普通高等教育“十一五”国家级规划教材,可作为高等院校通信类、电子信息类、计算机科学与工程类、自动控制类等专业本科生教材,也可作为相关学科硕士研究生的教学参考书以及有关技术、科研和管理人员的参考书。
内页插图
目录
前言
常用符号
第1章 绪论
1.1 通信系统的基本单元
1.2 信息科学的有关概念
1.2.1 信息的特征
1.2.2 信息理论要解决的基本问题
1.2.3 信息论的创始人
1.2.4 信息科学的定义及迅速发展的背景
1.2.5 信息理论的研究内容
1.3 香农信息论梗概
思考题
第2章 信息的度量
2.1 度量信息的基本思路
2.1.1 单符号离散信源
2.1.2 自信息量
2.2 信源熵和条件熵
2.2.1 信源熵
2.2.2 条件自信息量
2.2.3 条件熵
2.3 互信息量和平均互信息量
2.3.1 互信息量
2.3.2 互信息量的性质
2.3.3 条件互信息量
2.3.4 平均互信息量
2.3.5 平均互信息量的性质
2.3.6 平均互信息量的物理意义
2.4 多维随机变量的熵
2.4.1 熵的链接准则
2.4.2 信息链接准则
2.4.3 熵的界
2.4.4 数据处理不等式
本章小结
思考题
习题
第3章 离散信源及其信源编码
3.1 信源分类
3.1.1 信源分类方法
3.1.2 自然语信源
3.1.3 马尔可夫信源
3.2 离散信源的熵
3.2.1 发出单符号消息离散无记忆信源的熵
3.2.2 发出符号序列消息离散无记忆信源的熵
3.2.3 发出符号序列消息的离散有记忆信源的熵
3.2.4 发出符号序列消息的马尔可夫信源的熵
3.2.5 各种离散信源的时间熵
3.3 信源的冗余度
3.3.1 最大信源熵
3.3.2 信源的冗余度
3.4 信源编码及其描述
3.4.1 信源编码模型
3.4.2 编码效率
3.5 单义可译定理
3.5.1 单义可译码
3.5.2 即时码的构造
3.5.3 单义可译定理
3.5.4 平均码长界定定理
3.6 香农第一定理
3.6.1 元失真信源编码
3.6.2 等长码的信源编码
3.7 信源编码实例
3.7.1 费诺编码方法
3.7.2 霍夫曼编码方法
3.7.3 Lempel-Ziv编码
本章小结
思考题
习题
第4章 离散信道及其信道编码
4.1 信道的分类
4.2 离散信道的传输特性
4.2.1 无扰离散信道的传输特性
4.2.2 有扰离散信道的传输特性
4.2.3 几种特殊的有扰离散信道
4.2.4 消息在有扰离散信道上的信息传输速率
4.2.5 有扰离散信道的信道容量
4.3 译码准则
4.3.1 常用的译码准则
4.3.2 关于译码准则的讨论
4.4 香农第二定理
4.4.1 信道编码与平均错误译码概率
4.4.2 汉明距离与编码原则
4.4.3 有扰离散信道的信道编码定理
本章小结
思考题
习题
第5章 连续消息和连续信道
5.1 连续消息的信息度量
5.1.1 基本思路
5.1.2 几种连续信源的相对熵
5.1.3 条件熵
5.1.4 平均互信息量
5.1.5 连续消息熵的性质
5.1.6 最大相对熵定理
5.1.7 熵功率和熵功率不等式
5.2 连续消息在信道上的传输问题
5.3 香农信道容量公式
5.3.1 高斯信道的信道容量
5.3.2 带限信道的信道容量
5.3.3 香农公式的含义
本章小结
思考题
习题
第6章 限失真信源编码
6.1 失真函数和平均失真度
6.1.1 失真函数
6.1.2 平均失真度
6.2 信息率失真函数
6.2.1 保真度准则
6.2.2 失真许可的试验信道
6.2.3 信息率失真函数及其性质
6.2.4 几种典型信源的信息率失真函数
6.3 保真度准则下的信源编码定理
本章小结
思考题
习题
第7章 差错控制的基本概念
7.1 差错控制系统的分类
7.1.1 自动请求重传系统
7.1.2 前向纠错系统
7.1.3 信息重复查询系统和混合纠错系统
7.2 纠错编码的分类及其性能评价
7.2.1 纠错编码的分类
7.2.2 纠错码的基本概念
7.2.3 纠错编码方法的性能评价
本章小结
思考题
习题
第8章 线性分组码
8.1 有关概念
8.1.1 线性分组码的定义及其性质
8.2 线性分组码的编码和译码
8.2.1 线性分组码的编码
8.2.2 线性分组码译码
8.2.3 线性分组码举例
8.3 循环码的描述
8.3.1 循环码的定义
8.3.2 循环码的性质
8.3.3 生成矩阵和一致校验矩阵
8.4 循环码的编码和译码
8.4.1 循环码的编码
8.4.2 循环码的译码
8.4.3 循环码的检错能力
8.4.4 循环码的缩短与扩展
8.5 二元BCH码
8.5.1 BCH码的描述
8.5.2 BCH码的编码和译码
8.6 多元BCH码和R-S码
8.7 纠突发错误码
8.7.1 纠突发错误码的定义及基本性质
8.7.2 交织码
本章小结
思考题
习题
第9章 卷积码
9.1 卷积码的编码及其描述
9.1.1 卷积码的编码
9.1.2 卷积码的描述
9.2 卷积码的最大似然译码
9.2.1 Viterbi译码
9.2.2 序列译码
9.3 卷积码的性能评估
9.3.1 译码的错误扩展及恶性卷积码
9.3.2 卷积码的自由距离
本章小结
思考题
习题
第10章 信道编码新进展简介
10.1 Turbo码
10.1.1 Turbo码的编码及其性能
10.1.2 Turbo码的译码简介
10.2 空时分组码
10.2.1 正交空时分组码
10.2.2 正交空时分组码的译码
10.2.3 准正交空时分组码
10.2.4 准正交空时分组码的译码
10.3 低密度奇偶校验码
10.3.1 低密度奇偶校验码的定义
10.3.2 低密度奇偶校验码的译码
10.4 网络编码与协作
10.4.1 网络编码
10.4.2 网络编码协作
本章小结
思考题
习题
参考文献
索引
前言/序言
由沈连丰和叶芝慧编著、杨千里主审的《信息论与编码》硕士研究生教材,自2004年由科学出版社出版以来,得到不少师长和同行的厚爱,很多老师和同学通过电子邮件和电话与本人进行有益的交流,希望在这本书的基础上再出一本面向本科教学的教材,在这一背景下我们写出了《信息理论与编码基础》。本书得到科学出版社的积极推荐,被教育部评为普通高等教育“十一五”国家级规划教材,这不仅是对我们的一种鼓励,同时也是一种压力,写作过程中深感面向本科的教材比面向研究生的教材更难写。
本书共有10章。第1章在简单介绍通信系统的基本单元和信息科学的有关概念后,给出香农(Shannon)信息论梗概以及本书的主要内容与课程要求;第2~6章是香农信息论的基本内容,分别讨论信息的度量、离散信源及其信源编码、离散信道及其信道编码、连续消息和连续信道、限失真信源编码,重点论述各种熵的概念、香农的3个定理和信道容量公式等基础知识;第7~10章给出信道编码的基础知识,首先讨论纠错编码的基本概念,其次重点论述线性分组码和卷积码(包括纠随机错误码和纠突发错误码),最后简要介绍信道编码新进展(包括Turbo码、空时分组码、低密度奇偶校验码、网络编码与协作)。每章后面都附有思考题和习题。本书已有较为完备的多媒体课件和习题参考解答,使用本书的老师可以向科学出版社免费索取。
本书基本保持原研究生教材的语言风格,但尽可能避免复杂的数学推导,强化基本概念和基础理论,力求把理论知识用简洁的数学语言及合理的物理解释来阐述,使其容易理解和便于自学;将理论介绍和新研究成果相结合,以增强读者学习的主动性。希望读者顺着“提出的问题,解决的思路,给出的分析,得到的结论,结论的意义,实际的应用”这条主线来阅读。
作者在编写过程中参考了大量的文献并将其列于书后,深感它们都是很有价值的,可以从不同的侧面帮助读者加深对本书内容的理解,在此衷心感谢这些在信息理论和编码领域作出贡献的国内外先师和同行。
本书的1~9章由沈连丰为主编写,第10章由李正权为主编写;徐艳丽协助编写了第8章和10.4节,宋韬协助编写了第4章和第5章,沈丹萍和李正权分别协助编写了第3章和第7章;徐艳丽、谢树京、宋韬、沈丹萍选编了本书第1~9章的习题,宋韬、沈丹萍完成了习题解答和许多其他具体工作。
作者诚挚感谢对本书的写作、出版给予各种帮助的领导、同仁和学生。本书是在原研究生教材《信息论与编码》的基础上编写的,因此首先感谢《信息论与编码》的作者之一叶芝慧和主审杨千里将军;东南大学将本书列为校级“十一五”规划教材,校教务处的领导给予了多方面支持;东南大学信息科学与工程学院负责本科教学的副院长孟桥教授以及作者在移动通信国家重点实验室的同事对本课程一直给予关心、指导和帮助,对本书的大纲和初稿提出许多中肯的修改意见;共同执教本科生课程的同事徐平平教授、仲文副教授和傅学群等老师,课题组宋铁成教授、胡静副研究员和夏玮玮副研究员,博士后许波,博士生徐艳丽、谢树京、吴名、刘继顺、左旭舟、杨琼等分别阅读了书稿的部分章节并提出许多修改意见;最后,作者要特别感谢科学出版社的编辑和支持本书出版的评审专家,是他们的鼓励、支持和指导,才使本书得以出版。
信息理论和编码技术的发展日新月异,限于水平,书中难免存在疏漏之处,敬请同行专家和读者不吝指正。
信息理论与编码基础 电子书 下载 mobi epub pdf txt