内容简介
《高等院校信息与通信工程系列教材:信息论与编码》对信息论的基本概念(熵、平均互信息量、信道容量,信息率失真函数)以及与此相对的香农三大极限编码定理(无失真信源编码定理、限失真信源编码定理和信道编码定理)做了系统的介绍,并以信息论为基础,介绍了信源编码、信道编码和加密编码的基本原理和方法,对一些具体编码方法的现实应用和编程实现也做了简单的介绍,最后,对相关领域的发展进行了概述和展望,在附录中还给出了一些科研与创新的相关经验。
《高等院校信息与通信工程系列教材:信息论与编码》注重启发式的教学,注重创新能力的培养,对难于理解的信息论与编码的关键性问题,给出了思考提示,在编写方式上进行了创新,采用不同字体区分不同内容,为读者留出了创新空间。
《高等院校信息与通信工程系列教材:信息论与编码》适用于高等院校信息工程、通信工程、雷达、信息安全、计算机、电子学、信息与计算科学等相关专业的本科生、研究生的教学,也可以用于教学、科研和工程的参考。
内页插图
目录
第1章 绪论
1.1 信息技术的优势及其带来的根本变革
1.2 信息论与编码的基本概念
1.2.1 信息的一般概念
1.2.2 香农的信息定义
1.2.3 信息的其他定义
1.2.4 信息论与编码技术发展历程
1.2.5 香农生平和学术风格
1.2.6 若干基本问题及其锦囊
1.3 数字通信系统模型
1.4 信息论与编码理论研究的主要内容和意义
1.4.1 信息论研究的主要内容
1.4.2 香农信息论对信道编码的指导意义
1.4.3 香农信息论对信源编码的指导意义
1.4.4 香农信息论对加密编码的指导意义
1.5 香农信息论的重要观点与方法
1.6 全程思考题
思考题与习题
第2章 信源及信息度量
2.1 信源的数学模型和分类
2.1.1 离散无记忆信源
2.1.2 离散有记忆信源
2.1.3 马尔可夫信源
2.1.4 连续信源
2.2 离散信源熵和互信息
2.2.1 自信息量
2.2.2 信源熵
2.2.3 条件熵
2.2.4 联合熵
2.2.5 熵函数的性质
2.2.6 互信息与平均互信息量
2.2.7 互信息与平均互信息量的性质
2.2.8 数据处理中信息的变化
2.3 离散序列信源的熵
2.3.1 离散无记忆信源的序列熵
2.3.2 离散有记忆信源的序列熵
2.3.3 马尔可夫信源的序列熵
2.4 连续信源的熵和互信息
2.4.1 幅度连续的单个符号的信源熵
2.4.2 波形信源熵
2.4.3 最大熵定理
2.5 冗余度
2.6 最大熵原理
2.7 关于熵的概念理解与题意解读
思考题与习题
第3章 信道及其容量
3.1 信道的数学模型与分类
3.1.1 信道的分类
3.1.2 信道的数学模型与参数
3.2 信道疑义度与平均互信息量
3.3 信息传输率与信道容量
3.4 离散单个符号信道的信道容量
3.4.1 特殊离散信道
3.4.2 对称DMC信道
3.4.3 准对称DMC信道
3.4.4 具有可逆矩阵信道
3.4.5 一般DMC信道
3.5 离散无记忆序列信道的信道容量
3.6 串联信道和并联信道的信道容量
3.6.1 串联信道及其信道容量
3.6.2 并联信道及其信道容量
3.7 连续信道及其容量
3.7.1 连续单符号加性信道
3.7.2 多维无记忆加性连续信道
3.7.3 限时限频限功率的加性高斯白噪声信道
3.8 信源与信道的匹配
3.9 信道编码定理简介
思考题与习题
第4章 无失真信源编码
4.1 编码器和相关概念
……
第5章 信息率失真函数与限失真编码
第6章 信道编码
第7章 加密编码
第8章 香农信息论的局限性与发展展望
第9章 信息论与编码技术的实现与应用
附录 寄语及学习研究的经验和方法分享
参考文献
前言/序言
信息论与编码是一门比较理论化的科学,涉及大量的数学分析、论证和建模,对数学的要求高,涉及概率论、线性代数、微积分等。对于不善于领悟的同学,可能会觉得它枯燥无味;而对于善于领悟的同学,则会有如鱼得水的感觉。信息论是对信息问题的抽象,应用面和涉及面广,许多问题都可以归结为信息论问题,但是由于其中涉及数学建模太多,局限性也多。这对于学生,特别是对于本科生而言,是具有一定难度的。当今的某些课程,包括数学等,经历课时数的压缩,课时也有所缩短。在这样的情况下,针对昔日本科生的教学大纲和教材,对于经过扩招以后的大学生而言,显得更加枯燥无味、艰涩难懂。为了促进学生对于相关数学问题的理解,我们将信息论与编码中的关键性、全局性的问题进行了提炼,设计了一些全程问题,并且将复杂的问题分解为若干问题及其锦囊,通过逐步提示和启发的方式来促进学生的理解。当然对于一些问题的分解并不太让人满意,权作为抛砖引玉。
虽然直观地看,书本上的数学公式枯燥无味,但是如果能够善于思考和洞察问题的本质,就会发现,数学问题是那样美妙、有趣,数字的规律有时候也是严整有序的。
根据学生对以往的信息论与编码类教材的反馈意见,我们决定在前人的基础上改进信息论与编码教材,同时实践我们在一些教改论文中提出的教材改革、教学改革和提高学生创新能力的建议。我们在教学中发现学生有应试习惯,许多学生并不是通过自己的理解去做题,而是依葫芦画瓢,按照类似的题型去套,因此在课后习题中增加了一些比较灵活、自由的题目。
我们在这本教材中试图做到以下几点:
(1)充分重视启发。将复杂的数学证明简化为若干小问题,变成若干锦囊来启发学生理解问题。通过极端的例子来启发学生发现和理解问题。通过现实中经常用到的例子来启发。
(2)重视实用性,除了理论外,还对各种编码的具体实现中的问题进行了分析,并且给出了一些软件实现的具体指导。避免教材内容过于学术化,而没有考虑到学生今后在工作中的实际需求。对于信息论与编码技术在现实中的各种应用也有不少介绍和展望。
(3)充分结合我们的研究和教学成果与经验,根据我们的分析和研究,提供一些新的理解或者证明相关结论的方法。
(4)注重各知识点的条理性、衔接性、前后关系和因果关系。
(5)详细叙述与方向指引并重。“吾生也有涯,而知也无涯。以有涯随无涯,殆已。”知识是无涯的,与此相对应的是教材篇幅是受到限制的,学生的时间也是有限的,即有涯。如何在有涯和无涯之间建立很好的平衡是一个教材的编者必须充分考虑的。在当今强调宽口径教学的背景下,一方面要突出重点,针对具有理论和应用价值的内容进行详细叙述;另一方面,由于篇幅所限,不可能面面俱到,在教材中指明学科的脉络、发展方向和前沿,对于某些应用面有限的、烦琐的尖端枝末性的知识,我们尽量推荐一定的教材和资源,以便读者可以根据指引找到相关资料。本书还提出了一些具有潜力的新问题研究方向。
高等院校信息与通信工程系列教材:信息论与编码 电子书 下载 mobi epub pdf txt