信息论与编码知识梳理及课后答案

《信息论与编码知识梳理及课后答案》由会员分享，可在线阅读，更多相关《信息论与编码知识梳理及课后答案（67页珍藏版）》请在文档大全上搜索。

1、信息论与编码信息论与编码贵州大学贵州大学 彭长根彭长根有关说明有关说明:1、计划学时、计划学时54，全部为讲课学时，适当组织讨论形式。，全部为讲课学时，适当组织讨论形式。2、总成绩由两部分组成，平时成绩占、总成绩由两部分组成，平时成绩占30，考试成绩，考试成绩占占70，由作业和考勤组成。，由作业和考勤组成。 课程概述课程概述n当今的时代是一个当今的时代是一个信息信息的时代，信息处理技术的不的时代，信息处理技术的不断进步极大的影响了我们的生活，使我们的生活质断进步极大的影响了我们的生活，使我们的生活质量得到很大提高。量得到很大提高。n现代现代“信息信息”的概念，已经与半导体技术、微电子的概念，已

2、经与半导体技术、微电子技术、计算机技术、通讯技术、网络技术、多媒体技术、计算机技术、通讯技术、网络技术、多媒体技术、信息服务业、信息产业、信息经济、信息化技术、信息服务业、信息产业、信息经济、信息化社会、信息管理等含义紧密地联系在一起。社会、信息管理等含义紧密地联系在一起。n信息技术信息技术(Information Technology(Information Technology，简称，简称IT)IT)是包是包括信息的采集、传递、处理、再生和使用等功能的括信息的采集、传递、处理、再生和使用等功能的技术。包括：信息获取技术、信息处理技术、信息技术。包括：信息获取技术、信息处理技术、信息传输技术

3、、信息控制技术和信息应用技术。传输技术、信息控制技术和信息应用技术。n信息科学信息科学是以信息为基本研究对象，以信息是以信息为基本研究对象，以信息的运动规律和应用方法为主要研究内容，这的运动规律和应用方法为主要研究内容，这是信息科学有别于一切传统科学最基本的特是信息科学有别于一切传统科学最基本的特征。信息科学主要包括征。信息科学主要包括信息论信息论和和计算科学计算科学两两部分，二者奠定了整个信息科技大厦的基石。部分，二者奠定了整个信息科技大厦的基石。n信息论信息论源于统计理论和电信技术的发展，主源于统计理论和电信技术的发展，主要研究信息属性、信息度量、信息表示和信要研究信息属性、信息度量、信息

4、表示和信息传输。息传输。F2020世纪世纪4040年代，香农（年代，香农（C.E.ShannonC.E.Shannon）提出了信）提出了信息的统计定义，于息的统计定义，于19481948年发表了信息论的奠基性年发表了信息论的奠基性论文论文通信的数学理论通信的数学理论。由于香农对信息论的。由于香农对信息论的发展作出了巨大贡献，被认为是信息论的创始人。发展作出了巨大贡献，被认为是信息论的创始人。n计算科学计算科学是对描述和变换信息的算法过程，是对描述和变换信息的算法过程，包括其理论、分析、设计、效率分析、实现包括其理论、分析、设计、效率分析、实现和应用的系统的研究，是整个计算机技术、和应用的系统的

5、研究，是整个计算机技术、工程与应用的理论基础。从计算机角度讲，工程与应用的理论基础。从计算机角度讲，计算科学的本质就是数据变换。计算科学的本质就是数据变换。F计算科学与数学的关系很密切，数学是计计算科学与数学的关系很密切，数学是计算科学的主要基础，算科学的主要基础，数学数学与与电子科学电子科学构成构成了我们今天计算机系统的基础，也构成了了我们今天计算机系统的基础，也构成了计算科学的基础。但是，与数学相比，电计算科学的基础。但是，与数学相比，电子技术基础地位的重要性不及数学。子技术基础地位的重要性不及数学。n本课程将介绍信息科学的本课程将介绍信息科学的基础理论基础理论和和基本方基本方法法，课程将

6、基于一个通信系统的抽象数学模，课程将基于一个通信系统的抽象数学模型进行展开，课程的数学基础为概率论。整型进行展开，课程的数学基础为概率论。整个课程可分为个课程可分为基础理论基础理论和和编码理论编码理论两部分组两部分组成成信源信源信道信道编码编码信宿信宿解码解码信息信息信息信息信号信号信号信号干扰干扰信道：在物理线路上划分信道：在物理线路上划分的逻辑通道。的逻辑通道。学习注意事项：学习注意事项：n本课程以本课程以概率论概率论为基础，数学推导较多，学习时为基础，数学推导较多，学习时主要把注意力集中到概念的理解上，不过分追求数主要把注意力集中到概念的理解上，不过分追求数学细节的推导。学细节的推导。n

7、学习时一定要从始至终注意基本概念的理解，不学习时一定要从始至终注意基本概念的理解，不断加深概念的把握。学习时注意理解各个概念的断加深概念的把握。学习时注意理解各个概念的“用处用处”，结合其他课程理解它的意义，而不要把，结合其他课程理解它的意义，而不要把它完全当作数学课来学习，提倡独立思考，注重思它完全当作数学课来学习，提倡独立思考，注重思考在学习中的重要性。考在学习中的重要性。第章第章 绪论绪论 u组成客观世界的三大基本要素：组成客观世界的三大基本要素：u物质物质u能量能量u信息信息 u一位美国科学家说过：一位美国科学家说过：“没有物质的世界是虚无没有物质的世界是虚无的世界；没有能源的世界是死

8、寂的世界；没有信息的世界；没有能源的世界是死寂的世界；没有信息的世界是混乱的世界。的世界是混乱的世界。” n三要素中物质是基础，是实体。能量是物质运动的形式，三要素中物质是基础，是实体。能量是物质运动的形式，E=mcE=mc2 2，物质可转换成能量，而能量又是改造客观世界的主，物质可转换成能量，而能量又是改造客观世界的主要动力。要动力。 花朵开放时的花朵开放时的，它可以引来昆虫为其它可以引来昆虫为其授粉；授粉； 成熟的水果会产生香味，诱来动物，动物食后为其成熟的水果会产生香味，诱来动物，动物食后为其传播种子，传播种子，； 药有苦味，让人难以吞咽，药有苦味，让人难以吞咽，； 听老师讲课可以得到许

9、多知识，听老师讲课可以得到许多知识，。 u可以说我们生活在信息的海洋之中，没有信息就没有世界，可以说我们生活在信息的海洋之中，没有信息就没有世界，当然也就没有我们人类社会。人类利用信息利用信息的历当然也就没有我们人类社会。人类利用信息利用信息的历史非常悠久，而且随着人类社会的发展而发展。到了现代，史非常悠久，而且随着人类社会的发展而发展。到了现代，信息的利用已经非常重要，以至于我们当今生活的社会被信息的利用已经非常重要，以至于我们当今生活的社会被称作信息社会。可见信息的重要。称作信息社会。可见信息的重要。视觉视觉嗅觉嗅觉味觉味觉听觉听觉总之，信息处处存在，人的眼、耳、总之，信息处处存在，人的眼

10、、耳、鼻、舌、身都能感知信息。鼻、舌、身都能感知信息。触觉触觉那么信息究竟是什么呢？那么信息究竟是什么呢？ 信息是事物之间的差异信息是事物之间的差异1 信息是物质和能量在时间和空间中信息是物质和能量在时间和空间中分布的不均匀性分布的不均匀性” 2 信息是负熵信息是负熵3 信息是作用于人类感觉器官的东信息是作用于人类感觉器官的东西西 4 信息就是情报信息就是情报 5 信息就是知识。信息就是知识。 6 数学家认为数学家认为“信息是使概率信息是使概率分布发生改变的东西分布发生改变的东西” ” 7 哲学家认为哲学家认为“信息是物质成信息是物质成分的意识成分按完全特殊的分的意识成分按完全特殊的方式融合起

11、来的产物方式融合起来的产物” ” 8 19281928年，美国数学家年，美国数学家哈特莱哈特莱 (Hartley)(Hartley)在在贝尔系统电话杂志贝尔系统电话杂志上上发表了一篇题为发表了一篇题为信息传输信息传输的论文。的论文。他认为他认为“信息是选择的自由度信息是选择的自由度”。把把信息理解为信息理解为选择通信符号的方式选择通信符号的方式. 事隔事隔2020年，另一位美国数学家年，另一位美国数学家香香农农 (C. E. Shannon)(C. E. Shannon) 在在贝尔系贝尔系统电话杂志统电话杂志发表了题为发表了题为通信的通信的数学理论数学理论的长篇论文。他创立了的长篇论文。他创立