Chapter 1 : Introduction¶
信息与信息科学¶
什么是信息？¶
- 质量、能量、信息
- 诺伯特·维纳对信息的著名定义：“信息就是信息，不是物质也不是能量”
- 信息是 21 世纪的支柱，信息将取代物质和能量成为创造财富的重要来源
- 符号、信号或消息所包含的内容，用来消除对客观事物认识的不确定性
- 数学家香农在题为“通讯的数学理论”的论文中指出：“信息是用来消除不确定性的东西”
信息来源于物质,但不是物质本身；信息与能量有密切关系，但不等于能量；信息必须有载体，在信息传输的过程中载体可以不断变更而信息保持原来的内容
- 信息具有弥漫性，可以在时间上无限延续，可以在空间上无限扩散
- 信息可被人类、生物、社会、机器所利用
- 信息可被感知、检测、识别、存储、传递、变换、处理、显示、记录和复制
- 信息是一种不可缺少的资源，可以采集、生成、压缩、更新和共享
信息与相关概念的区别
- 信息与消息：消息是信息的外壳，信息是消息的内核。
- 信息与信号：信号是信息的载体。
- 信息与数据：数据是信息存在的一种形态或一种记录形式。
- 信息与知识：知识是事物运动状态和方式在人们头脑中一种有序的、规律性的表达，是信息加工的产物。
信息科学¶
信息科学是研究信息现象及其运动规律、信息系统基本构成与运行机理的科学方法体系
- 探讨信息的本质内涵与度量方法
- 阐明信息获取、信息传递、信息认知、信息决 策等等信息过程的基本规律和相应信息系统的优化组成和运行机理
- 建立从信息视角出发来研究自然规律的科学方法体系
信息科学涵盖了计算科学、控制科学、系统科学、认知科学等主要研究领域，以信息论、控制论、系统论和计算理论为基础
信息的度量¶
信息的度量是信息论研究的基本问题，信息只有被度量了，才能定量分析信息的多少，才能建立一门学科体系对信息进行研究
信息的度量非常困难，迄今为止最为权威的是由信息论的创始人香农（Shannon）在《通信的数学理论》（1948）中提出的
信息的信息量与其不确定性有着直接的关系，有 \(I(A)=-\log P(A)\)
- 信息基于事件发生的概率
- 为什么是 log 函数？
- 概率越小，信息量越大
- 非负数
- 可加性
- 确定事件，信息量为 0
- 不可能发生事件，信息量为无穷大
信息论¶
信息论（Information Theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科（来源：wikipedia）
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域（来源：wikipedia）
狭义信息论和广义信息论¶
- 信息论是在信息可以度量的基础上，研究有效地和可靠地传递信息的科学，它涉及信息量度、信息特性、信息传输速率、信道容量、干扰对信息传输的影响等方面的知识。通常把上述范围的信息论称为狭义信息论，又因为它的创始人是香农，故又称为香农信息论
- 广义信息论则包含通信的全部统计问题的研究，除了香农信息论之外，还包括信号设计、噪声理论、信号的检测与估值等
- 本课程讲述的信息理论部分的基本内容是与通信科学密切相关的狭义信息论
1941～1944年香农对通信和密码进行深人研究，用概率论的方法研究通信系统，揭示了通信系统传递的对象就是信息，并对信息给以科学的定量描述，提出了信息熵的概念。指出通信系统的中心问题是在噪声下如何有效而可靠地传送信息，以及实现这一目标的主要方法是编码等。香农因此成为信息论的奠基人。
信息论的主要内容¶
信息论所研究的通信系统的基本模型如下：
Definition
- 信源是产生消息（或消息序列）的源
- 信源输出的是以符号形式出现的具体消息，它载荷信息
- 信源输出的消息可归纳为两类：
- 离散消息（例如由文字、数字等符号组成的符号序列）
- 连续消息（例如话音、图像等在时间上连续变化的电参数）
- 信源的核心问题是：它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量
- 信宿是接收消息的人和机器
- 信宿需要研究的核心问题是能收到或提取多少信息
- 信道是传递消息的通道，又是传送物理信号的设施
- 信道的问题主要是它能够传送多少信息的问题，即信道容量的大小
- 是整个通信系统中各个干扰的集中反映，用以表示消息在信道中传输时遭受干扰的情况
- 对于任何通信系统而言，干扰的性质、大小是影响系统性能的重要因素
信源编码器的主要指标是它的编码效率；信道编码器的主要指标则是对信号提供的检纠错能力
香农信息论解决了通信系统中的两个关键问题，即信源编码和信道编码的极限速率：
- 达到不失真信源压缩编码的极限（最低）编码速率是该信源的熵 \(H\)（信源编码）
- 只要信息传输速率小于信道容量 \(C\)，传输的错误概率可以任意的小；反过来如果超过信道容量，则传输的错误是不可避免的（信道编码）
编码理论研究的重点是在寻求接近香农理论极限的编码算法的同时，降低算法的复杂性
信息论的作用¶
信息论奠定了通信的基础理论，它所确定的理论极限是人类追求 的目标，也是近代几乎所有通信技术取得重大突破的理论 动力和思想源泉
信息论也带动了整个信息科学的发展，推动了计算理论和控制论的发展和应用，产生了很多信息科学的边缘学科和交叉学科，例如量子信息论，生物信息学……
现代信息论蓬勃发展，导致网络通信、深空通信、量子通信、分子通信、计算理论等许多学科方向的发展，新理论与新技术日新月异，层出不穷
- 信息与通信工程
- 生物信息学
- DNA 测序、DNA复制、生物遗传
- 文艺信息论
- 信息论与金融
- 信息论与人工智能