本书系统地讲述了信息论与编码的基本理论，全书共8章，内容包括：香农信息论的基本概念，各种离散信源、连续信源及其信息测度，离散信道、连续信道及其信道容量的计算，无失真信源编码定理、限失真信源编码定理及其常用的信源编码方法，有噪信道编码定理及其编码方法，信息论相关学科的应用与发展。在离散信源的信息熵、离散信道、离散信源编码以及信道编码章节中提供了相应内容的MATLAB仿真源程序，供教学使用。本书中的每章内容都力求精练、易读，强调掌握信息论与编码的基本理论和方法以及在通信系统中的应用。 本书可作为高等院校电子信息类及相关专业本科生或低年级研究生学习的教材或教学参考书，也可供从事相关专业的科研和工程技术人员参考。

第1章 绪论
1.1 信息的基本概念
1.1.1 信息的定义
1.1.2 信息的特征
1.1.3 信息、消息和信号的关系
1.2 信息论研究的内容
1.2.1 通信系统模型
1.2.2 信息论研究的内容
1.3 信息论的建立、发展与应用
习题一
第2章 离散信源
2.1 信源的数学模型及分类
2.1.1 随机变量描述信源输出的消息
2.1.2 随机序列描述信源输出的消息
2.1.3 随机过程描述信源输出的消息
2.2 离散信源的信息熵
2.2.1 自信息
2.2.2 信息熵
2.2.3 信息熵的基本性质
2.2.4 信息熵的专享性定理
2.3 离散无记忆的扩展信源
2.4 离散平稳信源
2.4.1 离散平稳信源的数学定义
2.4.2 二维平稳信源及其信息熵
2.4.3 离散平稳信源的极限熵
2.5 马尔可夫信源
2.5.1 马尔可夫信源的定义
2.5.2 m阶马尔可夫信源
2.5.3 马尔可夫信源的信息熵
2.6 信源冗余度与自然语言的熵
2.6.1 信源冗余度的定义
2.6.2 冗余的利用
本章小结
习题二
第3章 离散信道
3.1 信道的基本概念
3.1.1 信道的分类
3.1.2 离散信道的数学模型
3.1.3 单符号离散信道
3.2 平均互信息
3.2.1 信道疑义度
3.2.2 平均互信息
3.2.3 平均条件互信息
3.2.4 平均互信息的特性
3.3 信道容量的计算方法
3.3.1 离散无噪信道的信道容量
3.3.2 对称离散信道的信道容量
3.3.3 一般离散信道的信道容量
3.4 离散无记忆扩展信道及其信道容量
3.5 串联信道的互信息和数据处理定理
3.6 信源与信道匹配
本章小结
习题三
第4章 连续信源和连续信道
4.1 连续信源的熵及其特性
4.1.1 连续信源熵的定义
4.1.2 连续信源熵的特性
4.1.3 几种连续信源的熵
4.2 连续信源的优选熵
4.3 熵功率
4.4 连续熵的变换
4.5 连续信道及其信道容量
4.5.1 连续信道的分类
4.5.2 连续信道的平均互信息
4.5.3 连续信道平均互信息的特性
4.5.4 连续信道的信道容量
4.5.5 连续信道编码定理
本章小结
习题四
第5章 无失真信源编码
5.1 信源编码的基本概念
5.1.1 信源编码器
5.1.2 信源编码的分类
5.1.3 专享可译变长码与即时码
5.2 信源编码定理
5.2.1 渐近等分割性和ε典型序列
5.2.2 等长信源编码定理
5.2.3 变长信源编码定理
5.3 信源编码方法
5.3.1 香农编码
5.3.2 霍夫曼码
5.3.3 费诺码
5.3.4 香农一费诺一埃利斯码
5.4 几种实用的无失真信源编码方法
5.4.1 游程编码和MH编码
5.4.2 算术编码
5.4.3 LZ编码
本章小结
习题五
第6章 有噪信道编码
6.1 信道编码的概念
6.1.1 译码规则
6.1.2 编码方法
6.2 香农第二定理
6.2.1 有噪信道编码定理
6.2.2 有噪信道编码逆定理
6.2.3 信源信道编码定理
6.3 差错控制概述
6.3.1 二元对称信道和错误格式
6.3.2 差错控制分类
6.3.3 常用差错控制码
6.4 信道编码方法
6.4.1 线性分组码
6.4.2 汉明码
6.4.3 循环码
6.4.4 卷积码
本章小结
习题六
第7章 限失真信源编码
7.1 失真测度与失真矩阵
7.1.1 失真函数
7.1.2 失真矩阵
7.1.3 平均失真度
7.2 信息率失真函数
7.2.1 D失真许可信道
7.2.2 信息率失真函数的定义
7.2.3 信息率失真函数的性质
7.2.4 信息率失真函数的计算
7.3 限失真信源编码定理
7.3.1 信源编码定理
7.3.2 信源编码逆定理
7.3.3 联合信源信道编码定理
7.3.4 限失真信源编码定理的应用
7.4 限失真信源编码方法
7.4.1 预测编码
7.4.2 变换编码
7.5 信源编码的应用
7.5.1 语音信息编码
7.5.2 图像信息编码
7.5.3 视频信息编码
本章小结
习题七
第8章 信息理论的应用与发展
8.1 信息理论的应用
8.2 信息论与其他学科的交叉发展
8.2.1 密码学的应用
8.2.2 金融工程中的信息论问题
8.2.3 信息论在决策树中的应用
8.2.4 人工智能
8.2.5 生命科学
8.2.6 统计学
8.2.7 网络信息论
附录
参考文献