R=NlogD/L≤R0。 当编码速率R比较高时，可以选择比较大的N，因此可供选
择的码字比较多，因此更容易设计出能够快速识别的码， 降低译码的难度。 当编码速率R比较低时，意味着使用低成本的编码设备。此 时只能选择不大的N，因此更需要编码的技巧。 ）
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
pe= P{(U1U2…UL)=(u1u2…uL) | (u1u2…uL)的码字在译码时并不译为(u1u2…uL)}。
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
（关于编码速率的说明： 编码速率本来是编码设备的性能指标。这就是说，首先有
了编码设备的编码速率R0，然后选择N和L，使得实际的编 码速率NlogD/L不能超过编码设备的编码速率R0 ：
（注意：在不等长编码中，并不能同时使用D(DN-1)/(D-1)个 不同的码字。一个长度为2的字母串究别。
在等长编码中不存在这样的识别问题 ）
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
（本节以下将专门讨论等长编码）
（5）编码速率
信源编码--离散信源无失 真编码概述
2020/3/21
§3.1 信源及其分类
信源的概念
（直观地理解，信源就是信息的来源。但是这里必须要注意两 点）：
在一个固定的时刻，信源发出的是一个随机变量。 随着时间的延续，信源发出的是一个随机过程。 （因此，一般的信源种类太多，其统计性质太复杂。怎样做工
程实用的简化？）
云阴），（阴晴），（阴云）， （阴阴）}。 用字母表{0, 1}对(U1U2)的事件进行2元编码如下： （晴晴）→0000，（晴云）→0001，（晴阴）→0011， （云晴）→0100，（云云）→0101，（云阴）→0111， （阴晴）→1100，（阴云）→1101，（阴阴）→1111。
•2020/3/21
一般的信源 连续信源：有时间连续的信源，也有事件连续的信源； 有记忆信源：信源在不同时刻发出的随机变量相互依赖； 有限记忆信源：在有限时间差内的信源随机变量相互依赖； 非简单信源：信源在不同时刻发出的随机变量具有不同的概
率分布。 马尔可夫信源：信源随机过程是马尔可夫过程。
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
R=NlogD/L。
（6能）够无实错现编无码错(编U1码U的2…充U要L)的条不件同是事DN件≥K用L。不（同即的编码码字速来率表示。 R=NlogD/L≥logK）
（7）有错编码 示。
(U1U2…UL)的有些不同事件用相同的码字来表
（8）有错编码的译码方法与 “译码错误”概率 当使用有错编 码时，必须给出译码方法（一个码字究竟翻译成哪个事件） 。“译码错误”的概率定义为
但可以适当地编码和译码使译码错误的概率pe任意小。这 就是所谓“渐进无错编码”。
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
（10）渐进无错编码 （简单地说就是：当R>H(U1)时，可以适 当地编码和译码使得译码错误的概率pe任意小。严格地说就 是：）
设给定了编码设备的编码速率R0，R0>H(U1)。则对任意的ε>0 ，总存在一个L0，使得对任意的L>L0，都有对(U1U2…UL)的 等长编码和对应的译码方法，满足
•2020/3/21
§3.1 信源及其分类
离散信源 信源每隔一个定长时间段就发出一个随机变量； 随着时间的延续，信源发出的是随机变量序列
其中
…U-2U-1U0U1U2…，
Uk为第k个时间段发出的随机变量； 每个Uk都是一个离散型的随机变量。 离散无记忆信源 离散无记忆信源是这样的离散信源：随机
（2母）串设来有表一示个(U含1DU个2…字U母L)的的事字件母，表每{b一1, 个b2,事…件, b都D}要。用需一要个用字字 母串来表示。
这种表示方法称为D元编码； 每一个事件所对应的字母串称为一个码字。
•2020/3/21
§3.2 离散无记忆（简单）信 源的等长编码
例：1离U散0U无1U记2…忆。简其单中信U源1的发事出件的有随3机个变：量{晴序, 列云为, 阴：}…。U-2U(U1U2)有9个事件 {（晴晴），（晴云），（晴阴），（云晴），（云云），（
（顺序地叙述以下的概念） （1）设有一个离散无记忆简单信源，信源发出的随机变量序
列：KL为{个a1：：, a…2, U…-2,Ua-K1U}，0U则1UL2维…信。源设随信机源向随量机(变U1量UU2…1的U事L)的件事有件K个有 {(u1u2…uL)|其中每个分量ul跑遍{a1, a2, …, aK}}。
变量…、U-2、U-1、U0、U1、U2、…相互独立。 离散无记忆简单信源 离散无记忆简单信源是这样的离散无
记有忆相信同源的：概率随分机布变量。…、U-2、U-1、U0、U1、U2、…具
•2020/3/21
§3.1 信源及其分类
（总结：离散无记忆简单信源就是时间离散、事件离散、各 随机变量独立同分布的信源。课程学习所面对的信源将主 要是离散无记忆简单信源）
§3.2 离散无记忆（简单）信 源的等长编码
（3）如果限定码字的长度为N（即每个码字都是一个N维向 量），则称此编码为等长编码，能够选择的不同码字的个 数为DN。
（4）如果限定码字的长度为≤N（即每个码字都是一个≤N维 的向量），则称此编码为不等长编码，能够选择的不同码 字的个数为 D1+D2+…+DN=D(DN-1)/(D-1)。
①实际的编码速率R=NlogD/L≤R0， ②译码错误的概率pe<ε。 （11）渐进无错编码的原理 大数定律。随着L的增加，
（9）在无错编码的前提下，编码的最低代价 当R≥logK时，能够实现无错编码。 当R<H(U1)时，无论怎样编码都是有错编码。这是因为
R<H(U1)≤logK。 （如果H(U1)=logK，则以上两种情形已经概括了全部情形。
但如果H(U1)<logK，则还有一种情形） 当logK>R>H(U1)时，虽然无论怎样编码都是有错编码，