信息论第4章 信道与信道容量

第4章 信道与信道容量 4.1 信道的特性及其分类 4.2.1 信道模型 考虑一个单符号信道，令输入符号集 和输出符号集分别为 。在输入随机变量为X时，输出为Y的信道转移概率为 。互信息 是概率矢量 和条件概率矩阵 的函数，记作 。信道的转移概率矩阵刻划了信道的特性，而输入概率分布刻划了信源的特性。 在信道有多个输入和多个输出的情况下，令 表示符号集 上的Ｌ维输入随机矢量， 表示符号集 上的L维输出随机矢量。 表示当输入为 时，输出 的条件概率，称为信道的条件转移概率。那么，信道由信道转移概率、输入符号集和输出符号集唯一确定。 更一般的情况是，信道的输入和输出都是时间的函数，即随机过程。实际中随机过程大都满足一些限制条件，如限时或限频过程。这时随机过程可以转化成时间上离散的随机序列，那么也可以用上面模型来描述。 4．1．2 信道的分类 根据信道输入和输出波型可以将信道分为 单符号信道 多符号信道 离散信道：输入和输出信号在时间和幅度上都是离散的。 连续信道：输入和输出信号在时间上是离散的，在幅度上是连续的。 波形信道：输入和输出信号在时间和幅度上都是连续的。 半离散半连续信道：输入信号是离散的，输出信号是连续的信道。或者相反，输入信号是连续的，而输出信号是离散的。 无记忆信道：信道的输出只取决于当时的输入，而于以前的输入无关。 有记忆信道：信道的输出不仅与当时的输入有关，而且与以前的输入有关。 恒参量信道：信道的特性不随时间而变化。 变参量信道：信道的特性随时间变化。 两用户信道 多用户及道 4．2 单符号离散信道 4．2．1 信道容量的定义 考虑一个单符号信道，令输入符号集 和输出符号集分别为 。在输入随机变量为X时，输出为Y的信道转移概率为 。互信息 是概率矢量 和条件概率矩阵 的函数，记作 。信道的转移概率矩阵刻划了信道的特性，而输入概率分布刻划了信源的特性。第2章我们已经证明了当信道转移概率矩阵P一定时，互信息 是 的上凸函数。因此，对不同的输入概率分布，互信息一定存在最大值。我们将这个最大值定义为信道的容量。即 信道容量是信道的一个参数，反映了信道所能传输的最大信息量，其大小与信源无关。一但转移概率矩阵确定以后，信道容量也完全确定了。尽管信道容量的定义涉及到输入概率分布，但信道容量的数值与输入概率分布无关。我们将不同的输入概率分布称为试验信源，对不同的试验信源，互信息也不同。其中必有一个试验信源使互信息达到最大。这个最大值就是信道容量。 4．2．2 离散对称信道的容量 令 表示信道的的条件转移概率。Ｐ表示信道的条件转移概率矩阵 如果矩阵Ｐ的所有行向量都是第一行的置换（所有行都是第一行元素的不同排列），则称矩阵Ｐ关于输入是对称的；如果矩阵Ｐ的所有列都是第一列的置换，则称Ｐ关于输出是对称的。转移概率矩阵关于输入和输出都是对称的离散信道称为离散对称信道。 EMBED Equation.3 EMBED Equation.3 上面第１和第２个矩阵是对称矩阵。第３个矩阵关于输入阻抗是对称的，但是关于输出是不对称的，关于输入对称的矩阵称为准对称矩阵。第４个矩阵关于输入是不对称的，但是关于输出是对称的。 离散对称信道的容量很容易计算。考虑互信息 其中 表示X=i时的条件熵，等于转移概率矩阵第i行条件概率分布的熵。由于转移概率矩阵的对称性，对不同的i， 是相同的。故有 为使互信息达到最大，只要熵Ｈ（Ｙ）达到最大即可。对于对称信道，当且仅当输入概率分布服从等概分布时，输出概率分布也服从等概分布，从而达到最大熵logm。所以离散对称信道的容量为 其大小只与转移概率矩阵某一行向量量以及输出符号的个数有关。以第１个矩阵为转移概率矩阵的信道容量为 以第２个矩阵为转移概率矩阵的信道容量为 信道转移概率矩阵为 的信道称为强对称信道或均匀信道。其容量为 当n=2时的信道称为二元对称信道（BSC）。它的信道容量是 ４．２．３ 准对称信道的容量 可以证明，当输入概率分布服从等概分布时，准对称信道达到其容量。 ４．3 一般离散信道的容量 一般信道容量的计算要采用求极值方法。 约束条件为 求信道容量的一般方法如下： (1) 求互信息在闭区域内部的极值点和相应的函数值。 (2) 求互信息在边界上的极值点,并计算相应的函数值。对具有n个分量的矢量，极值点可能发生在其中若干个分量为零，其余分量之和等于１的边界上。这种边界共有 个，所以需要求解 个等式约束的极值。 (3) 在全部极值中取最大的值作为信道容量。 引理４.３.１ 设f(x)是定义在所有分量均非负的半无限矢量空间上的可微上凸函数。函数f(x)在点 时达到最大值的充要条件是 证明 由于f(x)是上函数，由数学知，若极值点不在边界上，则其极值即为最大值，达到极值点的充要条件是 若极值点位于边界 上，则其充要条件是f(x)沿此边界向内时函数值减小，即 证毕。 定理４.３.１ 对转移概率为Ｐ的离散无记忆信道，输入概率分布 使互信息I(p,P)达到信道容量Ｃ的充要条件是 这里 表示单个符号 与输出Y之间的互信息，也记为I(i,Y)。 证明 用拉格朗日乘子法，求信道容量在约束条件下的最大值，等价于求下式 的无约束极值问题。由于上凸函数与线性函数之和仍为上凸函数，由引理４.３.１，g(p)在 取最大值的充要条件是 由于 那么 EMBED Equation.3 所以 EMBED Equation.3 令 , 经整理得 由引理４.４.１，g(p)取得最大值的充要条件是 这里 就量信道容量。因为 证毕。 上述定理表明，为了使互信息达到信道容量，我们可以调整输入概率分布，使对不同的符号I(i,Y)都相等，这个值就是信道容量。对那些I(i,Y)总是小于信道容量的符号，则说明这些符号是不值得使用的，令这些符号出现的概率为零是适当的，有利于平均互信息达到最大。 下面研究如何求出信道容量的值。由 整理得 令 ，那么 这是一个具有n个方程，m个未知数的线性方程。如果 是一组解，那么 即: 单位为奈特（Nat）。如果对数的底取2，那么 比特 注意，在求解C的过程中可能出现某个输入符号的概率小于零的情况，这说明极值在边界上达到。这时要令某输入符号概率为零进行试算。有时甚至出现多个输入符号概率为零的情况，要重新进行试算，计算非常繁锁。下节介绍的信道容量迭代算法非常有效。 4．4 离散信道容量的迭代计算 ４．４．１ 信道容量的迭代计算 1972年，S.Arimoto和R.E.Blahut分别为信道容量的求解问题给出了一种迭代算法，该算法避免了极值点在边界上遇到的麻烦。 我们引入反条件概率分布 （4.4.1） 现在 （４.４.２） 在p(j|i)给定时，q(i|j)取决于p(i)，Ｉ（Ｘ，Ｙ）只是p(i)的函数。现在把q(i|j)当成自变量看待，那么，Ｉ（Ｘ，Ｙ）可以看成p(i)和q(i|j)的函数，记为 。 令p(i)暂时保持不变，我们求 关于q(i|j)的极大值。 定理４.４.１ ４.４.３ 其中 ４.４.４ 证明 由互信息表达式 EMBED Equation.3 和Jenson不等式 EMBED Equation.3 EMBED Equation.3 当且仅当 时等号成立，即反向条件概率达到（４.４.４）式时等号成立。 定理４.４.１表明，在p(i)保持不变时，当q(i|j)满足４.４.１的一般关系式时I[p(i),q(i|j)]达到极大值。 现假定p(i|j)不变，求互信息在约束条件 下关于p(i)的极值。由拉格朗日乘子法，令 EMBED Equation.3 （４.４.５） 解得 EMBED Equation.3 （４.４.６） 上式对I 求和得 即: 代入４.４.６式得 ４.４.７ 即 （４.４.４）和（４.４.７）就是信道容量迭代计算的基本公式。我们先假定一组输入概率分布的初值，通常以等概分布作为初，然后用（４.４.４）和（４.４.７）式进行迭代计算，直到满足给定的精度为止。 用（４.４.４）和（４.４.７）迭代计算的一个优点是输入概率分布和反向条件概率分布每一步迭代的结果都在［０，１］之间，不会出现小于０或大于１的结果。 如果对输入概率分布还有其它的约束条件，则迭代算法仍然适用。这时对反向条件概率分布的迭代公式不变，而对输入概率分布的迭代公式要作相应的调整。 4．4．2 信道容量迭代算法的收敛性 可以证明，４.４.１节中得到的迭代算法一定收敛于信道容量。收敛的速度是线性的。证明略。 ４．５ 多符号离散信道的容量 4．5．1 独立并联信道的容量 设有L个信道，输入随机矢量和输出随机矢量分别为 和 。在Ｘ为输入的条件下，输出为Ｙ的条件概率分布为 ，则有 定理４.５.１ 设Ｘ和Ｙ分别是Ｌ个并联信道的输入和输出随机矢量，如果Ｌ个信道是相互独立的，即 ４.５.１ 那么 ４.５.２ 并且，当且仅当 相互独立等号成立。 证明 因为信道是无记忆的，由互信息的表达式 EMBED Equation.3 故（４.５.２）式成立。并且，当且仅当 （４.５.３） 时等号成立。由于信道是相互独立的，（４.５.３）式成立当且仅当 （４.５.４） 成立，即 之间相互独立。证毕。 由定理４.５.１，我们立即得 定理４.５.２ Ｌ个独立并联信道总的信道容量Ｃ等于各分信道容量 之和，即 （４.５.５） 证明 EMBED Equation.3 证毕。 4．5．2 离散无记忆扩展信道的容量 一个单符号信道的Ｌ次扩展信道是一个具有Ｌ个相同子信道的独立并联信道。如果一个单符号离散信道的容量为Ｃ，那么，它的Ｌ次扩展信道的容量等于原信道容量的Ｌ倍。这是因为，Ｌ次扩展信道是具有Ｌ个子信道的独立并联信道，只不过每个信道的容量均相同。 4．5．3 级连信道的容量 设有两个信道，它们的转移概率矩阵分别为Ｐ和Ｑ。Ｐ信道的输入为Ｘ，输出为Ｙ；Ｑ信道的输入为Ｙ，输出为Ｚ。这种一个信道的输出作为另一个信道输入的两个信道称为级联信道。级联后信道的输入是Ｘ，输出是Ｚ。由于Ｘ、Ｙ、Ｚ组成一个马尔可夫链，由数据处理定理 （４.５.６） 故级联信道的容量小于分信道的容量。级联信道的转移概率矩阵等于两个分信道转移概率矩阵的乘积ＰＱ。所以级联信道的容量由 （４.５.７） 决定。 公式（４.５.７）的结论可以推广到Ｌ个信道级联的情况。设Ｌ个信道的转移概率矩阵分别为 ，则级联信道的转移概率矩阵Ｐ为 （４.５.８） 例 二元对称信道（ＢＳＣ）的转移概率矩阵为 求Ｌ个ＢＳＣ级联后的信道容量。 解 Ｌ个级联信道的转移概率矩阵为 则级联后信道的容量 当Ｌ趋于无穷时，容量Ｃ趋于零。 ４．６ 连续信道的容量 4．6．1 信道容量的定义 根据噪声的性质，连续信道可分为 高斯信道：噪声的概率密度函数服从高斯分布（正态分布）。 白噪声信道：信道上的噪声是白噪声。白噪声是平稳遍历的随机过程，它的功率谱密度在整个频率轴上为常数，即 其中 称为单边谱密度。 白噪声的瞬时值的概率密度函数可以是任意的。 高斯白噪声信道：信道上噪声是高斯白噪声，即噪声瞬时值的概率密度函数服从高斯分布，功率谱在整个频率轴上为常数。 有色噪声信道：白噪声以外的噪声称为有色噪声。信道上的噪声是有色噪声，则此信道为有色噪声信道。 加性信道：信道上噪声对信号的干扰作用表现为相加关系，这时信道的输出等于信道的输入与噪声之和。 乘性信道：信道上噪声对信号的干扰不仅表现为相加关系，同时还表现为相乘关系。乘性干扰主要是由信道的多径传播引起的。这时，信道可以作为线性时变系统处理。 连续信道的输入和输出都是连续型随机变量。设信道的输入随机变量为Ｘ，输出随机变量为Ｙ。信道的特性由条件概率密度函数p(y|x)（又称转移概率密度函数）来描述。一般地，信道的转移概率密度函数取决于信道上噪声的特性。 对单符号连续信道，信道容量定义为 （4.6.1） 在约束条件 （4.6.2） 下的极值问题。其中p(x)是信道的输入概率密度函数。p(y|x)是信道的条件转移概率密度函数。第2章已经证明，在条件转移概率密度函数给定时，互信息是输入概率密度函数的上凸函数。因此由（4.6.1）式得到的极值必为最大值。 对多符号连续信道，如果X表示信道的输入随机矢量，Y表示信道的输出随机矢量， 表示条件转移概率密度函数。那么，多符号信道的容量定义为 （4.6.3） 在约束条件 （4.6.4） 下的极值问题。 4．6．2 加性高斯信道的容量 设信道的输入变量为X，平均功率为 。信道的输出为Y，平均功率为 。则加性高斯信道的输出为 （4.6.5） 这里N是均值为零，方差为 的正态分布。因此，信道的条件转移概率密度函数为 （4.6.6） 互信息 （４.６.７） 当X服从正态分布时，Y也服从正态分布。这时互信息达到最大值，即 （４.６.８） 其中 是信号功率与噪声功率之比。所以高斯信道的容量只取决于信噪比。 ４．６．２ 加性非高斯信道的容量 对一般加性干扰信道，无法计算信道容量的准确值，但可以推导出信道容量的上界和下界。 首先研究信道容量的上界。如果信道输出功率为 时 （４.６.９） 这就是加性干扰信道的上界。在特定的噪声概率密度函数之下，如果存在输入概率密度函数使输出概率密度函数为正态分布，那么，上界就成为信道容量能够达到的值。 下面研究信道容量的下界。设噪声的方差为 ，输入信号的功率为 ，那么输出信号的功率为 。当试验信源的概率密度函数为正态分布，即 时，考虑如下两种情况下的互信息。 （1） 噪声为一般干扰时的互信息Ｉ（Ｘ，Ｙ），对应的条件转移概率密度函数为 。 （４.６.１０） （2） 噪声为高斯噪声时的互信息 ，这时信道的条件转移概率密度函数为 （４.６.１１） 对应的输出概率密度函数 也服从正态分布。由第２章的结论 EMBED Equation.3 （４.６.１２） 那么 EMBED Equation.3 EMBED Equation.3 （４.６.１３） 故有 （４.６.１４） 这就是加性干扰信道的下界值。它等于高斯噪声干扰下的信道容量。 由此可见，对功率相同的干扰，以高斯干扰时信道容量最小。在实际中往往把非高斯干扰看作为高斯干扰，这是一种保守的近似。 4． ６。３ 多维无记忆加性高斯信道 设L维输入随机矢量和输出随机矢量分别为 和 。 （４.６.１５） 其中 是Ｌ维噪声矢量，每个分量分别是均值为零，方差为 的高斯随机变量。假设信道是加性的和无记忆的，那么 （４.６.１６） 其中 是第 个分量的输入功率。 （1） 如果各输入分量和噪声分量是独立同分布的，功率分别为 ，那么 （４.６.１７） （2） 假设总的输入功率是受限的，即 （４.６.１８） 这时的信道容量问题是目标函数（４.６.１６）式在约束条件（４.６.１８）式下的极值问题。很多实际情况可以等效于这种信道模型。 用拉格朗日乘子法，作辅助函数 （４.６.１９） 对上式求偏导数，并令之为零得 (４.６.２０) 或 （４.６.２１） 这就是说，各信道的输出功率应相等，才能使联合信道容量最大。将此式代入（４。６。１８）得 或 （４.６.２２） 如果由上式求出的各 都大于零，则联合信道容量就是 （４.６.２３） 如果由（４.６.２２）得到的 小于零，即该信道的噪声功率大于总信道的平均输出功率时，表明该信道不值得使用，必须用 代替算得的负值。为了保持总功率不变，我们必须在剩下的信道中重新分配。直到每个信道分配到的功率都为正值为止。 例：设有１０个独立高斯信道，各信道的噪声功率分别为0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1.0。求输入总功率Ｐ＝５和１时的信道容量。 解：当输入信道总功率等于５时，信道的平均输出功率为 。该数值大于所有信道的噪声功率，所以按（４。６。２２）式，各信道分配的输入信号功率为0.95,0.85,0.75,0.65,0.55,0.45,0.35,0.25,0.15,0.05，故信道容量 比特 当输入信道总功率等于１时，平均输出功率为 ，显然，最后４个信道应排除，即 。对前６个信道，平均输出功率为 ，还是小于最后一个信道的噪声功率，所以只用５个信道。这时，平均输出功率是 ，实际只用４个信道，功率分配是 ，信道容量 比特 独立并联信道容量的计算表明，噪声功率大的信道分配到的输入功率的份额小，噪声功率小的信道分配到的输入功率份额大，太差的信道不用对提高总信道的容量是有利的。 4．6．7 限频限功率高斯信道的容量 现在我们研究波形信道的信道容量问题。设信道的输入X(t)和输出Y(t)都是随机过程，且 （４.６.２４） 这里信道的干扰N(t)是高斯白噪声过程，具有功率谱密度 （ 称为单边功率谱密度）。 假设信道的频率响应是 （４.６.２５） 那么，我们可以假设信道的输入、输出和噪声都是频带受限信号。考虑随机过程的一根样本函数N(t)，由Shannon采样定理， （４.６.２６） 即随机函数可以用离散的点完全表示出来。现在我们对噪声过程以频率２Ｆ采样，采样持续时间为Ｔ。注意到限带白噪声的自相关函数 （４。６。２７） 在 时， 。因此，以时间间隔为1/2F采样的样点之间相互独立。在时间Ｔ内采到的２ＦＴ个样值组成一个Ｌ＝２ＦＴ维矢量，各分量都是均值为零，方差为 的高斯型随机变量，并且各分量之间相互独立。将输入信号也分解成Ｌ个连续随机变量 ，这样我们把一个波形信道转化为一个Ｌ维独立并联信道，则时间Ｔ内的信道容量 （４.６.２８） 是允许的输入信号功率， 是噪声功率， 称为信噪比。在单位时间内的信道容量是 （４.６.２９） 这就是著名的香农信道容量公式。虽然公式是对基带输入导出的，但也适用于带通信道。这是因为，在带通信道的输入和输出分别加一个单边带调制和解调器，这样带通信道就转化为低通信道。由于理想的调制和解调不会引入信息的损失，这样形成的信道与原信道具有相同的容量。当然也可以直接用带通信道的采样定理来求得带通信道的容量，结果与低通信道容量的表达式相同。 如果用谱密度代替噪声功率，那么 （４.６.３０） 当频带很宽时， （４。６。３１） 这也是一个常见的极限公式。当频带很宽或信噪比很低时，单位时间内的信道容量等于信号功率与噪声功率谱密度之比。 高信噪比，带限系统 考虑信道利用率情况 联合典型序列与联合渐近等同分割定理 设（X,Y）是长为N的序列对，p（ ， ）= ，则在这些随机序列对中满足下列条件的序列称为联合典型序列： （1） （2） （3） 式中 是任意小的数。联合典型序列的全体构成联合典型序列集，记作G。上式中， 表示序列 的自信息的 倍，其均值就是H（X）。 由联合典型序列的定义有 定理5.1 设随机序列对（X，Y）的p（ ， ）= , 则对任意小的 ，总能找到足够大的N使全体序列对的集合能被分成满足下述条件的集合G及其补集 ： （1） （2） （3）设 是相互独立的随机序列对，但它与（X，Y）有相同的边缘分布，即 则 证明： （1）由渐近等概序列的性质直接得到 （2） 所以 另外 所以 （3） 类似地， 随机编码 将M个消息（m=0,1,…,M-1）分别编成长为N的码字 , 其中，码元符号按码元的概率分布完全随机地产生，得到一个码 。 随机编码产生特定码C的概率P（C）是 随机编码产生的码的集合为{C}，所有可能产生的码的总数是 ，这里 表示码元符号的数目，NM是码C中全部码元的总数。 的数目是非常大的，例如：取 ，码长N=8，消息数为 的 随机编码产生特定码C中的码字有可能是相同的，这时不同的消息将编成相同的码字，译码可能出错，但这种概率是很小的。 在有了这些码集后，Shannon不是计算某一特定好码的性能，而是设法计算这些码的平均性能，从而避开了寻找好码这一难题。 信道编码定理 定理 设R是信息传输速率，C是离散无记忆信道的信道容量， 是任意小的数，则只要R表格

关于规范使用各类表格的通知入职表格免费下载关于主播时间做一个表格详细英语字母大小写表格下载简历表格模板下载