(7) 极化为什么发生:从BEC随机递归到AWGN的LLR分布

Polar化为什么发生:从BEC随机递归到AWGN的LLR分布

第 5 篇展示了第一次极化,第 6 篇定义了容量和 Bhattacharyya 参数。本篇回答更本质的问题:为什么递归许多层以后,子信道会越来越接近完全可靠或完全不可靠?

本文使用 0-based 索引。接收观测向量写作 \underline{y},LLR 向量写作 \underline{\lambda};码字比特 c_i 和 BPSK 符号 x_i 分开记号。递归码长记为 N=2^n

任意 B-DMC 下的信息守恒

信道分裂会产生一条较差和一条较好的子信道,但“变好”和“变坏”不能理解成信息凭空增加或消失。要把这件事说清楚,先要利用二阶核的可逆性确认变换前后的信息总量相同;这样,后面看到的可靠性差异才可以理解为信息在两条分支之间重新分配。

设基础信道是二元输入离散无记忆信道,输入集合为 \mathcal X=\{0,1\},输出集合为 \mathcal Y。下文的 I(W) 表示均匀二元输入下的对称互信息,Z(W) 表示 Bhattacharyya 参数。令 U_0,U_1 独立且均匀,使用二阶核:

C_0=U_0\oplus U_1,\qquad C_1=U_1

两个编码比特经过两个独立的 W,得到 Y_0,Y_1。核可逆,因为 U_1=C_1U_0=C_0\oplus C_1。互信息链式法则给出:

I(U_0,U_1;Y_0,Y_1)=I(U_0;Y_0,Y_1)+I(U_1;Y_0,Y_1\mid U_0)

右边两项正是减号和加号子信道的对称容量。另一方面,C_0,C_1 独立且均匀,两个物理信道相互独立,因此:

I(C_0,C_1;Y_0,Y_1)=I(C_0;Y_0)+I(C_1;Y_1)=2I(W)

可逆变换不改变互信息,所以:

I(W^-)+I(W^+)=2I(W)

递归到 N=2^n 后:

\sum_{i=0}^{N-1}I\left(W_N^{(i)}\right)=NI(W)

极化重新分配可靠性,但没有制造额外信息。

Bhattacharyya 参数的递推边界

信息守恒只说明总量没有改变,还没有告诉我们可靠性指标在递归时如何变化。为了追踪“变好”和“变坏”的程度,需要把第 6 篇引入的 Z(W) 代入两个分支:加号分支可以得到精确等式,减号分支通常只能得到上界,而 BEC 的特殊性正体现在这个上界会变成等式。

定义:

Z(W)=\sum_{y\in\mathcal Y}\sqrt{W(y\mid0)W(y\mid1)}

加号分支的等式

加号分支保留前一个比特作为边信息,所以两次观测对当前比特的区分作用能够分开计算。把定义中的求和按两个观测量整理后,两个相同的 Bhattacharyya 因子相乘,便得到 Z(W^+)=Z(W)^2

加号子信道定义为:

W^+(y_0,y_1,u_0\mid u_1)=\frac12W(y_0\mid u_0\oplus u_1)W(y_1\mid u_1)

Bhattacharyya 参数还要对输出中的 u_0 求和,即:

Z(W^+)=\sum_{u_0\in\{0,1\}}\sum_{y_0,y_1}\sqrt{W^+(y_0,y_1,u_0\mid0)W^+(y_0,y_1,u_0\mid1)}

固定 u_0 后:

\sqrt{W^+(y_0,y_1,u_0\mid0)W^+(y_0,y_1,u_0\mid1)}=\frac12\sqrt{W(y_0\mid u_0)W(y_0\mid u_0\oplus1)}\sqrt{W(y_1\mid0)W(y_1\mid1)}

u_0=0u_0=1 时,第一根号都等于 \sqrt{W(y_0|0)W(y_0|1)}。两个 1/2 项相加为 1,且 y_0,y_1 的求和因子化:

\begin{aligned}Z(W^+)&=\sum_{y_0,y_1}\sqrt{W(y_0\mid0)W(y_0\mid1)}\sqrt{W(y_1\mid0)W(y_1\mid1)}\\&=\left(\sum_{y_0}\sqrt{W(y_0\mid0)W(y_0\mid1)}\right)\left(\sum_{y_1}\sqrt{W(y_1\mid0)W(y_1\mid1)}\right)\\&=Z(W)^2\end{aligned}

这里“分离”具体指双重求和变成两个单重求和的乘积。

减号分支的上界

减号分支看不到 u_1,所以要把 u_1=0u_1=1 两种情况相加。下面完全从 Bhattacharyya 参数的定义出发,按照 Arıkan 论文 Proposition 5 及其附录 D 的证明展开。

减号子信道为:

W^-(y_0,y_1\mid u_0)=\frac12\sum_{u_1\in\{0,1\}}W(y_0\mid u_0\oplus u_1)W(y_1\mid u_1)

为了缩短书写,对固定的一对输出 (y_0,y_1) 记:

\alpha=W(y_0\mid0),\qquad\delta=W(y_0\mid1),\qquad\beta=W(y_1\mid0),\qquad\gamma=W(y_1\mid1)

u_0=0 时,u_1=0 产生 (0,0)u_1=1 产生 (1,1),所以:

W^-(y_0,y_1\mid0)=\frac12(\alpha\beta+\delta\gamma)

u_0=1 时,u_1=0 产生 (1,0)u_1=1 产生 (0,1),所以:

W^-(y_0,y_1\mid1)=\frac12(\delta\beta+\alpha\gamma)

现在代入 Bhattacharyya 参数定义。注意这里仍然是对所有输出 (y_0,y_1) 求和,没有引入新的概率分布:

\begin{aligned}Z(W^-)&=\sum_{y_0,y_1}\sqrt{W^-(y_0,y_1\mid0)W^-(y_0,y_1\mid1)}\\&=\frac12\sum_{y_0,y_1}\sqrt{(\alpha\beta+\delta\gamma)(\delta\beta+\alpha\gamma)}\end{aligned}

逐项建立上界

对每一个固定的 (y_0,y_1),先证明:

\begin{aligned}&\sqrt{(\alpha\beta+\delta\gamma)(\delta\beta+\alpha\gamma)}\\&\le\left(\sqrt{\alpha\beta}+\sqrt{\delta\gamma}\right)\left(\sqrt{\alpha\gamma}+\sqrt{\delta\beta}\right)-2\sqrt{\alpha\beta\delta\gamma} \end{aligned}

为看清这个不等式的来源,记左边为 A,右边为 B。四个转移概率都非负,因此 A\ge0。对右边平方并整理,得到论文中使用的恒等式:

B^2-A^2=2\sqrt{\alpha\beta\delta\gamma}\left(\sqrt{\alpha}-\sqrt{\delta}\right)^2\left(\sqrt{\beta}-\sqrt{\gamma}\right)^2\ge0

同时,B 也非负,因为它可以写成:

B=\sqrt{\beta\gamma}\left(\sqrt{\alpha}-\sqrt{\delta}\right)^2+\sqrt{\alpha\delta}\left(\sqrt{\beta}-\sqrt{\gamma}\right)^2+2\sqrt{\alpha\beta\delta\gamma}\ge0

因此 B^2\ge A^2A,B\ge0,所以 A\le B。这就证明了上面的逐项上界。这里的关键是:不等式对每一个输出对 (y_0,y_1) 单独成立,之后才能对所有输出求和。

对上界求和

把逐项上界代回 Z(W^-)

\begin{aligned}Z(W^-)&\le\frac12\sum_{y_0,y_1}\left(\sqrt{\alpha\beta}+\sqrt{\delta\gamma}\right)\left(\sqrt{\alpha\gamma}+\sqrt{\delta\beta}\right)\\&\quad-\sum_{y_0,y_1}\sqrt{\alpha\beta\delta\gamma}\end{aligned}

先展开第一项的乘积:

\begin{aligned}&\frac12\sum_{y_0,y_1}\left(\alpha\sqrt{\beta\gamma}+\beta\sqrt{\alpha\delta}+\gamma\sqrt{\alpha\delta}+\delta\sqrt{\beta\gamma}\right) \end{aligned}

利用转移概率的归一化关系:

\sum_{y_0}\alpha=\sum_{y_0}\delta=1,\qquad\sum_{y_1}\beta=\sum_{y_1}\gamma=1

以及 Z(W) 的定义:

\sum_{y_0}\sqrt{\alpha\delta}=Z(W),\qquad\sum_{y_1}\sqrt{\beta\gamma}=Z(W)

四个展开项分别给出 Z(W),前面的系数都是 1/2,因此第一部分等于:

\frac12\left(Z(W)+Z(W)+Z(W)+Z(W)\right)=2Z(W)

第二部分可以拆成两个独立求和:

\begin{aligned}\sum_{y_0,y_1}\sqrt{\alpha\beta\delta\gamma}&=\sum_{y_0,y_1}\sqrt{\alpha\delta}\sqrt{\beta\gamma}\\&=\left(\sum_{y_0}\sqrt{\alpha\delta}\right)\left(\sum_{y_1}\sqrt{\beta\gamma}\right)\\&=Z(W)^2 \end{aligned}

合并两部分,得到:

\boxed{Z(W^-)\le2Z(W)-Z(W)^2}

这就是一般 B-DMC 的减号分支上界。整个推导只使用了 Bhattacharyya 参数的求和定义、转移概率归一化和一个逐项不等式,没有把求和改写成某个函数的期望。

为什么 BEC 中会取等号

对于 BEC,每个输出符号只有两种情况:

  • 如果输出是擦除符号,则 W(y\mid0)=W(y\mid1),对应上面恒等式中的一个平方项为 0;
  • 如果输出不是擦除符号,则它只可能由一个输入产生,即 W(y\mid0)=0W(y\mid1)=0,此时 \sqrt{\alpha\beta\delta\gamma}=0

所以对 BEC 的任意输出对 (y_0,y_1),上面的逐项不等式都取等号。于是一般上界在 BEC 上变成精确递推:

Z(W^-)=2Z(W)-Z(W)^2

这也是为什么 BEC 可以用一个擦除率精确描述每一级子信道,而一般 B-DMC 通常只能使用这个上界。

BEC 随机递归与条件期望

在 BEC 中,当前节点的擦除率为 z 时,两个子节点的擦除率恰好是 2z-z^2z^2。递归树每向下一层就把每个节点分成这两个子节点;暂时随机选取其中一个子节点,便得到随机变量 Z_n。沿这条随机路径计算,正好可以把“所有子信道的平均擦除率”写成条件期望,并检验它是否保持不变。

W=\mathrm{BEC}(\epsilon),每个合成子信道仍是 BEC,且 Z 就是擦除率。设 Z_0=\epsilon,并令独立分支变量满足:

\Pr(B_{n+1}=-)=\Pr(B_{n+1}=+)=\frac12

随机路径递推为:

Z_{n+1}=\begin{cases}2Z_n-Z_n^2,&B_{n+1}=-,\\Z_n^2,&B_{n+1}=+.\end{cases}

长度为 n 的每条路径对应一个 W_{2^n}^{(i)},因此:

\mathbb E[Z_n]=\frac1{2^n}\sum_{i=0}^{2^n-1}Z\left(W_{2^n}^{(i)}\right)

固定 Z_n=z 时使用全概率公式:

\begin{aligned}\mathbb E[Z_{n+1}\mid Z_n=z]&=\sum_{b\in\{-,+\}}\Pr(B_{n+1}=b\mid Z_n=z)\mathbb E[Z_{n+1}\mid Z_n=z,B_{n+1}=b]\\&=\frac12(2z-z^2)+\frac12z^2=z\end{aligned}

第一行是“结果乘条件概率再相加”,第二行使用了 B_{n+1} 与当前状态独立。于是:

\mathbb E[Z_{n+1}\mid Z_n]=Z_n

再用全期望公式:

\mathbb E[Z_{n+1}]=\mathbb E\left[\mathbb E[Z_{n+1}\mid Z_n]\right]=\mathbb E[Z_n]

所以对所有 n 都有 \mathbb E[Z_n]=\epsilon。对 BEC,若擦除率为 z,则 H(U)=1H(U\mid Y)=z,从而 I(U;Y)=1-z。因此:

I_n=I(V_n)=1-Z_n

这是 BEC 特有的容量关系,不是对 AWGN 任意成立的定义;同时 \mathbb E[I_n]=1-\epsilon=I(W)

条件方差与 0/1 极化

条件期望守恒只说明平均擦除率不变:所有路径也可能永远停留在中间值。要证明极化确实发生,还要观察二阶矩和方差,确认中间状态的质量不断减少;Q_n=Z_n(1-Z_n) 恰好在端点为零、在中间最大,配合鞅收敛就能把这种分化推进到 01

条件二阶矩和条件方差分别为:

\begin{aligned}\mathbb E[Z_{n+1}^2\mid Z_n=z]&=\frac12(2z-z^2)^2+\frac12(z^2)^2=2z^2-2z^3+z^4\\\operatorname{Var}(Z_{n+1}\mid Z_n=z)&=z^2(1-z)^2\end{aligned}

全方差公式进一步说明总体分散程度增加:

\operatorname{Var}(Z_{n+1})=\operatorname{Var}(Z_n)+\mathbb E\left[Z_n^2(1-Z_n)^2\right]

定义 Q_n=Z_n(1-Z_n)。利用上面的条件矩:

\mathbb E[Q_{n+1}\mid Z_n=z]=z(1-z)-z^2(1-z)^2=q(z)-q(z)^2

所以:

\mathbb E[Q_{n+1}]=\mathbb E[Q_n]-\mathbb E[Q_n^2]

这说明 \mathbb E[Q_n] 单调不增。若 0<\epsilon<1,有限层中 0<Z_n<1,每一步严格递减;若 \epsilon=0 或 1,则从一开始恒定。累加可得:

\sum_{n=0}^{m-1}\mathbb E[Q_n^2]=\mathbb E[Q_0]-\mathbb E[Q_m]\le\frac14

因此 \mathbb E[Q_n^2]\to0。有界鞅收敛定理给出 Z_n\to Z_\infty 几乎处处;又因 0\le Q_n^2\le1/16,有界收敛定理给出:

\mathbb E\left[Z_\infty^2(1-Z_\infty)^2\right]=0

被积函数非负,所以:

Z_\infty\in\{0,1\}\qquad\text{almost surely}

这就是 BEC 的 0/1 极化。递归和极化定理见 Arıkan 2009;极化速度见 Arıkan–Telatar 2009。

为什么可靠子信道比例等于容量

已经知道极限只可能是 01,还需要确定两类子信道各占多少。由于每一层路径等概率,端点变量的均值就是落在 1 端的概率;把有限层的均值守恒与极限交换,就能由初始擦除率 epsilon 算出不可靠和可靠两类的比例。

逻辑分三步。第一,鞅递推给出对每个有限 n\mathbb E[Z_n]=\epsilon。第二,Z_n\to Z_\infty 几乎处处。第三,0\le Z_n\le1,有界收敛定理允许交换极限和期望:

\begin{aligned}\mathbb E[Z_\infty]&=\mathbb E\left[\lim_{n\to\infty}Z_n\right]\\&=\lim_{n\to\infty}\mathbb E[Z_n]\\&=\epsilon=\mathbb E[Z_0]\end{aligned}

因为极限是 0/1 变量:

\mathbb E[Z_\infty]=\Pr(Z_\infty=1)=\epsilon,\qquad \Pr(Z_\infty=0)=1-\epsilon

n 层的 2^n 条路径等概率,所以可靠子信道(Z 接近 0)的比例趋近于 1-\epsilon=I(W)。这不是每个子信道容量相同,而是平均值守恒且极限只剩两类。

用 N=8 检查递归

下面以一个小规模算例来对照。取 \mathrm{BEC}(0.5) 并展开到 N=8,可以同时看到每条路径的可靠性、平均擦除率保持不变,以及按 Z 排序后哪些位置最适合承载信息。

W=\mathrm{BEC}(0.5),按路径顺序 ---,--+,-+-, -++, +--,+-+,++-,+++ 得到:

\begin{array}{c|c|c|c}i&\text{路径}&Z(W_8^{(i)})&I(W_8^{(i)})=1-Z(W_8^{(i)})\\\hline0&---&0.99609375&0.00390625\\1&--+&0.87890625&0.12109375\\2&-+-&0.80859375&0.19140625\\3&-++&0.31640625&0.68359375\\4&+--&0.68359375&0.31640625\\5&+-+&0.19140625&0.80859375\\6&++-&0.12109375&0.87890625\\7&+++&0.00390625&0.99609375\end{array}

只检查一次平均擦除率:

\frac18\sum_{i=0}^{7}Z(W_8^{(i)})=0.5

表中 I=1-Z,所以平均容量由上式立即得到,不再重复写一行。按 Z 从小到大排序:

\boldsymbol{\pi}=(7,6,5,3,4,2,1,0)

用最小 C++ 程序验证 BEC 随机递归

把两个分支写成一个最小程序,逐层输出平均 Z_n 和中间量 Q_n,就能用数值结果重复核对“均值守恒、极化增强”这两个判断。

values 保存当前层全部子信道的 Z。expand 将每个节点扩展为减号、加号两个子节点;每轮结束仍调用它,是为了让下一轮循环看到下一层。

#include <iomanip>  // 控制输出小数位
#include <iostream> // 输出结果
#include <vector>   // 保存当前层所有 Z

// 减号分支的 BEC 擦除率:2z-z^2。
double minusBranch(double z) {
    return 2.0 * z - z * z;
}

// 加号分支的 BEC 擦除率:z^2。
double plusBranch(double z) {
    return z * z;
}

// 把当前层的每个节点扩展为两个子节点。
void expand(std::vector<double>& values) {
    std::vector<double> next;
    next.reserve(values.size() * 2);

    // 固定路径顺序:先减号,再加号。
    for (double z : values) {
        next.push_back(minusBranch(z)); // 路径追加 '-'
        next.push_back(plusBranch(z));  // 路径追加 '+'
    }

    // 用下一层替换当前层。
    values.swap(next);
}

int main() {
    constexpr double epsilon = 0.5;
    std::vector<double> values{epsilon}; // 第 0 层只有初始信道
    std::cout << std::fixed << std::setprecision(8);

    // level 是递归层数;第 level 层有 2^level 个子信道。
    for (int level = 0; level <= 4; ++level) {
        double meanZ = 0.0; // 平均擦除率 E[Z_n]
        double meanQ = 0.0; // 中间状态 E[Z_n(1-Z_n)]

        for (double z : values) {
            meanZ += z;
            meanQ += z * (1.0 - z);
        }

        const double count = static_cast<double>(values.size());
        meanZ /= count;
        meanQ /= count;

        std::cout << "n=" << level
                  << ", meanZ=" << meanZ
                  << ", meanQ=" << meanQ << std::endl;

        // 生成下一层,供下一轮循环统计。
        expand(values);
    }
}

预期 meanZ 每层都接近 0.5,meanQ 逐层下降。它验证的是 BEC 机制,不是 AWGN 性能曲线。

AWGN:从观测到原始 LLR

BEC 的状态可以用一个擦除率表示,而 AWGN 的接收值是连续实数;如果不先把观测转换成软信息,后面的递推就没有明确输入。采用 BPSK 和高斯噪声模型,可以直接算出原始 LLR 的定义、符号以及发送 0 时的分布。

采用 BPSK:c_i=0 映射到 x_i=+1c_i=1 映射到 x_i=-1。接收模型为 y_i=x_i+n_i,其中 n_i 服从均值 0、方差 \sigma^2 的高斯分布。

W(y_i\mid0)=\frac1{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y_i-1)^2}{2\sigma^2}\right),\qquad W(y_i\mid1)=\frac1{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(y_i+1)^2}{2\sigma^2}\right) \lambda_i=\ln\frac{W(y_i\mid0)}{W(y_i\mid1)}=\frac{2y_i}{\sigma^2}

发送 0 时:

\lambda_i\mid c_i=0\sim\mathcal N\left(\frac2{\sigma^2},\frac4{\sigma^2}\right)

发送 1 时:

\lambda_i\mid c_i=1\sim\mathcal N\left(\frac{-2}{\sigma^2},\frac4{\sigma^2}\right)

AWGN 子信道 LLR 的完整递推

有了物理信道的原始 LLR,还要知道极化核如何组合两条 LLR 消息。减号分支会把两个似然比非线性地合并,加号分支则利用已知的前序比特改变一个 LLR 的符号;从四个转移概率出发,正好能把这两种组合规则和 min-sum 近似中被省略的修正项都看清楚。

先从减号子信道的定义开始。由于 u_1 对接收端未知,需要把两种可能的 u_1 等概率相加:

W^-(y_0,y_1\mid u_0)=\frac12\sum_{u_1\in\{0,1\}}W(y_0\mid u_0\oplus u_1)W(y_1\mid u_1)

因此,在 u_0=0u_0=1 时分别有:

W^-(y_0,y_1\mid0)=\frac12\left[W(y_0\mid0)W(y_1\mid0)+W(y_0\mid1)W(y_1\mid1)\right] W^-(y_0,y_1\mid1)=\frac12\left[W(y_0\mid1)W(y_1\mid0)+W(y_0\mid0)W(y_1\mid1)\right]

把这两个式子代入 LLR 定义,得到完整的减号分支:

L^-=\ln\frac{W^-(y_0,y_1\mid0)}{W^-(y_0,y_1\mid1)}=\ln\left(\frac{\frac12\left[W(y_0\mid0)W(y_1\mid0)+W(y_0\mid1)W(y_1\mid1)\right]}{\frac12\left[W(y_0\mid1)W(y_1\mid0)+W(y_0\mid0)W(y_1\mid1)\right]}\right)

分子和分母中的 \frac12 会抵消。为了把结果写成 LLR 的双曲正切形式,只在这一步定义两个原始信道 LLR:

\lambda_0=\ln\frac{W(y_0\mid0)}{W(y_0\mid1)},\qquad\lambda_1=\ln\frac{W(y_1\mid0)}{W(y_1\mid1)}

e^{\lambda_0}=W(y_0\mid0)/W(y_0\mid1)e^{\lambda_1}=W(y_1\mid0)/W(y_1\mid1),上式可继续写成:

L^-=\ln\frac{e^{\lambda_0+\lambda_1}+1}{e^{\lambda_0}+e^{\lambda_1}}

反双曲正切的基本恒等式为:

\operatorname{artanh}(x)=\frac{1}{2}\ln\left(\frac{1+x}{1-x}\right)

r=\tanh(\lambda_0/2)\tanh(\lambda_1/2),则上面的比值等于 (1+r)/(1-r)。令恒等式中的 x=r,便有:

L^-=2\operatorname{artanh}\left(\tanh\frac{\lambda_0}{2}\tanh\frac{\lambda_1}{2}\right)

再看加号子信道。此时 u_0 作为边信息提供给接收端,因此不需要对它求和:

W^+(y_0,y_1,u_0\mid u_1)=\frac12W(y_0\mid u_0\oplus u_1)W(y_1\mid u_1)

固定已知的 u_0 后,代入 L^+ 的定义:

L^+=\ln\frac{W^+(y_0,y_1,u_0\mid0)}{W^+(y_0,y_1,u_0\mid1)}=\ln\left(\frac{\frac12W(y_0\mid u_0)W(y_1\mid0)}{\frac12W(y_0\mid u_0\oplus1)W(y_1\mid1)}\right)=\ln\frac{W(y_0\mid u_0)W(y_1\mid0)}{W(y_0\mid u_0\oplus1)W(y_1\mid1)}

u_0=0 时,初始公式具体为:

L^+\big|_{u_0=0}=\ln\frac{W(y_0\mid0)W(y_1\mid0)}{W(y_0\mid1)W(y_1\mid1)}=\ln\frac{W(y_0\mid0)}{W(y_0\mid1)}+\ln\frac{W(y_1\mid0)}{W(y_1\mid1)}=\lambda_0+\lambda_1

u_0=1 时,初始公式具体为:

L^+\big|_{u_0=1}=\ln\frac{W(y_0\mid1)W(y_1\mid0)}{W(y_0\mid0)W(y_1\mid1)}=\ln\frac{W(y_0\mid1)}{W(y_0\mid0)}+\ln\frac{W(y_1\mid0)}{W(y_1\mid1)}=-\lambda_0+\lambda_1

合并两种情况:

L^+=\lambda_1+(-1)^{u_0}\lambda_0

译码器中把已判决的 u_0 换成估计值 \hat u_0

此外,实际工程应用中通常将L^-进行 max-log 近似, 利用\ln(e^r+e^s)\approx\max(r,s) 化简:

L^-\approx\max(\lambda_0+\lambda_1,0)-\max(\lambda_0,\lambda_1)=\operatorname{sgn}(\lambda_0)\operatorname{sgn}(\lambda_1)\min(|\lambda_0|,|\lambda_1|)

另外精确式的修正项为:

\begin{aligned}f(\lambda_0,\lambda_1)&=\operatorname{sgn}(\lambda_0)\operatorname{sgn}(\lambda_1)\min(|\lambda_0|,|\lambda_1|)\\&+\ln\left(1+e^{-|\lambda_0+\lambda_1|}\right)-\ln\left(1+e^{-|\lambda_0-\lambda_1|}\right)\end{aligned}

min-sum 丢弃的是后两项。修正项的符号取决于 \lambda_0,\lambda_1 的符号;它会把精确结果的绝对值相对 min-sum 结果拉回一些,且在两个幅度接近时可能明显,不能把近似当恒等式。

从擦除率到 L-density

对 BEC 来说,一个数 Z_i 就能完整表示子信道的擦除程度;AWGN 中同一个子信道在不同噪声实现下会产生不同的 LLR,单个数不再足够。于是可靠性必须改写成 LLR 的条件概率密度,并说明全零参考和前序判决正确这两个条件,后续递归才有明确的概率对象。

对第 i 个合成子信道,定义发送全零码字且前序判决正确条件下的条件密度:

a_i(\ell)=p_{L_N^{(i)}\mid\underline U=\underline0,\,\hat{\underline U}_0^{i-1}=\underline0}(\ell)

全零只是 BMS 信道对称性与 Polar 线性带来的分析参考;实际仿真仍可随机发送信息比特。a_i(\ell)d\ell 表示 LLR 落在 [\ell,\ell+d\ell) 内的条件概率,并且:

\int_{-\infty}^{+\infty}a_i(\ell)\,d\ell=1

由 LLR 定义,在对称 L-density 表示下:

Z_i=\int_{-\infty}^{+\infty}a_i(\ell)e^{-\ell/2}\,d\ell

密度进化 DE 在追踪什么

定义了 L-density 之后,问题变成分布如何穿过极化递归。两个输入 LLR 相加时,概率密度按卷积合成;经过减号分支的 box-plus 映射时,则要把联合分布的概率质量重新累积到输出位置。密度进化(DE)追踪的正是这两种分布变换,而不是某个单独的平均值。

设两个独立输入 LLR 为 L_0,L_1,密度为 a_0a_1。加号分支在全零参考下是 L^+=L_0+L_1。对任意集合 A

\Pr(L^+\in A)=\iint\mathbf1\{\ell_0+\ell_1\in A\}a_0(\ell_0)a_1(\ell_1)\,d\ell_0d\ell_1

这是随机变量求和,因此密度是卷积:

a^+(\ell)=\int_{-\infty}^{+\infty}a_0(t)a_1(\ell-t)\,dt

只有在这一次递归的两个输入节点确实来自同一个信道时,才可以进一步写成 a^+=a*a;一般递归节点应保留 a_0a_1 两个不同密度。

减号分支是 L^-=f(L_0,L_1)。对任意集合 A

\Pr(L^-\in A)=\iint\mathbf1\{f(\ell_0,\ell_1)\in A\}a_0(\ell_0)a_1(\ell_1)\,d\ell_0d\ell_1

用 Dirac delta 可紧写为:

a^-(\ell)=\iint a_0(\ell_0)a_1(\ell_1)\delta\left(\ell-f(\ell_0,\ell_1)\right)\,d\ell_0d\ell_1

离散 DE 选择有限区间 [-L_{\max},L_{\max}] 和网格间隔 \Delta\ell,用数组保存概率质量;加号做离散卷积,减号逐对计算 f 并将质量累积到目标网格,还要处理尾部截断、插值和归一化。最后从密度计算 Z_i、互信息或错误概率,再排序。

BEC 与 AWGN 的对应关系

前面分别出现了 BEC 的标量递推和 AWGN 的密度递推,它们描述的是同一极化操作在两种信道上的不同表现。把输出、状态和两个分支放在一起比较,可以避免把 BEC 的公式直接套到连续输出的 BI-AWGN 上:前者适合解释机制,后者才对应实际构造和仿真。

项目BECBI-AWGN
输出0、1、擦除连续实数
状态一个 Z_i=\epsilon_i一个 L-density a_i(\ell)
加号Z^+=Z^2LLR 相加,密度卷积
减号Z^-=2Z-Z^2box-plus,非线性映射
用途手算、解释极化构造与仿真

所以理论常用 BEC、实际仿真常用 AWGN 并不矛盾:前者解释机制,后者检验真实噪声和译码器。

为什么还需要高斯近似 GA

DE 保留完整密度,网格一细,卷积和非线性映射的计算量就会迅速增加;工程构造通常需要更轻量的状态表示。若把全零参考下的 LLR 近似为对称高斯分布,整个密度可以用均值概括,得到可递推的 GA 近似。

工程中常用高斯近似(Gaussian approximation,GA)把每个密度压缩为一个均值,并假设全零参考下的 LLR 近似服从对称高斯分布:

L\sim\mathcal N(\mu,2\mu)

在这个假设下,状态从函数 a_i(\ell) 变成一个数 \mu_i。加号分支的均值直接相加:

\mu^+=\mu_0+\mu_1

减号分支仍需保留双曲正切变换的影响,通常引入 \phi 函数:

\phi(\mu^-)=1-\left(1-\phi(\mu_0)\right)\left(1-\phi(\mu_1)\right)

第 10 篇和番外会从高斯假设、初始 LLR 均值以及 \phi 的数值近似开始完整推导。这里先记住:GA 是对 DE 的受控压缩,不是把 BEC 的擦除率递推直接搬到 AWGN。

本篇结论

二阶核可逆,保证总信息量守恒。BEC 的两个等概率分支使随机路径满足鞅递推,平均擦除率不变;条件方差和全方差公式说明中间状态被持续拉开;Q_n=Z_n(1-Z_n) 的递推再配合有界鞅收敛,最终得到 Z_\infty\in\{0,1\}。由于端点概率由初始平均值 \epsilon 决定,可靠子信道比例正好是 1-\epsilon=I(W)

进入 BI-AWGN 后,可靠性不再是一个擦除率,而是带有“全零参考、前序判决正确”条件的 LLR 密度 a_i(\ell)。加号分支对应密度卷积,减号分支对应 box-plus 的非线性映射;DE 追踪完整密度,GA 则把它压缩成均值。下一篇将把 DE 的离散实现继续展开。

参考

  • E. Arıkan, “Channel polarization: A method for constructing capacity-achieving codes for symmetric binary-input memoryless channels,” IEEE Transactions on Information Theory, vol. 55, no. 7, pp. 3051–3073, Jul. 2009, doi: 10.1109/TIT.2009.2021379.
  • E. Arıkan and E. Telatar, “On the rate of channel polarization,” IEEE International Symposium on Information Theory, pp. 1493–1497, Jun. 2009, doi: 10.1109/ISIT.2009.5205855.
  • S. B. Korada, E. Şaşoğlu, and R. Urbanke, “Polar Codes: Characterization of Exponent, Bounds, and Constructions,” IEEE Transactions on Information Theory, vol. 56, no. 12, pp. 6253–6264, Dec. 2010, doi: 10.1109/TIT.2010.2080990.
  • R. Mori and T. Tanaka, “Performance and Construction of Polar Codes on Symmetric Binary-Input Memoryless Channels,” IEEE Transactions on Information Theory, vol. 59, no. 5, pp. 2883–2901, May 2013, doi: 10.1109/TIT.2013.2248212.
  • I. Tal and A. Vardy, “How to construct polar codes,” IEEE Transactions on Information Theory, vol. 59, no. 10, pp. 6562–6582, Oct. 2013, doi: 10.1109/TIT.2013.2272694.
  • D. Williams, Probability with Martingales, Cambridge University Press, 1991.
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇