番外A:高斯近似的完整推导:为什么会有phi(x)

番外 A:高斯近似的完整推导:为什么会有 \phi(x)

第 9、10 篇已经介绍了密度进化和高斯近似(Gaussian Approximation,GA)的用途。本篇进一步回答一个具体问题:为什么 GA 要定义 \phi(x),以及这个函数为什么会出现在减号分支的均值递推中。

全文采用系列统一的符号。Polar 码长为 N=2^n,信息向量长度为 K,码率为 R=K/N。索引从 0 开始。接收观测向量记为 \underline{y},原始信道 LLR 向量记为 \underline{\lambda}。在构造阶段使用设计信噪比 \rho_{\mathrm{des}};它和实际仿真采用的 \rho_{\mathrm{sim}} 是两个独立参数。

为什么可以只研究发送 0 的情况

先看一个二元输入对称信道。用 BPSK 表示比特:

x=1-2c,\qquad c\in\{0,1\}

发送比特 0 时,信号位于正方向;发送比特 1 时,信号位于负方向。对称信道的含义是:把输入比特从 0 换成 1,同时把接收值的正负号翻转,统计规律不变。

因此,发送 1 时得到的 LLR 分布只是发送 0 时分布的镜像。对可靠性排序真正重要的是 LLR 偏向正确方向的程度,而不是当前发送的是 0 还是 1。构造时通常固定发送全零码字,得到的每个子信道可靠性排序可以用于所有消息向量。

这里的“全零参考”只是利用信道对称性减少分析工作,并不意味着实际通信只能发送全零消息。

对称 LLR 分布为何会固定方差

设发送比特 0 时,LLR 取值为 \ell 的概率密度为 a(\ell)。LLR 定义为

L=\ln\frac{W(Y\mid0)}{W(Y\mid1)}

由二元输入对称信道的性质,密度满足

a(\ell)=e^{\ell}a(-\ell)

这个关系不是高斯近似的结论,而是对称 LLR 密度本身的约束。现在假设 a(\ell) 可以近似为均值为 \mu、方差为 \sigma^2 的高斯密度:

a(\ell)=\frac{1}{\sqrt{2\pi\sigma^2}}\exp\left(-\frac{(\ell-\mu)^2}{2\sigma^2}\right)

分别代入 \ell-\ell,计算密度比:

\ln\frac{a(\ell)}{a(-\ell)}=\frac{(-\ell-\mu)^2-(\ell-\mu)^2}{2\sigma^2}=\frac{2\mu}{\sigma^2}\ell

要满足对称密度要求的 \ln(a(\ell)/a(-\ell))=\ell,就必须有

\frac{2\mu}{\sigma^2}=1,\qquad \sigma^2=2\mu

所以 GA 不把均值和方差当成两个独立参数,而是采用

L\sim\mathcal{N}(\mu,2\mu),\qquad \mu\ge0

只要知道均值 \mu,就同时知道了近似分布的方差。\mu 越大,LLR 越集中在正确的正方向,表示子信道越可靠。

BI-AWGN 信道的初始均值

考虑噪声方差为 \sigma_{\mathrm{ch}}^2 的 BI-AWGN 信道:

y=x+z,\qquad z\sim\mathcal{N}(0,\sigma_{\mathrm{ch}}^2)

发送 0 时,x=1,所以 y=1+z。原始信道 LLR 为

\lambda=\ln\frac{W(y\mid0)}{W(y\mid1)}=\frac{-(y-1)^2+(y+1)^2}{2\sigma_{\mathrm{ch}}^2}=\frac{2y}{\sigma_{\mathrm{ch}}^2}

代入 y=1+z

\lambda=\frac{2}{\sigma_{\mathrm{ch}}^2}+\frac{2z}{\sigma_{\mathrm{ch}}^2}

因此

\lambda\sim\mathcal{N}\left(\frac{2}{\sigma_{\mathrm{ch}}^2},\frac{4}{\sigma_{\mathrm{ch}}^2}\right)

令初始均值为 \mu_{\mathrm{ch}},便得到

\mu_{\mathrm{ch}}=\frac{2}{\sigma_{\mathrm{ch}}^2},\qquad \operatorname{Var}(\lambda)=2\mu_{\mathrm{ch}}

如果 BPSK 符号能量取 E_s=1,并用编码输入比特定义码率 R=K/N,令

\rho_{\mathrm{des,lin}}=10^{\rho_{\mathrm{des,dB}}/10}=\frac{E_b}{N_0}

N_0=1/(R\rho_{\mathrm{des,lin}}),而 \sigma_{\mathrm{ch}}^2=N_0/2。于是

\sigma_{\mathrm{ch}}^2=\frac{1}{2R\rho_{\mathrm{des,lin}}},\qquad \mu_{\mathrm{ch}}=4R\rho_{\mathrm{des,lin}}

这个均值是 GA 递推的起点。若实际仿真采用另一个信噪比,仿真噪声仍应根据 \rho_{\mathrm{sim}} 单独计算。

先看 LLR 的两个精确合成公式

Polar 二阶变换把两路独立 LLR 合成为两种新的 LLR。设两路输入为 L_0L_1。在全零参考下,减号分支的精确表达式为

L^-=2\operatorname{atanh}\left(\tanh\frac{L_0}{2}\tanh\frac{L_1}{2}\right)

等价地,

\tanh\left(\frac{L^-}{2}\right)=\tanh\left(\frac{L_0}{2}\right)\tanh\left(\frac{L_1}{2}\right)

加号分支在已知前一个比特为 0 时为

L^+=L_0+L_1

如果前一个比特为 1,则其中一路符号翻转;全零参考正好对应上面的加法形式。

\phi(x) 从哪里来

减号分支的问题在于:两个高斯 LLR 经过双曲正切和反双曲正切运算后,结果一般不再是严格高斯分布。GA 的做法是保留结果的一个关键统计量,再用新的高斯分布去近似整个结果分布。

对均值为 x 的对称高斯 LLR,定义

\phi(x)=1-\mathbb{E}\left[\tanh\left(\frac{L}{2}\right)\right],\qquad L\sim\mathcal{N}(x,2x)

这个定义可以这样理解:\tanh(L/2) 越接近 1,LLR 越坚定地支持正确比特;\phi(x) 越小,说明不可靠程度越低。因此 \phi(x) 是“均值 x 对应的不可靠度指标”。

把高斯密度写进期望,得到 x>0 时的积分形式:

\phi(x)=1-\frac{1}{\sqrt{4\pi x}}\int_{-\infty}^{+\infty}\tanh\left(\frac{\ell}{2}\right)\exp\left(-\frac{(\ell-x)^2}{4x}\right)\,\mathrm{d}\ell

x=0 时,LLR 没有方向信息,定义 \phi(0)=1。当 x 增大时,LLR 更集中在正方向,\phi(x) 下降并趋近于 0。因此它在有效范围内是单调下降的,可以进行反函数运算。

减号分支的均值递推

假设 L_0L_1 独立,分别近似为均值 \mu_0\mu_1 的对称高斯 LLR。由减号分支的双曲正切关系:

\mathbb{E}\left[\tanh\left(\frac{L^-}{2}\right)\right]=\mathbb{E}\left[\tanh\left(\frac{L_0}{2}\right)\right]\mathbb{E}\left[\tanh\left(\frac{L_1}{2}\right)\right]

这里使用了两路 LLR 的独立性。再用 \mathbb{E}[\tanh(L_j/2)]=1-\phi(\mu_j),可得

1-\phi(\mu^-)=\left(1-\phi(\mu_0)\right)\left(1-\phi(\mu_1)\right)

移项后,先得到减号分支对应的目标值

q^-=1-\left(1-\phi(\mu_0)\right)\left(1-\phi(\mu_1)\right)

GA 再用一个均值为 \mu^- 的对称高斯分布近似真实的减号结果,于是要求它具有相同的 \phi 值:

\phi(\mu^-)=q^-,\qquad \mu^-=\phi^{-1}(q^-)

这就是 \phi^{-1} 出现的原因。它不是额外规定,而是把减号结果重新压缩成“一个高斯均值”时必须解出的数值方程。

当两路均值相同时,公式简化为

\mu^-=\phi^{-1}\left(1-\left(1-\phi(\mu)\right)^2\right)

加号分支的均值递推

加号分支是独立 LLR 的和。若

L_0\sim\mathcal{N}(\mu_0,2\mu_0),\qquad L_1\sim\mathcal{N}(\mu_1,2\mu_1)

且两者独立,则

L^+\sim\mathcal{N}(\mu_0+\mu_1,2\mu_0+2\mu_1)=\mathcal{N}(\mu_0+\mu_1,2(\mu_0+\mu_1))

结果仍符合对称高斯形式,所以

\mu^+=\mu_0+\mu_1

因此 GA 的两条递推规则是:加号分支直接相加,减号分支先算 q^-,再求 \phi^{-1}

一个从 N=2N=4 的完整数值例子

下面的数字采用常见的分段近似计算 \phi,因此结果是 GA 数值,不是精确密度进化结果。取两路初始均值都为

\mu_0=\mu_1=2

先计算 \phi(2)

\phi(2)\approx\exp\left(-0.4527\times2^{0.86}+0.0218\right)\approx0.449388

减号分支的目标值为

q^-=1-(1-0.449388)^2\approx0.696827

求解 \phi(\mu^-)=0.696827,得到

\mu^-\approx0.823364

加号分支不需要求反函数:

\mu^+=2+2=4

继续展开到长度 N=4。先对均值 0.823364 再做一次两路递推。因为 \phi(0.823364) 就是上一轮的 q^-,所以

q^{--}=1-(1-0.696827)^2\approx0.908086,\qquad \mu^{--}=\phi^{-1}(q^{--})\approx0.209864

同一组输入的加号结果为

\mu^{-+}=0.823364+0.823364\approx1.646729

再对均值 4 展开。先算

\phi(4)\approx\exp\left(-0.4527\times4^{0.86}+0.0218\right)\approx0.230027

于是

q^{+-}=1-(1-0.230027)^2\approx0.407142,\qquad \mu^{+-}=\phi^{-1}(q^{+-})\approx2.282073

加号结果为

\mu^{++}=4+4=8

按递推产生的顺序,四个均值为

(\mu^{--},\mu^{-+},\mu^{+-},\mu^{++})\approx(0.209864,1.646729,2.282073,8)

这组顺序是“递推顺序”。如果采用 \mathbf{G}_N=\mathbf{B}_N\mathbf{F}_2^{\otimes n} 的编码约定,还要按比特反转把它映射到母码索引 i。对 N=4,索引映射为

0\to0,\qquad1\to2,\qquad2\to1,\qquad3\to3

所以母码索引对应的均值为

(\mu_0,\mu_1,\mu_2,\mu_3)\approx(0.209864,2.282073,1.646729,8)

按均值从大到小排序,得到

\boldsymbol{\pi}=(3,1,2,0)

K=2,就选取信息集合

\mathcal{A}=\{3,1\}

集合本身没有顺序;若后续需要按照可靠性依次处理,应继续使用排序序列 \boldsymbol{\pi}

GA 到底近似了什么

加号分支的高斯形式在独立高斯假设下可以严格保持。减号分支则不同:真实的双曲正切合成结果通常不是高斯分布。GA 做了两次近似:

  • 用一个均值 \mu 和方差 2\mu 的高斯分布代表每一级 LLR 分布;
  • \phi 保留减号运算中与可靠性最相关的统计量,再反推出新的均值。

因此 GA 的输出适合做有限码长构造和可靠性排序,但它不是精确的密度进化。码长很短、信道明显偏离 BI-AWGN、LLR 受到强量化或截断时,真实分布可能偏离对称高斯假设,需要用密度进化或仿真检查排序。

小结

\phi(x) 的来源可以压缩成三步:先把减号 LLR 写成 \tanh 的乘积;再利用两路 LLR 的独立性把期望拆开;最后用 \phi 表示这个期望,并通过 \phi^{-1} 找回新的高斯均值。加号分支则因为是独立 LLR 相加,均值直接相加。

番外 B 将继续解决一个实际问题:\phi^{-1} 没有方便的初等表达式时,如何用分段近似和二分搜索稳定地完成计算,并把全部均值转换成可靠性排序。

参考文献

  • E. Arıkan, “Channel polarization: A method for constructing capacity-achieving codes for symmetric binary-input memoryless channels,” IEEE Transactions on Information Theory, vol. 55, no. 7, pp. 3051–3073, Jul. 2009, doi: 10.1109/TIT.2009.2021379.
  • D. Trifonov, “Efficient design and decoding of polar codes,” IEEE Transactions on Communications, vol. 60, no. 11, pp. 3221–3227, Nov. 2012, doi: 10.1109/TCOMM.2012.090512.110070.
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇