✨ 本页面已集成 AI 智能辅导功能，点击题目下方的按钮体验 ✨
题目：
等概二元信源 $X \in \{0, 1\}, p_0=p_1=1/2$。通过一个二进制对称信道，其失真函数 $d_{ij}$ 与信道转移概率 $P_{ij}$ 分别定义为：
$$d_{ij}=\begin{cases}1,&i\ne j\\ 0,&i=j\end{cases}, \quad P_{ij}=\begin{cases}k,&i\ne j\\ 1-k,&i=j\end{cases}$$
试求失真矩阵和平均失真。
1. 失真矩阵 $d$：
根据定义 $d_{00}=0, d_{01}=1, d_{10}=1, d_{11}=0$，矩阵为：
2. 平均失真 $\bar{D}$：
由于信源等概且信道对称：
$$ \bar{D} = \sum_{i,j} p(x_i) p(y_j|x_i) d(x_i, y_j) $$ $$ = \frac{1}{2}[(1-k)\cdot 0 + k\cdot 1] + \frac{1}{2}[k\cdot 1 + (1-k)\cdot 0] $$ $$ = k $$
即平均失真等于信道的误码率 $k$。
题目：
设输入符号表示为 $X \in \{0,1\}$，输出符号表示为 $Y \in \{0,1\}$。输入信号的概率分布为 $P=(1/2, 1/2)$。
失真函数为 $d(0,0)=d(1,1)=0, d(0,1)=1, d(1,0)=2$。
试求 $D_{min}, R(D_{min}), D_{max}, R(D_{max})$ 及相应的编码器转移概率矩阵。
1. $D_{min}$ 与 $R(D_{min})$
显然当 $X=Y$ 时失真最小，为 0。
$$ D_{min} = 0, \quad R(D_{min}) = H(X) = 1 \text{ bit/symbol} $$
对应的转移概率矩阵（无失真传输）：
$$ P(Y|X) = \begin{pmatrix} 1 & 0 \\ 0 & 1 \end{pmatrix} $$2. $D_{max}$ 与 $R(D_{max})$
当 $R(D)=0$ 时，$D$ 达到最大值 $D_{max}$。此时 $X$ 与 $Y$ 统计独立，只需选择一个固定的 $y_j$ 使平均失真最小。
最小值为 0.5，故 $D_{max} = 0.5$，此时 $R(D_{max})=0$。
对应的转移概率矩阵（全选 $y_1$）：
$$ P(Y|X) = \begin{pmatrix} 0 & 1 \\ 0 & 1 \end{pmatrix} $$题目：
输入符号与输出符号 $X$ 和 $Y$ 均取值于 $\{0,1,2,3\}$，且输入信号的分布为 $p(x_i)=1/4$。
失真矩阵为汉明失真矩阵（对角线为0，其余为1）：
$$ d = \begin{pmatrix} 0 & 1 & 1 & 1 \\ 1 & 0 & 1 & 1 \\ 1 & 1 & 0 & 1 \\ 1 & 1 & 1 & 0 \end{pmatrix} $$求 $D_{min}, D_{max}, R(D)$ 及相应的编码器转移概率矩阵。
1. $D_{min}$ 和 $D_{max}$：
2. $R(D)$ 函数：
对于等概分布且失真矩阵对称的信源：
3. 转移概率矩阵：
$D_{max}$ 时：将所有输入映射到任意一个固定输出（例如 $y_0$）。
$$ P(Y|X) = \begin{pmatrix} 1 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 \\ 1 & 0 & 0 & 0 \end{pmatrix} $$题目：
设输入信号等概率分布 $X \in \{0,1\}$，输出 $Y \in \{0,1,2\}$。失真矩阵为：
$$ d = \begin{pmatrix} 0 & 1 & 1/4 \\ 1 & 0 & 1/4 \end{pmatrix} $$试求 $D_{min}, D_{max}$ 和 $R(D_{min}), R(D_{max})$ 及相应的编码器转移概率矩阵。
1. $D_{min}$：
通过选择 $y=x$，失真为 0。故 $D_{min}=0$。此时 $R(D_{min})=H(X)=1$ bit。
矩阵：$\begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \end{pmatrix}$。
2. $D_{max}$：
当 $R=0$ 时，寻找使平均失真最小的某一固定输出列。
因此，$D_{max} = 0.25$，此时 $R(D_{max})=0$。
3. $D_{max}$ 时的转移概率矩阵：
所有输入均映射到 $y_2$。
$$ P(Y|X) = \begin{pmatrix} 0 & 0 & 1 \\ 0 & 0 & 1 \end{pmatrix} $$题目：
具有符号集 $U=\{u_0, u_1\}$，$p(u_0)=p, p(u_1)=1-p$ 的二元信源 ($0 \le p \le 1/2$)。信道如图 4-7 所示，接收符号集 $V=\{v_0, v_1\}$。
转移概率为 $p(v_0|u_0)=1, p(v_1|u_1)=1-q_e$。
发出符号与接收符号的失真分别为 $d(u_0, v_0)=d(u_1, v_1)=0, d(u_0, v_1)=d(u_1, v_0)=1$。
(1) 计算平均失真 $D$
对于给定的特定信道（Z信道），误码仅发生在发送 $u_1$ 而接收为 $v_0$ 时（此时失真为1）。
发送 $u_0$ 时无误码，失真为0。
发送 $u_1$ 时，以概率 $1-q_e$ 接收 $v_1$（失真0），以概率 $q_e$ 接收 $v_0$（失真1）。
因此，该系统的平均失真为：
$$ D = P(u_0) \cdot 0 + P(u_1) \cdot [ (1-q_e) \cdot 0 + q_e \cdot 1 ] $$
$$ D = (1-p)q_e $$
(2) $R(D)$ 的最大值
对于汉明失真的二元信源，信息率失真函数 $R(D)$ 在 $D=0$ 时取得最大值。
$$ R(D)_{max} = R(0) = H(U) = H_b(p) $$
其中 $H_b(p) = -p\log_2 p - (1-p)\log_2 (1-p)$。
此时允许的平均失真为 0。
(3) $R(D)$ 的最小值
$R(D)$ 是非负函数，其最小值为 0。
对于汉明失真，当允许的失真 $D \ge D_{max}$ 时，$R(D)=0$。
这里 $D_{max} = \min(p, 1-p) = p$（因为已知 $p \le 1/2$）。
所以当 $D \ge p$ 时，$R(D)$ 达到最小值 0。此时平均失真为 $p$。
(4) 画出 $R(D)-D$ 曲线
该信源在汉明失真下的率失真函数为： $$ R(D) = \begin{cases} H_b(p) - H_b(D), & 0 \le D \le p \\ 0, & D > p \end{cases} $$
题目：
已知信源的符号 $X \in \{0, 1\}$，它们以等概率出现。信宿的符号 $Y \in \{0, 1, 2\}$。失真函数如图 4-8 所示。
同时有 $p(y_1|x_0)=p(y_0|x_1)=0$。
求信息率失真函数 $R(D)$。
结论：
$R(D) = 1 - D \quad (0 \le D \le 1)$
题目：
三元信源的概率分别为 $p(0)=0.4, p(1)=0.4, p(2)=0.2$。
失真函数 $d_{ii}=0$，当 $i \ne j$ 时 $d_{ij}=1 (i,j=0,1,2)$。
求信息率失真函数 $R(D)$。
1. $R(0)$ (最大值)：
$$ R(0) = H(X) = -0.4\log 0.4 - 0.4\log 0.4 - 0.2\log 0.2 \approx 1.522 \text{ bit/symbol} $$
2. $D_{max}$ (最小值点)：
对于汉明失真，$D_{max} = 1 - p_{max}$。
$$ D_{max} = 1 - 0.4 = 0.6 $$
此时 $R(D_{max}) = 0$。
3. 定义域：
$$ 0 \le D \le 0.6 $$
题目：
利用 $R(D)$ 的性质，画出一般 $R(D)$ 的曲线并说明其物理意义。为什么 $R(D)$ 是非负且非增的？