Exercise 3.11Z: Extremely Asymmetrical Channel

• Return to book

Betrachtet wird der nebenstehend gezeichnete Kanal mit den folgenden Eigenschaften:

• Das Symbol $X = 0$ wird immer richtig übertragen und führt stets zum Ergebnis $Y = 0$.
• Das Symbol $X = 1$ wird maximal verfälscht. Aus Sicht der Informationstheorie bedeutet diese Aussage:

$${\rm Pr}(Y \hspace{-0.05cm} = 0\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 1) ={\rm Pr}(Y \hspace{-0.05cm} = 1\hspace{-0.05cm}\mid \hspace{-0.05cm} X \hspace{-0.05cm}= 1) = 0.5 \hspace{0.05cm}$$ Zu bestimmen sind in dieser Aufgabe:

• die Transinformation $I(X; Y)$für $P_X(0) = p_0 = 0.4$ und $P_X(1) = p_1 = 0.6$. Es gilt allgemein:

$$ I(X;Y) \hspace{-0.15cm} =\hspace{-0.15cm} H(X) - H(X \hspace{-0.1cm}\mid \hspace{-0.1cm} Y)\hspace{0.05cm}$$ $$I(X;Y) \hspace{-0.15cm} = \hspace{-0.15cm} H(Y) - H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X)\hspace{0.05cm}$$ $$I(X;Y) \hspace{-0.15cm} =\hspace{-0.15cm} H(X) + H(Y)- H(XY)\hspace{0.05cm}$$

• die Kanalkapazität:

$$ C = \max_{P_X(X)} \hspace{0.15cm} I(X;Y) \hspace{0.05cm}$$ Hinweis: Die Aufgabe beschreibt einen Teilaspekt von Kapitel 3.3. In der Aufgabe A3.13 sollen die hier gefundenen Ergebnisse im Vergleich zum BSC–Kanal interpretiert werden

Fragebogen

1

{Berechnen Sie die Quellenentropie allgemein und für $p_0 = 0.4$

$p_0 = 0.4: H(X)$ = $bit$

2

Berechnen Sie die Sinkenentropie allgemein und für $p_0 = 0.4$.

$p_0 = 0.4: H(Y)$ = $bit$

3

Berechnen Sie die Verbundentropie allgemein und für $p_0 = 0.4$.

$p_0 = 0.4: H(XY)$ = $bit$

4

Berechnen Sie die Transinformation allgemein und für $p_0 = 0.4$.

$p_0 = 0.4: I(X; Y)$ = $bit$

5

Welche Wahrscheinlichkeit $p_0$ führt zur Kanalkapazität $C$?

$Maximierung: p_0$ = $bit$

6

Wie groß ist die Kanalkapazität des vorliegenden Kanals?

$C$ = $bit$

7

Wie groß sind die bedingten Entropien?

$p_0 gemäß (e): H(X|Y)$ = $bit$

$H(Y|X)$ = $bit$

Musterlösung

Solution

1. 2. 3. 4. 5. 6. 7.