Aufgaben:Exercise 3.7: Some Entropy Calculations

• Return to book

Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:

$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$

$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$

Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden:

• die Verbundentropie (englisch: Joint Entropy):

$$H(XY) = -{\rm E}[\log_2 P_{ XY }( X,Y)],$$

• die beiden Einzelentropien:

$$H(X) = -{\rm E}[\log_2 P_X( X)],$$

$$H(Y) = -{\rm E}[\log_2 P_Y( Y)].$$

Daraus lassen sich entsprechend dem obigen Schema – dargestellt für die Zufallsgröße $XY$ – auch folgende Beschreibungsgrößen sehr einfach bestimmen:

• die bedingten Entropien (englisch: Conditional Entropies):

$$H(X \hspace{0.05cm}|\hspace{0.05cm} Y) = -{\rm E}[\log_2 P_{ X \hspace{0.05cm}|\hspace{0.05cm} }( X \hspace{0.05cm}|\hspace{0.05cm} Y)],$$

$$H(Y \hspace{0.05cm}|\hspace{0.05cm} Y) = -{\rm E}[\log_2 P_{ Y \hspace{0.05cm}|\hspace{0.05cm} X }( Y \hspace{0.05cm}|\hspace{0.05cm} X)],$$

• die Transinformation (englisch: Mutual Information) zwischen $X$ und $Y$:

$$I(X;Y) = {\rm E}[\log_2 \frac{P_{ XY }(X,Y)}{P_X(X) \cdot P_Y(Y)}].$$

Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße $UV$ zu verifizieren.

Hinweise:

• Die Aufgabe gehört zum Kapitel Verschiedene Entropien zweidimensionaler Zufallsgrößen.
• Insbesondere wird Bezug genommen auf die Seiten Bedingte Wahrscheinlichkeit und bedingte Entropie sowie Transinformation zwischen zwei Zufallsgrößen.
• Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.

Fragebogen

1

Berechnen Sie die Verbundentropie.

$H(XY)$ = $bit$

2

Welche Entropien weisen die 1D–Zufallsgrößen $X$ und $Y$ auf?

$H(X)$ = $bit$

$H(Y)$ = $bit$

3

Wie groß ist die Transinformation zwischen den Zufallsgrößen $X$ und $Y$?

$I(X; Y)$ = $bit$

4

Berechnen Sie die beiden bedingten Entropien.

$H(X|Y)$ = $bit$

$H(Y|X)$ = $bit$

5

Welche der folgenden Aussagen treffen für die 2D–Zufallsgröße $UV$ zu?

	Die 1D–Zufallsgrößen $U$ und $V$ sind statistisch unabhängig.
	Die gemeinsame Information von $U$ und $V \Rightarrow I(U; V)$ ist $0$.
	Für die Verbundentropie gilt $H(UV) = H(XY)$.
	Es gelten die Beziehungen $H(U|V) = H(U)$ und $H(V|U) = H(V)$.

Musterlösung

Solution

1. Aus der gegebenen Verbundwahrscheinlichkeit erhält man

$$H(XY) = 0,18 . log_2 \frac{1}{0,18} + 0,16 . log_2 \frac{1}{0,16}$$

$$+ 0,02 . log_2 \frac{1}{0,02} + 0,64 . log_2 \frac{1}{0,64} = 1,393 (bit)$$

2. Die 1D–Wahrscheinlichkeitsfunktionen lauten $P_X(X) = [0.2, 0.8]$ und $P_Y(Y) = [0.34, 0.66]$. Daraus folgt:

$H(X) = 0,2 . log_2 \frac{1}{0.2} + 0,8 . log_2 \frac{1}{0,8} = 0.722 (bit)$

$H(Y) = 0,34 . log_2 \frac{1}{0.34} + 0,66 . log_2 \frac{1}{0,66} = 0.925 (bit)$

3. Aus der $Grafik$ auf der Angabenseite erkennt man den Zusammenhang:

$$I(X;Y) = H(X) + H(Y) - H(XY) = $$ $$ = 0.722 (bit) + 0.925 (bit)- 1.393 (bit) = 0.254 (bit)$$

4. Ebenso gilt entsprechend der $Grafik$ auf der Angabenseite:

$$H(X \mid Y) = H(XY) - H(Y) = 1.393 - 0.925 = 0.468 (bit)$$ $$H(Y \mid X) = H(XY) - H(X) = 1.393 - 0.722 = 0.671 (bit)$$

Die linke Grafik fasst die Ergebnisse der Teilaufgaben (a), ... , (d) maßstabsgetreu zusammen. Grau hinterlegt ist die Verbundentropie und gelb die Transinformation. Eine rote Hinterlegung bezieht sich auf die Zufallsgröße $X$, eine grüne auf $Y$. Schraffierte Felder deuten auf eine bedingte Entropie hin.

Die rechte Grafik beschreibt den gleichen Sachverhalt für die Zufallsgröße $UV \Rightarrow$ Teilaufgabe (e).

5. Man erkennt die Gültigkeit von $P_{ UV } (.) = P_U (⋅) · P_V(⋅) \Rightarrow$ Transinformation $I(U; V) = 0$ daran, dass die zweite Zeile der $P_{ UV }$–Matrix sich von der ersten Zeile nur durch einen konstanten Faktor (4) unterscheidet. Richtig sind demzufolge die Aussagen 1, 2 und 4. Weiter ist zu erwähnen:

• Es ergeben sich die gleichen 1D–Wahrscheinlichkeitsfunktiionen wie für die Zufallsgröße $XY \Rightarrow P_U(U) = [0.2, 0.8]$ und $P_V(V) = [0.34, 0.66]$.
• Deshalb ist auch $H(U) = H(X) = 0.722$ bit und $H(V) = H(Y) = 0.925 bit$.
• Hier gilt aber nun für die Verbundentropie: $H(UV) = H(U) + H(V) ≠ H(XY)$.