Exercise 3.7: Some Entropy Calculations

• Return to book

Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:

$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$

$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$

Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden:

• die Verbundentropie (englisch: Joint Entropy):

$H(XY) = -E[log_2 P_{ XY }( X,Y)]$

• die beiden Einzelentropien:

$$H(X) = -E[log_2 P_X( X)]$$ $$H(Y) = -E[log_2 P_Y( Y)]$$ Daraus lassen sich entsprechend dem obigen Schema – dargestellt für die Zufallsgröße $XY$ – noch die folgenden Beschreibungsgrößen sehr einfach bestimmen:

• die bedingten Entropien (englisch: Conditional Entropies):

$H(X \mid Y) = -E[log_2 P_{ X \mid Y }( X \mid Y)]$

$H(Y \mid Y) = -E[log_2 P_{ Y \mid X }( Y \mid X)]$

• die Transinformation (englisch: Mutual Information) zwischen $X$ und $Y$:

$I(X;Y) = E [log_2 \frac{P_{ XY }(X,Y)}{P_X(X) . P_Y(Y)}]$

Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße $UV$ zu verifizieren. Hinwies: Die Aufgabe bezieht sich auf das Themengebiet von Kapitel 3.2.

Fragebogen

1

{Berechnen Sie die Verbundentropie.

$H(XY)$ = $bit$

2

Welche Entropien weisen die 1D–Zufallsgrößen $X$ und $Y$ auf?

$H(X)$ = $bit$

$H(Y)$ = $bit$

3

Wie groß ist die Transinformation zwischen den Zufallsgrößen $X$ und $Y$?

$I(X; Y)$ = $bit$

4

Berechnen Sie die beiden bedingten Entropien.

$H(X|Y)$ = $bit$

$H(Y|X)$ = $bit$

5

Welche der folgenden Aussagen treffen für die 2D–Zufallsgröße $UV$ zu?

	Die 1D–Zufallsgrößen $U$ und $V$ sind statistisch unabhängig.
	Die gemeinsame Information von $U$ und $V \Rightarrow I(U; V)$ ist $0$.
	Für die Verbundentropie gilt $H(UV) = H(XY)$.
	Es gelten die Beziehungen $H(U|V) = H(U) und H(V|U) = H(V)$.

Musterlösung

Solution

1. 2. 3. 4. 5. 6. 7.