Exercise 3.7: Some Entropy Calculations

• Return to book

Schaubild: Entropien und Information

Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:

$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$

$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$

Für die Zufallsgröße $XY$ sollen in dieser Aufgabe berechnet werden:

• die Verbundentropie (englisch: Joint Entropy):

$$H(XY) = -{\rm E}\big [\log_2 P_{ XY }( X,Y) \big ],$$

• die beiden Einzelentropien:

$$H(X) = -{\rm E}\big [\log_2 P_X( X)\big ],$$

$$H(Y) = -{\rm E}\big [\log_2 P_Y( Y)\big ].$$

Daraus lassen sich gemäß dem obigen Schema – dargestellt für die Zufallsgröße $XY$ – auch folgende Beschreibungsgrößen sehr einfach bestimmen:

• die bedingten Entropien (englisch: Conditional Entropies):

$$H(X \hspace{0.05cm}|\hspace{0.05cm} Y) = -{\rm E}\big [\log_2 P_{ X \hspace{0.05cm}|\hspace{0.05cm}Y }( X \hspace{0.05cm}|\hspace{0.05cm} Y)\big ],$$

$$H(Y \hspace{0.05cm}|\hspace{0.05cm} X) = -{\rm E}\big [\log_2 P_{ Y \hspace{0.05cm}|\hspace{0.05cm} X }( Y \hspace{0.05cm}|\hspace{0.05cm} X)\big ],$$

• die Transinformation (englisch: Mutual Information) zwischen $X$ und $Y$:

$$I(X;Y) = {\rm E} \hspace{-0.08cm}\left [ \hspace{0.02cm}{\rm log}_2 \hspace{0.1cm} \frac{P_{XY}(X, Y)} {P_{X}(X) \cdot P_{Y}(Y) }\right ] \hspace{0.05cm}.$$

Abschließend sind qualitative Aussagen hinsichtlich der zweiten Zufallsgröße $UV$ zu verifizieren.

Hinweise:

• Die Aufgabe gehört zum Kapitel  Verschiedene Entropien zweidimensionaler Zufallsgrößen.
• Insbesondere wird Bezug genommen auf die Seiten 
      Bedingte Wahrscheinlichkeit und bedingte Entropie sowie
      Transinformation zwischen zwei Zufallsgrößen.

Fragebogen

1

Berechnen Sie die Verbundentropie.

$H(XY) \ = \ $ $\ \rm bit$

2

Welche Entropien weisen die 1D–Zufallsgrößen $X$ und $Y$ auf?

$H(X) \ = \ $ $\ \rm bit$

$H(Y) \ = \ $ $\ \rm bit$

3

Wie groß ist die Transinformation zwischen den Zufallsgrößen $X$ und $Y$?

$I(X; Y) \ = \ $ $\ \rm bit$

4

Berechnen Sie die beiden bedingten Entropien.

$H(X|Y) \ = \ $ $\ \rm bit$

$H(Y|X) \ = \ $ $\ \rm bit$

5

Welche der folgenden Aussagen treffen für die 2D–Zufallsgröße $UV$ zu?

	Die 1D–Zufallsgrößen $U$ und $V$ sind statistisch unabhängig.
	Die gemeinsame Information von $U$ und $V$ ist $I(U; V) = 0$.
	Für die Verbundentropie gilt $H(UV) = H(XY)$.
	Es gelten die Beziehungen $H(U|V) = H(U)$ und $H(V|U) = H(V)$.

Musterlösung

Solution

(1)  Aus der gegebenen Verbundwahrscheinlichkeit erhält man

$$H(XY) = 0.18 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.18} + 0.16\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.16}+ \hspace{-0.15cm} 0.02\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.02}+ 0.64\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.64} \hspace{0.15cm} \underline {= 1.393\,{\rm (bit)}} \hspace{0.05cm}.$$

(2)  Die 1D–Wahrscheinlichkeitsfunktionen lauten $P_X(X) = \big [0.2, \ 0.8 \big ]$ und $P_Y(Y) = \big [0.34, \ 0.66 \big ]$. Daraus folgt:

$$H(X) = 0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} + 0.8\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.8}\hspace{0.15cm} \underline {= 0.722\,{\rm (bit)}} \hspace{0.05cm},$$

$$H(Y) =0.34 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.34} + 0.66\cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.66}\hspace{0.15cm} \underline {= 0.925\,{\rm (bit)}} \hspace{0.05cm}.$$

(3)  Aus der Grafik auf der Angabenseite erkennt man den Zusammenhang:

$$I(X;Y) = H(X) + H(Y) - H(XY) = 0.722\,{\rm (bit)} + 0.925\,{\rm (bit)}- 1.393\,{\rm (bit)}\hspace{0.15cm} \underline {= 0.254\,{\rm (bit)}} \hspace{0.05cm}.$$

(4)  Ebenso gilt entsprechend der Grafik auf der Angabenseite:

$$H(X \hspace{-0.1cm}\mid \hspace{-0.08cm} Y) = H(XY) - H(Y) = 1.393- 0.925\hspace{0.15cm} \underline {= 0.468\,{\rm (bit)}} \hspace{0.05cm},$$

$$H(Y \hspace{-0.1cm}\mid \hspace{-0.08cm} X) = H(XY) - H(X) = 1.393- 0.722\hspace{0.15cm} \underline {= 0.671\,{\rm (bit)}} \hspace{0.05cm}$$

Entropiewerte für die Zufallsgrößen $XY$ und $UV$

• Die linke Grafik fasst die Ergebnisse der Teilaufgaben (1), ... , (4) maßstabsgetreu zusammen.
• Grau hinterlegt ist die Verbundentropie und gelb die Transinformation.
• Eine rote Hinterlegung bezieht sich auf die Zufallsgröße $X$, eine grüne auf $Y$. Schraffierte Felder deuten auf eine bedingte Entropie hin.

Die rechte Grafik beschreibt den gleichen Sachverhalt für die Zufallsgröße $UV$   ⇒   Teilaufgabe (5).

(5)  Richtig sind gemäß dem Schaubild die Aussagen 1, 2 und 4:

• Man erkennt die Gültigkeit von $P_{ UV } = P_U · P_V$   ⇒   Transinformation $I(U; V) = 0$ daran, dass die zweite Zeile der $P_{ UV }$–Matrix sich von der ersten Zeile nur durch einen konstanten Faktor $(4)$ unterscheidet.
• Es ergeben sich gleiche 1D–Wahrscheinlichkeitsfunktionen wie für die Zufallsgröße $XY$   ⇒   $P_U(U) = \big [0.2, \ 0.8 \big ]$  und  $P_V(V) = \big [0.34, \ 0.66 \big ]$.
• Deshalb ist auch $H(U) = H(X) = 0.722\ \rm bit$  und  $H(V) = H(Y) = 0.925 \ \rm bit$.
• Hier gilt aber nun für die Verbundentropie:   $H(UV) = H(U) + H(V) ≠ H(XY)$.