Difference between revisions of "Aufgaben:Exercise 3.8: Once more Mutual Information"

Revision as of 14:35, 1 June 2017

Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen:

$$X = \{ 0 , 1 , 2 \}$ , \hspace{0.3cm}$Y= \{ 0 , 1 , 2 \}$$.

Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ beider Zufallsgrößen ist in der oberen Grafik angegeben. In der Zusatzaufgabe 3.8Z wird diese Konstellation ausführlich analysiert. Man erhält als Ergebnis (alle Angaben in „bit”):

$H(X) = H(Y) = \log_2 (3) = 1.585,$
$H(XY) = \log_2 (9) = 3.170,$
$I(X, Y) = 0,$
$H(Z) = H(XZ) = 3.170,$
$I(X, Z) = 1.585.$

Desweiteren betrachten wir hier die Zufallsgröße $W = \{ 0, 1, 2, 3, 4 \}$, deren Eigenschaften sich aus der Verbundwahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ nach der unteren Skizze ergeben. Die Wahrscheinlichkeiten sind in allen weiß hinterlegten Feldern jeweils $0$.

Gesucht ist in der vorliegenden Aufgabe die Transinformation zwischen

den Zufallsgrößen $X$ und $W$ ⇒ $I(X; W)$,
den Zufallsgrößen $Z$ und $W ⇒ I(Z; W)$.

Hinweise:

Die Aufgabe gehört zum Kapitel Verschiedene Entropien zweidimensionaler Zufallsgrößen.
Insbesondere wird Bezug genommen auf die Seiten Bedingte Wahrscheinlichkeit und bedingte Entropie sowie Transinformation zwischen zwei Zufallsgrößen.
Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.

Fragebogen

Musterlösung

Solution

(1) Mit $X = \{0, 1, 2\}$, $Y = \{0, 1, 2\}$ gilt $X + Y = \{0, 1, 2, 3, 4\}$ und auch die Wahrscheinlichkeiten stimmen mit der vorgegebenen Wahrscheinlichkeitsfunktion überein. Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch $W = X – Y + 2$ möglich ist ⇒ Lösungsvorschläge 1 und 2.

(2) Aus der 2D–Wahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ auf der Angabenseite erhält man für

die Verbundentropie:

$$H(XW) = {\rm log}_2 \hspace{0.1cm} (9) = 3.170\,{\rm (bit)} \hspace{0.05cm},$$

die Wahrsacheinlichkeitsfunktion der Zufallsgröße $W$:

$$P_W(W) = \big [\hspace{0.05cm}1/9\hspace{0.05cm}, \hspace{0.05cm} 2/9\hspace{0.05cm},\hspace{0.05cm} 3/9 \hspace{0.05cm}, \hspace{0.05cm} 2/9\hspace{0.05cm}, \hspace{0.05cm} 1/9\hspace{0.05cm} \big ]\hspace{0.05cm},$$

die Entropie der Zufallsgröße $W$:

$$H(W) = 2 \cdot \frac{1}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{1} + 2 \cdot \frac{2}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{2} + \frac{3}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{3} {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$

Mit $H(X) = 1.585 \ \rm bit$ (wurde vorgegeben) ergibt sich somit für die Mutual Information:

$$I(X;W) = H(X) + H(W) - H(XW) = 1.585 + 2.197- 3.170\hspace{0.15cm} \underline {= 0.612\,{\rm (bit)}} \hspace{0.05cm}.$$

Das linke Schaubild verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.

Verbundwahrscheinlichkeit zwischen Z und W

(3) Die untere Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$. Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.

Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich 0 belegt. Für die Verbundentropie gilt: $H(ZW) = 3.170\,{\rm (bit)} \hspace{0.05cm}.$
Mit den weiteren Entropien $H(Z) = 3.170\,{\rm (bit)}\hspace{0.05cm}$ und $H(W) = 2.197\,{\rm (bit)}\hspace{0.05cm}$ entsprechend der Teilaufgabe 3.8Z bzw. der Teilfrage (2) dieser Aufgabe erhält man für die Transinformation:

$$I(Z;W) = H(Z) + H(W) - H(ZW) \hspace{0.15cm} \underline {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$

(4) Alle drei Aussagen treffen zu, wie auch aus dem oberen Schaubild ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:

Die Verbundwahrscheinlichkeit $P_{ ZW }$ setzt sich ebenso wie $P_{ XW }$ aus neun gleichwahrscheinlichen Elementenungleich 0 zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind ⇒ $H(ZW) = H(XW) = 3.170 \ \rm (bit)$.
Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$. Dagegen ist $H(Z|W) \ne 0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973 \ \rm (bit)$.
Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation der Aussage $H(Z|W) = H(X|W)$.
Die gemeinsame Information von $Z$ und $W$ ⇒ $I(Z; W)$ ist größer als die gemeinsame Information von $X$ und $W$ ⇒ $I(X; W)$ , weil $H(W|Z) =0$ gilt, während $H(W|X)$ ungleich $0$ ist, nämlich genau so groß ist wie $H(X)$ :

$$I(Z;W) = H(W) - H(W|Z) = 2.197 - 0= 2.197\,{\rm (bit)} \hspace{0.05cm},$$

$$I(X;W) = H(W) - H(W|X) = 2.197 - 1.585= 0.612\,{\rm (bit)} \hspace{0.05cm}.$$

@@ Line 54: / Line 54: @@
 ===Musterlösung===
 {{ML-Kopf}}
-'''1.''' Mit $X = \{0, 1, 2\}$, $Y = \{0, 1, 2\}$ gilt $X + Y = \{0, 1, 2, 3, 4\}$ und auch die Wahrscheinlichkeiten stimmen mit der vorgegebenen Wahrscheinlichkeitsfunktion überein. Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch $W = X – Y + 2$ möglich ist  $\Rightarrow$ $Lösungsvorschläge 1$ und $2$.
+'''(1)'''&nbsp; Mit $X = \{0, 1, 2\}$, $Y = \{0, 1, 2\}$ gilt $X + Y = \{0, 1, 2, 3, 4\}$ und auch die Wahrscheinlichkeiten stimmen mit der vorgegebenen Wahrscheinlichkeitsfunktion überein. Die Überprüfung der beiden anderen Vorgaben zeigt, dass auch $W = X – Y + 2$ möglich ist  &nbsp; ⇒ &nbsp;  <u>Lösungsvorschläge 1 und 2</u>.
-'''2.'''Aus der 2D–Wahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ auf der Angabenseite erhält man für
+'''(2)'''&nbsp; Aus der 2D–Wahrscheinlichkeitsfunktion $P_{ XW }(X, W)$ auf der Angabenseite erhält man für
-:*die Verbundentropie:
+*die Verbundentropie:
+:$$H(XW) =  {\rm log}_2 \hspace{0.1cm} (9)
+= 3.170\,{\rm (bit)}
+	\hspace{0.05cm},$$
+* die Wahrsacheinlichkeitsfunktion der Zufallsgröße $W$:
+:$$P_W(W) = \big [\hspace{0.05cm}1/9\hspace{0.05cm}, \hspace{0.05cm} 2/9\hspace{0.05cm},\hspace{0.05cm} 3/9 \hspace{0.05cm}, \hspace{0.05cm} 2/9\hspace{0.05cm}, \hspace{0.05cm} 1/9\hspace{0.05cm} \big ]\hspace{0.05cm},$$
+*die Entropie der Zufallsgröße $W$:
+:$$H(W) = 2 \cdot \frac{1}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{1} + 2 \cdot \frac{2}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{2} +
+\frac{3}{9} \cdot {\rm log}_2 \hspace{0.1cm} \frac{9}{3}
+ {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$
-$$H(XW) = log_2(9) = 3.170$$,
+Mit $H(X) = 1.585 \ \rm bit$ (wurde vorgegeben) ergibt sich somit für die ''Mutual Information'':
-:* die Wahrsacheinlichkeitsfunktion der Zufallsgröße $W$:
+:$$I(X;W) = H(X) + H(W) - H(XW) = 1.585 + 2.197- 3.170\hspace{0.15cm} \underline {= 0.612\,{\rm (bit)}} \hspace{0.05cm}.$$
-$$P_W(W) = [ 1/9 , 2/9 ,  3/9 ,  2/9 ,  1/9]$$,
+Das linke Schaubild verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
-:*die Entropie der Zufallsgröße $W$:
-$$H(W) = 2 . \frac{1}{9} .  log_2\frac{9}{1} + 2 . \frac{2}{9} .  log_2\frac{9}{2} + 2 . \frac{3}{9} .  log_2\frac{9}{3} = 2.197 ( bit)$$.
-Mit $H(X) = 1.585$ bit (wurde angegeben) ergibt sich somit für die ''Mutual Information'':
-$$I(X;W) = H(X) + H(W) - H(XW)=$$
-$$=1.585+2.197-3.170=0.612(bit)$$
-[[File:P_ID2769__Inf_A_3_7d.png|right|]]
-Das Rechte Schaubild verdeutlicht die Berechnung der Transinformation $I(X; W)$ zwischen der ersten Komponente $X$ und der Summe $W$.
+[[File:P_ID2769__Inf_A_3_7d.png|Zur Berechnung der Transinformation]]
+[[File:P_ID2770__Inf_A_3_7c.png|right|Verbundwahrscheinlichkeit zwischen <i>Z</i> und <i>W</i>]]
+'''(3)'''&nbsp;  Die untere Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$. Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
+*Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten ungleich 0 belegt. Für die Verbundentropie gilt: $H(ZW)  = 3.170\,{\rm (bit)} \hspace{0.05cm}.$
+*Mit den weiteren Entropien $H(Z)  = 3.170\,{\rm (bit)}\hspace{0.05cm}$ und $H(W)  = 2.197\,{\rm (bit)}\hspace{0.05cm}$ entsprechend der [[Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen| Teilaufgabe 3.8Z]] bzw. der Teilfrage (2) dieser Aufgabe erhält man für die Transinformation:
+:$$I(Z;W) = H(Z) + H(W) - H(ZW) \hspace{0.15cm} \underline {= 2.197\,{\rm (bit)}} \hspace{0.05cm}.$$
-'''3.''' Die Grafik zeigt die Verbundwahrscheinlichkeit $P_{ ZW }(⋅)$. Das Schema besteht aus $5 · 9 = 45$ Feldern im Gegensatz zur Darstellung von $P_{ XW }(⋅)$ auf der Angabenseite mit $3 · 9 = 27$ Feldern.
+'''(4)'''&nbsp; <u>Alle drei Aussagen</u> treffen zu, wie auch aus dem oberen Schaubild ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
-[[File:P_ID2770__Inf_A_3_7c.png|right|]]
+* Die Verbundwahrscheinlichkeit $P_{ ZW }$ setzt sich ebenso wie $P_{ XW }$ aus neun gleichwahrscheinlichen Elementenungleich 0 zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind &nbsp; ⇒ &nbsp; $H(ZW) =  H(XW) = 3.170 \ \rm (bit)$.
+* Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$. Dagegen ist $H(Z|W) \ne 0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973   \ \rm (bit)$.
-Von den $45$ Feldern sind aber auch nur neun mit Wahrscheinlichkeiten $≠ 0$ belegt. Für die Verbundentropie gilt:
+* Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation der Aussage $H(Z|W) = H(X|W)$.
+* Die gemeinsame Information von $Z$ und $W$ &nbsp; ⇒ &nbsp; $I(Z; W)$ ist größer als die gemeinsame Information von $X$ und $W$  &nbsp; ⇒ &nbsp; $I(X; W)$ , weil $H(W|Z) =0$ gilt, während $H(W|X)$ ungleich $0$ ist, nämlich genau so groß ist wie $H(X)$ :
-$H(ZW) = 3.170(bit)$
+:$$I(Z;W)  = H(W) - H(W|Z) = 2.197 - 0= 2.197\,{\rm (bit)} \hspace{0.05cm},$$
+:$$I(X;W) =  H(W) - H(W|X) = 2.197 - 1.585= 0.612\,{\rm (bit)} \hspace{0.05cm}.$$
-Mit den weiteren Entropien
-$$H(Z) = 3.170 (bit)$$
-$$H(W) = 2.197 (bit)$$
-entsprechend der [http://en.lntwww.de/Aufgaben:3.07Z_Tupel_aus_tern%C3%A4ren_Zufallsgr%C3%B6%C3%9Fen Aufgabe Z3.7] bzw. der Teilaufgabe (b) erhält man für die Transinformation:
-$$I(Z;W) = H(Z) + H(W) - H(ZW) = 2.197 (bit)$$
-wie auch aus dem rechten oberen Schaubild hervorgeht.
-'''4.'''  $Alle$  $drei$  $Aussagen$ treffen zu, wie auch aus dem oberen Schaubild ersichtlich ist. Wir versuchen eine Interpretation dieser numerischen Ergebnisse:
-:* Die Verbundwahrscheinlichkeit $P_{ ZW }$ setzt sich ebenso wie $P_{ XW }$ aus neun gleichwahrscheinlichen Elementen $≠ 0$ zusammen. Damit ist offensichtlich, dass auch die Verbundentropien gleich sind:
-$H(ZW) =  H(XW) = 3.170 (bit)$.
-:* Wenn ich das Tupel $Z = (X, Y)$ kenne, kenne ich natürlich auch die Summe $W = X + Y$. Damit ist $H(W|Z) = 0$. Dagegen ist $H(Z|W)$ ungleich $0$. Vielmehr gilt $H(Z|W) = H(X|W) = 0.973  bit$.
-:* Die Zufallsgröße $W$ liefert also die genau gleiche Information hinsichtlich des Tupels $Z$ wie für die Einzelkomponente $X$. Dies ist die verbale Interpretation für die Aussage $H(Z|W) = H(X|W)$
-:* Die gemeinsame Information von $Z$ und $W \Rightarrow  I(Z; W)$ ist größer als die von $X und W \Rightarrow  I(X; W)$, weil $H(W|Z)$ gleich $0$ ist, während $H(W|X)$ ungleich $0$ ist, nämlich genau so groß ist wie $H(X)$ :
-$$I(Z;W) = H(W) - H(W|Z) = 2.197 - 0 = 2.197 (bit)$$
-$$I(X;W) = H(W) - H(W|X) = 2.197 - 1.585 = 0.612 (bit)$$

	Es gilt $H(ZW) = H(XW)$.
	Es gilt $H(W\|Z) = 0$.
	Es gilt $I(Z; W) > I(X; W)$.

	$W = X + Y$,
	$W = X – Y + 2$,
	$W = Y – X + 2$.