Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Revision history

Javier: Text replacement - "”" to """

2021-05-28T14:30:34Z

Text replacement - "”" to """

Javier: Text replacement - "„" to """

2021-05-28T14:30:13Z

Text replacement - "„" to """

Javier: Text replacement - "[[Informationstheorie" to "[[Information_Theory"

2020-07-09T12:45:30Z

Text replacement - "[[Informationstheorie" to "[[Information_Theory"

Javier: Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

2020-07-09T09:51:34Z

Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

Guenter at 10:07, 8 October 2018

2018-10-08T10:07:18Z

Guenter at 08:56, 8 October 2018

2018-10-08T08:56:49Z

Mwiki-lnt: Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

2018-05-29T12:02:52Z

Textersetzung - „*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.“ durch „ “

Guenter: Guenter verschob die Seite Aufgaben:3.5 Kullback-Leibler-Distanz & Binominalverteilung nach Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung

2018-01-03T14:04:05Z

Guenter verschob die Seite 3.5 Kullback-Leibler-Distanz & Binominalverteilung nach Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung

Guenter at 10:55, 5 June 2017

2017-06-05T10:55:43Z

Guenter at 09:24, 31 May 2017

2017-05-31T09:24:24Z

@@ Line 4: / Line 4: @@
 [[File:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene Wahrscheinlichkeiten]]
-Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch "Stochastische Signaltheorie&rdquo;:
+Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch "Stochastische Signaltheorie":
 * Wertebereich:
@@ Line 31: / Line 31: @@
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty}  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo&ndash;Einheit "bit&rdquo; hinzuzufügen.
+Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo&ndash;Einheit "bit" hinzuzufügen.
 [[File:P_ID2760__Inf_A_3_4_B.png|right|Beiliegende Ergebnistabelle]]
-In nebenstehender Ergebnistabelle ist die sog. Kullback&ndash;Leibler&ndash;Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$  (in "bit&rdquo;) zwischen der Binomial&ndash;PMF $P_X(\cdot)$ und einigen Poisson&ndash;Näherungen $P_Y(\cdot)$  (mit fünf verschiedenen Raten $\lambda$) eingetragen.  Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
+In nebenstehender Ergebnistabelle ist die sog. Kullback&ndash;Leibler&ndash;Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$  (in "bit") zwischen der Binomial&ndash;PMF $P_X(\cdot)$ und einigen Poisson&ndash;Näherungen $P_Y(\cdot)$  (mit fünf verschiedenen Raten $\lambda$) eingetragen.  Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
 Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (6) sollen diese Ergebnisse interpretriert werden.
@@ Line 43: / Line 43: @@
 *Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative_Entropie &ndash; Kullback-Leibler-Distanz]].
-*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg&rdquo;  bezeichnet den Logarithmus zur Basis 10:
+*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg"  bezeichnet den Logarithmus zur Basis 10:
 :$$A' =
 .4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
@@ Line 120: / Line 120: @@
 *Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>||<i>P<sub>X</sub></i>) würde sich unabhängig von <i>&lambda;</i> stets ein unendlicher Wert ergeben, da für <i>&mu;</i> &#8805; 6 gilt:
 :$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
-*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>&mu;</i>) für große <i>&mu;</i> sehr klein werden, sind sie doch "unendlich viel größer&rdquo; als <i>P<sub>X</sub></i>(<i>X</i> = <i>&mu;</i>).
+*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>&mu;</i>) für große <i>&mu;</i> sehr klein werden, sind sie doch "unendlich viel größer" als <i>P<sub>X</sub></i>(<i>X</i> = <i>&mu;</i>).
 '''(3)'''&nbsp; Wir verwenden die erste Kullback&ndash;Leibler&ndash;Distanz:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des Zehnerlogarithmus ("lg&rdquo;) erhalten wir für die Poisson&ndash;Näherung mit <i>&lambda;</i> = 1:
+Bei Verwendung des Zehnerlogarithmus ("lg") erhalten wir für die Poisson&ndash;Näherung mit <i>&lambda;</i> = 1:
 :$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
 -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
-Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>&rdquo;)  erhält man schließlich:
+Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>")  erhält man schließlich:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$
@@ Line 134: / Line 134: @@
 :$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
 = -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
-Die Umrechnung in "bit&rdquo; liefert das gesuchte Ergebnis:
+Die Umrechnung in "bit" liefert das gesuchte Ergebnis:
 :$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
 \hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

@@ Line 4: / Line 4: @@
 [[File:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene Wahrscheinlichkeiten]]
-Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch &bdquo;Stochastische Signaltheorie&rdquo;:
+Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch "Stochastische Signaltheorie&rdquo;:
 * Wertebereich:
@@ Line 31: / Line 31: @@
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm}  =  \hspace{0.15cm}  {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty}  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo&ndash;Einheit &bdquo;bit&rdquo; hinzuzufügen.
+Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo&ndash;Einheit "bit&rdquo; hinzuzufügen.
 [[File:P_ID2760__Inf_A_3_4_B.png|right|Beiliegende Ergebnistabelle]]
-In nebenstehender Ergebnistabelle ist die sog. Kullback&ndash;Leibler&ndash;Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$  (in &bdquo;bit&rdquo;) zwischen der Binomial&ndash;PMF $P_X(\cdot)$ und einigen Poisson&ndash;Näherungen $P_Y(\cdot)$  (mit fünf verschiedenen Raten $\lambda$) eingetragen.  Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
+In nebenstehender Ergebnistabelle ist die sog. Kullback&ndash;Leibler&ndash;Distanz $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y)$  (in "bit&rdquo;) zwischen der Binomial&ndash;PMF $P_X(\cdot)$ und einigen Poisson&ndash;Näherungen $P_Y(\cdot)$  (mit fünf verschiedenen Raten $\lambda$) eingetragen.  Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.
 Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (6) sollen diese Ergebnisse interpretriert werden.
@@ Line 43: / Line 43: @@
 *Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative_Entropie &ndash; Kullback-Leibler-Distanz]].
-*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg&rdquo;  bezeichnet den Logarithmus zur Basis 10:
+*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg&rdquo;  bezeichnet den Logarithmus zur Basis 10:
 :$$A' =
 .4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
@@ Line 120: / Line 120: @@
 *Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>||<i>P<sub>X</sub></i>) würde sich unabhängig von <i>&lambda;</i> stets ein unendlicher Wert ergeben, da für <i>&mu;</i> &#8805; 6 gilt:
 :$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
-*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>&mu;</i>) für große <i>&mu;</i> sehr klein werden, sind sie doch &bdquo;unendlich viel größer&rdquo; als <i>P<sub>X</sub></i>(<i>X</i> = <i>&mu;</i>).
+*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>&mu;</i>) für große <i>&mu;</i> sehr klein werden, sind sie doch "unendlich viel größer&rdquo; als <i>P<sub>X</sub></i>(<i>X</i> = <i>&mu;</i>).
 '''(3)'''&nbsp; Wir verwenden die erste Kullback&ndash;Leibler&ndash;Distanz:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
-Bei Verwendung des Zehnerlogarithmus (&bdquo;lg&rdquo;) erhalten wir für die Poisson&ndash;Näherung mit <i>&lambda;</i> = 1:
+Bei Verwendung des Zehnerlogarithmus ("lg&rdquo;) erhalten wir für die Poisson&ndash;Näherung mit <i>&lambda;</i> = 1:
 :$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
 -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
-Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>&rdquo;)  erhält man schließlich:
+Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>&rdquo;)  erhält man schließlich:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$
@@ Line 134: / Line 134: @@
 :$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
 = -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
-Die Umrechnung in &bdquo;bit&rdquo; liefert das gesuchte Ergebnis:
+Die Umrechnung in "bit&rdquo; liefert das gesuchte Ergebnis:
 :$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
 \hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

@@ Line 40: / Line 40: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
-*Insbesondere wird Bezug genommen auf die Seite [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative_Entropie &ndash; Kullback-Leibler-Distanz]].
+*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative_Entropie &ndash; Kullback-Leibler-Distanz]].
 *Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg&rdquo;  bezeichnet den Logarithmus zur Basis 10:

@@ Line 4: / Line 4: @@
 [[File:P_ID2759__Inf_A_3_4_A.png|right|Vorgegebene Wahrscheinlichkeiten]]
-Wir gehen hier von der [[Stochastische_Signaltheorie/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch &bdquo;Stochastische Signaltheorie&rdquo;:
+Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist &#8658; siehe  Buch &bdquo;Stochastische Signaltheorie&rdquo;:
 * Wertebereich:
@@ Line 18: / Line 18: @@
-Diese vorgegebene Binomialverteilung soll hier durch eine [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:
+Diese vorgegebene Binomialverteilung soll hier durch eine [[Theory_of_Stochastic_Signals/Poissonverteilung|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:
 * Wertebereich:

← Older revision		Revision as of 10:07, 8 October 2018
Line 157:		Line 157:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}
−
−
−
−	~~[[Category:Aufgaben zu Informationstheorie\|Aufgaben zu Informationstheorie]]~~

← Older revision		Revision as of 08:56, 8 October 2018
Line 160:		Line 160:


−	[[Category:Aufgaben zu Informationstheorie\|~~^3.1 Allgemeines~~ zu ~~2D-Zufallsgrößen^~~]]	+	[[Category:Aufgaben zu Informationstheorie\|Aufgaben zu Informationstheorie]]

← Older revision		Revision as of 10:55, 5 June 2017
Line 160:		Line 160:


−	[[Category:Aufgaben zu Informationstheorie\|^3.1 ~~Vorbemerkungen~~ zu 2D-Zufallsgrößen^]]	+	[[Category:Aufgaben zu Informationstheorie\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

@@ Line 108: / Line 108: @@
 ===Musterlösung===
 {{ML-Kopf}}
-<b>1.</b>&nbsp;&nbsp;Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(<i>X</i> > <i>I</i>) = 0 &nbsp;&#8658;&nbsp; <u><i>I</i> = 5</u>. Damit ergibt sich für die Wahrscheinlichkeit, dass <i>X</i> gleich <i>I</i> = 5 ist:
+'''(1)'''&nbsp; Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(<i>X</i> > <i>I</i>) = 0 &nbsp;&#8658;&nbsp; <u><i>I</i> = 5</u>. <br>Damit ergibt sich für die Wahrscheinlichkeit, dass <i>X</i> gleich <i>I</i> = 5 ist:
 :$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} =  p^{5}  \approx 0.0003 \hspace{0.05cm}.$$
-Damit erhält man für
+Somit erhält man für
-:* die charakteristische Wahrscheinlichkeit:
+* die charakteristische Wahrscheinlichkeit: &nbsp; $p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$
-:$$p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$$
+* den linearen Mittelwert (Erwartungswert): &nbsp; $m_X = I  \cdot p  \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$
-:* die Varianz:
+'''(2)'''&nbsp; Richtig ist der <u>Lösungsvorschlag 2</u>:
-:$$\sigma_X^2 = I  \cdot p \cdot (1-p)  \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$$
+*Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>||<i>P<sub>X</sub></i>) würde sich unabhängig von <i>&lambda;</i> stets ein unendlicher Wert ergeben, da für <i>&mu;</i> &#8805; 6 gilt:
-<b>3.</b>&nbsp;&nbsp;Wir verwenden die erste Kullback&ndash;Leibler&ndash;Distanz:
+'''(3)'''&nbsp; Wir verwenden die erste Kullback&ndash;Leibler&ndash;Distanz:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
 Bei Verwendung des Zehnerlogarithmus (&bdquo;lg&rdquo;) erhalten wir für die Poisson&ndash;Näherung mit <i>&lambda;</i> = 1:
 :$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
 -0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
-Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>&rdquo;)  erhält man:
+Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log<sub>2</sub>&rdquo;)  erhält man schließlich:
 :$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$
-<b>4.</b>&nbsp;&nbsp;Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson&ndash;Näherung (<i>&lambda;</i> = 1):
+'''(4)'''&nbsp; Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson&ndash;Näherung (<i>&lambda;</i> = 1):
-:$$H\hspace{0.05cm}'(Y) \hspace{0.15cm}  =  \hspace{0.15cm} -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
+:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
-= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' =\\
+= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
 Die Umrechnung in &bdquo;bit&rdquo; liefert das gesuchte Ergebnis:
 :$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
 \hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$
-<b>5.</b>&nbsp;&nbsp;Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback&ndash;Leibler&ndash;Distanz ist
+'''(5)'''&nbsp; Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback&ndash;Leibler&ndash;Distanz ist
 * der Beitrag des <i>&mu;</i>&ndash;ten Terms positiv, falls <i>P<sub>Y</sub></i>(<i>&mu;</i>) > <i>P<sub>X</sub></i>(<i>&mu;</i>),
-:* der Beitrag des <i>&mu;</i>&ndash;ten Terms positiv, falls <i>P<sub>Y</sub></i>(<i>&mu;</i>) > <i>P<sub>X</sub></i>(<i>&mu;</i>),
+* der Beitrag des <i>&mu;</i>&ndash;ten Terms negativ, falls <i>P<sub>Y</sub></i>(<i>&mu;</i>) < <i>P<sub>X</sub></i>(<i>&mu;</i>).
-<b>6.</b>&nbsp;&nbsp;Zutreffend ist der <u>Lösungsvorschlag 1</u>. Auch aus der nachfolgenden Grafik ist ersichtlich, dass <i>D</i>(<i>P<sub>X</sub></i>||<i>P<sub>Y</sub></i>)&nbsp;=&nbsp;0.0182 bit von keinem anderen <i>&lambda;</i>&ndash;Wert als <i>&lambda;</i>&nbsp;=&nbsp;1 unterschritten wird (grüne Kreuze).
+[[File:P_ID2761__Inf_A_3_4_C.png|right|Kullback–Leibler–Distanz und Entropie]]
-[[File:P_ID2761__Inf_A_3_4_C.png|center|]]
+'''(6)'''&nbsp; Zutreffend ist der <u>Lösungsvorschlag 1</u>:
-Weiter erkennt man aus dieser Darstellung, dass man mit <i>&lambda;</i> = 0.9 eine bessere Entropie&ndash;Approximation als mit <i>&lambda;</i> = 1 erreicht  (blaue Kreise):
+*Auch aus der Grafik ist ersichtlich, dass <i>D</i>(<i>P<sub>X</sub></i>||<i>P<sub>Y</sub></i>)&nbsp;=&nbsp;0.0182 bit von keinem anderen <i>&lambda;</i>&ndash;Wert als <i>&lambda;</i>&nbsp;=&nbsp;1 unterschritten wird (grüne Kreuze).
 :$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$
-Der zweite Lösungsvorschlag ist also falsch. Anzumerken ist:
+:Der zweite Lösungsvorschlag ist also falsch.
-:* Mit <i>&lambda;</i> = 1 stimmen die <u>linearen</u> Mittelwerte der beiden Zufallsgrößen  überein: <i>m<sub>X</sub></i> = <i>m<sub>Y</sub></i> = 1.
+Weiter ist anzumerken:
 Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>&lambda;</i> ist klar, dass für irgendeinen <i>&lambda;</i>&ndash;Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.