Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung - Revision history

Maintenance script: Fix interlanguage link: resolve redirect chain

2026-03-16T15:58:33Z

Fix interlanguage link: resolve redirect chain

← Older revision		Revision as of 17:58, 16 March 2026
Line 39:		Line 39:
	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/~~Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen~~#~~Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz~~\|Relative_Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables#Informational_divergence_-_Kullback-Leibler_distance\|Relative_Entropie – Kullback-Leibler-Distanz]].

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:
Line 140:		Line 140:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}
	[[de:Aufgaben:3.~~04_KLD_~~&~~_Binominalverteilung~~]]		[[de:Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung]]

Maintenance script: Join 1 split formula blocks

2026-03-16T14:15:51Z

Join 1 split formula blocks

← Older revision		Revision as of 16:15, 16 March 2026
Line 43:		Line 43:
	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:
	:$$A' =0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$		:$$A' =0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	:$$B' =		:$$B' =0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
	0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
	0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +
	0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$		:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$

Maintenance script: Join split $$ formula lines for correct rendering

2026-03-16T13:47:19Z

Join split $$ formula lines for correct rendering

← Older revision		Revision as of 15:47, 16 March 2026
Line 42:		Line 42:

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:
	:$$A' =		:$$A' =0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
	0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
	0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +
	0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
	0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} \hspace{0.05cm},$$
	:$$B' =		:$$B' =
	0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +		0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +

Maintenance script: Join split $$ formula lines for correct rendering

2026-03-16T13:30:17Z

Join split $$ formula lines for correct rendering

← Older revision		Revision as of 15:30, 16 March 2026
Line 7:		Line 7:

	* Wertebereich:		* Wertebereich:
	:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}		:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$		:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$
Line 21:		Line 20:

	* Wertebereich:		* Wertebereich:
	:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}		:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
	2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
	* Wahrscheinlichkeiten:		* Wahrscheinlichkeiten:
	:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$		:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
Line 57:		Line 55:
	0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +		0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
	0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$		0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)$$
	:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}		:$$\Rightarrow \hspace{0.3cm} A' \hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},\hspace{0.5cm}B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$
	B' \hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$


Line 126:		Line 123:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des Zehnerlogarithmus ("lg") erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:		Bei Verwendung des Zehnerlogarithmus ("lg") erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>") erhält man schließlich:		Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>") erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

	'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):		'''(4)'''  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (<i>λ</i> = 1):
	:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	Die Umrechnung in "bit" liefert das gesuchte Ergebnis:		Die Umrechnung in "bit" liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$
	\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

	'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist		'''(5)'''  Richtig ist die <u>Aussage 1</u>. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist

Maintenance script: Add German interlanguage link

2026-03-16T12:31:47Z

Add German interlanguage link

← Older revision		Revision as of 14:31, 16 March 2026
Line 157:		Line 157:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}
			[[de:Aufgaben:3.04_KLD_&_Binominalverteilung]]

Javier: Text replacement - "”" to """

2021-05-28T14:30:34Z

Text replacement - "”" to """

Javier: Text replacement - "„" to """

2021-05-28T14:30:13Z

Text replacement - "„" to """

Javier: Text replacement - "[[Informationstheorie" to "[[Information_Theory"

2020-07-09T12:45:30Z

Text replacement - "[[Informationstheorie" to "[[Information_Theory"

← Older revision		Revision as of 14:45, 9 July 2020
Line 40:		Line 40:

	''Hinweise:''		''Hinweise:''
	*Die Aufgabe gehört zum Kapitel [[~~Informationstheorie~~/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].		*Die Aufgabe gehört zum Kapitel [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen\|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
	*Insbesondere wird Bezug genommen auf die Seite [[~~Informationstheorie~~/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:

Javier: Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

2020-07-09T09:51:34Z

Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

← Older revision		Revision as of 11:51, 9 July 2020
Line 4:		Line 4:

	[[File:P_ID2759__Inf_A_3_4_A.png\|right\|Vorgegebene Wahrscheinlichkeiten]]		[[File:P_ID2759__Inf_A_3_4_A.png\|right\|Vorgegebene Wahrscheinlichkeiten]]
	Wir gehen hier von der [[~~Stochastische_Signaltheorie~~/Binomialverteilung\|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist ⇒ siehe Buch &bdquo;Stochastische Signaltheorie”:		Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung\|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist ⇒ siehe Buch &bdquo;Stochastische Signaltheorie”:

	* Wertebereich:		* Wertebereich:
Line 18:		Line 18:


	Diese vorgegebene Binomialverteilung soll hier durch eine [[~~Stochastische_Signaltheorie~~/Poissonverteilung\|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:		Diese vorgegebene Binomialverteilung soll hier durch eine [[Theory_of_Stochastic_Signals/Poissonverteilung\|Poissonverteilung]] $Y$ approximiert werden, gekennzeichnet durch die Rate $\lambda$:

	* Wertebereich:		* Wertebereich:

Guenter at 10:07, 8 October 2018

2018-10-08T10:07:18Z

← Older revision		Revision as of 12:07, 8 October 2018
Line 157:		Line 157:
	Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.		Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von <i>H</i>(<i>Y</i>) mit zunehmendem <i>λ</i> ist klar, dass für irgendeinen <i>λ</i>–Wert tatsächlich <i>H</i>(<i>Y</i>) = <i>H</i>(<i>X</i>) gelten muss.
	{{ML-Fuß}}		{{ML-Fuß}}



	~~[[Category:Aufgaben zu Informationstheorie\|Aufgaben zu Informationstheorie]]~~

← Older revision		Revision as of 16:30, 28 May 2021
Line 4:		Line 4:

	[[File:P_ID2759__Inf_A_3_4_A.png\|right\|Vorgegebene Wahrscheinlichkeiten]]		[[File:P_ID2759__Inf_A_3_4_A.png\|right\|Vorgegebene Wahrscheinlichkeiten]]
	Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung\|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist ⇒ siehe Buch "Stochastische Signaltheorie~~”~~:		Wir gehen hier von der [[Theory_of_Stochastic_Signals/Binomialverteilung\|Binomialverteilung]] aus, die durch die Parameter $I$ und $p$ gekennzeichnet ist ⇒ siehe Buch "Stochastische Signaltheorie":

	* Wertebereich:		* Wertebereich:
Line 31:		Line 31:
	:$$D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$		:$$D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},$$
	:$$D(P_Y \hspace{0.05cm}\|\| \hspace{0.05cm} P_X) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty} P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$		:$$D(P_Y \hspace{0.05cm}\|\| \hspace{0.05cm} P_X) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty} P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo–Einheit "bit~~”~~ hinzuzufügen.		Bei Verwendung des <i>Logarithmus dualis</i> (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo–Einheit "bit" hinzuzufügen.

	[[File:P_ID2760__Inf_A_3_4_B.png\|right\|Beiliegende Ergebnistabelle]]		[[File:P_ID2760__Inf_A_3_4_B.png\|right\|Beiliegende Ergebnistabelle]]
	In nebenstehender Ergebnistabelle ist die sog. Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$ (in "bit~~”~~) zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ (mit fünf verschiedenen Raten $\lambda$) eingetragen. Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.		In nebenstehender Ergebnistabelle ist die sog. Kullback–Leibler–Distanz $D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y)$ (in "bit") zwischen der Binomial–PMF $P_X(\cdot)$ und einigen Poisson–Näherungen $P_Y(\cdot)$ (mit fünf verschiedenen Raten $\lambda$) eingetragen. Die jeweilige Entropie $H(Y)$, die ebenfalls von der Rate $\lambda$ abhängt, ist in der ersten Zeile angegeben.

	Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (6) sollen diese Ergebnisse interpretriert werden.		Die Spalten für $\lambda = 1$ sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (6) sollen diese Ergebnisse interpretriert werden.
Line 43:		Line 43:
	*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].		*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz\|Relative_Entropie – Kullback-Leibler-Distanz]].

	*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg~~”~~ bezeichnet den Logarithmus zur Basis 10:		*Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; "lg" bezeichnet den Logarithmus zur Basis 10:
	:$$A' =		:$$A' =
	0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +		0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
Line 120:		Line 120:
	*Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>\|\|<i>P<sub>X</sub></i>) würde sich unabhängig von <i>λ</i> stets ein unendlicher Wert ergeben, da für <i>μ</i> ≥ 6 gilt:		*Bei Verwendung von <i>D</i>(<i>P<sub>Y</sub></i>\|\|<i>P<sub>X</sub></i>) würde sich unabhängig von <i>λ</i> stets ein unendlicher Wert ergeben, da für <i>μ</i> ≥ 6 gilt:
	:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$		:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
	*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>μ</i>) für große <i>μ</i> sehr klein werden, sind sie doch "unendlich viel größer~~”~~ als <i>P<sub>X</sub></i>(<i>X</i> = <i>μ</i>).		*Auch wenn die Wahrscheinlichkeiten <i>P<sub>Y</sub></i>(<i>Y</i> = <i>μ</i>) für große <i>μ</i> sehr klein werden, sind sie doch "unendlich viel größer" als <i>P<sub>X</sub></i>(<i>X</i> = <i>μ</i>).


	'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:		'''(3)'''  Wir verwenden die erste Kullback–Leibler–Distanz:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
	Bei Verwendung des Zehnerlogarithmus ("lg~~”~~) erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:		Bei Verwendung des Zehnerlogarithmus ("lg") erhalten wir für die Poisson–Näherung mit <i>λ</i> = 1:
	:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =		:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
	-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$		-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
	Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>~~”~~) erhält man schließlich:		Nach Umrechnung auf den Zweierlogarithmus ("log<sub>2</sub>") erhält man schließlich:
	:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$		:$$D = D(P_X \hspace{0.05cm}\|\| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

Line 134:		Line 134:
	:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]		:$$H\hspace{0.05cm}'(Y) = -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
	= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$		= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' = 0.31954 + 0.24717 = 0.56126.$$
	Die Umrechnung in "bit~~”~~ liefert das gesuchte Ergebnis:		Die Umrechnung in "bit" liefert das gesuchte Ergebnis:
	:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}		:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
	\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$		\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$