Aufgaben:Exercise 3.5Z: Kullback-Leibler Distance again - Revision history

Noah at 08:14, 24 September 2021

2021-09-24T08:14:07Z

Guenter at 13:29, 31 August 2021

2021-08-31T13:29:11Z

Guenter at 13:16, 31 August 2021

2021-08-31T13:16:34Z

Noah at 12:16, 26 August 2021

2021-08-26T12:16:12Z

Show changes

Guenter at 13:34, 16 July 2021

2021-07-16T13:34:01Z

Guenter: Guenter moved page Aufgaben:Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz to Aufgaben:Exercise 3.5Z: Kullback-Leibler Distance again

2021-07-16T13:26:10Z

Guenter moved page Aufgabe 3.5Z: Nochmals Kullback-Leibler-Distanz to Exercise 3.5Z: Kullback-Leibler Distance again

Javier: Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

2021-03-23T12:45:40Z

Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

Javier: Text replacement - "[[Informationstheorie" to "[[Information_Theory"

2020-07-09T12:51:17Z

Text replacement - "[[Informationstheorie" to "[[Information_Theory"

Javier: Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

2020-07-09T09:47:36Z

Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

Guenter at 17:03, 30 January 2020

2020-01-30T17:03:32Z

← Older revision		Revision as of 08:14, 24 September 2021
Line 1:		Line 1:

−	{{quiz-Header\|Buchseite=~~Informationstheorie~~/~~Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen~~	+	{{quiz-Header\|Buchseite=Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables
	}}		}}

@@ Line 92: / Line 92: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp; With equal probabilities, with&nbsp; $M = 4$:
+'''(1)'''&nbsp; With equal probabilities, and with&nbsp; $M = 4$:
 :$$H(X) = {\rm log}_2 \hspace{0.1cm} M
 \hspace{0.15cm} \underline {= 2\,{\rm (bit)}}  \hspace{0.05cm}.$$
@@ Line 98: / Line 98: @@
-'''(2)'''&nbsp; The probabilities for the empirically determined random variables&nbsp; $Y$&nbsp; generally&nbsp; (not always!)&nbsp; deviate from the uniform distribution the more the parameter&nbsp; $N$&nbsp; is smaller.&nbsp;
+'''(2)'''&nbsp; The probabilities for the empirically determined random variables&nbsp; $Y$&nbsp; generally&nbsp; (not always!)&nbsp; deviate from the uniform distribution the more the parameter&nbsp; $N$&nbsp; is smaller.&nbsp; One obtains for
 * $N = 1000 \ \ \Rightarrow \ \ P_Y(Y) =  \big [0.225, \ 0.253, \ 0.250, \ 0.272 \big ]$:
 :$$H(Y) =
@@ Line 125: / Line 123: @@
 \right ] \hspace{0.05cm}.$$
-The logarithm to the base&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$ was replaced by the logarithm to the base&nbsp; $ 10$ &nbsp; &rArr;  &nbsp; $\lg(.)$ for easy use of the calculator.
+The logarithm to the base&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$&nbsp; was replaced by the logarithm to the base&nbsp; $ 10$ &nbsp; &rArr;  &nbsp; $\lg(.)$ for easy use of the calculator.
 The following numerical results are obtained:
@@ Line 143: / Line 141: @@
-'''(4)'''&nbsp; Correct is&nbsp; <u>'''No'''</u>, as will be shown by the example&nbsp; $N = 100$&nbsp;:
+'''(4)'''&nbsp; Correct is&nbsp; <u>'''No'''</u>,&nbsp; as will be shown by the example&nbsp; $N = 100$&nbsp;:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) =   \sum_{\mu = 1}^M  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} = 0.24\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.24}{0.25} + 0.16\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.16}{0.25} +2 \cdot 0.30\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.30}{0.25}  = 0.0407\ {\rm (bit)}\hspace{0.05cm}.$$
 *In subtask&nbsp; '''(3)'''&nbsp; we got&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.0442$&nbsp; instead.
 *This also means: &nbsp; The designation „distance” is somewhat misleading.
-*According to this, one would actually expect&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ = $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp;.
+*According to this, one would actually expect&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp;.
 [[File:P_ID2763__Inf_Z_3_4e.png|right|frame|Probability function, entropy and Kullback-Leibler distance]]
-'''(5)'''&nbsp; Mit&nbsp; $P_Y(X) = \big [0, \ 0.25, \ 0.5, \ 0.25 \big ]$&nbsp; one obtains:
+'''(5)'''&nbsp; With&nbsp; $P_Y(X) = \big [0, \ 0.25, \ 0.5, \ 0.25 \big ]$&nbsp; one obtains:
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0} + 2 \cdot 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.25}+0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.50}\hspace{0.05cm}.$$
@@ Line 173: / Line 171: @@
-'''(6)'''&nbsp; Correct is again&nbsp; <u>'''No'''</u>.&nbsp; Although the tendency is clear: &nbsp; the larger&nbsp; $N$&nbsp; is,
+'''(6)'''&nbsp; Correct is again&nbsp; <u>'''No'''</u>. &nbsp; Although the tendency is clear: &nbsp; The larger&nbsp; $N$&nbsp; is,
-* the more&nbsp; $H(Y)$&nbsp; approaches in principle the final value&nbsp; $H(X) = 2 \ \rm bit$&nbsp;.
+* the more&nbsp; $H(Y)$&nbsp; approaches in principle the final value&nbsp; $H(X) = 2 \ \rm bit$,
 * the smaller the distances&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; and&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ become.
@@ Line 181: / Line 179: @@
 * The entropy&nbsp; $H(Y)$&nbsp; is smaller for&nbsp; $N = 1000$&nbsp; than for&nbsp; $N = 400$.
 * The distance&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; is greater for&nbsp; $N = 1000$&nbsp; than for&nbsp; $N = 400$.
-* The reason for this is that the empirical experiment documented here with&nbsp; $N = 400$&nbsp; was more likely to lead to a uniform distribution than the experiment with&nbsp; $N = 1000$.
+* The reason for this is that the experiment documented here with&nbsp; $N = 400$&nbsp; was more likely to lead to a uniform distribution than the experiment with&nbsp; $N = 1000$.
 *If, on the other hand, one were to start a very (infinitely) large number of experiments with&nbsp; $N = 400$&nbsp; and&nbsp; $N = 1000$&nbsp; and average over all of them, the actually expected monotonic course would actually result.

@@ Line 3: / Line 3: @@
 }}
-[[File:P_ID2762__Inf_Z_3_4.png|right|frame|Determined probability functions]]
+[[File:P_ID2762__Inf_Z_3_4.png|right|frame|Determined probability mass functions]]
-The probability function is:
+The probability mass function is:
 :$$P_X(X) = \big[\hspace{0.03cm}0.25\hspace{0.03cm}, \hspace{0.15cm} 0.25\hspace{0.15cm},\hspace{0.15cm} 0.25 \hspace{0.03cm}, \hspace{0.15cm} 0.25\hspace{0.03cm}\big]\hspace{0.05cm}.$$
 The random variable&nbsp; $X$&nbsp; is thus characterised by
-* the symbol range&nbsp; $M=4$,
+* the symbol set size&nbsp; $M=4$,
-* equal probabilities $P_X(1) = P_X(2) = P_X(3) = P_X(4) = 1/4$ .
+* equal probabilities&nbsp; $P_X(1) = P_X(2) = P_X(3) = P_X(4) = 1/4$ .
 The random variable&nbsp; $Y$&nbsp; is always an approximation for&nbsp; $X$:
-*It was obtained by simulation from a uniform distribution, whereby only&nbsp; $N$&nbsp; random numbers were evaluated in each case.
+*It was obtained by simulation from a uniform distribution, whereby only&nbsp; $N$&nbsp; random numbers were evaluated in each case.&nbsp; This means: &nbsp;
-*This means: &nbsp; $P_Y(1)$, ... , $P_Y(4)$&nbsp; are not probabilities in the conventional sense.&nbsp; Rather, they describe&nbsp; [[Theory_of_Stochastic_Signals/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative frequencies]].
+*$P_Y(1)$, ... , $P_Y(4)$&nbsp; are not probabilities in the conventional sense.&nbsp; Rather, they describe&nbsp; [[Theory_of_Stochastic_Signals/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative frequencies]].
@@ Line 22: / Line 22: @@
 This notation already takes into account that the random variables&nbsp; $X$&nbsp; and&nbsp; $Y$&nbsp; are based on the same alphabet&nbsp; $X = \{1,\ 2,\ 3,\ 4\}$.
-With these preconditions, the&nbsp; ''informational divergence''&nbsp; between the two probability functions&nbsp;  $P_X(.)$&nbsp; and&nbsp; $P_Y(.)$ :
+With these preconditions, the&nbsp; '''informational divergence'''&nbsp; between the two probability functions&nbsp;  $P_X(.)$&nbsp; and&nbsp; $P_Y(.)$ :
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =  {\rm E}_X \hspace{-0.1cm}\left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^{M}  P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
-One calls&nbsp;  $D( P_X\hspace{0.05cm} || \hspace{0.05cm}P_Y)$&nbsp;  the (first) Kullback-Leibler distance.
+One calls&nbsp;  $D( P_X\hspace{0.05cm} || \hspace{0.05cm}P_Y)$&nbsp;  the (first)&nbsp; '''Kullback-Leibler distance'''.
-*This is a measure of the similarity between the two probability functions&nbsp; $P_X(.)$&nbsp; and&nbsp; $P_Y(.)$.
+*This is a measure of the similarity between the two probability mass functions&nbsp; $P_X(.)$&nbsp; and&nbsp; $P_Y(.)$.
-*The expected value formation occurs here with regard to the (actually equally distributed) random variable&nbsp; $X$.&nbsp; This is indicated by the nomenclature&nbsp;  ${\rm E}_X\big[.\big]$&nbsp; .
+*The expected value formation occurs here with regard to the&nbsp; (actually equally distributed)&nbsp; random variable&nbsp; $X$.&nbsp; This is indicated by the nomenclature&nbsp;  ${\rm E}_X\big[.\big]$.
@@ Line 34: / Line 34: @@
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) =  {\rm E}_Y \hspace{-0.1cm} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 1}^M  P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
@@ Line 43: / Line 40: @@
 Hints:
-*The task belongs to the chapter&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Some preliminary remarks on 2D random variables]].
+*The exercise belongs to the chapter&nbsp; [[Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables|Some preliminary remarks on two-dimensional random variables]].
-*In particular, reference is made to the page&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Informational Divergence &ndash; Kullback-Leibler distance]].
+*In particular, reference is made to the page&nbsp; [[Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables#Informational_divergence_-_Kullback-Leibler_distance|Relative entropy &ndash; Kullback-Leibler distance]].
-*The entropy&nbsp;  $H(Y)$&nbsp; and the Kullback-Leibler distance&nbsp;  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp;  in the above graph are to be understood in „bit”.
+*The entropy&nbsp;  $H(Y)$&nbsp; and the Kullback-Leibler distance&nbsp;  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp;  in the above graph are to be understood in&nbsp; "bit".
-* The fields marked with&nbsp; „???"&nbsp; in the graph are to be completed by you in this task.
+* The fields marked with&nbsp; "???"&nbsp; in the graph are to be completed by you in this task.
@@ Line 77: / Line 74: @@
 {Which statements are true for the Kullback-Leibler distances with&nbsp; $N = 4$?
 |type="[]"}
-- &nbsp; $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0$ is true.
+- &nbsp; $D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0$&nbsp; is true.
-- &nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.5 \ \rm  bit$ is true.
+- &nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.5 \ \rm  bit$&nbsp; is true.
-+ $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; is infinitely large.
++ &nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; is infinitely large.
-- &nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0$ holds.
+- &nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0$&nbsp; holds.
-+ &nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.5 \ \rm bit$ holds.
++ &nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.5 \ \rm bit$&nbsp; holds.
--  $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; is infinitely large.
+- &nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; is infinitely large.
 {Do both&nbsp; $H(Y)$&nbsp; and&nbsp;  $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; change monotonically with&nbsp; $N$?

← Older revision		Revision as of 13:34, 16 July 2021
Line 192:		Line 192:


−	[[Category:Information Theory: Exercises\|^3.1 ~~Allgemeines zu~~ 2D~~-Zufallsgrößen~~^]]	+	[[Category:Information Theory: Exercises\|^3.1 General Information on 2D Random Variables^]]

← Older revision		Revision as of 12:45, 23 March 2021
Line 192:		Line 192:


−	[[Category:~~Aufgaben zu Informationstheorie~~\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]	+	[[Category:Information Theory: Exercises\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]

← Older revision	Revision as of 13:26, 16 July 2021
(No difference)

@@ Line 43: / Line 43: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
-*Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Informationstheorie/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
+*Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Relative_Entropie_.E2.80.93_Kullback.E2.80.93Leibler.E2.80.93Distanz|Relative Entropie &ndash; Kullback-Leibler-Distanz]].
 *Die Angaben der Entropie&nbsp;  $H(Y)$&nbsp; und der Kullback–Leibler–Distanz&nbsp;  $D( P_X \hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp;  in obiger Grafik sind in „bit” zu verstehen.
 * Die in der Grafik  mit&nbsp; „???"&nbsp;  versehenen Felder sollen von Ihnen in dieser Aufgabe ergänzt werden.

@@ Line 13: / Line 13: @@
 Die Zufallsgröße&nbsp; $Y$&nbsp; ist stets eine Näherung für&nbsp; $X$:
 *Sie wurde per Simulation aus einer Gleichverteilung gewonnen, wobei jeweils nur&nbsp; $N$&nbsp; Zufallszahlen ausgewertet wurden.
-*Das heißt: &nbsp; $P_Y(1)$, ... , $P_Y(4)$&nbsp; sind im herkömmlichen Sinn keine Wahrscheinlichkeiten.&nbsp; Sie beschreiben vielmehr&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative Häufigkeiten]].
+*Das heißt: &nbsp; $P_Y(1)$, ... , $P_Y(4)$&nbsp; sind im herkömmlichen Sinn keine Wahrscheinlichkeiten.&nbsp; Sie beschreiben vielmehr&nbsp; [[Theory_of_Stochastic_Signals/Wahrscheinlichkeit_und_relative_H%C3%A4ufigkeit#Bernoullisches_Gesetz_der_gro.C3.9Fen_Zahlen| relative Häufigkeiten]].

@@ Line 95: / Line 95: @@
 {{ML-Kopf}}
-'''(1)'''&nbsp; Bei gleichen Wahrscheinlichkeiten gilt mit $M = 4$:
+'''(1)'''&nbsp; Bei gleichen Wahrscheinlichkeiten gilt mit&nbsp; $M = 4$:
 :$$H(X) = {\rm log}_2 \hspace{0.1cm} M
 \hspace{0.15cm} \underline {= 2\,{\rm (bit)}}  \hspace{0.05cm}.$$
 '''(2)'''&nbsp; Die Wahrscheinlichkeiten für die empirisch ermittelten Zufallsgrößen $Y$ weichen im Allgemeinen (nicht immer!) von der Gleichverteilung um so mehr ab, je kleiner der Parameter $N$ ist. Man erhält für
 * $N = 1000 \ \ \Rightarrow \ \ P_Y(Y) =  \big [0.225, \ 0.253, \ 0.250, \ 0.272 \big ]$:
 :$$H(Y) =
@@ Line 107: / Line 110: @@
 .250 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.250} +
 .272 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.272}
-\hspace{0.15cm} \underline {= 1.9968\,{\rm (bit)}}  \hspace{0.05cm},$$
+\hspace{0.15cm} \underline {= 1.9968\ {\rm (bit)}}  \hspace{0.05cm},$$
-* $N = 100 \ \ \Rightarrow \ \  P_Y(Y) = \big[0.24, \ 0.16, \ 0.30,  ß 0.30\big]$:
+* $N = 100 \ \ \Rightarrow \ \  P_Y(Y) = \big[0.24, \ 0.16, \ 0.30,  \ 0.30\big]$:
-:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.9410\,{\rm (bit)}}  \hspace{0.05cm},$$
+:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.9410\ {\rm (bit)}}  \hspace{0.05cm},$$
 * $N = 10 \ \ \Rightarrow \ \  P_Y(Y) =  \big[0.5, \ 0.1, \ 0.3, \ 0.1 \big]$:
-:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.6855\,{\rm (bit)}}  \hspace{0.05cm}.$$
+:$$H(Y) = \hspace{0.05cm}\text{...} \hspace{0.15cm} \underline {= 1.6855\ {\rm (bit)}}  \hspace{0.05cm}.$$
@@ Line 124: / Line 128: @@
 \right ] \hspace{0.05cm}.$$
-Der Logarithmus zur Basis 2 &nbsp; &rArr;  &nbsp; $\log_2(.)$ wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt. Man erhält die folgenden numerischen Ergebnisse:
+Der Logarithmus zur Basis&nbsp; $ 2$&nbsp; &rArr;  &nbsp; $\log_2(.)$ wurde zur einfachen Nutzung des Taschenrechners durch den Zehnerlogarithmus &nbsp; &rArr;  &nbsp; $\lg(.)$  ersetzt.
 * für $N=1000$:
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{1}{4 \cdot {\rm lg} \hspace{0.1cm}(2)} \cdot
@@ Line 139: / Line 145: @@
-*In der Teilaufgabe '''(3)''' haben wir stattdessen $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.0442$ erhalten.
+'''(4)'''&nbsp; Richtig ist&nbsp; <u>'''Nein'''</u>, wie am Beispiel&nbsp; $N = 100$&nbsp; gezeigt werden soll:
 *Das bedeutet auch: &nbsp; Die Bezeichnung „Distanz” ist etwas irreführend.
-*Danach würde man eigentlich $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ = $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ erwarten.
+*Danach würde man eigentlich&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ = $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; erwarten.
 '''(5)'''&nbsp; Mit $P_Y(X) = \big [0, \ 0.25, \ 0.5, \ 0.25 \big ]$ erhält man:
 :$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0} + 2 \cdot 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.25}+0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.50}\hspace{0.05cm}.$$
-*Aufgrund des ersten Terms ergibt sich für $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$ ein unendlich großer Wert.
+*Aufgrund des ersten Terms ergibt sich für&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; ein unendlich großer Wert.
 *Für die zweite Kullback–Leibler–Distanz gilt:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0\cdot {\rm log}_2 \hspace{0.1cm} \frac{0}{0.25} + 2 \cdot 0.25\cdot {\rm log}_2 \hspace{0.1cm} \frac{0.25}{0.25}+
@@ Line 156: / Line 166: @@
 	\hspace{0.05cm}.$$
-[[File:P_ID2763__Inf_Z_3_4e.png|right|frame|Wahrscheinlichkeitsfunktion, Entropie und Kullback–Leibler–Distanz]]
+*Nach einer Grenzwertbetrachtung erkennt man, dass der erste Term das Ergebnis&nbsp; $0$&nbsp; liefert.&nbsp; Auch der zweite Term ergibt sich zu Null, und man erhält als Endergebnis:
 :$$D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) = 0.50\cdot {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm} \underline {= 0.5\,{\rm (bit)}} 	\hspace{0.05cm}.$$
-Richtig sind somit die <u>Aussagen 3 und 5</u>:
+Richtig sind somit die&nbsp; <u>Aussagen 3 und 5</u>:
-*Aus diesem Extrembeispiel wird deutlich, dass sich $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$ stets von $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ unterscheidet.
+*Aus diesem Extrembeispiel wird deutlich, dass sich&nbsp; $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$&nbsp; stets von&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$&nbsp; unterscheidet.
-*Nur für den Sonderfall $P_Y = P_X$ sind beide Kullback–Leibler–Distanzen gleich, nämlich Null.
+*Nur für den Sonderfall&nbsp; $P_Y \equiv P_X$&nbsp; sind beide Kullback–Leibler–Distanzen gleich, nämlich Null.
 *Die nebenstehende Tabelle zeigt das vollständige Ergebnis dieser Aufgabe.
 '''(6)'''&nbsp; Richtig ist wiederum <u>'''Nein'''</u>. Die Tendenz ist zwar eindeutig: &nbsp; Je größer $N$ ist,
-* desto mehr nähert sich $H(Y)$ im Prinzip dem Endwert $H(X) = 2 \ \rm bit$ an.
+'''(6)'''&nbsp; Richtig ist wiederum&nbsp; <u>'''Nein'''</u>.&nbsp; Die Tendenz ist zwar eindeutig: &nbsp; Je größer&nbsp; $N$&nbsp; ist,
-* um so kleiner werden die Distanzen $D(P_X\hspace{0.05cm}|| \hspace{0.05cm} P_Y)$ und $D(P_Y\hspace{0.05cm}|| \hspace{0.05cm} P_X)$.
+* desto mehr nähert sich&nbsp; $H(Y)$&nbsp; im Prinzip dem Endwert&nbsp; $H(X) = 2 \ \rm bit$&nbsp; an.
 Man erkennt aus der Tabelle aber auch, dass es Ausnahmen gibt:
-* Die Entropie $H(Y)$ ist für $N = 1000$ kleiner als für $N = 400$.
+* Die Entropie&nbsp; $H(Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; kleiner als für&nbsp; $N = 400$.
-* Die Distanz $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$ ist für $N = 1000$ größer als für $N = 400$.
+* Die Distanz&nbsp; $D(P_X\hspace{0.05cm}|| \hspace{0.05cm}P_Y)$&nbsp; ist für&nbsp; $N = 1000$&nbsp; größer als für&nbsp; $N = 400$.
+*Der Grund hierfür ist, dass das hier dokumentierte empirische Experiment mit&nbsp; $N = 400$&nbsp; eher zu einer Gleichverteilung geführt hat als das Experiment mit&nbsp; $N = 1000$.
+*Würde man dagegen sehr (unendlich) viele Versuche mit&nbsp; $N = 400$&nbsp; und&nbsp; $N = 1000$&nbsp; starten und über all diese mitteln, ergäbe sich tatsächlich der eigentlich erwartete monotone Verlauf.
 {{ML-Fuß}}