Aufgaben:Exercise 3.3: Entropy of Ternary Quantities - Revision history

Noah at 08:13, 24 September 2021

2021-09-24T08:13:10Z

Noah at 20:05, 21 August 2021

2021-08-21T20:05:54Z

Noah at 13:26, 19 August 2021

2021-08-19T13:26:13Z

Show changes

Noah at 12:46, 19 August 2021

2021-08-19T12:46:31Z

Guenter at 13:32, 16 July 2021

2021-07-16T13:32:28Z

Guenter: Guenter moved page Aufgaben:Aufgabe 3.3: Entropie von Ternärgrößen to Aufgaben:Exercise 3.3: Entropy of Ternary Quantities

2021-07-16T13:20:57Z

Guenter moved page Aufgabe 3.3: Entropie von Ternärgrößen to Exercise 3.3: Entropy of Ternary Quantities

Javier: Text replacement - "”" to """

2021-05-28T14:39:04Z

Text replacement - "”" to """

Javier: Text replacement - "„" to """

2021-05-28T14:35:32Z

Text replacement - "„" to """

Javier: Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

2021-03-23T12:45:19Z

Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

Javier: Text replacement - "[[Biografien_und_Bibliografien" to "[[Biographies_and_Bibliographies"

2020-07-09T12:53:10Z

Text replacement - "[[Biografien_und_Bibliografien" to "[[Biographies_and_Bibliographies"

← Older revision		Revision as of 08:13, 24 September 2021
Line 1:		Line 1:

−	{{quiz-Header\|Buchseite=~~Informationstheorie~~/~~Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen~~	+	{{quiz-Header\|Buchseite=Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables
	}}		}}

@@ Line 33: / Line 33: @@
 Hints:
-*The task belongs to the chapter&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Some preliminary remarks on 2D random variables]].
+*The exercise belongs to the chapter&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Some preliminary remarks on 2D random variables]].
 *In particular, reference is made to the page&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Probability function and entropy]].
 *The same constellation is assumed here as in&nbsp; [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Exercise 3.2]].

@@ Line 3: / Line 3: @@
 }}
-[[File:P_ID2754__Inf_A_3_3.png|right|frame|Vorgegebene Entropiefunktionen]]
+[[File:P_ID2754__Inf_A_3_3.png|right|frame|Given entropy functions]]
-Rechts sehen Sie die Entropiefunktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für "Rot" steht,&nbsp; $\rm B$&nbsp; für "Blau" und&nbsp; $\rm G$&nbsp; für "Grün".&nbsp; Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
+On the right you see the entropy functions&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; and&nbsp; $H_{\rm G}(p)$, where&nbsp; $\rm R$&nbsp; stands for "red",&nbsp; $\rm B$&nbsp; for "blue" and&nbsp; $\rm G$&nbsp; for "green".&nbsp; The probability functions are for all random variables:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm},\ p_2\hspace{0.05cm},\ p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
-Für den Fragebogen gilt der Zusammenhang&nbsp; $p_1 = p$&nbsp; und&nbsp; $p_2 = 1 - p_3- p$.
+For the questionnaire, the relationship&nbsp; $p_1 = p$&nbsp; and&nbsp; $p_2 = 1 - p_3- p$.
-Die Wahrscheinlichkeitsfunktion einer Zufallsgröße
+The probability function of a random variable
 :$$X = \big \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.15cm} x_2\hspace{0.05cm},\hspace{0.15cm} \text{...}\hspace{0.1cm} ,\hspace{0.15cm} x_{\mu}\hspace{0.05cm}, \hspace{0.05cm}\text{...}\hspace{0.1cm} , \hspace{0.15cm} x_{M}\hspace{0.05cm}\big  \}$$
-mit dem Symbolumfang&nbsp; $|X| = M$&nbsp; lautet allgemein:
+with the symbolic range&nbsp; $|X| = M$&nbsp; is generally:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, \hspace{0.15cm} p_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.15cm} p_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.15cm} p_{M}\hspace{0.05cm}]\hspace{0.05cm}.$$
-Die Entropie (Unsicherheit) dieser Zufallsgröße berechnet sich entsprechend der Gleichung
+The entropy (uncertainty) of this random variable is calculated according to the equation
 :$$H(X) = {\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ]\hspace{0.05cm},$$
-und liegt stets im Bereich&nbsp; $0 \le H(X)  \le  \log_2 \hspace{0.05cm}  |X|$.
+and always lies in the range&nbsp; $0 \le H(X)  \le  \log_2 \hspace{0.05cm}  |X|$.
-*Die untere Schranke&nbsp; $H(X) = 0$&nbsp; ergibt sich, wenn eine beliebige Wahrscheinlichkeit&nbsp; $p_\mu = 1$&nbsp; ist und alle anderen Null sind.
+*The lower bound&nbsp; $H(X) = 0$&nbsp; results when any probability&nbsp; $p_\mu = 1$&nbsp; and all others are zero.
-*Die obere Schranke soll hier wie in der Vorlesung "Information Theory" von&nbsp; [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; an der TU München hergeleitet werden:
+*The upper bound is to be derived here as in the lecture "Information Theory" by&nbsp; [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; at the TU Munich:
-[[File:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
+[[File:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Upper bound estimate for the natural logarithm]]
-:* Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man unter Verwendung von&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
+:* By extending the above equation by&nbsp; $|X|$&nbsp; in the numerator and denominator, using&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$, we obtain:
 ::$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
-:* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung&nbsp; $\ln(x) \le x-1$&nbsp; mit der Identität für&nbsp; $x=1$.&nbsp; Somit kann geschrieben werden:
+:* As can be seen from the graph opposite, the estimation&nbsp; $\ln(x) \le x-1$&nbsp; holds with the identity for&nbsp; $x=1$.&nbsp; Thus, it can be written:
 ::$$H(X) \le \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [\frac{1}{|X| \cdot P_X(X)} -1 \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
-:* In der&nbsp; [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]]&nbsp; wurde für den Fall&nbsp; $p_\mu \ne 0$&nbsp; für alle&nbsp; $\mu$&nbsp; der Erwartungswert&nbsp; ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$&nbsp; berechnet.&nbsp; Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
+:* In &nbsp; [[Aufgaben:3.2_Erwartungswertberechnungen|exercise 3.2]]&nbsp; the expected value&nbsp; ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$&nbsp; was calculated for the case&nbsp; $p_\mu \ne 0$&nbsp; for all&nbsp; $\mu$&nbsp;.&nbsp; Thus, the first term disappears and the known result is obtained:
 ::$$H(X) \le {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
@@ Line 32: / Line 32: @@
-''Hinweise:''
+Hints:
 *Die Aufgabe gehört zum  Kapitel&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
 *Insbesondere wird Bezug genommen auf die Seite&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].

← Older revision		Revision as of 13:32, 16 July 2021
Line 132:		Line 132:


−	[[Category:Information Theory: Exercises\|^3.1 ~~Allgemeines zu~~ 2D~~-Zufallsgrößen~~^]]	+	[[Category:Information Theory: Exercises\|^3.1 General Information on 2D Random Variables^]]

@@ Line 4: / Line 4: @@
 [[File:P_ID2754__Inf_A_3_3.png|right|frame|Vorgegebene Entropiefunktionen]]
-Rechts sehen Sie die Entropiefunktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für "Rot&rdquo; steht,&nbsp; $\rm B$&nbsp; für "Blau&rdquo; und&nbsp; $\rm G$&nbsp; für "Grün&rdquo;.&nbsp; Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
+Rechts sehen Sie die Entropiefunktionen&nbsp; $H_{\rm R}(p)$,&nbsp; $H_{\rm B}(p)$&nbsp; und&nbsp; $H_{\rm G}(p)$, wobei&nbsp; $\rm R$&nbsp; für "Rot" steht,&nbsp; $\rm B$&nbsp; für "Blau" und&nbsp; $\rm G$&nbsp; für "Grün".&nbsp; Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
 :$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm},\ p_2\hspace{0.05cm},\ p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
 Für den Fragebogen gilt der Zusammenhang&nbsp; $p_1 = p$&nbsp; und&nbsp; $p_2 = 1 - p_3- p$.
@@ Line 18: / Line 18: @@
 *Die untere Schranke&nbsp; $H(X) = 0$&nbsp; ergibt sich, wenn eine beliebige Wahrscheinlichkeit&nbsp; $p_\mu = 1$&nbsp; ist und alle anderen Null sind.
-*Die obere Schranke soll hier wie in der Vorlesung "Information Theory&rdquo; von&nbsp; [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; an der TU München hergeleitet werden:
+*Die obere Schranke soll hier wie in der Vorlesung "Information Theory" von&nbsp; [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]]&nbsp; an der TU München hergeleitet werden:
 [[File:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
 :* Durch Erweiterung obiger Gleichung um&nbsp; $|X|$&nbsp; in Zähler und Nenner erhält man unter Verwendung von&nbsp; $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:

← Older revision		Revision as of 12:45, 23 March 2021
Line 132:		Line 132:


−	[[Category:~~Aufgaben zu Informationstheorie~~\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]	+	[[Category:Information Theory: Exercises\|^3.1 Allgemeines zu 2D-Zufallsgrößen^]]