Rechts sehen Sie die Entropiefunktionen $H_{\rm R}(p)$, $H_{\rm B}(p)$ und $H_{\rm G}(p)$, wobei $\rm R$ für "Rot" steht, $\rm B$ für "Blau" und $\rm G$ für "Grün". Die Wahrscheinlichkeitsfunktionen lauten für alle Zufallsgrößen:
On the right you see the entropy functions $H_{\rm R}(p)$, $H_{\rm B}(p)$ and $H_{\rm G}(p)$, where $\rm R$ stands for "red", $\rm B$ for "blue" and $\rm G$ for "green". The probability functions are for all random variables:
und liegt stets im Bereich $0 \le H(X) \le \log_2 \hspace{0.05cm} |X|$.
and always lies in the range $0 \le H(X) \le \log_2 \hspace{0.05cm} |X|$.
*Die untere Schranke $H(X) = 0$ ergibt sich, wenn eine beliebige Wahrscheinlichkeit $p_\mu = 1$ ist und alle anderen Null sind.
*The lower bound $H(X) = 0$ results when any probability $p_\mu = 1$ and all others are zero.
*Die obere Schranke soll hier wie in der Vorlesung "Information Theory" von [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr._sc._techn._Gerhard_Kramer_.28seit_2010.29|Gerhard Kramer]] an der TU München hergeleitet werden:
*The upper bound is to be derived here as in the lecture "Information Theory" by [[Biographies_and_Bibliographies/Chair_holders_of_the_LNT_since_1962#Prof._Dr._sc._techn._Gerhard_Kramer_(since_2010)|Gerhard Kramer]] at the TU Munich:
[[File:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Obere Abschätzung für den natürlichen Logarithmus]]
[[File:P_ID2755__Inf_A_3_3_B_neu.png|right|frame|Upper bound estimate for the natural logarithm]]
:* Durch Erweiterung obiger Gleichung um $|X|$ in Zähler und Nenner erhält man unter Verwendung von $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$:
:* By extending the above equation by $|X|$ in the numerator and denominator, using $\log_2 \hspace{0.05cm}x= \ln(x)/\ln(2)$, we obtain:
:* Wie aus nebenstehender Grafik hervorgeht, gilt die Abschätzung $\ln(x) \le x-1$ mit der Identität für $x=1$. Somit kann geschrieben werden:
:* As can be seen from the graph opposite, the estimation $\ln(x) \le x-1$ holds with the identity for $x=1$. Thus, it can be written:
:* In der [[Aufgaben:3.2_Erwartungswertberechnungen|Aufgabe 3.2]] wurde für den Fall $p_\mu \ne 0$ für alle $\mu$ der Erwartungswert ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$ berechnet. Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
:* In [[Aufgaben:3.2_Erwartungswertberechnungen|Exercise 3.2]] the expected value ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$ was calculated for the case $p_\mu \ne 0$ for all $\mu$ . Thus, the first term disappears and the known result is obtained:
*Die Aufgabe gehört zum Kapitel [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Einige Vorbemerkungen zu den 2D-Zufallsgrößen]].
*The exercise belongs to the chapter [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen|Some preliminary remarks on 2D random variables]].
*Insbesondere wird Bezug genommen auf die Seite [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Entropie|Wahrscheinlichkeitsfunktion undEntropie]].
*In particular, reference is made to the page [[Information_Theory/Some_Preliminary_Remarks_on_Two-Dimensional_Random_Variables#Probability_mass_function_and_entropy|Probability function and entropy]].
*Ausgegangen wird hier von der gleichen Konstellation wie in der [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Aufgabe 3.2]].
*The same constellation is assumed here as in [[Aufgaben:Aufgabe_3.2:_Erwartungswertberechnungen|Exercise 3.2]].
*Die Gleichung der binären Entropiefunktion lautet:
*The equation of the binary entropy function is:
:$$H_{\rm bin}(p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} +
*By setting this derivative to zero, we obtain the abscissa value $p = 0.5$, which leads to the maximum of the entropy function: $H_{\rm bin}(p =0.5) = 1$ bit <br>⇒ the proposed solution 2 is wrong.
*Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert $p = 0.5$, der zum Maximum der Entropiefunktion führt: $H_{\rm bin}(p =0.5) = 1$ bit <br>⇒ der Lösungsvorschlag 2 ist falsch.
*This function is negative in the entire definition domain $0 ≤ p ≤ 1$ ⇒ $H_{\rm bin}(p)$ is concave ⇒ the proposed solution 1 is correct.
*Durch nochmaliges Differenzieren erhält man für die zweite Ableitung:
\frac{-1}{{\rm ln}(2) \cdot p \cdot (1-p)} \hspace{0.05cm}.$$
*Diese Funktion ist im gesamten Definitionsgebiet $0 ≤ p ≤ 1$ negativ ⇒ $H_{\rm bin}(p)$ ist konkav ⇒ der Lösungsvorschlag 1 ist richtig.
On the right you see the entropy functions $H_{\rm R}(p)$, $H_{\rm B}(p)$ and $H_{\rm G}(p)$, where $\rm R$ stands for "red", $\rm B$ for "blue" and $\rm G$ for "green". The probability functions are for all random variables:
In Exercise 3.2 the expected value ${\rm E} \big [\log_2 \hspace{0.05cm} {1}/{P_X(X)} \big ] =|X|$ was calculated for the case $p_\mu \ne 0$ for all $\mu$ . Thus, the first term disappears and the known result is obtained:
By setting this derivative to zero, we obtain the abscissa value $p = 0.5$, which leads to the maximum of the entropy function: $H_{\rm bin}(p =0.5) = 1$ bit ⇒ the proposed solution 2 is wrong.
By differentiating again, one obtains for the second derivative
This function is negative in the entire definition domain $0 ≤ p ≤ 1$ ⇒ $H_{\rm bin}(p)$ is concave ⇒ the proposed solution 1 is correct.
Three entropy functions with $M = 3$
(3)Propositions 1 and 2 are correct here:
For $p = 0$ one obtains the probability function $P_X(X) = \big [\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.15cm} 1/2\hspace{0.05cm},\hspace{0.15cm} 1/2 \hspace{0.05cm} \big ]$ ⇒ $H(X) = 1$ bit.
The maximum under the condition $p_3 = 1/2$ is obtained for $p_1 = p_2 = 1/4$:
