Difference between revisions of "Aufgaben:Exercise 3.4: Entropy for Different PMF"

From LNTwww
Line 62: Line 62:
 
Hier (und bei den anderen Aufgaben) ist jeweils die  Pseudo–Einheit „bit” anzufügen.
 
Hier (und bei den anderen Aufgaben) ist jeweils die  Pseudo–Einheit „bit” anzufügen.
  
'''2.''' Die Entropie $H_b (X)$ sich als Summe zweier Anteile  $H_{b1}(X)$ und $H_{b2}(X)$  darstellen, mit:
+
'''2.''' Die Entropie $H_b (X)$ sich als Summe zweier Anteile  $H_{b1}(X)$ und $H_{b2}(X)$  darstellen, mit:  
 
 
  
 +
$$H_{\rm b1}(X) =
 +
0.1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} +
 +
0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} = 0.797 \hspace{0.05cm}$$
  
 +
$$H_{\rm b2}(X)  =
 +
p_3 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_3} +
 +
(0.7-p_3) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.7-p_3} \hspace{0.05cm}$$.
  
 +
Die zweite Funktion ist für $p-3 = p_4 = 0.35$ Ein ähnlicher Zusammenhang hat sich bei der [http://en.lntwww.de/Informationstheorie/Ged%C3%A4chtnislose_Nachrichtenquellen#Bin.C3.A4re_Entropiefunktion Binäre Entropiefunktion] ergeben. Damit erhält man
  
 
'''3.'''
 
'''3.'''

Revision as of 18:50, 24 November 2016

P ID2758 Inf Z 3 3.png

In der ersten Zeile der nebenstehenden Tabelle ist die mit „a” bezeichnete Wahrscheinlichkeitsfunktion angegeben. Für dieses $P_X(X)$ soll soll in der Teilaufgabe (a) die Entropie

$$H_{\rm a}(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{X}(X)}\right ]$$

berechnet werden. Da hier der Logarithmus zur Basis 2 verwendet wird, ist die Pseudo–Einheit „bit” anzufügen.

In den weiteren Aufgaben sollen jeweils einige Wahrscheinlichkeiten variiert werden und zwar derart, dass sich jeweils die größtmögliche Entropie ergibt:

  • Durch geeignete Variation von $p_3$ und $p_4$ kommt man zur maximalen Entropie $H_b(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_2 = 0.2$ $\Rightarrow$ Teilaufgabe (b).
  • Durch geeignete Variation von $p_2$ und $p_3$ kommt man zur maximalen Entropie $H_c(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_4 = 0.4$ $\Rightarrow$ Teilaufgabe (c).
  • In der Teilaufgabe (d) sind alle vier Parameter zur Variation freigegeben, die entsprechend der maximalen Entropie $\Rightarrow$ $H_{max}(X)$ zu bestimmen sind.

Hinweis: Die Aufgabe bezieht sich auf das Kapitel 3.1




Fragebogen

1

Zu welcher Entropie führt $P_X(X) = [ 0.1, 0.2, 0.3, 0.4]$ ?

$H_a(X)$ =

$bit$

2

Es gelte allgemein $P_X(X) = [ 0.1, 0.2, p_3, p_4]$. Welche Entropie erhält man, wenn $p_3$ und $p_4$ bestmöglich gewählt werden?

$H_b(X)$ =

$bit$

3

Nun gelte $P_X(X) = [ 0.1, p_2, p_3, 0.4]$. Welche Entropie erhält man, wenn $p_2$ und $p_3$ bestmöglich gewählt werden?

$H_c(X)$ =

$bit$

4

Welche Entropie erhält man, wenn ($p_1$, $p_2$,$p_3$ und $p_4$) bestmöglich gewählt werden Können ?

$H_{max}(X)$ =

$bit$


Musterlösung

1. Mit $P_X(X) = [ 0.1, 0.2, 0.3, 0.4]$ erhält man für die Entropie:

$$H_{\rm a}(X) = 0.1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} + 0.3 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.3} + 0.4 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.4} \hspace{0.15cm} \underline {= 1.846} \hspace{0.05cm}$$.

Hier (und bei den anderen Aufgaben) ist jeweils die Pseudo–Einheit „bit” anzufügen.

2. Die Entropie $H_b (X)$ sich als Summe zweier Anteile $H_{b1}(X)$ und $H_{b2}(X)$ darstellen, mit:

$$H_{\rm b1}(X) = 0.1 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.1} + 0.2 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.2} = 0.797 \hspace{0.05cm}$$

$$H_{\rm b2}(X) = p_3 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p_3} + (0.7-p_3) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{0.7-p_3} \hspace{0.05cm}$$.

Die zweite Funktion ist für $p-3 = p_4 = 0.35$ Ein ähnlicher Zusammenhang hat sich bei der Binäre Entropiefunktion ergeben. Damit erhält man

3. 4. 5. 6. 7.