Aufgaben:Exercise 3.4: Entropy for Different PMF: Difference between revisions
From LNTwww
Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen }} [[File:|right|]] ===Fragebogen=== <quiz display…“ |
No edit summary |
||
| Line 3: | Line 3: | ||
}} | }} | ||
[[File:|right|]] | [[File:P_ID2758__Inf_Z_3_3.png|right|]] | ||
In der ersten Zeile der nebenstehenden Tabelle ist die mit „a” bezeichnete Wahrscheinlichkeitsfunktion angegeben. Für dieses $P_X(X)$ soll soll in der Teilaufgabe (a) die Entropie | |||
$$H_{\rm a}(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{X}(X)}\right ]$$ | |||
berechnet werden. Da hier der Logarithmus zur Basis 2 verwendet wird, ist die Pseudo–Einheit „bit” anzufügen. | |||
In den weiteren Aufgaben sollen jeweils einige Wahrscheinlichkeiten variiert werden und zwar derart, dass sich jeweils die größtmögliche Entropie ergibt: | |||
:* Durch geeignete Variation von $p_3$ und $p_4$ kommt man zur maximalen Entropie $H_b(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_2 = 0.2$ $\Rightarrow$ Teilaufgabe (b). | |||
:* Durch geeignete Variation von $p_2$ und $p_3$ kommt man zur maximalen Entropie $H_c(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_4 = 0.4$ $\Rightarrow$ Teilaufgabe (c). | |||
:* In der Teilaufgabe (d) sind alle vier Parameter zur Variation freigegeben, die entsprechend der maximalen Entropie $\Rightarrow$ $H_max(X)$ zu bestimmen sind. | |||
Revision as of 18:39, 24 November 2016
In der ersten Zeile der nebenstehenden Tabelle ist die mit „a” bezeichnete Wahrscheinlichkeitsfunktion angegeben. Für dieses $P_X(X)$ soll soll in der Teilaufgabe (a) die Entropie
$$H_{\rm a}(X) = {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{1}{P_{X}(X)}\right ]$$
berechnet werden. Da hier der Logarithmus zur Basis 2 verwendet wird, ist die Pseudo–Einheit „bit” anzufügen.
In den weiteren Aufgaben sollen jeweils einige Wahrscheinlichkeiten variiert werden und zwar derart, dass sich jeweils die größtmögliche Entropie ergibt:
- Durch geeignete Variation von $p_3$ und $p_4$ kommt man zur maximalen Entropie $H_b(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_2 = 0.2$ $\Rightarrow$ Teilaufgabe (b).
- Durch geeignete Variation von $p_2$ und $p_3$ kommt man zur maximalen Entropie $H_c(X)$ unter der Voraussetzung $p_1 = 0.1$ und $p_4 = 0.4$ $\Rightarrow$ Teilaufgabe (c).
- In der Teilaufgabe (d) sind alle vier Parameter zur Variation freigegeben, die entsprechend der maximalen Entropie $\Rightarrow$ $H_max(X)$ zu bestimmen sind.
Fragebogen
Musterlösung
1.
2.
3.
4.
5.
6.
7.
