Exercise 3.7: Some Entropy Calculations
From LNTwww
Wir betrachten die beiden Zufallsgrößen $XY$ und $UV$ mit den folgenden 2D-Wahrscheinlichkeitsfunktionen:
$$P_{XY}(X, Y) = \begin{pmatrix} 0.18 & 0.16\\ 0.02 & 0.64 \end{pmatrix}\hspace{0.05cm} \hspace{0.05cm}$$,
$$P_{UV}(U, V) \hspace{0.05cm}= \begin{pmatrix} 0.068 & 0.132\\ 0.272 & 0.528 \end{pmatrix}\hspace{0.05cm}$$.
Für die Zufallsgröße $XY$sollen in dieser Aufgabe berechnet werden:
- die Verbundentropie (englisch: Joint Entropy):
$H(XY) = -E[log_2 P_{ XY }( X,Y)]$
- die beiden Einzelentropien:
$$H(X) = -E[log_2 P_X( X)]$$ $$H(Y) = -E[log_2 P_Y( Y)]$$
Fragebogen
Musterlösung
1.
2.
3.
4.
5.
6.
7.
