[[File:P_ID2771__Inf_Z_3_7.png|right|Wahrscheinlichkeitsfunktion der Zufallsgröße „XY”]]
[[File:P_ID2771__Inf_Z_3_7.png|right|2D random variable $XY$]]
Wir betrachten das Tupel $Z = (X, Y)$, wobei die Einzelkomponenten $X$ und $Y$ jeweils ternäre Zufallsgrößen darstellen ⇒ Symbolumfang $|X| = |Y| = 3$. Die gemeinsame Wahrscheinlichkeitsfunktion $P_{ XY }(X, Y)$ ist rechts skizziert.
We consider the tuple $Z = (X, Y)$, where the individual components $X$ and $Y$ each represent ternary random variables ⇒ symbol set size $|X| = |Y| = 3$. The joint probability function $P_{ XY }(X, Y)$ is sketched on the right.
In dieser Aufgabe sind zu berechnen:
In this exercise, the following entropies are to be calculated:
* die ''Verbundentropie'' $H(XY)$ und die ''Transinformation'' $I(X; Y)$,
*die beiden ''bedingten Entropien'' $H(Z|X)$ und $H(X|Z)$.
* the two "conditional entropies" $H(Z|X)$ and $H(X|Z)$.
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Verschiedene Entropien zweidimensionaler Zufallsgrößen]].
*Insbesondere wird Bezug genommen auf die Seiten [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Bedingte_Wahrscheinlichkeit_und_bedingte_Entropie|Bedingte Wahrscheinlichkeit und bedingte Entropie]] sowie [[Informationstheorie/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen#Transinformation_zwischen_zwei_Zufallsgr.C3.B6.C3.9Fen|Transinformation zwischen zwei Zufallsgrößen]].
*Sollte die Eingabe des Zahlenwertes „0” erforderlich sein, so geben Sie bitte „0.” ein.
===Fragebogen===
Hints:
*The exercise belongs to the chapter [[Information_Theory/Verschiedene_Entropien_zweidimensionaler_Zufallsgrößen|Different entropies of two-dimensional random variables]].
*In particular, reference is made to the pages <br> [[Information_Theory/Different_Entropy_Measures_of_Two-Dimensional_Random_Variables#Conditional_probability_and_conditional_entropy|Conditional probability and conditional entropy]] as well as <br> [[Information_Theory/Different_Entropy_Measures_of_Two-Dimensional_Random_Variables#Mutual_information_between_two_random_variables|Mutual information between two random variables]].
===Questions===
<quiz display=simple>
<quiz display=simple>
{Berechnen Sie die folgenden Entropien.
{Calculate the following entropies.
|type="{}"}
|type="{}"}
$H(X)\ = \ $ { 1.585 3% } $\ \rm bit$
$H(X)\ = \ $ { 1.585 3% } $\ \rm bit$
Line 29:
Line 35:
$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
$ H(XY)\ = \ $ { 3.17 3% } $\ \rm bit$
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Y$?
{What is the mutual information between the random variables $X$ and $Y$?
|type="{}"}
|type="{}"}
$I(X; Y)\ = \ $ { 0. } $\ \rm bit$
$I(X; Y)\ = \ $ { 0. } $\ \rm bit$
{Welche Transinformationen besteht zwischen den Zufallsgrößen $X$ und $Z$?
{What is the mutual information between the random variables $X$ and $Z$?
|type="{}"}
|type="{}"}
$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
$I(X; Z)\ = \ $ { 1.585 3% } $\ \rm bit$
{Welche bedingten Entropien bestehen zwischen $X$ und $Z$?
'''1.''' Bei den beiden Zufallsgrößen $X =\{0, 1, 2\} \Rightarrow |X| = 3$ und $Y = \{0, 1, 2\} \Rightarrow |Y| = 3$ liegt jeweils eine Gleichverteilung vor. Damit erhält man für die Entropien:
'''(1)''' For the random variables $X =\{0,\ 1,\ 2\}$ ⇒ $|X| = 3$ and $Y = \{0,\ 1,\ 2\}$ ⇒ $|Y| = 3$ there is a uniform distribution in each case.
'''2.''' Die Zufallsgrößen$X$und $Y$ sind wegen $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ statistisch unabhängig $\Rightarrow I(X, Y) = 0$. Zum gleichen Ergebnis kommt man über die Gleichung $I(X; Y) = H(X) + H(Y) – H(XY)$.
'''(2)''' The random variables $X$ and $Y$ are statistically independent because of $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ .
*From this follows $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
*The same result is obtained by the equation $I(X; Y) = H(X) + H(Y) - H(XY)$.
'''3.''' Interpretiert man $I(X; Z)$ als die verbleibende Unsicherheit hinsichtlich des Tupels $Z$, wenn die erste Komponente $X$ bekannt ist, so gilt offensichtlich$ I(X; Z) = H(Y) = 1.585 bit$.
Rein formal lässt sich diese Aufgabe auch wie folgt lösen:
:* Die Entropie $H(Z)$ ist gleich $H(XY) = 3.170 bit$.
[[File:P_ID2773__Inf_Z_3_7d.png|right|]]
:* Die Verbundwahrscheinlichkeit $P_{ XZ }(X, Z)$ beinhaltet neun Elemente der Wahrscheinlichkeit $1/9$, alle anderen sind mit Nullen belegt (Rechte Grafik) $\Rightarrow H(XZ) = log2 (9) = 3.170 bit$.
:* Damit gilt für die Transinformation (gemeinsame Information der Zufalsgrößen $X$ und $Z$):
[[File:P_ID2774__Inf_Z_3_7c.png|right|frame|Probability mass function of the random variable $XZ$]]
$$I(X;Z) = H(X) + H(Z) - H(XZ) = $$
'''(3)''' If one interprets $I(X; Z)$ as the remaining uncertainty with regard to the tuple $Z$, when the first component $X$ is known, then the following obviously applies:
In purely formal terms, this task can also be solved as follows:
* The entropy $H(Z)$ is equal to the joint entropy $H(XY) = 3.17 \ \rm bit$.
* The joint probability $P_{ XZ }(X, Z)$ contains nine elements of probability $1/9$, all others are occupied by zeros ⇒ $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
* Thus, the following applies to the mutual information of the random variables $X$ and $Z$:
* The uncertainty regarding the tuple $Z$ is $H(Z) = 2 · \log_2 (3) \ \rm bit$.
:* $H(Z|X)$ gibt die Restunsicherheit hinsichtlich des Tupels $Z$ an, wenn man die erste Komponente $X$kennt. Die Unsicherheit hinsichtlich des Tupels $Z$ ist $H(Z) = 2 · log_2 (3) bit$, bei Kenntnis der Komponente $X$ halbiert sich die Unsicherheit auf $H(Z|X) = log2 (3) bit$.
* When the component $X$ is known, the uncertainty is halved to $H(Z|X) = \log_2 (3)\ \rm bit$.
:* $H(X|Z)$gibt die verbleibende Unsicherheit hinsichtlich der Komponente $X$ an, wenn man das Tupel $Z = (X, Y)$ kennt. Diese Unsicherheit ist natürlich $0$: Kennt man $Z$, so kennt man auch $X$.
* $H(X|Z)$ gives the remaining uncertainty with respect to component $X$, when the tuple $Z = (X, Y)$ is known.
* This uncertainty is of course zero: If one knows $Z$, one also knows $X$.
{{ML-Fuß}}
{{ML-Fuß}}
Line 88:
Line 100:
[[Category:Aufgaben zu Informationstheorie|^3.2 Entropien von 2D-Zufallsgrößen^]]
[[Category:Information Theory: Exercises|^3.2 Entropies of 2D Random Variables^]]
[[de:Aufgaben:Aufgabe 3.8Z: Tupel aus ternären Zufallsgrößen]]
We consider the tuple $Z = (X, Y)$, where the individual components $X$ and $Y$ each represent ternary random variables ⇒ symbol set size $|X| = |Y| = 3$. The joint probability function $P_{ XY }(X, Y)$ is sketched on the right.
In this exercise, the following entropies are to be calculated:
the "joint entropy" $H(XY)$ and the "mutual information" $I(X; Y)$,
the "joint entropy" $H(XZ)$ and the "mutual information" $I(X; Z)$,
the two "conditional entropies" $H(Z|X)$ and $H(X|Z)$.
(2) The random variables $X$ and $Y$ are statistically independent because of $P_{ XY }(⋅) = P_X(⋅) · P_Y(⋅)$ .
From this follows $I(X, Y)\hspace{0.15cm}\underline{ = 0}$.
The same result is obtained by the equation $I(X; Y) = H(X) + H(Y) - H(XY)$.
Probability mass function of the random variable $XZ$
(3) If one interprets $I(X; Z)$ as the remaining uncertainty with regard to the tuple $Z$, when the first component $X$ is known, then the following obviously applies:
In purely formal terms, this task can also be solved as follows:
The entropy $H(Z)$ is equal to the joint entropy $H(XY) = 3.17 \ \rm bit$.
The joint probability $P_{ XZ }(X, Z)$ contains nine elements of probability $1/9$, all others are occupied by zeros ⇒ $H(XZ) = \log_2 (9) = 3.170 \ \rm bit $.
Thus, the following applies to the mutual information of the random variables $X$ and $Z$:
