Exercise 4.5: Mutual Information from 2D-PDF

• Return to book

Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete f_XY(x, y), die in der Aufgabe nach ihren Füllfarben mit

• rote Verbund-WDF
• blaue Verbund-WDF
• grüne Verbund-WDF

bezeichnet werden. In den dargestellten Gebieten gelte jeweils f_XY(x, y) = C = const.

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden: $$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm},$$ $$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$ $$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} [ f_{XY}(x, y) ] \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$ Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei: $$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}y\hspace{0.05cm},\hspace{0.8cm} f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$ Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.2. Gegeben seien zudem folgende differentielle Entropien:

• Ist X dreieckverteilt zwischen x_min und x_max, so gilt:

$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt[[:Template:\rm e]] \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$

• Ist Y gleichverteilt zwischen y_min und y_max, so gilt:

$$h(Y) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}]\hspace{0.05cm}.$$

• Alle Ergebnisse sollen in „bit” angegeben werden. Dies erreicht man mit „log”  ⇒  „log₂”.

Fragebogen

1

Wie groß ist die Transinformation der roten Verbund-WDF?

$rote Verbund–WDF: I(X; Y)$ =

2

Wie groß ist die Transinformation der blauen Verbund-WDF?

$blaue Verbund–WDF: I(X; Y)$ =

3

Wie groß ist die Transinformation der grünen Verbund-WDF?

$grüne Verbund–WDF: I(X; Y)$ =

4

Welche Voraussetzungen müssen die Zufallsgrößen X und Y gleichzeitig erfüllen, damit allgemein I(X; Y) = 1/2 · log (e) gilt:

	Die Verbund-WDF fXY(x, y) ergibt ein Parallelogramm.
	Eine der Zufallsgrößen (X oder Y) ist gleichverteilt.
	Die andere Zufallsgröße (Y oder X) ist dreieckverteilt.

Musterlösung

Solution

1. 2. 3. 4. 5. 6. 7.