Aufgaben:Exercise 4.5: Mutual Information from 2D-PDF

• Return to book

Vorgegebene Verbund-WDF

Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete  $f_{XY}(x, y)$, die in der Aufgabe nach ihren Füllfarben mit

• rote Verbund-WDF,
• blaue Verbund-WDF,  und
• grüne Verbund-WDF

bezeichnet werden.  Innerhalb der dargestellten Gebieten gelte jeweils  $f_{XY}(x, y) = C = \rm const.$

Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen  $X$  und  $Y$  kann man zum Beispiel wie folgt berechnen:

$$I(X;Y) = h(X) + h(Y) - h(XY)\hspace{0.05cm}.$$

Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen:

$$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log} \hspace{0.1cm} \big[f_X(x)\big] \hspace{0.1cm}{\rm d}x \hspace{0.05cm},$$

$$h(Y) = -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.55cm} f_Y(y) \cdot {\rm log} \hspace{0.1cm} \big[f_Y(y)\big] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$

$$h(XY) = \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log} \hspace{0.1cm} \big[ f_{XY}(x, y) \big] \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y\hspace{0.05cm}.$$

• Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei:

$$f_X(x) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}y \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{Y}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}y\hspace{0.05cm},$$

$$f_Y(y) = \hspace{-0.5cm} \int\limits_{\hspace{-0.2cm}x \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} (f_{X}\hspace{-0.08cm})} \hspace{-0.4cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}x\hspace{0.05cm}.$$

Hinweise:

• Die Aufgabe gehört zum Kapitel  AWGN–Kanalkapazität bei wertkontinuierlichem Eingang.

• Gegeben seien zudem folgende differentielle Entropien:

• Ist  $X$  dreieckverteilt zwischen  $x_{\rm min}$  und  $x_{\rm max}$, so gilt:

$$h(X) = {\rm log} \hspace{0.1cm} [\hspace{0.05cm}\sqrt{ e} \cdot (x_{\rm max} - x_{\rm min})/2\hspace{0.05cm}]\hspace{0.05cm}.$$

• Ist  $Y$  gleichverteilt zwischen  $y_{\rm min}$  und  $y_{\rm max}$, so gilt:

$$h(Y) = {\rm log} \hspace{0.1cm} \big [\hspace{0.05cm}y_{\rm max} - y_{\rm min}\hspace{0.05cm}\big ]\hspace{0.05cm}.$$

• Alle Ergebnisse sollen in "bit" angegeben werden.  Dies erreicht man mit   $\log$  ⇒  $\log_2$.

Fragebogen

1

Wie groß ist die Transinformation  der roten Verbund-WDF?

$I(X; Y) \ = \ $ $\ \rm bit$

2

Wie groß ist die Transinformation  der blauen Verbund-WDF?

$I(X; Y) \ = \ $ $\ \rm bit$

3

Wie groß ist die Transinformation  der grünen Verbund-WDF?

$I(X; Y) \ = \ $ $\ \rm bit$

4

Welche Voraussetzungen müssen die Zufallsgrößen  $X$  und  $Y$  gleichzeitig erfüllen, damit allgemein  $I(X;Y) = 1/2 \cdot \log (\rm e)$  gilt:

	Die Verbund-WDF  $f_{XY}(x, y)$  ergibt ein Parallelogramm.
	Eine der Zufallsgrößen  $(X$  oder  $Y)$  ist gleichverteilt.
	Die andere Zufallsgröße  $(Y$  oder  $X)$  ist dreieckverteilt.

Musterlösung

Solution

„Rote” Wahrscheinlichkeitsdichtefunktionen

(1)  Bei der rechteckförmigen Verbund–WDF  $f_{XY}(x, y)$  gibt es zwischen  $X$  und  $Y$  keine statistischen Bindungen   ⇒   $\underline{I(X;Y) = 0}$.

Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:

$$I(X;Y) = h(X) \hspace{-0.05cm}+\hspace{-0.05cm} h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(XY)\hspace{0.02cm}.$$

• Die rote Fläche 2D–WDF  $f_{XY}(x, y)$  ist  $F = 4$.  Da  $f_{XY}(x, y)$  in diesem Gebiet konstant ist und das Volumen unter  $f_{XY}(x, y)$  gleich  $1$  sein muss, gilt für die Höhe  $C = 1/F = 1/4$.
• Daraus folgt für die differentielle Verbundentropie in "bit":

$$h(XY) \ = \ \hspace{0.1cm}-\hspace{0.2cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_{XY}(x, y) ] \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y$$

$$\Rightarrow \hspace{0.3cm} h(XY) \ = \ \ {\rm log}_2 \hspace{0.1cm} (4) \cdot \hspace{0.02cm} \int \hspace{-0.9cm} \int\limits_{\hspace{-0.5cm}(x, y) \hspace{0.1cm}\in \hspace{0.1cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_{XY}\hspace{-0.08cm})} \hspace{-0.6cm} f_{XY}(x, y) \hspace{0.15cm}{\rm d}x\hspace{0.15cm}{\rm d}y = 2 \,{\rm bit}\hspace{0.05cm}.$$

• Es ist berücksichtigt, das das Doppelintegral gleich  $1$  ist.  Die Pseudo–Einheit "bit" korrespondiert mit dem Logarithmus dualis  ⇒  "log₂".

Weiterhin gilt:

• Die Randwahrscheinlichkeitsdichtefunktionen  $f_{X}(x)$  und  $f_{Y}(y)$  sind rechteckförmig   ⇒   Gleichverteilung zwischen  $0$  und  $2$:

$$h(X) = h(Y) = {\rm log}_2 \hspace{0.1cm} (2) = 1 \,{\rm bit}\hspace{0.05cm}.$$

• Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:

$$I(X;Y) = h(X) + h(Y) - h(XY) = 1 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit} = 0 \,{\rm (bit)} \hspace{0.05cm}.$$

„Blaue” Wahrscheinlichkeitsdichtefunktionen

(2)  Auch bei diesem Parallelogramm ergibt sich  $F = 4, \ C = 1/4$  sowi e $h(XY) = 2$ bit.

• Die Zufallsgröße  $Y$  ist hier wie in der Teilaufgabe  (1)  zwischen  $0$  und  $2$  gleichverteilt  ⇒   $h(Y) = 1$ bit.

• Dagegen ist  $X$  dreieckverteilt zwischen  $0$  und  $4$  $($mit Maximum bei $2)$. 
• Es ergibt sich hierfür die gleiche differentielle Entropie  $h(Y)$  wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen  $±2$  (siehe Angabenblatt):

$$h(X) = {\rm log}_2 \hspace{0.1cm} \big[\hspace{0.05cm}2 \cdot \sqrt{ e} \hspace{0.05cm}\big ] = 1.721 \,{\rm bit}$$

$$\Rightarrow \hspace{0.3cm} I(X;Y) = 1.721 \,{\rm bit} + 1 \,{\rm bit} - 2 \,{\rm bit}\hspace{0.05cm}\underline{ = 0.721 \,{\rm (bit)}} \hspace{0.05cm}.$$

„Grüne” Wahrscheinlichkeitsdichtefunktionen

(3)  Bei den grünen Gegebenheiten ergeben sich folgende Eigenschaften:

$$F = A \cdot B \hspace{0.3cm} \Rightarrow \hspace{0.3cm} C = \frac{1}{A \cdot B} \hspace{0.05cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} h(XY) = {\rm log}_2 \hspace{0.1cm} (A \cdot B) \hspace{0.05cm}.$$

• Die Zufallsgröße  $Y$  ist nun zwischen  $0$  und  $A$  gleichverteilt und die Zufallsgröße  $X$  ist zwischen  $0$  und  $B$  dreieckverteilt:

$$h(X) \ = \ {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ e}) \hspace{0.05cm},$$ $$ h(Y) \ = \ {\rm log}_2 \hspace{0.1cm} (A)\hspace{0.05cm}.$$

• Damit ergibt sich für die Transinformation zwischen  $X$  und  $Y$:

$$I(X;Y) \ = {\rm log}_2 \hspace{0.1cm} (B \cdot \sqrt{ {\rm e}}) + {\rm log}_2 \hspace{0.1cm} (A) - {\rm log}_2 \hspace{0.1cm} (A \cdot B)$$

$$\Rightarrow \hspace{0.3cm} I(X;Y) = \ {\rm log}_2 \hspace{0.1cm} \frac{B \cdot \sqrt{ {\rm e}} \cdot A}{A \cdot B} = {\rm log}_2 \hspace{0.1cm} (\sqrt{ {\rm e}})\hspace{0.15cm}\underline{= 0.721\,{\rm bit}} \hspace{0.05cm}.$$

Weitere Beispiele für 2D–WDF  $f_{XY}(x, y)$

• $I(X;Y)$  somit unabhängig von den WDF–Parametern  $A$  und  $B$.

(4)  Alle genannten Voraussetzungen sind erforderlich. 

• Allerdings sind nicht für jedes Parallelogramm die Forderungen  (2)  und  (3)  zu erfüllen.  Die nebenstehende Grafik zeigt zwei solche Konstellationen, wobei die Zufallsgröße  $X$  jeweils gleichverteilt zwischen  $0$  und  $1$  ist.
• Bei der oberen Grafik liegen die eingezeichneten Punkte auf einer Höhe   ⇒   $f_{Y}(y)$  ist dreieckverteilt   ⇒   $I(X;Y) = 0.721$ bit.
• Die untere Verbund–WDF besitzt eine andere Transinformation, da die beiden Punkte nicht auf gleicher Höhe liegen  
  ⇒   die WDF  $f_{Y}(y)$  hat hier eine Trapezform.
• Gefühlsmäßig tippe ich auf  $I(X;Y) < 0.721$  bit, da sich das 2D–Gebiet eher einem Rechteck annähert.  Wenn Sie noch Lust haben, so überprüfen Sie das bitte.