Exercise 4.5: Mutual Information from 2D-PDF
Vorgegeben sind hier die drei unterschiedlichen 2D–Gebiete fXY(x, y), die in der Aufgabe nach ihren Füllfarben mit
- rote Verbund-WDF
- blaue Verbund-WDF
- grüne Verbund-WDF
bezeichnet werden. In den dargestellten Gebieten gelte jeweils fXY(x, y) = C = const.
Die Transinformation zwischen den wertkontinuierlichen Zufallsgrößen X und Y kann unter anderem nach folgender Gleichung berechnet werden: I(X;Y)=h(X)+h(Y)−h(XY).
Für die hier verwendeten differentiellen Entropien gelten die folgenden Gleichungen: h(X)=−∫x∈supp(fX)fX(x)⋅log[fX(x)]dx, h(Y)=−∫y∈supp(fY)fY(y)⋅log[fY(y)]dy, h(XY)=−∫∫(x,y)∈supp(fXY)fXY(x,y)⋅log[fXY(x,y)]dxdy. Für die beiden Randwahrscheinlichkeitsdichtefunktionen gilt dabei: fX(x)=∫y∈supp(fY)fXY(x,y)dy,fY(y)=∫x∈supp(fX)fXY(x,y)dx. Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.2. Gegeben seien zudem folgende differentielle Entropien:
- Ist X dreieckverteilt zwischen xmin und xmax, so gilt:
h(X)=log[√e⋅(xmax−xmin)/2].
- Ist Y gleichverteilt zwischen ymin und ymax, so gilt:
h(Y)=log[ymax−ymin].
- Alle Ergebnisse sollen in „bit” angegeben werden. Dies erreicht man mit „log” ⇒ „log2”.
Fragebogen
Musterlösung
a) Bei der rechteckförmigen Verbund–WDF fXY(x, y) gibt es zwischen X und Y keine statistischen Bindungen ⇒ I(X; Y) = 0.
Formal lässt sich dieses Ergebnis mit der folgenden Gleichung nachweisen:
I(X;Y)=h(X)+h(Y)−h(XY). Die rote Fläche 2D–WDF fXY(x, y) ist F = 4. Da fXY(x, y) in diesem Gebiet konstant ist und das Volumen unter fXY(x, y) gleich 1 sein muss, gilt C = 1/F = 1/4. Daraus folgt für die differentielle Verbundentropie in „bit”: h(XY) = −∫∫(x,y)∈supp(fXY)fXY(x,y)⋅log2[fXY(x,y)]dxdy= log2(4)⋅∫∫(x,y)∈supp(fXY)fXY(x,y)dxdy=2bit. Es ist berücksichtigt, das das Doppelintegral gleich 1 ist. Die Pseudo–Einheit „bit” korrespondiert mit dem Logarithmus dualis ⇒ „log2”. Weiterhin gilt:
- Die beiden Randwahrscheinlichkeitsdichtefunktionen fX(x) und fY(y) sind jeweils rechteckförmig ⇒ Gleichverteilung zwischen 0 und 2:
h(X)=h(Y)=log2(2)=1bit.
- Setzt man diese Ergebnisse in die obige Gleichung ein, so erhält man:
I(X;Y)=h(X)+h(Y)−h(XY)=1bit+1bit−2bit=0(bit).
b) Auch bei diesem Parallelogramm ergibt sich F = 4, C = 1/4 sowie h(XY) = 2 bit. Die Zufallsgröße Y ist hier wie in der Teilaufgabe (a) zwischen 0 und 2 gleichverteilt. Somit gilt weiter h(Y) = 1 bit.
Dagegen ist X dreieckverteilt zwischen 0 und 4 (mit Maximum bei 2). Es ergibt sich hierfür die gleiche differentielle Entropie h(Y) wie bei einer symmetrischen Dreieckverteilung im Bereich zwischen ±2 (siehe Angabenblatt): h(X)=log2[2⋅√e]=1.721bit ⇒I(X;Y)=1.721bit+1bit−2bit=0.721(bit)_.
c) Bei den grünen Gegebenheiten berechnet sich die Verbundentropie wie folgt: F=A⋅B⇒C=1A⋅B ⇒h(XY)=log2(A⋅B). Die Zufallsgröße Y ist nun zwischen 0 und A gleichverteilt und die Zufallsgröße X ist zwischen 0 und B dreieckverteilt: h(X) = log2(B⋅√e), h(Y) = log2(A).
Damit ergibt sich für die Transinformation zwischen X und Y:
I(X;Y) =log2(B⋅√e)+log2(A)−log2(A⋅B)
= log2B⋅√e⋅AA⋅B=log2(√e)=0.721bit_.
I(X; Y) ist somit unabhängig von den WDF–Parametern A und B.
d) Alle genannten Voraussetzungen sind erforderlich. Allerdings sind nicht für jedes Parallelogramm die Forderungen 2 und 3 zu erfüllen. Nebenstehende Grafik zeigt zwei solche Konstellationen, wobei nun die Zufallsgröße X jeweils gleichverteilt ist zwischen 0 und 1.
- Bei der oberen Grafik liegen die beiden eingezeichneten Punkte auf einer Höhe ⇒ fY(y) ist dreieckverteilt ⇒ I(X; Y) = 0.721 bit.
- Die untere Verbund–WDF besitzt eine andere Transinformation, da die beiden Punkte nicht auf gleicher Höhe liegen ⇒ die WDF fY(y) hat hier eine Trapezform. Gefühlsmäßig tippe ich auf I(X; Y) < 0.721 bit, da sich das 2D–Gebiet eher einem Rechteck annähert. Wenn Sie noch Lust haben, so überprüfen Sie das bitte.
