Contents
Transinformation zwischen wertkontinuierlichen Zufallsgrößen
Im Kapitel 3.3 wurde die Transinformation (englisch: Mutual Information) zwischen den beiden wertdiskreten Zufallsgrößen $X$ und $Y$ unter Anderem in folgender Form angegeben:
Diese Gleichung entspricht gleichzeitig der Kullback–Leibler–Distanz (kurz KLD) zwischen der Verbundwahrscheinlichkeitsfunktion $P_{XY}$ und dem Produkt der beiden Einzel–PMFs $P_X$ und $P_Y$ :
Um daraus die Transinformation $I(X; Y)$ zwischen zwei wertkontinuierlichen Zufallsgrößen $X$ und $Y$ abzuleiten, geht man wie folgt vor (Hochkommata weisen auf quantisierte Größen hin):
- Man quantisiert die Zufallsgrößen $X$ und $Y$ (mit den Quantisierungsintervallen $Δx$ und $Δy$) und erhält so die Wahrscheinlichkeitsfunktionen $P_{X′}$ und $P_{Y′}$ .
- Die „Vektoren” $P_{X′}$ und $P_{Y′}$ werden nach den Grenzübergängen $Δx → 0, Δy → 0$ unendlich lang, und auch die Verbund–PMF $P_{X′Y′}$ ist in der Fläche unendlich weit ausgedehnt.
- Durch diese Grenzübergänge ergeben sich die Wahrscheinlichkeitsdichtefunktionen der drei kontinuierlichen Zufallsgrößen entsprechend den folgenden Gleichungen:
- Aus der Doppelsumme in der obigen Gleichung wird nach der Umbenennung $Δx → d_x$ bzw. $Δy → d_y$ die für wertkontinuierliche Zufallsgrößen gültige Gleichung:
Durch Aufspaltung dieses Doppelintegrals lässt für die Transinformation auch schreiben:
Verwendet ist hierbei die differentielle Verbund–Entropie
sowie die beiden differentiellen Einzel–Entropien
Wir gehen weiter von der wertkontinuierlichen Transinformationsgleichung aus:
Diese Darstellung findet sich auch im folgenden Schaubild (linke Grafik, über alle Zeilen).
Daraus erkennt man, dass die Transinformation auch noch wie folgt dargestellt werden kann:
Diese fundamentalen informationstheoretischen Zusammenhänge kann man auch aus der rechten Grafik ablesen. Diese gerichtete Darstellung ist für Nachrichtenübertragungssysteme besonders geeignet. Die abfließende bzw. zufließende differentielle Entropie kennzeichnet
- die Äquivokation (englisch: Equivocation):
- die Irrelevanz (englisch: Irrelevance):
Auf die Bedeutung dieser beiden informationstheoretischen Größen wird in Aufgabe Z4.5 noch genauer eingegangen. Vergleicht man die grafischen Darstellungen der Transinformation bei
- wertdiskreten Zufallsgrößen im Kapitel 3.3 und
- wertkontinuierlichen Zufallsgrößen entsprechend obiger Grafik,
so erkennt man als einziges Unterscheidungsmerkmal, dass jedes „$H$” (Entropie; größer/gleich Null) durch ein „$h$” (differentielle Entropie, kann positiv, negativ oder 0 sein) ersetzt wurde. Ansonsten ist die Transinformation in beiden Darstellungen gleich und es gilt stets $I(X; Y) ≥ 0$. Im Folgenden verwenden wir meist den Logarithmus dualis ⇒ „log2” und erhalten somit die Transinformation in „bit”.
Transinformationsberechnung bei additiver Störung
Wir betrachten nun ein sehr einfaches Modell der Nachrichtenübertragung.
- Die Zufallsgröße $X$ steht für das (mittelwertfreie) Sendesignal und ist durch die WDF $f_X(x)$ und die Varianz $σ_X^2 gekennzeichnet. Die Sendeleistung $P_X$ ist identisch mit $σ_X^2$. *Die additive Störung $N$ ist durch die WDF $f_N(n)$ und die Störleistung $P_N$ = $σ_N^2$ gegeben. Da $X$ und $N$ als statistisch unabhängig angenommen werden, gilt E[$X · N$] = E[$X$] · E[$N$] = 0 . *Das Empfangssignal ist $Y = X + N$ Die Ausgangs–WDF $f_Y(y)$ ist mit der Faltungsoperation berechenbar ⇒ $f_Y(y) = f_X(x) ∗ f_N(n)$ und für die Empfangsleistung (Varianz) gilt:
Die in der nachfolgenden Grafik eingezeichneten Dichtefunktionen (rechteck– bzw. trapezförmig) sollen nur den Rechengang verdeutlichen und haben keine praktische Relevanz.
Zur Berechnung der Transinformation zwischen dem Eingang X und dem Ausgang Y gibt es entsprechend dem Schaubild auf der vorherigen Seite drei Möglichkeiten: I(X, Y) = h(X) + h(Y) – h(XY): Die beiden ersten Terme sind aus fX(x) bzw. fY(y) in einfacher Weise berechenbar. Problematisch ist die differentielle Verbundentropie h(XY). Hierzu benötigt man die 2D–Verbund–WDF fXY(x, y), die meist nicht direkt gegeben ist. I(X, Y) = h(Y) – h(Y|X): h(Y|X) bezeichnet die differentielle Streuentropie. Es gilt h(Y|X) = h(X + N|X) = h(N), so dass I(X; Y) bei Kenntnis von fX(x) und fN(n) über die Gleichung fY(y) = fX(x) ∗ fN(n) sehr einfach zu berechnen ist. I(X, Y) = h(X) – h(X|Y): Nach dieser Gleichung benötigt man allerdings die differentielle Rückschlussentropie h(X|Y), die schwieriger angebbar ist als h(Y|X). Resümée: Im Folgenden schreiben wir für die Transinformation zwischen dem Eingang X und dem Ausgang Y eines Nachrichtenübertragungssystems bei additiver und unkorrelierter Störung N:
