Contents
- 1 Einführungsbeispiel zur statistischen Abhängigkeit von Zufallsgrößen
- 2 Voraussetzungen und Nomenklatur
- 3 Wahrscheinlichkeitsfunktion und Wahrscheinlichkeitsdichtefunktion
- 4 Wahrscheinlichkeitsfunktion und Entropie
- 5 Relative Entropie – Kullback–Leibler–Distanz
- 6 Verbundwahrscheinlichkeit und Verbundentropie
- 7 Aufgaben zu Kapitel 3.1
Einführungsbeispiel zur statistischen Abhängigkeit von Zufallsgrößen
Wir gehen vom Experiment „Würfeln mit zwei Würfeln” aus, wobei beide Würfel unterscheidbar sind. Die untere Tabelle zeigt als Ergebnis die ersten $N$ = 18 Wurfpaare dieses exemplarischen Zufallsexperiments:
- In Zeile 2 sind die Augenzahlen des roten Würfels ( $R$ ) angegeben. Der Mittelwert dieser begrenzten Folge $〈R_1, ... , R_{18}〉$ ist mit 3.39 etwas kleiner als der Erwartungswert E[R] = 3.5.
- Die Zeile 3 zeigt die Augenzahlen des blauen Würfels ( $B$ ). Die Folge $〈B_1, ... , B_{18}〉$ hat mit 3.61 einen etwas größeren Mittelwert als die unbegrenzte Folge ⇒ $\text{E}[B]$ = 3.5.
- Zeile 4 beinhaltet die Summe $S_ν = R_ν + B_ν$. Der Mittelwert der Folge $〈S_1, ... , S_{18}〉$ ist 3.39 + 3.61 = 7. Dieser ist hier (zufällig) gleich dem Erwartungswert $\text{E}[S] = \text{E}[R] + \text{E}[B]$.
Hinweis: Entsprechend der auf der nachfolgenden Seite erklärten Nomenklatur sind hier $R_ν$, $B_ν$ und $S_ν$ als Zufallsgrößen zu verstehen. Die Zufallsgröße $R_3$ = {1, 2, 3, 4, 5, 6} gibt beispielsweise die Augenzahl des roten Würfels beim dritten Wurf als Wahrscheinlichkeitsereignis an. Die Angabe „ $R_3$ = 6” sagt aus, dass bei der dokumentierten Realisierung der rote Würfel im dritten Wurf eine „6” gezeigt hat.
Nun stellt sich die Frage, zwischen welchen Zufallsgrößen es statistische Abhängigkeiten gibt:
- Setzt man faire Würfel voraus, so bestehen zwischen den Folgen $〈R〉$ und $〈B〉$ – ob begrenzt oder unbegrenzt – keine statistischen Bindungen: Auch wenn man $R_ν$ kennt, sind für $B_ν$ weiterhin alle möglichen Augenzahlen 1, ... , 6 gleichwahrscheinlich.
- Kennt man aber $S_ν$, so sind sowohl Aussagen über $R_ν$ als auch über $B_ν$ möglich. Aus $S_{11}$ = 12 (siehe obige Tabelle) folgt direkt $R_{11}$ = $B_{11}$ = 6 und die Summe $S_{15}$ = 2 zweier Würfel ist nur mit zwei Einsen möglich. Solche Abhängigkeiten bezeichnet man als deterministisch.
- Aus $S_7$ = 10 lassen sich zumindest Bereiche für $R_7$ und $B_7$ angeben: $R_7$ ≥ 4, $B_7$ ≥ 4. Möglich sind dann nur die drei Wertepaare ( $R_7$ = 4 ) ∩ ( $B_7$ = 6 ), ( $R_7$ = 5 ) ∩ ( $B_7$ = 5 ) sowie ( $R_7$ = 6 ) ∩ ( $B_7$ = 4 ). Hier besteht zwar kein deterministischer Zusammenhang zwischen den Zufallsgrößen $S_ν$ und $R_ν$ (bzw. $B_ν$), aber eine so genannte statistische Abhängigkeit.
- Solche statistische Abhängigkeiten gibt es für alle $S_ν$ ∈ {3, 4, 5, 6, 8, 9, 10, 11}. Ist dagegen die Summe $S_ν$ = 7, so kann daraus nicht auf $R_ν$ und $B_ν$ zurückgeschlossen werden. Für beide Würfel sind dann alle möglichen Augenzahlen (1, ... , 6) gleichwahrscheinlich. In diesem Fall bestehen auch keine statistischen Bindungen zwischen $S_ν$ und $R_ν$ bzw. $S_ν$ und $B_ν$.
Voraussetzungen und Nomenklatur
Im gesamten Kapitel 3 betrachten wir wertdiskrete Zufallsgrößen der Form
und verwenden folgende Nomenklatur:
- Die Zufallsgröße selbst wird stets mit einem Großbuchstaben bezeichnet, und der Kleinbuchstabe $x$ weist auf eine mögliche Realisierung der Zufallsgröße $X$ hin.
- Alle Realisierungen $x_μ$ (mit $μ$ = 1, ... , $M$) sind reellwertig. $M$ gibt den Symbolumfang (englisch: Symbol Set Size) von $X$ an. Anstelle von $M$ verwenden wir manchmal auch $|X|$.
Die Zufallsgröße $X$ kann zum Beispiel durch die Transformation $\Omega → X$ entstanden sein, wobei $\Omega$ für den Wahrscheinlichkeitsraum eines Zufallsexperiments steht. Die nachfolgende Grafik verdeutlicht eine solche Transformation:
Jedes Zufallsereignis $ω_i ∈ Ω$ wird eindeutig einem reellen Zahlenwert $x_μ ∈ X ⊂ ℝ$ zugeordnet. Im betrachteten Beispiel gilt für die Laufvariable 1 ≤ $μ$ ≤ 4, das heißt, der Symbolumfang beträgt $M$ = $|X|$ = 4. Die Abbildung ist aber nicht eineindeutig: Die Realisierung $x_3 ∈ X$ könnte sich im Beispiel aus dem Elementarereignis $ω_4$ ergeben haben, aber auch aus $ω_6$ (oder aus einem anderen der unendlich vielen, in der Grafik nicht eingezeichneten Elementarereignisse $ω_i$).
Oft verzichtet man auf die Indizierung sowohl der Elementarereignisse $ω_i$ als auch der Realisierungen $x_μ$. Damit ergeben sich beispielsweise folgende Kurzschreibweisen:
Mit dieser Vereinbarung gilt für die Wahrscheinlichkeiten der diskreten Zufallsgröße:
Wahrscheinlichkeitsfunktion und Wahrscheinlichkeitsdichtefunktion
Fasst man die $M$ Wahrscheinlichkeiten einer diskreten Zufallsgröße $X$ ⇒ Pr( $X$ = $x_μ$ ) ähnlich wie bei einem Vektor zusammen, so kommt man zur Wahrscheinlichkeitsfunktion (englisch: Probability Mass Function, PMF):
Das $μ$–te Element dieses „Vektors” gibt dabei die folgende Wahrscheinlichkeit an:
Im Buch „Stochastische Signaltheorie” haben wir mit der Wahrscheinlichkeitsdichtefunktion (WDF, englisch: Probability Density Function, PDF) eine ähnliche Beschreibungsgröße definiert und diese mit $f_X(x)$ bezeichnet.
Zu beachten ist aber:
- Die PDF eignet sich eher zur Charakterisierung kontinuierlicher Zufallsgrößen, wie zum Beispiel bei einer Gaußverteilung oder einer Gleichverteilung. Erst durch die Verwendung von Diracfunktionen wird die PDF auch für diskrete Zufallsgrößen anwendbar.
- Die PMF liefert weniger Information über die Zufallsgröße als die PDF und kann zudem nur für diskrete Größen angegeben werden. Für die wertdiskrete Informationstheorie ist sie ausreichend.
Wir betrachten eine Wahrscheinlichkeitsdichtefunktion (abgekürzt WDF bzw. PDF) ohne großen Praxisbezug:
Für die diskrete Zufallsgröße gilt somit $x ∈ X$ = {–2, +1.5, +π} ⇒ Symbolumfang $M$ = $|X|$ = 3, und die Wahrscheinlichkeitsfunktion (PMF) lautet:
Man erkennt:
- Die PMF liefert nur Informationen über die Wahrscheinlichkeiten $\text{Pr}(x_1)$, $\text{Pr}(x_2)$, $\text{Pr}(x_3)$. Aus der PDF sind dagegen auch die möglichen Realisierungen $x_1$, $x_2$, $x_3$ der Zufallsgröße $X$ ablesbar.
- Die einzige Voraussetzung für die Zufallsgröße ist, dass sie reellwertig ist. Die möglichen Werte $x_μ$ müssen weder positiv, ganzzahlig, äquidistant noch rational sein.
Wahrscheinlichkeitsfunktion und Entropie
In der wertdiskreten Informationstheorie genügt im Gegensatz zu übertragungstechnischen Problemen schon die Kenntnis der Wahrscheinlichkeitsfunktion PX(X), zum Beispiel zur Berechnung der Entropie. Die Entropie einer diskreten Zufallsgröße X – also deren Unsicherheit für einen Beobachter – kann man mit der Wahrscheinlichkeitsfunktion PX(X) wie folgt darstellen:
Verwendet man den Logarithmus zur Basis 2, also log2 (...) = ld (...) ⇒ Logarithmus dualis, so wird der Zahlenwert mit der Pseudo–Einheit „bit” versehen. E[...] gibt den Erwartungswert an. Beispielsweise erhält man für PX(X) = [0.2, 0.3, 0.5]:
für PX(X) = [1/3, 1/3, 1/3]:
Das zweite Beispiel liefert das Maximum der Entropiefunktion für den Symbolumfang M = 3. Für ein allgemeines M lässt sich dieses Ergebnis beispielsweise wie folgt herleiten – siehe [Meck09]:
Diese Abschätzung (Jensens's Ungleichung) ist zulässig, da der Logarithmus eine konkave Funktion ist. Entsprechend Aufgabe A3.2 gilt:
Das Gleichheitszeichen ergibt sich nach der oberen Rechnung für gleiche Wahrscheinlichkeiten, also für PX(xμ) = 1/M für alle μ. In der Aufgabe A3.3 soll der gleiche Sachverhalt unter Verwendung der Abschätzung
nachgewiesen werden. Das Gleichheitszeichen gilt nur für x = 1. Ist eine der M Wahrscheinlichkeiten PX(xμ) der Wahrscheinlichkeitsfunktion PX(X) gleich 0 ist, so lässt sich für die Entropie eine engere Schranke angeben:
