Difference between revisions of "Information Theory/Differential Entropy"
(Die Seite wurde neu angelegt: „ {{Header |Untermenü=Wertkontinuierliche Informationstheorie |Vorherige Seite=Anwendung auf die Digitalsignalübertragung |Nächste Seite=AWGN–Kanalkapazit…“) |
|||
| Line 6: | Line 6: | ||
}} | }} | ||
| − | ==Eigenschaften wertkontinuierlicher Zufallsgrößen== | + | ==Eigenschaften wertkontinuierlicher Zufallsgrößen== |
| + | |||
| + | Bisher wurden stets ''wertdiskrete Zufallsgrößen'' der Form $X = \{x_1, x_2, ... , x_μ, ... , x_M\}$ betrachtet, die aus informationstheoretischer Sicht vollständig durch ihre Wahrscheinlichkeitsfunktion (englisch: ''Probability Mass Function'', PMF) $P_X(X)$ charakterisiert werden: | ||
| + | |||
| + | Eine '''wertkontinuierliche Zufallsgröße''' kann dagegen – zumindest in endlichen Intervallen – jeden beliebigen Wert annehmen. Aufgrund des nicht abzählbaren Wertevorrats ist in diesem Fall die Beschreibung durch eine Wahrscheinlichkeitsfunktion nicht möglich oder zumindest nicht sinnvoll: Es ergäbe sich nämlich $M$ → $∞$ sowie $p_1$ → 0, $p_2$ → 0, usw. | ||
| + | |||
| + | |||
| + | |||
| + | Nomenklaturhinweise | ||
| + | zu WDF und VTF | ||
| + | |||
| + | Man verwendet zur Beschreibung wertkontinuierlicher Zufallsgrößen gemäß den Definitionen im Buch „Stochastische Signaltheorie” gleichermaßen (beachten Sie die Einträge in der Grafik): | ||
| + | * Wahrscheinlichkeitsdichtefunktion (WDF, englisch: ''Probability Density Function'', PDF): | ||
| + | |||
| + | In Worten: Der WDF–Wert bei $x_0$ gibt die Wahrscheinlichkeit $p_{Δx}$ an, dass die Zufallsgröße $X$ in einem (unendlich kleinen) Intervall der Breite $Δx$ um $x_0$ liegt, dividiert durch $Δx$. | ||
| + | * Mittelwert (Moment erster Ordnung, englisch: ''Mean Value'' bzw. ''Expectation Value''): | ||
| + | |||
| + | *Varianz (Zentralmoment zweiter Ordnung, englisch: ''Variance''): | ||
| + | |||
| + | *Verteilungsfunktion (VTF, englisch: ''Cumulative Distribution Function'', CDF): | ||
| + | |||
| + | Beachten Sie, dass sowohl die WDF–Fläche als auch der VTF–Endwert stets gleich 1 sind. | ||
| + | |||
| + | Wir betrachten nun mit der Gleichverteilung einen wichtigen Sonderfall. Die Grafik zeigt den Verlauf zweier gleichverteilter Größen, die alle Werte zwischen 1 und 5 (Mittelwert $m_1$ = 3) mit gleicher Wahrscheinlichkeit annehmen können. Links ist das Ergebnis eines Zufallsprozesses dargestellt, rechts ein deterministisches Signal („Sägezahn”) mit gleicher Amplitudenverteilung. | ||
| + | |||
| + | Die ''Wahrscheinlichkeitsdichtefunktion'' der Gleichverteilung hat den unten skizzierten Verlauf: | ||
| + | |||
| + | |||
| + | Es ergeben sich hier für den Mittelwert $m_1$ = ${\rm E}[X]$ und die Varianz $σ_2$ = ${\rm E)[(X – m_1)^2]$ folgende Gleichungen: | ||
| + | |||
| + | Unten dargestellt ist die ''Verteilungsfunktion'' (VTF): | ||
| + | |||
| + | Diese ist für $x ≤ x_{\rm min}$ identisch 0, steigt danach linear an und erreicht bei $x$ = $x_{\rm max}$ den VTF–Endwert 1. | ||
| + | Die Wahrscheinlichkeit, dass die Zufallgröße $X$ einen Wert zwischen 3 und 4 annimmt, kann sowohl aus der WDF als auch aus der VTF ermittelt werden: | ||
| + | |||
| + | Weiterhin ist zu beachten: | ||
| + | *Das Ergebnis $X$ = 0 ist bei dieser Zufallsgröße ausgeschlossen ⇒ Pr( $X$ = 0) = 0. | ||
| + | *Das Ergebnis $X$ = 4 ist dagegen durchaus möglich. Trotzdem gilt auch hier Pr($X$ = 4) = 0. | ||
==Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung == | ==Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung == | ||
==Definition und Eigenschaften der differentiellen Entropie == | ==Definition und Eigenschaften der differentiellen Entropie == | ||
Revision as of 13:23, 1 June 2016
Contents
- 1 Eigenschaften wertkontinuierlicher Zufallsgrößen
- 2 Entropie wertkontinuierlicher Zufallsgrößen nach Quantisierung
- 3 Definition und Eigenschaften der differentiellen Entropie
- 4 Differentielle Entropie einiger spitzenwertbegrenzter Zufallsgrößen
- 5 Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen
- 6 WDF–Herleitung für maximale differentielle Entropie
- 7 Aufgaben zu Kapitel 4.1
Eigenschaften wertkontinuierlicher Zufallsgrößen
Bisher wurden stets wertdiskrete Zufallsgrößen der Form $X = \{x_1, x_2, ... , x_μ, ... , x_M\}$ betrachtet, die aus informationstheoretischer Sicht vollständig durch ihre Wahrscheinlichkeitsfunktion (englisch: Probability Mass Function, PMF) $P_X(X)$ charakterisiert werden:
Eine wertkontinuierliche Zufallsgröße kann dagegen – zumindest in endlichen Intervallen – jeden beliebigen Wert annehmen. Aufgrund des nicht abzählbaren Wertevorrats ist in diesem Fall die Beschreibung durch eine Wahrscheinlichkeitsfunktion nicht möglich oder zumindest nicht sinnvoll: Es ergäbe sich nämlich $M$ → $∞$ sowie $p_1$ → 0, $p_2$ → 0, usw.
Nomenklaturhinweise zu WDF und VTF
Man verwendet zur Beschreibung wertkontinuierlicher Zufallsgrößen gemäß den Definitionen im Buch „Stochastische Signaltheorie” gleichermaßen (beachten Sie die Einträge in der Grafik):
- Wahrscheinlichkeitsdichtefunktion (WDF, englisch: Probability Density Function, PDF):
In Worten: Der WDF–Wert bei $x_0$ gibt die Wahrscheinlichkeit $p_{Δx}$ an, dass die Zufallsgröße $X$ in einem (unendlich kleinen) Intervall der Breite $Δx$ um $x_0$ liegt, dividiert durch $Δx$.
- Mittelwert (Moment erster Ordnung, englisch: Mean Value bzw. Expectation Value):
- Varianz (Zentralmoment zweiter Ordnung, englisch: Variance):
- Verteilungsfunktion (VTF, englisch: Cumulative Distribution Function, CDF):
Beachten Sie, dass sowohl die WDF–Fläche als auch der VTF–Endwert stets gleich 1 sind.
Wir betrachten nun mit der Gleichverteilung einen wichtigen Sonderfall. Die Grafik zeigt den Verlauf zweier gleichverteilter Größen, die alle Werte zwischen 1 und 5 (Mittelwert $m_1$ = 3) mit gleicher Wahrscheinlichkeit annehmen können. Links ist das Ergebnis eines Zufallsprozesses dargestellt, rechts ein deterministisches Signal („Sägezahn”) mit gleicher Amplitudenverteilung.
Die Wahrscheinlichkeitsdichtefunktion der Gleichverteilung hat den unten skizzierten Verlauf:
Es ergeben sich hier für den Mittelwert $m_1$ = ${\rm E}[X]$ und die Varianz $σ_2$ = ${\rm E)[(X – m_1)^2]$ folgende Gleichungen:
Unten dargestellt ist die Verteilungsfunktion (VTF):
Diese ist für $x ≤ x_{\rm min}$ identisch 0, steigt danach linear an und erreicht bei $x$ = $x_{\rm max}$ den VTF–Endwert 1. Die Wahrscheinlichkeit, dass die Zufallgröße $X$ einen Wert zwischen 3 und 4 annimmt, kann sowohl aus der WDF als auch aus der VTF ermittelt werden:
Weiterhin ist zu beachten:
- Das Ergebnis $X$ = 0 ist bei dieser Zufallsgröße ausgeschlossen ⇒ Pr( $X$ = 0) = 0.
- Das Ergebnis $X$ = 4 ist dagegen durchaus möglich. Trotzdem gilt auch hier Pr($X$ = 4) = 0.
