PDF, CDF and Moments of Special Distributions
Contents
Programmbeschreibung
Das Applet stellt die Beschreibungsformen zweier wertkoninuierlicher Zufallsgrößen X und Y vergleichend gegenüber, wobei für die rote Zufallsgröße X und die blaue Zufallsgröße Y jeweils folgende Grundformen zur Auswahl stehen:
- Gaußverteilung, Gleichverteilung, Exponentialverteilung, Laplaceverteilung, Rayleighverteilung, Riceverteilung, Dreieckverteilung, Cosinusverteilung.
Die folgenden Angaben beziehen sich auf die Zufallsgrößen X. Graphisch dargestellt werden
- die Wahrscheinlichkeitsdichtefunktion fX(x) (oben) und
- die Verteilungsfunktion FX(x) (unten).
Zusätzlich werden noch einige integrale Kenngrößen ausgegeben, nämlich
- der lineare Mittelwert E[X] (=mX),
- der quadratische Mittelwert E[X2],
- die Varianz σ2=E[X2]−m2X,
- die Standardabweichung (oder Streuung) σ,
- die Charliersche Schiefe SX,
- die Kurtosis KX.
Das Applet verwendet das Framework Plot.ly
Definition und Eigenschaften der dargestellten Beschreibungsgrößen
In diesem Applet betrachten wir ausschließlich (wert–)kontinuierliche Zufallsgrößen, also solche, deren mögliche Zahlenwerte nicht abzählbar sind. Zumindest in gewissen Intervallen ... ???
Alle Beispiele Gauß
Wahrscheinlichkeitsdichtefunktion (WDF)
Bei einer kontinuierlichen Zufallsgröße X sind die Wahrscheinlichkeiten, dass X ganz bestimmte Werte x annimmt, identisch Null: Pr(X=x)≡0. Deshalb muss zur Beschreibung einer kontinuierlichen Zufallsgröße stets auf die Wahrscheinlichkeitsdichtefunktion – abgekürzt WDF – übergegangen werden.
Definition: Der Wert der Wahrscheinlichkeitsdichtefunktion fX(x) an der Stelle x ist gleich der Wahrscheinlichkeit, dass der Momentanwert der Zufallsgröße X in einem (unendlich kleinen) Intervall der Breite Δx um x liegt, dividiert durch Δx:
- f_X(x) = \lim_{ {\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0} \frac{ {\rm Pr} \big [x - {\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/2 \big ] }{ {\rm \Delta} x}.
Die englische Bezeichnung für die Wahrscheinlichkeitsdichtefunktion (WDF) ist Probability Density Function (PDF).
Die WDF weist folgende Eigenschaften auf:
- Für die Wahrscheinlichkeit, dass die Zufallsgröße X im Bereich zwischen x_{\rm u} und x_{\rm o} > x_{\rm u} liegt, gilt:
- {\rm Pr}(x_{\rm u} \le X \le x_{\rm o}) = \int_{x_{\rm u}}^{x_{\rm o}} f_{X}(x) \ {\rm d}x.
- Als wichtige Normierungseigenschaft ergibt sich daraus für die Fläche unter der WDF mit den Grenzübergängen x_{\rm u} → \hspace{0.1cm} – \hspace{0.05cm} ∞ und x_{\rm o} → +∞:
- \int_{-\infty}^{+\infty} f_{X}(x) \ {\rm d}x = 1.
Verteilungsfunktion (VTF)
Die Verteilungsfunktion – abgekürzt \rm VTF – liefert die gleiche Information über die Zufallsgröße X wie die Wahrscheinlichkeitsdichtefunktion.
\text{Definition:} Die Verteilungsfunktion F_{X}(x) entspricht der Wahrscheinlichkeit, dass die Zufallsgröße X kleiner oder gleich einem reellen Zahlenwert x ist:
- F_{X}(x) = {\rm Pr}( X \le x).
Die englische Bezeichnung für die Verteilungsfunktion (VTF) ist Cumulative Distribution Function (CDF).
Die VTF weist folgende Eigenschaften auf:
- Die Verteilungsfunktion ist aus der Wahrscheinlichkeitsdichtefunktion f_{X}(x) durch Integration berechenbar. Es gilt:
- F_{X}(x) = \int_{-\infty}^{x}f_X(\xi)\,{\rm d}\xi.
- Da die WDF nie negativ ist, steigt F_{X}(x) zumindest schwach monoton an, und liegt stets zwischen den folgenden Grenzwerten
- F_{X}(x → \hspace{0.1cm} – \hspace{0.05cm} ∞) = 0, \hspace{0.5cm}F_{X}(x → +∞) = 1.
- Umgekehrt lässt sich die Wahrscheinlichkeitsdichtefunktion aus der Verteilungsfunktion durch Differentiation bestimmen:
- f_{X}(x)=\frac{{\rm d} F_{X}(\xi)}{{\rm d}\xi}\Bigg |_{\hspace{0.1cm}x=\xi}.
- Für die Wahrscheinlichkeit, dass die Zufallsgröße X im Bereich zwischen x_{\rm u} und x_{\rm o} > x_{\rm u} liegt, gilt:
- {\rm Pr}(x_{\rm u} \le X \le x_{\rm o}) = F_{X}(x_{\rm o}) - F_{X}(x_{\rm u}).
Erwartungswerte und Momente
Die Wahrscheinlichkeitsdichtefunktion bietet ebenso wie die Verteilungsfunktion sehr weitreichende Informationen über die betrachtete Zufallsgröße. Weniger, aber dafür kompaktere Informationen liefern die so genannten Erwartungswerte und Momente.
\text{Definition:} Der Erwartungswert bezüglich einer beliebigen Gewichtungsfunktion g(x) kann mit der WDF f_{\rm X}(x) in folgender Weise berechnet werden:
- {\rm E}\big[g (X ) \big] = \int_{-\infty}^{+\infty} g(x)\cdot f_{X}(x) \,{\rm d}x.
Setzt man in diese Gleichung für g(X) = x^k ein, so erhält man das Moment k-ter Ordnung:
- m_k = {\rm E}\big[X^k \big] = \int_{-\infty}^{+\infty} x^k\cdot f_{X} (x ) \, {\rm d}x.
Aus dieser Gleichung erhält man
- mit k = 1 für den linearen Mittelwert:
- m_1 = {\rm E}\big[X \big] = \int_{-\infty}^{ \rm +\infty} x\cdot f_{X} (x ) \,{\rm d}x,
- mit k = 2 für den quadratischen Mittelwert:
- m_2 = {\rm E}\big[X^{\rm 2} \big] = \int_{-\infty}^{ \rm +\infty} x^{ 2}\cdot f_{ X} (x) \,{\rm d}x.
In Zusammenhang mit Signalen sind auch folgende Bezeichnungen üblich:
- m_1 gibt den Gleichanteil an,
- m_2 entspricht der (auf den Einheitswiderstand 1 \ Ω bezogenen) Signalleistung.
Bezeichnet X beispielsweise eine Spannung, so hat nach diesen Gleichungen m_1 die Einheit {\rm V} und m_2 die Einheit {\rm V}^2. Will man die Leistung in „Watt” \rm (W) angeben, so muss m_2 noch durch den Widerstandswert R dividiert werden.
Zentralmomente
Besondere Bedeutung haben in der Statistik allgemein die so genannten Zentralmomente, von denen viele Kenngrößen abgeleitet werden,
\text{Definition:} Die Zentralmomente sind im Gegensatz zu den herkömmlichen Momenten jeweils auf den Mittelwert m_1 bezogen. Für diese gilt mit k = 1, \ 2, ...:
- \mu_k = {\rm E}\big[(X-m_{\rm 1})^k\big] = \int_{-\infty}^{+\infty} (x-m_{\rm 1})^k\cdot f_x(x) \,\rm d \it x.
- Bei mittelwertfreien Zufallsgrößen stimmen die zentrierten Momente \mu_k mit den nichtzentrierten Momente m_k überein.
- Das Zentralmoment erster Ordnung ist definitionsgemäß gleich \mu_1 = 0.
- Die nichtzentrierten Momente m_k und die Zentralmomente \mu_k können direkt ineinander umgerechnet werden. Mit m_0 = 1 und \mu_0 = 1 gilt dabei:
- \mu_k = \sum\limits_{\kappa= 0}^{k} \left( \begin{array}{*{2}{c}} k \\ \kappa \\ \end{array} \right)\cdot m_\kappa \cdot (-m_1)^{k-\kappa},
- m_k = \sum\limits_{\kappa= 0}^{k} \left( \begin{array}{*{2}{c}} k \\ \kappa \\ \end{array} \right)\cdot \mu_\kappa \cdot {m_1}^{k-\kappa}.
Einige häufig benutzte Zentralmomente
Aus der letzten Definition können folgende statistische Kenngrößen abgeleitet werden:
\text{Definition:} Die Varianz der betrachteten Zufallsgröße X ist das Zentralmoment zweiter Ordnung:
- \mu_2 = {\rm E}\big[(X-m_{\rm 1})^2\big] = \sigma_X^2.
- Die Varianz σ_X^2 entspricht physikalisch der „Wechselleistung” und die Streung σ_X (oder auch Standardabweichung) gibt den „Effektivwert” an.
- Aus dem linearen und dem quadratischen Mittelwert ist die Varianz nach dem Satz von Steiner in folgender Weise berechenbar: \sigma_X^{2} = {\rm E}\big[X^2 \big] - {\rm E}^2\big[X \big].
\text{Definition:} Die Charliersche Schiefe S_X der betrachteten Zufallsgröße X bezeichnet das auf σ_X^3 bezogene dritte Zentralmoment.
- Bei symmetrischer Dichtefunktion ist die Kenngröße S_X sets Null.
- Je größer S_X = \mu_3/σ_X^3 ist, um so unsymmetrischer verläuft die WDF um den Mittelwert m_X.
- Beispielsweise ergibt sich für die Exponentialverteilung die Schiefe S_X =2, und zwar unabhängig vom Verteilungsparameter λ.
\text{Definition:} Als Kurtosis der betrachteten Zufallsgröße X bezeichnet man den Quotienten K_X = \mu_4/σ_X^4 (\mu_4: Zentralmoment vierter Ordnung).
- Bei einer gaußverteilten Zufallsgröße ergibt sich hierfür immer der Wert K_X = 3.
- Anhand dieser Kenngröße kann man beispielsweise überprüfen, ob eine vorliegende Zufallsgröße tatsächlich gaußisch ist.
Zusammenstellung einiger wertkontinuierlicher Zufallsgrößen
Das Applet berücksichtigt folgende Verteilungen: Gaußverteilung, Gleichverteilung, ...
Gaußverteilte Zufallsgrößen
(1) Wahrscheinlichkeitsdichtefunktion
- f_X(x) = \frac{1}{\sqrt{2\pi}\cdot\sigma_X}\cdot {\rm e}^{-(X-m_X)^2 /(2\sigma_X^2) }.
WDF–Parameter:
- m_X (Mittelwert bzw. Gleichanteil),
- σ_X (Streuung bzw. Effektivwert).
(2) Verteilungsfunktion (punktsymmetrisch um m_X)
- F_X(x)= \phi(\frac{\it x-m_X}{\sigma_X})\hspace{0.5cm}\rm mit\hspace{0.5cm}\rm \phi (\it x\rm ) = \frac{\rm 1}{\sqrt{\rm 2\it \pi}}\int_{-\rm\infty}^{\it x} \rm e^{\it -u^{\rm 2}/\rm 2}\,\, d \it u.
ϕ(x): Gaußsches Fehlerintegral (nicht analytisch berechenbar, muss aus Tabellen entnommen werden).
(3) Zentralmomente
- \mu_{k}=(k- 1)\cdot (k- 3) \ \cdots \ 3\cdot 1\cdot\sigma_X^k\hspace{0.2cm}\rm (falls\hspace{0.1cm}\it k\hspace{0.1cm}\rm gerade).
- Charliersche Schiefe S_X = 0, da \mu_3 = 0 (WDF symmetrisch um m_X),
- Kurtosis K_X = 3, da \mu_4 = 3 \cdot σ_X^4 ⇒ K_X = 3 ergibt sich nur für die Gauß–WDF.
(4) Weitere Bemerkungen
- Die Namensgebung geht dabei auf den bedeutenden Mathematiker, Physiker und Astronomen Carl Friedrich Gauß zurück.
- Ist m_X = 0 und σ_X = 1, so spricht man oft auch von der Normalverteilung.
- Die Streuung kann aus der glockenförmigen WDF f_{X}(x) auch grafisch ermittelt werden (Abstand von Maximalwert und Wendepunkt).
- Zufallsgrößen mit Gaußscher WDF sind wirklichkeitsnahe Modelle für viele physikalische Größen; auch für die Nachrichtentechnik von großer Bedeutung.
- Die Summe vieler kleiner und voneinander unabhängigen Komponenten ⇒ Zentraler Grenzwertsatz der Statistik ⇒ Grundlage für Rauschprozesse.
- Legt man ein gaußverteiltes Signal zur spektralen Formung an ein lineares Filter, so ist das Ausgangssignal ebenfalls gaußverteilt.
Gleichverteilte Zufallsgrößen
(1) Wahrscheinlichkeitsdichtefunktion
- f_X(x) = \frac{1}{\sqrt{2\pi}\cdot\sigma_X}\cdot {\rm e}^{-(X-m_X)^2 /(2\sigma_X^2) }.
WDF–Parameter:
- m_X (Mittelwert bzw. Gleichanteil),
- σ_X (Streuung bzw. Effektivwert).
\text{Beispiel 1:} Die Grafik zeigt im Vergleich
- links ein Gaußsches Zufallssignal x_1(t) und
- rechts ein gleichverteiltes Signal x_2(t) mit
gleichem Mittelwert m_1 und gleicher Streuung σ.
Man erkennt, dass bei der Gaußverteilung im Gegensatz zur Gleichverteilung
- beliebig große und beliebig kleine Amplitudenwerte auftreten können,
- auch wenn diese unwahrscheinlich sind im Vergleich zum mittleren Amplitudenbereich.
\text{Beispiel 1:} Die Grafik zeigt einen Ausschnitt eines stochastischen Rauschsignals x(t), dessen Momentanwert als eine kontinuierliche Zufallsgröße x aufgefasst werden kann.
- Aus der rechts dargestellten Wahrscheinlichkeitsdichtefunktion (WDF) erkennt man, dass bei diesem Beispielsignal Momentanwerte um den Mittelwert m_1 am häufigsten auftreten.
- Da zwischen den Abtastwerten x_ν keine statistischen Bindungen bestehen, bezeichnet man ein solches Signal auch als „Weißes Rauschen”.
Versuchsdurchführung
- Wählen Sie zunächst die Nummer (1, ...) der zu bearbeitenden Aufgabe.
- Eine Aufgabenbeschreibung wird angezeigt. Die Parameterwerte sind angepasst.
- Lösung nach Drücken von „Musterlösung”.
- Bei der Aufgabenbeschreibung verwenden wir \rho anstelle von \rho_{XY}.
- Für die „1D-WDF” gilt: f_{X}(x) = \sqrt{1/(2\pi \cdot \sigma_X^2)} \cdot {\rm e}^{-x^2/(2 \hspace{0.05cm}\cdot \hspace{0.05cm} \sigma_X^2)}.
Die Nummer 0 entspricht einem „Reset”:
- Gleiche Einstellung wie beim Programmstart.
- Ausgabe eines „Reset–Textes” mit weiteren Erläuterungen zum Applet.
(1) Machen Sie sich anhand der Voreinstellung (\sigma_X=1, \ \sigma_Y=0.5, \ \rho = 0.7) mit dem Programm vertraut. Interpretieren Sie die Grafiken für \rm WDF und \rm VTF.
- \rm WDF ist ein Bergrücken mit dem Maximum bei x = 0, \ y = 0. Der Bergkamm ist leicht verdreht gegenüber der x–Achse.
- \rm VTF ergibt sich aus \rm WDF durch fortlaufende Integration in beide Richtungen. Das Maximum (nahezu 1) tritt bei x=3, \ y=3 auf.
(2) Nun lautet die Einstellung \sigma_X= \sigma_Y=1, \ \rho = 0. Welche Werte ergeben sich für f_{XY}(0,\ 0) und F_{XY}(0,\ 0)? Interpretieren Sie die Ergebnisse.
- Das WDF–Maximum ist f_{XY}(0,\ 0) = 1/(2\pi)= 0.1592, wegen \sigma_X= \sigma_Y = 1, \ \rho = 0. Die Höhenlinien sind Kreise.
- Für den VTF-Wert gilt: F_{XY}(0,\ 0) = [{\rm Pr}(X \le 0)] \cdot [{\rm Pr}(Y \le 0)] = 0.25. Geringfügige Abweichung wegen numerischer Integration.
(3) Es gelten weiter die Einstellungen von (2). Welche Werte ergeben sich für f_{XY}(0,\ 1) und F_{XY}(0,\ 1)? Interpretieren Sie die Ergebnisse.
- Es gilt f_{XY}(0,\ 1) = f_{X}(0) \cdot f_{Y}(1) = [ \sqrt{1/(2\pi)}] \cdot [\sqrt{1/(2\pi)} \cdot {\rm e}^{-0.5}] = 1/(2\pi) \cdot {\rm e}^{-0.5} = 0.0965.
- Das Programm liefert F_{XY}(0,\ 1) = [{\rm Pr}(X \le 0)] \cdot [{\rm Pr}(Y \le 1)] = 0.4187, also einen größeren Wert als in (2), da weiter integriert wird.
(4) Die Einstellungen bleiben erhalten. Welche Werte ergeben sich für f_{XY}(1,\ 0) und F_{XY}(1,\ 0)? Interpretieren Sie die Ergebnisse.
- Aufgrund der Rotationssysmmetrie gleiche Ergebnisse wie in (3).
(5) Stimmt die Aussage: „Elliptische Höhenlinien gibt es nur für \rho \ne 0”. Interpretieren Sie die \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF und \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}VTF für \sigma_X=1, \ \sigma_Y=0.5 und \rho = 0.
- Nein! Auch für \ \rho = 0 sind die Höhenlinien elliptisch (nicht kreisförmig), falls \sigma_X \ne \sigma_Y.
- Für \sigma_X \gg \sigma_Y hat die \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF die Form eines langgestreckten Bergkamms parallel zur x–Achse, für \sigma_X \ll \sigma_Y parallel zur y–Achse.
- Für \sigma_X \gg \sigma_Y ist der Anstieg der \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}VTF in Richtung der y–Achse deutlich steiler als in Richtung der x–Achse.
(6) Variieren Sie ausgehend von \sigma_X=\sigma_Y=1, \ \rho = 0.7 den Korrelationskoeffizienten \rho. Wie groß ist der Neigungswinkel \alpha der Ellipsen–Hauptachse?
- Für \rho > 0 ist \alpha = 45^\circ und für \rho < 0 ist \alpha = -45^\circ. Für \rho = 0 sind die Höhenlinien kreisfömig und somit gibt es auch keine Ellipsen–Hauptachse.
(7) Variieren Sie ausgehend von \sigma_X=\sigma_Y=1, \ \rho = 0.7 den Korrelationskoeffizienten \rho > 0. Wie groß ist der Neigungswinkel \theta der Korrelationsgeraden K(x)?
- Für \sigma_X=\sigma_Y ist \theta={\rm arctan}\ (\rho). Die Steigung nimmt mit wachsendem \rho > 0 zu. In allen Fällen gilt \theta < \alpha = 45^\circ. Für \rho = 0.7 ergibt sich \theta = 35^\circ.
(8) Variieren Sie ausgehend von \sigma_X=\sigma_Y=0.75, \ \rho = 0.7 die Parameter \sigma_Y und \rho \ (>0). Welche Aussagen gelten für die Winkel \alpha und \theta?
- Für \sigma_Y<\sigma_X ist \alpha < 45^\circ und für \sigma_Y>\sigma_X dagegen \alpha > 45^\circ.
- Bei allen Einstellungen gilt: Die Korrelationsgerade liegt unter der Ellipsen–Hauptachse.
(9) Gehen Sie von \sigma_X= 1, \ \sigma_Y=0.75, \ \rho = 0.7 aus und variieren Sie \rho. Wie könnte man die Korrelationsgerade aus den Höhenlinien konstruieren?
- Die Korrelationsgerade schneidet alle Höhenlinien an den Punkten, an denen die Tangente zu der Höhenlinie senkrecht verläuft.
(10) Nun gelte \sigma_X= \sigma_Y=1, \ \rho = 0.95. Interpretieren Sie die \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF. Welche Aussagen würden für den Grenzfall \rho \to 1 zutreffen?
- Die \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF hat nur Anteile in der Nähe der Ellipsen–Hauptachse. Die Korrelationsgerade liegt nur knapp darunter: \alpha = 45^\circ, \ \theta = 43.5^\circ.
- Im Grenzfall \rho \to 1 wäre \theta = \alpha = 45^\circ. Außerhalb der Korrelationsgeraden hätte die \rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF keine Anteile. Das heißt:
- Längs der Korrelationsgeraden ergäbe sich eine Diracwand ⇒ Alle Werte sind unendlich groß, trotzdem um den Mittelwert gaußisch gewichtet.
Zur Handhabung des Applets
(A) Parametereingabe per Slider: \sigma_X, \sigma_Y und \rho
(B) Auswahl: Darstellung von WDF oder VTF
(C) Reset: Einstellung wie beim Programmstart
(D) Höhenlinien darstellen anstelle von „1D-WDF”
(E) Darstellungsbereich für „2D-WDF”
(F) Manipulation der 3D-Grafik (Zoom, Drehen, ...)
(G) Darstellungsbereich für „1D-WDF” bzw. „Höhenlinien”
(H) Manipulation der 2D-Grafik („1D-WDF”)
( I ) Bereich für die Versuchsdurchführung: Aufgabenauswahl
(J) Bereich für die Versuchsdurchführung: Aufgabenstellung
( L) Bereich für die Versuchsdurchführung: Musterlösung
Werte–Ausgabe über Maussteuerung (sowohl bei 2D als auch bei 3D)
Über die Autoren
Dieses interaktive Berechnungstool wurde am Lehrstuhl für Nachrichtentechnik der Technischen Universität München konzipiert und realisiert.
- Die erste Version wurde 2003 von Ji Li im Rahmen ihrer Diplomarbeit mit „FlashMX–Actionscript” erstellt (Betreuer: Günter Söder).
- 2019 wurde das Programm von Carolin Mirschina im Rahmen einer Werkstudententätigkeit auf „HTML5” umgesetzt und neu gestaltet (Betreuer: Tasnád Kernetzky).
Die Umsetzung dieses Applets auf HTML 5 wurde durch Studienzuschüsse der Fakultät EI der TU München finanziell unterstützt. Wir bedanken uns.