Two-dimensional Gaussian Random Variables

Open Applet in new Tab Deutsche Version Öffnen

Applet Description

Das Applet verdeutlicht die Eigenschaften zweidimensionaler Gaußscher Zufallsgrößen $XY\hspace{-0.1cm}$, gekennzeichnet durch die Standardabweichungen (Streuungen) $\sigma_X$ und $\sigma_Y$ ihrer beiden Komponenten sowie den Korrelationskoeffizienten $\rho_{XY}$ zwischen diesen. Die Komponenten werden als mittelwertfrei vorausgesetzt: $m_X = m_Y = 0$.

Das Applet zeigt

die zweidimensionale Wahrscheinlichkeitsdichtefunktion ⇒ $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF$ $f_{XY}(x, \hspace{0.1cm}y)$ in dreidimensionaler Darstellung sowie in Form von Höhenlinien,
die zugehörige Randwahrscheinlichkeitsdichtefunktion ⇒ $\rm 1D\hspace{-0.1cm}-\hspace{-0.1cm}WDF$ $f_{X}(x)$ der Zufallsgröße $X$ als blaue Kurve; ebenso $f_{Y}(y)$ für die zweite Zufallsgröße,
die zweidimensionale Verteilungsfunktion ⇒ $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}VTF$ $F_{XY}(x, \hspace{0.1cm}y)$ als 3D-Plot,
die Verteilungsfunktion ⇒ $\rm 1D\hspace{-0.1cm}-\hspace{-0.1cm}VTF$ $F_{X}(x)$ der Zufallsgröße $X$; ebenso $F_{Y}(y)$ als rote Kurve.

Das Applet verwendet das Framework Plot.ly

Theoretical Background

Verbundwahrscheinlichkeitsdichtefunktion ⇒ 2D–WDF

Wir betrachten zwei wertkontinuierliche Zufallsgrößen $X$ und $Y\hspace{-0.1cm}$, zwischen denen statistische Abhängigkeiten bestehen können. Zur Beschreibung der Wechselbeziehungen zwischen diesen Größen ist es zweckmäßig, die beiden Komponenten zu einer zweidimensionalen Zufallsgröße $XY =(X, Y)$ zusammenzufassen. Dann gilt:

$\text{Definition:}$ Die Verbundwahrscheinlichkeitsdichtefunktion ist die Wahrscheinlichkeitsdichtefunktion (WDF, englisch: Probability Density Function, kurz: PDF) der zweidimensionalen Zufallsgröße $XY$ an der Stelle $(x, y)$:

$$f_{XY}(x, \hspace{0.1cm}y) = \lim_{\left.{\Delta x\rightarrow 0 \atop {\Delta y\rightarrow 0} }\right.}\frac{ {\rm Pr}\big [ (x - {\rm \Delta} x/{\rm 2} \le X \le x + {\rm \Delta} x/{\rm 2}) \cap (y - {\rm \Delta} y/{\rm 2} \le Y \le y +{\rm \Delta}y/{\rm 2}) \big] }{ {\rm \Delta} \ x\cdot{\rm \Delta} y}.$$

Die Verbundwahrscheinlichkeitsdichtefunktion oder kurz $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF$ ist eine Erweiterung der eindimensionalen WDF.
$∩$ kennzeichnet die logische UND-Verknüpfung.
$X$ und $Y$ bezeichnen die beiden Zufallsgrößen, und $x \in X$ sowie $y \in Y$ geben Realisierungen hiervon an.
Die für dieses Applet verwendete Nomenklatur unterscheidet sich also geringfügig gegenüber der Beschreibung im Theorieteil.

Anhand dieser 2D–WDF $f_{XY}(x, y)$ werden auch statistische Abhängigkeiten innerhalb der zweidimensionalen Zufallsgröße $XY$ vollständig erfasst im Gegensatz zu den beiden eindimensionalen Dichtefunktionen ⇒ Randwahrscheinlichkeitsdichtefunktionen:

$$f_{X}(x) = \int _{-\infty}^{+\infty} f_{XY}(x,y) \,\,{\rm d}y ,$$

$$f_{Y}(y) = \int_{-\infty}^{+\infty} f_{XY}(x,y) \,\,{\rm d}x .$$

Diese beiden Randdichtefunktionen $f_X(x)$ und $f_Y(y)$

liefern lediglich statistische Aussagen über die Einzelkomponenten $X$ bzw. $Y$,
nicht jedoch über die Bindungen zwischen diesen.

Als quantitatives Maß für die linearen statistischen Bindungen ⇒ Korrelation verwendet man

die Kovarianz $\mu_{XY}$, die bei mittelwertfreien Komponenten gleich dem gemeinsamen linearen Moment erster Ordnung ist:

$$\mu_{XY} = {\rm E}\big[X \cdot Y\big] = \int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} X \cdot Y \cdot f_{XY}(x,y) \,{\rm d}x \, {\rm d}y ,$$

den Korrelationskoeffizienten nach Normierung auf die beiden Effektivwerte $σ_X$ und $σ_Y$ der beiden Komponenten:

$$\rho_{XY}=\frac{\mu_{XY} }{\sigma_X \cdot \sigma_Y}.$$

$\text{Eigenschaften des Korrelationskoeffizienten:}$

Aufgrund der Normierung gilt stets $-1 \le ρ_{XY} ≤ +1$.
Sind die beiden Zufallsgrößen $X$ und $Y$ unkorreliert, so ist $ρ_{XY} = 0$.
Bei strenger linearer Abhängigkeit zwischen $X$ und $Y$ ist $ρ_{XY}= ±1$ ⇒ vollständige Korrelation.
Ein positiver Korrelationskoeffizient bedeutet, dass bei größerem $X$–Wert im statistischen Mittel auch $Y$ größer ist als bei kleinerem $X$.
Dagegen drückt ein negativer Korrelationskoeffizient aus, dass $Y$ mit steigendem $X$ im Mittel kleiner wird.

2D–WDF bei Gaußschen Zufallsgrößen

Für den Sonderfall Gaußscher Zufallsgrößen – der Name geht auf den Wissenschaftler Carl Friedrich Gauß zurück – können wir weiterhin vermerken:

Die Verbund–WDF einer Gaußschen 2D-Zufallsgröße $XY$ mit Mittelwerten $m_X = 0$ und $m_Y = 0$ sowie dem Korrelationskoeffizienten $ρ = ρ_{XY}$ lautet:

$$f_{XY}(x,y)=\frac{\rm 1}{\rm 2\it\pi \cdot \sigma_X \cdot \sigma_Y \cdot \sqrt{\rm 1-\rho^2}}\ \cdot\ \exp\Bigg[-\frac{\rm 1}{\rm 2 \cdot (1-\it\rho^{\rm 2} {\rm)}}\cdot(\frac {\it x^{\rm 2}}{\sigma_X^{\rm 2}}+\frac {\it y^{\rm 2}}{\sigma_Y^{\rm 2}}-\rm 2\it\rho\cdot\frac{x \cdot y}{\sigma_x \cdot \sigma_Y}\rm ) \rm \Bigg]\hspace{0.8cm}{\rm mit}\hspace{0.5cm}-1 \le \rho \le +1.$$

Ersetzt man $x$ durch $(x - m_X)$ sowie $y$ durch $(y- m_Y)$, so ergibt sich die allgemeinere WDF einer zweidimensionalen Gaußschen Zufallsgröße mit Mittelwert.
Die Randwahrscheinlichkeitsdichtefunktionen $f_{X}(x)$ und $f_{Y}(y)$ einer Gaußschen 2D-Zufallsgröße sind ebenfalls gaußförmig mit den Streuungen $σ_X$ bzw. $σ_Y$.
Bei unkorrelierten Komponenten $X$ und $Y$ muss in obiger Gleichung $ρ = 0$ eingesetzt werden, und man erhält dann das Ergebnis:

$$f_{XY}(x,y)=\frac{1}{\sqrt{2\pi}\cdot\sigma_{X}} \cdot\rm e^{-\it {x^{\rm 2}}\hspace{-0.08cm}/{\rm (}{\rm 2\hspace{0.05cm}\it\sigma_{X}^{\rm 2}} {\rm )}} \cdot\frac{1}{\sqrt{2\pi}\cdot\sigma_{\it Y}}\cdot e^{-\it {y^{\rm 2}}\hspace{-0.08cm}/{\rm (}{\rm 2\hspace{0.05cm}\it\sigma_{Y}^{\rm 2}} {\rm )}} = \it f_{X} \rm ( \it x \rm ) \cdot \it f_{Y} \rm ( \it y \rm ) .$$

$\text{Fazit:}$ Im Sonderfall einer 2D-Zufallsgröße mit Gaußscher WDF $f_{XY}(x, y)$ folgt aus der Unkorreliertheit auch direkt die statistische Unabhängigkeit:

$$f_{XY}(x,y)= f_{X}(x) \cdot f_{Y}(y) . $$

Bitte beachten Sie:

Bei keiner anderen WDF kann aus der Unkorreliertheit auf die statistische Unabhängigkeit geschlossen werden.
Man kann aber stets ⇒ für jede beliebige 2D–WDF $f_{XY}(x, y)$ von der statistischen Unabhängigkeit auf die Unkorreliertheit schließen, weil:
Sind zwei Zufallsgrößen $X$ und $Y$ völlig voneinander (statistisch) unabhängig, so gibt es zwischen ihnen natürlich auch keine linearen Abhängigkeiten
⇒ sie sind dann auch unkorreliert ⇒ $ρ = 0$.

Höhenlinien bei unkorrelierten Zufallsgrößen

rechts

Aus der Bedingungsgleichung $f_{XY}(x, y) = {\rm const.}$ können die Höhenlinien der WDF berechnet werden.

Sind die Komponenten $X$ und $Y$ unkorreliert $(ρ_{XY} = 0)$, so erhält man als Gleichung für die Höhenlinien:

$$\frac{x^{\rm 2}}{\sigma_{X}^{\rm 2}}+\frac{y^{\rm 2}}{\sigma_{Y}^{\rm 2}} =\rm const.$$

Die Höhenlinien beschreiben in diesem Fall folgende Figuren:

Kreise (falls $σ_X = σ_Y$, grüne Kurve), oder
Ellipsen (für $σ_X ≠ σ_Y$, blaue Kurve) in Ausrichtung der beiden Achsen.

Korrelationsgerade

Als Korrelationsgerade bezeichnet man die Gerade $y = K(x)$ in der $(x, y)$–Ebene durch den „Mittelpunkt” $(m_X, m_Y)$. Diese besitzt folgende Eigenschaften:

Gaußsche 2D-WDF (Approximation mit $N$ Messpunkten) und
Korrelationsgerade $y = K(x)$

Die mittlere quadratische Abweichung von dieser Geraden – in $y$–Richtung betrachtet und über alle $N$ Messpunkte gemittelt – ist minimal:

$$\overline{\varepsilon_y^{\rm 2} }=\frac{\rm 1}{N} \cdot \sum_{\nu=\rm 1}^{N}\; \;\big [y_\nu - K(x_{\nu})\big ]^{\rm 2}={\rm Minimum}.$$

Die Korrelationsgerade kann als eine Art „statistische Symmetrieachse“ interpretiert werden. Die Geradengleichung lautet im allgemeinen Fall:

$$y=K(x)=\frac{\sigma_Y}{\sigma_X}\cdot\rho_{XY}\cdot(x - m_X)+m_Y.$$

Der Winkel, den die Korrelationsgerade zur $x$–Achse einnimmt, beträgt:

$$\theta={\rm arctan}(\frac{\sigma_{Y} }{\sigma_{X} }\cdot \rho_{XY}).$$

Höhenlinien bei korrelierten Zufallsgrößen

Bei korrelierten Komponenten $(ρ_{XY} ≠ 0)$ sind die Höhenlinien der WDF (fast) immer elliptisch, also auch für den Sonderfall $σ_X = σ_Y$.

Ausnahme: $ρ_{XY}=\pm 1$ ⇒ Diracwand; siehe Aufgabe 4.4 im Buch „Stochastische Signaltheorie”, Teilaufgabe (5).

Höhenlinien der 2D-WDF bei korrelierten Größen

Hier lautet die Bestimmungsgleichung der WDF-Höhenlinien:

$$f_{XY}(x, y) = {\rm const.} \hspace{0.5cm} \Rightarrow \hspace{0.5cm} \frac{x^{\rm 2} }{\sigma_{X}^{\rm 2}}+\frac{y^{\rm 2} }{\sigma_{Y}^{\rm 2} }-{\rm 2}\cdot\rho_{XY}\cdot\frac{x\cdot y}{\sigma_X\cdot \sigma_Y}={\rm const.}$$

Die Grafik zeigt in hellerem Blau für zwei unterschiedliche Parametersätze je eine Höhenlinie.

Die Ellipsenhauptachse ist dunkelblau gestrichelt.
Die Korrelationsgerade $K(x)$ ist durchgehend rot eingezeichnet.

Anhand dieser Darstellung sind folgende Aussagen möglich:

Die Ellipsenform hängt außer vom Korrelationskoeffizienten $ρ_{XY}$ auch vom Verhältnis der beiden Streuungen $σ_X$ und $σ_Y$ ab.
Der Neigungswinkel $α$ der Ellipsenhauptachse (gestrichelte Gerade) gegenüber der $x$–Achse hängt ebenfalls von $σ_X$, $σ_Y$ und $ρ_{XY}$ ab:

$$\alpha = {1}/{2} \cdot {\rm arctan } \big ( 2 \cdot \rho_{XY} \cdot \frac {\sigma_X \cdot \sigma_Y}{\sigma_X^2 - \sigma_Y^2} \big ).$$

Die (rote) Korrelationsgerade $y = K(x)$ einer Gaußschen 2D–Zufallsgröße liegt stets unterhalb der (blau gestrichelten) Ellipsenhauptachse.
$K(x)$ kann aus dem Schnittpunkt der Höhenlinien und ihrer vertikalen Tangenten geometrisch konstruiert werden, wie in der Skizze in grüner Farbe angedeutet.

Zweidimensionale Verteilungsfunktion ⇒ 2D–VTF

$\text{Definition:}$ Die 2D-Verteilungsfunktion ist ebenso wie die 2D-WDF lediglich eine sinnvolle Erweiterung der eindimensionalen Verteilungsfunktion (VTF):

$$F_{XY}(x,y) = {\rm Pr}\big [(X \le x) \cap (Y \le y) \big ] .$$

Es ergeben sich folgende Gemeinsamkeiten und Unterschiede zwischen der „1D-VTF” und der„ 2D-VTF”:

Der Funktionalzusammenhang zwischen „2D–WDF” und „2D–VTF” ist wie im eindimensionalen Fall durch die Integration gegeben, aber nun in zwei Dimensionen. Bei kontinuierlichen Zufallsgrößen gilt:

$$F_{XY}(x,y)=\int_{-\infty}^{y} \int_{-\infty}^{x} f_{XY}(\xi,\eta) \,\,{\rm d}\xi \,\, {\rm d}\eta .$$

Umgekehrt lässt sich die Wahrscheinlichkeitsdichtefunktion aus der Verteilungsfunktion durch partielle Differentiation nach $x$ und $y$ angeben:

$$f_{XY}(x,y)=\frac{{\rm d}^{\rm 2} F_{XY}(\xi,\eta)}{{\rm d} \xi \,\, {\rm d} \eta}\Bigg|_{\left.{x=\xi \atop {y=\eta}}\right.}.$$

Bezüglich der Verteilungsfunktion $F_{XY}(x, y)$ gelten folgende Grenzwerte:

$$F_{XY}(-\infty,\ -\infty) = 0,\hspace{0.5cm}F_{XY}(x,\ +\infty)=F_{X}(x ),\hspace{0.5cm} F_{XY}(+\infty,\ y)=F_{Y}(y ) ,\hspace{0.5cm}F_{XY}(+\infty,\ +\infty) = 1.$$

Im Grenzfall $($unendlich große $x$ und $y)$ ergibt sich demnach für die „2D-VTF” der Wert $1$. Daraus erhält man die Normierungsbedingung für die 2D-Wahrscheinlichkeitsdichtefunktion:

$$\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} f_{XY}(x,y) \,\,{\rm d}x \,\,{\rm d}y=1 . $$

$\text{Fazit:}$ Beachten Sie den signifikanten Unterschied zwischen eindimensionalen und zweidimensionalen Zufallsgrößen:

Bei eindimensionalen Zufallsgrößen ergibt die Fläche unter der WDF stets den Wert $1$.
Bei zweidimensionalen Zufallsgrößen ist das WDF-Volumen immer gleich $1$.

Exercises

Select the number $(1,\ 2$, ... $)$ of the task to be processed. The number "0" corresponds to a "Reset": Setting as at the program start.
A task description is displayed. Parameter values are adjusted. Solution after pressing "Sample solution".
In the task description, we use $\rho$ instead of $\rho_{XY}$.
For the one-dimensional Gaussian PDF holds: $f_{X}(x) = \sqrt{1/(2\pi \cdot \sigma_X^2)} \cdot {\rm e}^{-x^2/(2 \hspace{0.05cm}\cdot \hspace{0.05cm} \sigma_X^2)}$.

(1) Get familiar with the program using the default $(\sigma_X=1, \ \sigma_Y=0.5, \ \rho = 0.7)$. Interpret the graphs for $\rm PDF$ and $\rm CDF$.

$\rm PDF$ is a ridge with the maximum at $x = 0, \ y = 0$. The ridge is slightly twisted with respect to the $x$–axis.
$\rm CDF$ is obtained from $\rm PDF$ by continuous integration in both directions. The maximum $($near $1)$ occurs at $x=3, \ y=3$.

(2) The new setting is $\sigma_X= \sigma_Y=1, \ \rho = 0$. What are the values for $f_{XY}(0,\ 0)$ and $F_{XY}(0,\ 0)$? Interpret the results

The PDF maximum is $f_{XY}(0,\ 0) = 1/(2\pi)= 0.1592$, because of $\sigma_X= \sigma_Y = 1, \ \rho = 0$. The contour lines are circles.
For the CDF value: $F_{XY}(0,\ 0) = [{\rm Pr}(X \le 0)] \cdot [{\rm Pr}(Y \le 0)] = 0.25$. Minor deviation due to numerical integration.

(3) The settings of $(2)$ continue to apply. What are the values for $f_{XY}(0,\ 1)$ and $F_{XY}(0,\ 1)$? Interpret the results.

It holds $f_{XY}(0,\ 1) = f_{X}(0) \cdot f_{Y}(1) = [ \sqrt{1/(2\pi)}] \cdot [\sqrt{1/(2\pi)} \cdot {\rm e}^{-0.5}] = 1/(2\pi) \cdot {\rm e}^{-0.5} = 0.0965$.
The program returns $F_{XY}(0,\ 1) = [{\rm Pr}(X \le 0)] \cdot [{\rm Pr}(Y \le 1)] = 0.4187$, i.e. a larger value than in $(2)$, since it integrates over a wider range.

(4) The settings are kept. What values are obtained for $f_{XY}(1,\ 0)$ and $F_{XY}(1,\ 0)$? Interpret the results

Due to rotational symmetry, same results as in $(3)$.

(5) Is the statement true: „Elliptic contour lines exist only for $\rho \ne 0$”. Interpret the $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}PDF$ and $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}CDF$ for $\sigma_X=1, \ \sigma_Y=0.5$ and $\rho = 0$.

No! Also, for $\ \rho = 0$ the contour lines are elliptical (not circular) if $\sigma_X \ne \sigma_Y$.
For $\sigma_X \gg \sigma_Y$ the $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}PDF$ has the shape of an elongated ridge parallel to $x$–axis, for $\sigma_X \ll \sigma_Y$ parallel to $y$–axis.
For $\sigma_X \gg \sigma_Y$ the slope of $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}CDF$ in the direction of the $y$–axis is much steeper than in the direction of the $x$–axis.

(6) Starting from $\sigma_X=\sigma_Y=1\ \rho = 0.7$ vary the correlation coefficient $\rho$. What is the slope angle $\alpha$ of the ellipse main axis?

For $\rho > 0$: $\alpha = 45^\circ$. For $\rho < 0$: $\alpha = -45^\circ$. For $\rho = 0$: The contour lines are circular and thus there are no ellipses main axis.

(7) Starting from $\sigma_X=\sigma_Y=1\ \rho = 0.7$ vary the correlation coefficient $\rho$. What is the slope angle $\theta$ of the correlation line $K(x)$?

For $\sigma_X=\sigma_Y$&:nbsp; $\theta={\rm arctan}\ (\rho)$. The slope increases with increasing $\rho > 0$. In all cases, $\theta < \alpha = 45^\circ$ holds. For $\rho = 0.7$ this gives $\theta = 35^\circ$.

(8) Starting from $\sigma_X=\sigma_Y=0.75, \ \rho = 0.7$ vary the parameters $\sigma_Y$ and $\rho $. What statements hold for the angles $\alpha$ and $\theta$?

For $\sigma_Y<\sigma_X$: $\alpha < 45^\circ$. For $\sigma_Y>\sigma_X$: $\alpha > 45^\circ$. For all settings: The correlation line is below the ellipse main axis.

(9) Assume $\sigma_X= 1, \ \sigma_Y=0.75, \ \rho = 0.7$. Vary $\rho$. How to construct the correlation line from the contour lines?

The correlation line intersects all contour lines at that points where the tangent line is perpendicular to the contour line.

(10) Now let be $\sigma_X= \sigma_Y=1, \ \rho = 0.95$. Interpret the $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}PDF$. Which statements are true for the limiting case $\rho \to 1$ ?

The $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}WDF$ only has components near the ellipse main axis. The correlation line is just below: $\alpha = 45^\circ, \ \theta = 43.5^\circ$.
In the limiting case $\rho \to 1$ it holds $\theta = \alpha = 45^\circ$. Outside the correlation line, the $\rm 2D\hspace{-0.1cm}-\hspace{-0.1cm}PDF$ would have no shares. That is:
Along the correlation line, there would be a "Dirac wall" ⇒ All values are infinitely large, nevertheless Gaussian weighted around the mean.

Applet Manual

Screen shot (German version)

(A) Parametereingabe per Slider: $\sigma_X$, $\sigma_Y$ und $\rho$

(B) Auswahl: Darstellung von WDF oder VTF

(C) Reset: Einstellung wie beim Programmstart

(D) Höhenlinien darstellen anstelle von „1D-WDF”

(E) Darstellungsbereich für „2D-WDF”

(F) Manipulation der 3D-Grafik (Zoom, Drehen, ...)

(G) Darstellungsbereich für „1D-WDF” bzw. „Höhenlinien”

(H) Manipulation der 2D-Grafik („1D-WDF”)

( I ) Bereich für die Versuchsdurchführung: Aufgabenauswahl

(J) Bereich für die Versuchsdurchführung: Aufgabenstellung

(K) Bereich für die Versuchsdurchführung: Musterlösung einblenden

( L) Bereich für die Versuchsdurchführung: Musterlösung

Werte–Ausgabe über Maussteuerung (sowohl bei 2D als auch bei 3D)

Noch: Farbeinstellung

About the Authors

This interactive calculation tool was designed and implemented at the Institute for Communications Engineering at the Technical University of Munich.

The first version was created in 2003 by Ji Li as part of his diploma thesis with “FlashMX – Actionscript” (Supervisor: Günter Söder).
In 2019 the program was redesigned by Carolin Mirschina as part of her bachelor thesis (Supervisor: Tasnád Kernetzky ) via „HTML5”.
Last revision and English version 2021 by Carolin Mirschina in the context of a working student activity. Translation using DEEPL.com.

The conversion of this applet to HTML 5 was financially supported by "Studienzuschüsse" (Faculty EI of the TU Munich). We thank.

Once again: Open Applet in new Tab