Difference between revisions of "Applets:Korrelation und Regressionsgerade"
m (Text replacement - "„" to """) |
|||
(21 intermediate revisions by 3 users not shown) | |||
Line 1: | Line 1: | ||
− | {{LntAppletLink| | + | {{LntAppletLink|correlation}} |
==Programmbeschreibung== | ==Programmbeschreibung== | ||
<br> | <br> | ||
+ | Als einfaches Beispiel einer 2D-Zufallsgröße (X,Y) betrachten wir den Fall, dass diese nur vier Werte annehmen kann: | ||
+ | *Punkt 1 bei (x1, y1) mit Wahrscheinlichkeit p1: Die Parameter x1, y1, p1 sind im Applet per Slider einstellbar. | ||
+ | *Punkt 2 bei (x2, y2) mit Wahrscheinlichkeit p2: Die Parameter liegen durch den Punkt 1 fest: x2=−x1, y2=−y1, p2=p1. | ||
+ | *Punkt 3 bei (+1,+1) mit Wahrscheinlichkeit p3=0.5−p1: Die Lage dieses Punktes ist im Applet fest vorgegeben. | ||
+ | *Punkt 4 bei (−1,−1) mit Wahrscheinlichkeit p4=p3: Dieser Punkt liegt ebenso wie der Punkt 3 auf der Winkelhalbierenden. | ||
+ | |||
+ | |||
+ | Für diese Konstellation werden im Applet folgende Gerade durch den Nullpunkt dargestellt: | ||
+ | * Die Regressionsgerade RX→Y unter dem Winkel θX→Y ⇒ blaue Kurve, | ||
+ | * die Regressionsgerade RY→X unter dem Winkel θY→X ⇒ rote Kurve, | ||
+ | * eine Hilfsgerade "(HG)" unter dem Winkel θHG ⇒ grüne Kurve, optional. | ||
+ | |||
+ | |||
+ | Als Zahlenwerte werden die zur Berechnung von θX→Y und θY→X benötigten statistischen Kenngrößen ausgegeben: | ||
+ | * die Streuungen (Standardabweichungen) σX und σY der Komponenten X bzw. Y, | ||
+ | *die Kovarianz μXY ⇒ Zentralmoment erster Ordnung der 2D-Zufallsgröße (X,Y), | ||
+ | *der Korrelationskoeffizient ρXY zwischen den 2D-Zufallsgröße X und Y. | ||
+ | |||
+ | |||
+ | Mit Hilfe der (optionalen) Hilfsgeraden sowie der gestrichelt eingezeichneten Abstände der Punkte in x– und y–Richtung zu dieser lässt sich nachvollziehen, dass | ||
+ | |||
+ | * die rote Regressionsgerade RX→Y die Eigenschaft hat, dass der mittlere quadrische Abstand aller Punkte in y–Richtung ⇒ MQAY von dieser minimal ist, | ||
+ | * während für die blaue Regressionsgerade RY→X der mittlere quadrische Abstand aller Punkte in x–Richtung ⇒ MQAX zum Minimum führt. | ||
+ | |||
+ | |||
+ | |||
Line 23: | Line 49: | ||
:μXY=E[X⋅Y]=∫+∞−∞∫+∞−∞x ⋅y⋅fXY(x,y)dxdy. | :μXY=E[X⋅Y]=∫+∞−∞∫+∞−∞x ⋅y⋅fXY(x,y)dxdy. | ||
− | Bei | + | Bei statistischer Unabhängigkeit der beiden Komponenten X und Y ist die Kovarianz μXY≡0. |
*Das Ergebnis μXY=0 ist auch bei statistisch abhängigen Komponenten X und Y möglich, nämlich dann, wenn diese unkorreliert, also ''linear unabhängig'' sind. | *Das Ergebnis μXY=0 ist auch bei statistisch abhängigen Komponenten X und Y möglich, nämlich dann, wenn diese unkorreliert, also ''linear unabhängig'' sind. | ||
Line 70: | Line 96: | ||
<br clear=all> | <br clear=all> | ||
− | === | + | ===Eigenschaften der Regressionsgeraden=== |
[[File:Korrelation_5_neu.png|frame|Gaußsche 2D-WDF mit Korrelationsgerade K]] | [[File:Korrelation_5_neu.png|frame|Gaußsche 2D-WDF mit Korrelationsgerade K]] | ||
− | Ziel der linearen Regression ist es, einen einfachen (linearen) Zusammenhang zwischen zwei Zufallsgrößen X und Y | + | Ziel der linearen Regression ist es, einen einfachen (linearen) Zusammenhang zwischen zwei Zufallsgrößen X und Y anzugeben, deren 2D-WDF fXY(x,y) durch Punkte (x1,y1) ... (xN,yN) in der (x, y)–Ebene vorgegeben ist. Die Skizze zeigt das Prinzip am Beispiel mittelwertfreier Größen: |
:Gesucht ist die Gleichung der Geraden K ⇒ y=copt⋅x mit der Eigenschaft, dass der mittlere quadratische (Euklidische) Abstand (MQA) aller Punkte von dieser Geraden minimal ist. Man bezeichnet diese Gerade auch als ''Korrelationsgerade''. Diese kann als eine Art „statistische Symmetrieachse“ interpretiert werden. | :Gesucht ist die Gleichung der Geraden K ⇒ y=copt⋅x mit der Eigenschaft, dass der mittlere quadratische (Euklidische) Abstand (MQA) aller Punkte von dieser Geraden minimal ist. Man bezeichnet diese Gerade auch als ''Korrelationsgerade''. Diese kann als eine Art „statistische Symmetrieachse“ interpretiert werden. | ||
Bei einer großen Menge N empirischer Daten ist der mathematische Aufwand beträchtlich, den bestmöglichen Parameter C=copt zu ermitteln. Der Aufwand wird deutlich reduziert, wenn man den Abstand nur in x– oder in y–Richtung definiert. | Bei einer großen Menge N empirischer Daten ist der mathematische Aufwand beträchtlich, den bestmöglichen Parameter C=copt zu ermitteln. Der Aufwand wird deutlich reduziert, wenn man den Abstand nur in x– oder in y–Richtung definiert. | ||
− | Im Sonderfall Gaußscher 2D-Zufallsgrößen wie in der Skizze verwendet ist die Korrelationsgerade K identisch mit der Ellipsenhauptachse bei Darstellung der 2D-WDF in Form von Höhenlinien. | + | Im Sonderfall Gaußscher 2D-Zufallsgrößen wie in der Skizze verwendet ist die Korrelationsgerade K identisch mit der Ellipsenhauptachse bei Darstellung der 2D-WDF in Form von Höhenlinien (siehe [[Applets:Korrelation_und_Regressionsgerade#Der_Sonderfall_Gau.C3.9Fscher_2D.E2.80.93Zufallsgr.C3.B6.C3.9Fen|Abschnitt 2.3]]). |
(a)Regressionsgerade RY→X (rote Gerade in der App) | (a)Regressionsgerade RY→X (rote Gerade in der App) | ||
− | Hier wird der y–Wert auf den x–Wert zurückgeführt, was in etwa einer der möglichen Bedeutungen | + | Hier wird der y–Wert auf den x–Wert zurückgeführt, was in etwa einer der möglichen Bedeutungen "Zurückfallen" des Wortes "Regression" entspricht. |
*'''Geradengleichung''', Winkel θY→X der Geraden RY→X zur x–Achse: | *'''Geradengleichung''', Winkel θY→X der Geraden RY→X zur x–Achse: | ||
Line 93: | Line 119: | ||
(b)Regressionsgerade RX→Y (blaue Gerade in der App) | (b)Regressionsgerade RX→Y (blaue Gerade in der App) | ||
− | Die Regression in Gegenrichtung (also von X auf Y) bedeutet dagegen, dass der x–Wert auf den y–Wert zurückgeführt wird. Für ${\rm MQA} | + | Die Regression in Gegenrichtung (also von X auf Y) bedeutet dagegen, dass der x–Wert auf den y–Wert zurückgeführt wird. Für ${\rm MQA}_X$ ergibt sich der minimale Wert. |
*'''Geradengleichung''', Winkel θX→Y der Geraden RX→Y zur x–Achse: | *'''Geradengleichung''', Winkel θX→Y der Geraden RX→Y zur x–Achse: | ||
− | :$$y=C_{X \to Y} \cdot x \ \ \text{mit} \ \ C_{X \to Y}=\frac{\ | + | :$$y=C_{X \to Y} \cdot x \ \ \text{mit} \ \ C_{X \to Y}=\frac{\sigma_Y}{\sigma_X\cdot\rho_{XY} }= \frac{\sigma_Y^2} {\mu_{XY}},\hspace{0.6cm} \theta_{X \to Y}={\rm arctan}\ (C_{X \to Y}).$$ |
*'''Kriterium''': Der mittlere Abstand aller Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung ist minimal: | *'''Kriterium''': Der mittlere Abstand aller Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung ist minimal: | ||
− | :$${\rm MQA}_X = {\rm E} \big [ x_n - y_n/C_{ | + | :$${\rm MQA}_X = {\rm E} \big [ x_n - y_n/C_{X \to Y}\big ]^2 = \frac{\rm 1}{N} \cdot \sum_{n=\rm 1}^{N}\; \;\big [x_n - y_n/C_{X \to Y}\big ]^{\rm 2}={\rm Minimum}.$$ |
[[File:Korrelation_5a.png|right|frame| Die beiden Regressionsgeraden]] | [[File:Korrelation_5a.png|right|frame| Die beiden Regressionsgeraden]] | ||
Line 104: | Line 130: | ||
Beispiel 2: Es gelten die gleichen Voraussetzungen wie im Beispiel 1 und es werden teilweise auch die dort gefundenen Ergebnisse verwendet. | Beispiel 2: Es gelten die gleichen Voraussetzungen wie im Beispiel 1 und es werden teilweise auch die dort gefundenen Ergebnisse verwendet. | ||
− | In der oberen Grafik ist die Regressionsgerade $R_{ | + | In der oberen Grafik ist die Regressionsgerade $R_{X \to Y}$ als blaue Kurve eingezeichnet: |
− | * Hierfür ergibt sich $C_{X \to Y}= | + | * Hierfür ergibt sich $C_{X \to Y}={\sigma_Y^2}/\mu_{XY} = 1 und dementsprechend \theta_{X \to Y}={\rm arctan}\ (1) = 45^\circ.$ |
*Für den mittleren Abstand aller vier Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung erhält man unter Ausnutzung der Symmetrie (beachten Sie die eingezeichneten blauen Horizontalen): | *Für den mittleren Abstand aller vier Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung erhält man unter Ausnutzung der Symmetrie (beachten Sie die eingezeichneten blauen Horizontalen): | ||
:MQAX=E[xn−yn/Cx→y]2=2⋅[0.2⋅[1−1/1]2+0.3⋅[0.5−0/1]2]=0.15. | :MQAX=E[xn−yn/Cx→y]2=2⋅[0.2⋅[1−1/1]2+0.3⋅[0.5−0/1]2]=0.15. | ||
Line 114: | Line 140: | ||
* Hierfür ergibt sich CY→X=μXY/σ2X=0.4/0.55≈0.727 und θY→X=arctan (0.727)≈36∘. | * Hierfür ergibt sich CY→X=μXY/σ2X=0.4/0.55≈0.727 und θY→X=arctan (0.727)≈36∘. | ||
*Hier ist nun der mittlere Abstand der vier Punkte (xn,yn) von der Regressionsgeraden RY→X in y–Richtung minimal (beachten Sie die eingezeichneten roten Vertikalen): | *Hier ist nun der mittlere Abstand der vier Punkte (xn,yn) von der Regressionsgeraden RY→X in y–Richtung minimal (beachten Sie die eingezeichneten roten Vertikalen): | ||
− | :$${\rm MQA}_Y = {\rm E} \big [ y_n - C_{ | + | :$${\rm MQA}_Y = {\rm E} \big [ y_n - C_{Y \to X} \cdot x_n\big ]^2 = 2 \cdot \big [ 0.2 \cdot \left [1 - 0.727 \cdot 1\right ]^{\rm 2} +0.3 \cdot \left [0 - 0.727 \cdot 0.5 \right ]^{\rm 2}\big ]\approx 0.109.$$ |
− | Die im Text erwähnte | + | Die im Text erwähnte "Korrelationsgerade" mit der Eigenschaft, dass der mittlere quadratische Euklidische Abstand (MQA) aller Punkte von dieser Geraden minimal ist, wird sicher zwischen den beiden hier berechneten Regressionsgeraden liegen.}} |
− | === | + | ===Der Sonderfall Gaußscher 2D–Zufallsgrößen=== |
− | + | Im Sonderfall einer mittelwertfreien [[Theory_of_Stochastic_Signals/Zweidimensionale_Gaußsche_Zufallsgrößen|Gaußschen 2–Zufallsgröße]] (X, Y) lautet die Verbundwahrscheinlichkeitsdichtefunktion: | |
− | [[File: | + | :fXY(x,y)=12π⋅σX⋅σY⋅√1−ρ2XY⋅exp[−12⋅(1−ρ2XY)⋅(x2σ2X+y2σ2Y−2⋅ρXY⋅x⋅yσX⋅σY)]. |
+ | *Ersetzt man x durch (x−mX) sowie y durch (y−mY), so ergibt sich die allgemeinere WDF einer zweidimensionalen Gaußschen Zufallsgröße mit Mittelwert. | ||
+ | *Die beiden Randwahrscheinlichkeitsdichtefunktionen fX(x) und fY(y) einer Gaußschen 2D-Zufallsgröße sind ebenfalls gaußförmig mit den Streuungen σX bzw. σY. | ||
+ | *Bei unkorrelierten Komponenten X und Y muss in obiger Gleichung ρXY=0 eingesetzt werden, und man erhält dann das Ergebnis: | ||
+ | [[File:Korrelation_7a.png|right|frame| K, RY→X und RX→Y bei Gaußschen 2D–Zufallsgrößen]] | ||
+ | :fXY(x,y)=1√2π⋅σX⋅e−x2/(2σ2X)⋅1√2π⋅σY⋅e−y2/(2σ2Y)=fX(x)⋅fY(y). | ||
+ | |||
+ | *Bei korrelierten Komponenten X und Y ⇒ ρXY≠0 sind die Höhenlinien der 2D-WDF jeweils ellipsenförmig. Die Korrelationsgerade K ist hier identisch mit der Ellipsenhauptachse, die unter folgendem Neigungswinkel verläuft: | ||
+ | :θK=1/2⋅arctan (2⋅ρXY⋅σX⋅σYσ2X−σ2Y). | ||
− | * | + | *Die (rote) Regressionsgerade $R_{Y \to X}$ einer Gaußschen 2D–Zufallsgröße liegt stets unterhalb der Korrelationsgeraden. Sie kann aus dem Schnittpunkt jeder elliptischen Höhenlinie und ihrer vertikalen Tangente geometrisch konstruiert werden. |
− | * | + | * In der Skizze ist dieses Konstruktionsmerkmal in grüner Farbe angedeutet. Die (blaue) Regressionsgerade $R_{X \to Y}$ ist eine Gerade durch den Koordinatenursprung und den Schnittpunkt der elliptischen Höhenlinie mit ihrer horizontalen Tangente. |
− | |||
− | |||
<br clear=all> | <br clear=all> | ||
− | + | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
==Versuchsdurchführung== | ==Versuchsdurchführung== | ||
− | + | ||
[[File:Exercises_binomial_fertig.png|right]] | [[File:Exercises_binomial_fertig.png|right]] | ||
*Wählen Sie zunächst die Nummer '''1''' ... '''6''' der zu bearbeitenden Aufgabe. | *Wählen Sie zunächst die Nummer '''1''' ... '''6''' der zu bearbeitenden Aufgabe. | ||
*Eine Aufgabenbeschreibung wird angezeigt. Die Parameterwerte sind angepasst. | *Eine Aufgabenbeschreibung wird angezeigt. Die Parameterwerte sind angepasst. | ||
− | *Lösung nach Drücken von & | + | *Lösung nach Drücken von "Musterlösung". |
− | + | *Die Nummer '''0''' entspricht einem "Reset": Gleiche Einstellung wie beim Programmstart. | |
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
In den folgenden Aufgabenbeschreibungen werden folgende Kurzbezeichnungen verwendet: | In den folgenden Aufgabenbeschreibungen werden folgende Kurzbezeichnungen verwendet: | ||
Line 159: | Line 177: | ||
{{BlaueBox|TEXT= | {{BlaueBox|TEXT= | ||
− | '''(1)''' Mit welcher Parametereinstellung sind die beiden | + | '''(1)''' Mit welcher Parametereinstellung sind die beiden Regressionsgeraden RY→X und RX→Y deckungsgleich?}} |
− | ::* Es ist offensichtlich, dass gleiche | + | ::* Es ist offensichtlich, dass gleiche Regressionsgeraden nur möglich sind, wenn diese unter dem Winkel 45∘ verlaufen ⇒ "Winkelhalbierende". |
::* Da die fest vorgegebenen Punkte 3 und 4 auf der Winkelhalbierenden liegen, muss dies auch für die Punkte 1 und 2 gelten ⇒ y1=x1. | ::* Da die fest vorgegebenen Punkte 3 und 4 auf der Winkelhalbierenden liegen, muss dies auch für die Punkte 1 und 2 gelten ⇒ y1=x1. | ||
::* Dies gilt für alle Parametereinstellungen y1=x1 und auch für alle p1 im erlaubten Bereich von 0 bis 0.5. | ::* Dies gilt für alle Parametereinstellungen y1=x1 und auch für alle p1 im erlaubten Bereich von 0 bis 0.5. | ||
Line 168: | Line 186: | ||
'''(2)''' Nun gelte x1=0.5, y1=0, p1=0.3 Interpretieren Sie die Ergebnisse. Aktivieren Sie hierzu die Hilfsgerade. }} | '''(2)''' Nun gelte x1=0.5, y1=0, p1=0.3 Interpretieren Sie die Ergebnisse. Aktivieren Sie hierzu die Hilfsgerade. }} | ||
− | ::* Diese Einstellung stimmt mit den Voraussetzungen | + | ::* Diese Einstellung stimmt mit den Voraussetzungen zu Beispiel 1 und Beispiel 2 überein. Insbesondere gilt θX→Y=45∘ und θY→X≈36∘. |
− | ::* Durch Variation des Winkels $ \theta_{\rm | + | ::* Durch Variation des Winkels $ \theta_{\rm HG} erkennt man, dass für \theta_{\rm HG}= 45^\circ die Kenngröße {\rm MQA}_X =0.15$ tatsächlich den kleinsten Wert annimmt. |
− | ::* Ebenso ergibt sich der | + | ::* Ebenso ergibt sich der kleinstmögliche Abstand MQAY=0.109 in y–Richtung für $ \theta_{\rm HG}= 36^\circ$, also entsprechend der Geraden $R_{Y \to X}$. |
{{BlaueBox|TEXT= | {{BlaueBox|TEXT= | ||
− | '''(3)''' Es gelten zunächst weiter die Einstellungen von '''(2)'''. Wie ändern sich die Ergebnisse nach Variation | + | '''(3)''' Es gelten zunächst weiter die Einstellungen von '''(2)'''. Wie ändern sich die Ergebnisse nach Variation von p1 im erlaubten Bereich (0≤p1≤0.5)?}} |
− | |||
− | |||
− | |||
− | |||
+ | ::* Die blaue Regressionsgerade RX→Y verläuft weiter unter dem Winkel θX→Y=45∘ ⇒ es gilt hier μXY=σ2Y, und zwar unabhängig von p1<0.5. | ||
+ | ::* Im Grenzfall p1=0.5 ist wegen σY=0 die blaue Regressionsgerade undefiniert. Es handelt sich nurmehr um eine 1D–Zufallsgröße X. | ||
+ | ::* Mit p1=0 sind nur die äußeren Punkte 3 und 4 wirksam ⇒ θY→X=θX→Y=45∘, mit p1=0.5 nur die inneren Punkte ⇒ θY→X=0∘. | ||
+ | ::* Dazwischen wird RY→X kontinuierlich flacher. Sind alle Punkte gleichwahrscheinlich (p1=0.25), dann ist θY→X≈38.7∘. | ||
{{BlaueBox|TEXT= | {{BlaueBox|TEXT= | ||
− | '''(4)''' | + | '''(4)''' Nun gelte $x_1 = 0,\ y_1 = 0.5,\ p_1 = 0.3$. Variieren Sie $0\le p_1 < 0.5$ und interpretieren Sie die Ergebnisse. $(p_1 = 0.5 sollte man ausschließen)$.}} |
− | |||
− | |||
− | |||
− | |||
− | $\ | + | ::* Wegen $\sigma_X \le \sigma_Y liegt weiterhin die blaue Gerade nie unterhalb der roten, die für alle p_1 \ne 0.5 die Winkelhalbierende ist ⇒ \theta_{Y \to X}\approx 45^\circ$. |
+ | ::* Der Winkel der blauen Regressionsgerade wächst von $ \theta_{X \to Y}= 45^\circ \ (p_1 = 0) bis \theta_{X \to Y} \to 90^\circ \ (p_1 \to 0.5)$ kontinuierlich an. | ||
{{BlaueBox|TEXT= | {{BlaueBox|TEXT= | ||
− | '''(5)''' | + | '''(5)''' Beginnen Sie mit $x_1 = 0.8,\ y_1 = -0.8,\ p_1 = 0.25$ und vergrößern Sie $y_1$ bis zum Endwert $y_1 = +0.8$. Interpretieren Sie die Ergebnisse.}} |
− | |||
− | |||
− | |||
− | |||
− | $ | ||
− | $\ | + | ::* Für y1=−0.8 ist $ \theta_{X \to Y}= 77.6^\circ und \theta_{Y \to X}= 12.4^\circ$. Mit steigendem y1 verläuft $ R_{X \to Y}$ (blau) flacher und $R_{Y \to X}$ (rot) steiler. |
+ | ::* Im Endpunkt $(y_1 = +0.8) verlaufen die beiden Regressionsgeraden deckungsgleich unter dem Winkel \theta_{X \to Y}= \theta_{Y \to X}= 45^\circ$. | ||
{{BlaueBox|TEXT= | {{BlaueBox|TEXT= | ||
− | '''(6)''' | + | '''(6)''' Abschließend gelte x1=+1, y1=−1. Variieren Sie p1 im gesamten zulässigen Bereich $0\le p_1 \le 0.5. Wann sind X$ und $Y$ unkorreliert?}} |
− | |||
− | $\ | + | ::* Für p1=0 gilt $ \theta_{X \to Y}=\theta_{Y \to X}= 45^\circ.$ Dann dreht die blaue Gerade entgegen dem Uhrzeigersinn, die rote Gerade im Uhrzeigersinn. |
+ | ::* Für $p_1 = 0.25 sind die Winkel \theta_{X \to Y}=90^\circ, \ \theta_{Y \to X}= 0^\circ. Diese Momentaufnahme beschreibt unkorrelierte Zufallsgrößen ⇒ \mu_{XY}=0$. | ||
+ | ::* Anschließend drehen beide Geraden weiter in gleicher Richtung. Für $p_1 = 0.5 gilt schließlich: \theta_{X \to Y}=135^\circ= -45^\circ, \ \theta_{Y \to X}= -45^\circ.$ | ||
− | |||
==Zur Handhabung des Applets== | ==Zur Handhabung des Applets== | ||
− | [[File: | + | [[File:Anleitung_korrelation_version2.png|left|600px]] |
− | '''(A)''' | + | <br><br><br><br><br> |
− | + | '''(A)''' Einstellung der $x$–Koordinaten für '''(1)''' und '''(2)''' | |
− | | ||
− | |||
− | & | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
+ | '''(B)''' Einstellung der y–Koordinaten für '''(1)''' und '''(2)''' | ||
− | + | '''(C)''' Einstellung der Wahrscheinlichkeiten aller Punkte | |
− | $\ | + | '''(D)''' Hilfsgerade mit Winkel $\theta_{\rm HG}$ einblenden |
− | + | '''(E)''' Ausgabe der $\rm MQA$–Werte für Regressions– und Hilfsgerade | |
− | + | '''(F)''' Numerikausgabe der statistischen Kenngrößen | |
− | '''( | + | '''(G)''' Grafikbereich zur Darstellung der Regressionsgeraden |
− | '''( | + | '''(H)''' Bereich für Übungen: Aufgabenauswahl, Fragen, Musterlösungen |
<br clear=all> | <br clear=all> | ||
− | |||
− | |||
− | |||
− | |||
==Über die Autoren== | ==Über die Autoren== | ||
Dieses interaktive Berechnungstool wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert. | Dieses interaktive Berechnungstool wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert. | ||
− | *Die erste Version wurde | + | *Die erste Version wurde 2005 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Bettina_Hirner_.28Diplomarbeit_LB_2005.29|Bettina Hirner]] im Rahmen ihrer Diplomarbeit mit "FlashMX–Actionscript" erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]). |
− | * | + | *2020 wurde das Programm von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Veronika_Hofmann_.28Ingenieurspraxis_Math_2020.29|Veronika Hofmann]] (Ingenieurspraxis Mathematik, Betreuer: [[Benedikt Leible]] und [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) unter "HTML5" neu gestaltet. |
==Nochmalige Aufrufmöglichkeit des Applets in neuem Fenster== | ==Nochmalige Aufrufmöglichkeit des Applets in neuem Fenster== | ||
− | {{LntAppletLink| | + | {{LntAppletLink|correlation}} |
Latest revision as of 16:46, 28 May 2021
Contents
Programmbeschreibung
Als einfaches Beispiel einer 2D-Zufallsgröße (X,Y) betrachten wir den Fall, dass diese nur vier Werte annehmen kann:
- Punkt 1 bei (x1, y1) mit Wahrscheinlichkeit p1: Die Parameter x1, y1, p1 sind im Applet per Slider einstellbar.
- Punkt 2 bei (x2, y2) mit Wahrscheinlichkeit p2: Die Parameter liegen durch den Punkt 1 fest: x2=−x1, y2=−y1, p2=p1.
- Punkt 3 bei (+1,+1) mit Wahrscheinlichkeit p3=0.5−p1: Die Lage dieses Punktes ist im Applet fest vorgegeben.
- Punkt 4 bei (−1,−1) mit Wahrscheinlichkeit p4=p3: Dieser Punkt liegt ebenso wie der Punkt 3 auf der Winkelhalbierenden.
Für diese Konstellation werden im Applet folgende Gerade durch den Nullpunkt dargestellt:
- Die Regressionsgerade RX→Y unter dem Winkel θX→Y ⇒ blaue Kurve,
- die Regressionsgerade RY→X unter dem Winkel θY→X ⇒ rote Kurve,
- eine Hilfsgerade "(HG)" unter dem Winkel θHG ⇒ grüne Kurve, optional.
Als Zahlenwerte werden die zur Berechnung von θX→Y und θY→X benötigten statistischen Kenngrößen ausgegeben:
- die Streuungen (Standardabweichungen) σX und σY der Komponenten X bzw. Y,
- die Kovarianz μXY ⇒ Zentralmoment erster Ordnung der 2D-Zufallsgröße (X,Y),
- der Korrelationskoeffizient ρXY zwischen den 2D-Zufallsgröße X und Y.
Mit Hilfe der (optionalen) Hilfsgeraden sowie der gestrichelt eingezeichneten Abstände der Punkte in x– und y–Richtung zu dieser lässt sich nachvollziehen, dass
- die rote Regressionsgerade RX→Y die Eigenschaft hat, dass der mittlere quadrische Abstand aller Punkte in y–Richtung ⇒ MQAY von dieser minimal ist,
- während für die blaue Regressionsgerade RY→X der mittlere quadrische Abstand aller Punkte in x–Richtung ⇒ MQAX zum Minimum führt.
Theoretischer Hintergrund
Erwartungswerte von 2D–Zufallsgrößen und Korrelationskoeffizient
Wir betrachten eine zweidimensionale (2D)–Zufallsgröße (X, Y) mit der Wahrscheinlichkeitsdichtefunktion (WDF) fXY(x,y), wobei zwischen den Einzelkomponenten X und Y statistische Abhängigkeiten bestehen. Ein Sonderfall ist die Korrelation.
Definition: Unter Korrelation versteht man eine lineare Abhängigkeit zwischen den Einzelkomponenten X und Y.
- Korrelierte Zufallsgrößen sind damit stets auch statistisch abhängig.
- Aber nicht jede statistische Abhängigkeit bedeutet gleichzeitig eine Korrelation.
Für das Folgende setzen wir voraus, dass X und Y mittelwertfrei seien ⇒ E[X]=E[Y]=0. Zur Beschreibung der Korrelation genügen dann folgende Erwartungswerte:
- die Varianzen in X– bzw. in Y–Richtung:
- σ2X=E[X2]=∫+∞−∞x2⋅fX(x)dx,σ2Y=E[Y2]=∫+∞−∞y2⋅fY(y)dy;
- die Kovarianz zwischen den Einzelkomponenten X und Y:
- μXY=E[X⋅Y]=∫+∞−∞∫+∞−∞x ⋅y⋅fXY(x,y)dxdy.
Bei statistischer Unabhängigkeit der beiden Komponenten X und Y ist die Kovarianz μXY≡0.
- Das Ergebnis μXY=0 ist auch bei statistisch abhängigen Komponenten X und Y möglich, nämlich dann, wenn diese unkorreliert, also linear unabhängig sind.
- Die statistische Abhängigkeit ist dann nicht von erster, sondern von höherer Ordnung, zum Beispiel entsprechend der Gleichung Y=X2.
Man spricht dann von vollständiger Korrelation, wenn die (deterministische) Abhängigkeit zwischen X und Y durch die Gleichung Y=K·X ausgedrückt wird.
Dann ergibt sich für die Kovarianz:
- μXY=σX·σY bei positivem Wert von K,
- μXY=−σX·σY bei negativem K–Wert.
Deshalb verwendet man häufig als Beschreibungsgröße anstelle der Kovarianz den so genannten Korrelationskoeffizienten.
Definition: Der Korrelationskoeffizient ist der Quotient aus der Kovarianz μXY und dem Produkt der Effektivwerte σX und σY der beiden Komponenten:
- ρXY=μXYσX⋅σY.
Der Korrelationskoeffizient ρXY weist folgende Eigenschaften auf:
- Aufgrund der Normierung gilt stets −1≤ρXY≤+1.
- Sind die beiden Zufallsgrößen X und Y unkorreliert, so ist ρXY=0.
- Bei strenger linearer Abhängigkeit zwischen X und Y ist ρXY=±1 ⇒ vollständige Korrelation.
- Ein positiver Korrelationskoeffizient bedeutet, dass bei größerem X–Wert im statistischen Mittel auch Y größer ist als bei kleinerem X.
- Dagegen drückt ein negativer Korrelationskoeffizient aus, dass Y mit steigendem X im Mittel kleiner wird.
Beispiel 1: Die 2D–Zufallsgröße (X, Y) sei diskret und kann nur vier verschiedene Werte annehmen:
- (+0.5, 0) sowie (−0.5, 0) jeweils mit der Wahrscheinlichkeit 0.3,
- (+1, +1) sowie (−1, −1) jeweils mit der Wahrscheinlichkeit 0.2.
(A) Die Varianzen bzw. die Streuungen können aus fX(x) und fY(y) berechnet werden:
- σ2X=2⋅[0.2⋅12+0.3⋅0.52]=0.55⇒σX=0.7416,
- σ2Y=[0.2⋅(−1)2+0.6⋅02+0.2⋅(+1)2]=0.4⇒σY=0.6325.
(B) Für die Kovarianz ergibt sich der folgende Erwartungswert:
- μXY=E[X⋅Y]=2⋅[0.2⋅1⋅1+0.3⋅0.5⋅0]=0.4.
(C) Damit erhält man für den Korrelationskoeffizienten:
- ρXY=μXYσX⋅σY=0.40.7416⋅0.6325≈0.8528.
Eigenschaften der Regressionsgeraden
Ziel der linearen Regression ist es, einen einfachen (linearen) Zusammenhang zwischen zwei Zufallsgrößen X und Y anzugeben, deren 2D-WDF fXY(x,y) durch Punkte (x1,y1) ... (xN,yN) in der (x, y)–Ebene vorgegeben ist. Die Skizze zeigt das Prinzip am Beispiel mittelwertfreier Größen:
- Gesucht ist die Gleichung der Geraden K ⇒ y=copt⋅x mit der Eigenschaft, dass der mittlere quadratische (Euklidische) Abstand (MQA) aller Punkte von dieser Geraden minimal ist. Man bezeichnet diese Gerade auch als Korrelationsgerade. Diese kann als eine Art „statistische Symmetrieachse“ interpretiert werden.
Bei einer großen Menge N empirischer Daten ist der mathematische Aufwand beträchtlich, den bestmöglichen Parameter C=copt zu ermitteln. Der Aufwand wird deutlich reduziert, wenn man den Abstand nur in x– oder in y–Richtung definiert.
Im Sonderfall Gaußscher 2D-Zufallsgrößen wie in der Skizze verwendet ist die Korrelationsgerade K identisch mit der Ellipsenhauptachse bei Darstellung der 2D-WDF in Form von Höhenlinien (siehe Abschnitt 2.3).
(a)Regressionsgerade RY→X (rote Gerade in der App)
Hier wird der y–Wert auf den x–Wert zurückgeführt, was in etwa einer der möglichen Bedeutungen "Zurückfallen" des Wortes "Regression" entspricht.
- Geradengleichung, Winkel θY→X der Geraden RY→X zur x–Achse:
- y=CY→X⋅x mit CY→X=σYσX⋅ρXY=μXYσ2X,θY→X=arctan (CY→X).
- Kriterium: Der mittlere Abstand aller Punkte (xn,yn) von der Regressionsgeraden RY→X in y–Richtung ist minimal:
- MQAY=E[yn−CY→X⋅xn]2=1N⋅N∑n=1[yn−CY→X⋅xn]2=Minimum.
- Die zweite Gleichung gilt nur, wenn alle Punkte (xn,yn) der 2D–WDF gleichwahrscheinlich sind.
(b)Regressionsgerade RX→Y (blaue Gerade in der App)
Die Regression in Gegenrichtung (also von X auf Y) bedeutet dagegen, dass der x–Wert auf den y–Wert zurückgeführt wird. Für MQAX ergibt sich der minimale Wert.
- Geradengleichung, Winkel θX→Y der Geraden RX→Y zur x–Achse:
- y=CX→Y⋅x mit CX→Y=σYσX⋅ρXY=σ2YμXY,θX→Y=arctan (CX→Y).
- Kriterium: Der mittlere Abstand aller Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung ist minimal:
- MQAX=E[xn−yn/CX→Y]2=1N⋅N∑n=1[xn−yn/CX→Y]2=Minimum.
Beispiel 2: Es gelten die gleichen Voraussetzungen wie im Beispiel 1 und es werden teilweise auch die dort gefundenen Ergebnisse verwendet.
In der oberen Grafik ist die Regressionsgerade RX→Y als blaue Kurve eingezeichnet:
- Hierfür ergibt sich CX→Y=σ2Y/μXY=1 und dementsprechend θX→Y=arctan (1)=45∘.
- Für den mittleren Abstand aller vier Punkte (xn,yn) von der Regressionsgeraden RX→Y in x–Richtung erhält man unter Ausnutzung der Symmetrie (beachten Sie die eingezeichneten blauen Horizontalen):
- MQAX=E[xn−yn/Cx→y]2=2⋅[0.2⋅[1−1/1]2+0.3⋅[0.5−0/1]2]=0.15.
- Jede Gerade mit einem anderen Winkel als 45∘ führt hier zu einem größeren MQAX.
Betrachten wir nun die rote Regressionsgerade RY→X in der unteren Grafik.
- Hierfür ergibt sich CY→X=μXY/σ2X=0.4/0.55≈0.727 und θY→X=arctan (0.727)≈36∘.
- Hier ist nun der mittlere Abstand der vier Punkte (xn,yn) von der Regressionsgeraden RY→X in y–Richtung minimal (beachten Sie die eingezeichneten roten Vertikalen):
- MQAY=E[yn−CY→X⋅xn]2=2⋅[0.2⋅[1−0.727⋅1]2+0.3⋅[0−0.727⋅0.5]2]≈0.109.
Die im Text erwähnte "Korrelationsgerade" mit der Eigenschaft, dass der mittlere quadratische Euklidische Abstand (MQA) aller Punkte von dieser Geraden minimal ist, wird sicher zwischen den beiden hier berechneten Regressionsgeraden liegen.
Der Sonderfall Gaußscher 2D–Zufallsgrößen
Im Sonderfall einer mittelwertfreien Gaußschen 2–Zufallsgröße (X, Y) lautet die Verbundwahrscheinlichkeitsdichtefunktion:
- fXY(x,y)=12π⋅σX⋅σY⋅√1−ρ2XY⋅exp[−12⋅(1−ρ2XY)⋅(x2σ2X+y2σ2Y−2⋅ρXY⋅x⋅yσX⋅σY)].
- Ersetzt man x durch (x−mX) sowie y durch (y−mY), so ergibt sich die allgemeinere WDF einer zweidimensionalen Gaußschen Zufallsgröße mit Mittelwert.
- Die beiden Randwahrscheinlichkeitsdichtefunktionen fX(x) und fY(y) einer Gaußschen 2D-Zufallsgröße sind ebenfalls gaußförmig mit den Streuungen σX bzw. σY.
- Bei unkorrelierten Komponenten X und Y muss in obiger Gleichung ρXY=0 eingesetzt werden, und man erhält dann das Ergebnis:
- fXY(x,y)=1√2π⋅σX⋅e−x2/(2σ2X)⋅1√2π⋅σY⋅e−y2/(2σ2Y)=fX(x)⋅fY(y).
- Bei korrelierten Komponenten X und Y ⇒ ρXY≠0 sind die Höhenlinien der 2D-WDF jeweils ellipsenförmig. Die Korrelationsgerade K ist hier identisch mit der Ellipsenhauptachse, die unter folgendem Neigungswinkel verläuft:
- θK=1/2⋅arctan (2⋅ρXY⋅σX⋅σYσ2X−σ2Y).
- Die (rote) Regressionsgerade RY→X einer Gaußschen 2D–Zufallsgröße liegt stets unterhalb der Korrelationsgeraden. Sie kann aus dem Schnittpunkt jeder elliptischen Höhenlinie und ihrer vertikalen Tangente geometrisch konstruiert werden.
- In der Skizze ist dieses Konstruktionsmerkmal in grüner Farbe angedeutet. Die (blaue) Regressionsgerade RX→Y ist eine Gerade durch den Koordinatenursprung und den Schnittpunkt der elliptischen Höhenlinie mit ihrer horizontalen Tangente.
Versuchsdurchführung
- Wählen Sie zunächst die Nummer 1 ... 6 der zu bearbeitenden Aufgabe.
- Eine Aufgabenbeschreibung wird angezeigt. Die Parameterwerte sind angepasst.
- Lösung nach Drücken von "Musterlösung".
- Die Nummer 0 entspricht einem "Reset": Gleiche Einstellung wie beim Programmstart.
In den folgenden Aufgabenbeschreibungen werden folgende Kurzbezeichnungen verwendet:
- Rot: Regressionsgerade RY→X (im Applet rot gezeichnet),
- Blau: Regressionsgerade RX→Y (im Applet blau gezeichnet).
(1) Mit welcher Parametereinstellung sind die beiden Regressionsgeraden RY→X und RX→Y deckungsgleich?
- Es ist offensichtlich, dass gleiche Regressionsgeraden nur möglich sind, wenn diese unter dem Winkel 45∘ verlaufen ⇒ "Winkelhalbierende".
- Da die fest vorgegebenen Punkte 3 und 4 auf der Winkelhalbierenden liegen, muss dies auch für die Punkte 1 und 2 gelten ⇒ y1=x1.
- Dies gilt für alle Parametereinstellungen y1=x1 und auch für alle p1 im erlaubten Bereich von 0 bis 0.5.
(2) Nun gelte x1=0.5, y1=0, p1=0.3 Interpretieren Sie die Ergebnisse. Aktivieren Sie hierzu die Hilfsgerade.
- Diese Einstellung stimmt mit den Voraussetzungen zu Beispiel 1 und Beispiel 2 überein. Insbesondere gilt θX→Y=45∘ und θY→X≈36∘.
- Durch Variation des Winkels θHG erkennt man, dass für θHG=45∘ die Kenngröße MQAX=0.15 tatsächlich den kleinsten Wert annimmt.
- Ebenso ergibt sich der kleinstmögliche Abstand MQAY=0.109 in y–Richtung für θHG=36∘, also entsprechend der Geraden RY→X.
(3) Es gelten zunächst weiter die Einstellungen von (2). Wie ändern sich die Ergebnisse nach Variation von p1 im erlaubten Bereich (0≤p1≤0.5)?
- Die blaue Regressionsgerade RX→Y verläuft weiter unter dem Winkel θX→Y=45∘ ⇒ es gilt hier μXY=σ2Y, und zwar unabhängig von p1<0.5.
- Im Grenzfall p1=0.5 ist wegen σY=0 die blaue Regressionsgerade undefiniert. Es handelt sich nurmehr um eine 1D–Zufallsgröße X.
- Mit p1=0 sind nur die äußeren Punkte 3 und 4 wirksam ⇒ θY→X=θX→Y=45∘, mit p1=0.5 nur die inneren Punkte ⇒ θY→X=0∘.
- Dazwischen wird RY→X kontinuierlich flacher. Sind alle Punkte gleichwahrscheinlich (p1=0.25), dann ist θY→X≈38.7∘.
(4) Nun gelte x1=0, y1=0.5, p1=0.3. Variieren Sie 0≤p1<0.5 und interpretieren Sie die Ergebnisse. (p1=0.5 sollte man ausschließen).
- Wegen σX≤σY liegt weiterhin die blaue Gerade nie unterhalb der roten, die für alle p1≠0.5 die Winkelhalbierende ist ⇒ θY→X≈45∘.
- Der Winkel der blauen Regressionsgerade wächst von θX→Y=45∘ (p1=0) bis θX→Y→90∘ (p1→0.5) kontinuierlich an.
(5) Beginnen Sie mit x1=0.8, y1=−0.8, p1=0.25 und vergrößern Sie y1 bis zum Endwert y1=+0.8. Interpretieren Sie die Ergebnisse.
- Für y1=−0.8 ist θX→Y=77.6∘ und θY→X=12.4∘. Mit steigendem y1 verläuft RX→Y (blau) flacher und RY→X (rot) steiler.
- Im Endpunkt (y1=+0.8) verlaufen die beiden Regressionsgeraden deckungsgleich unter dem Winkel θX→Y=θY→X=45∘.
(6) Abschließend gelte x1=+1, y1=−1. Variieren Sie p1 im gesamten zulässigen Bereich 0≤p1≤0.5. Wann sind X und Y unkorreliert?
- Für p1=0 gilt θX→Y=θY→X=45∘. Dann dreht die blaue Gerade entgegen dem Uhrzeigersinn, die rote Gerade im Uhrzeigersinn.
- Für p1=0.25 sind die Winkel θX→Y=90∘, θY→X=0∘. Diese Momentaufnahme beschreibt unkorrelierte Zufallsgrößen ⇒ μXY=0.
- Anschließend drehen beide Geraden weiter in gleicher Richtung. Für p1=0.5 gilt schließlich: θX→Y=135∘=−45∘, θY→X=−45∘.
Zur Handhabung des Applets
(A) Einstellung der x–Koordinaten für (1) und (2)
(B) Einstellung der y–Koordinaten für (1) und (2)
(C) Einstellung der Wahrscheinlichkeiten aller Punkte
(D) Hilfsgerade mit Winkel θHG einblenden
(E) Ausgabe der MQA–Werte für Regressions– und Hilfsgerade
(F) Numerikausgabe der statistischen Kenngrößen
(G) Grafikbereich zur Darstellung der Regressionsgeraden
(H) Bereich für Übungen: Aufgabenauswahl, Fragen, Musterlösungen
Über die Autoren
Dieses interaktive Berechnungstool wurde am Lehrstuhl für Nachrichtentechnik der Technischen Universität München konzipiert und realisiert.
- Die erste Version wurde 2005 von Bettina Hirner im Rahmen ihrer Diplomarbeit mit "FlashMX–Actionscript" erstellt (Betreuer: Günter Söder).
- 2020 wurde das Programm von Veronika Hofmann (Ingenieurspraxis Mathematik, Betreuer: Benedikt Leible und Tasnád Kernetzky ) unter "HTML5" neu gestaltet.