Difference between revisions of "Theory of Stochastic Signals/Statistical Dependence and Independence"

From LNTwww
(38 intermediate revisions by 6 users not shown)
Line 1: Line 1:
 
   
 
   
 
{{Header
 
{{Header
|Untermenü=Wahrscheinlichkeitsrechnung
+
|Untermenü=Probability Calculation
|Vorherige Seite=Mengentheoretische Grundlagen
+
|Vorherige Seite=Set Theory Basics
|Nächste Seite=Markovketten
+
|Nächste Seite=Markov Chains
 
}}
 
}}
  
==Allgemeine Definition von statistischer Abhängigkeit==
+
==General Definition of Statistical Dependence==
Bisher haben wir die '''statistische Abhängigkeit''' zwischen Ereignissen nicht besonders beachtet, auch wenn wir sie wie im Fall zweier disjunkter Mengen bereits verwendet haben: Gehört ein Element zu $A$, so kann es mit Sicherheit nicht auch in der disjunkten Menge $B$ enthalten sein.  
+
<br>
 +
So far we have not paid much attention to&nbsp; "statistical dependence"&nbsp;  between events,&nbsp; even though we have already used it as in the case of two disjoint sets: &nbsp; If an element belongs to&nbsp; $A$,&nbsp; it cannot with certainty also be contained in the disjoint set&nbsp; $B$.
  
Die stärkste Form von Abhängigkeit überhaupt ist eine solche '''deterministische Abhängigkeit''' zwischen zwei Mengen bzw. zwei Ereignissen. Weniger ausgeprägt ist die statistische Abhängigkeit. Beginnen wir mit deren Komplement:
+
The strongest form of dependence at all is such a&nbsp; '''deterministic dependence'''&nbsp; between two sets or two events.&nbsp; Less pronounced is the statistical dependence.&nbsp; Let us start with its complement:
  
{{Definition}}
+
{{BlaueBox|TEXT= 
Zwei Ereignisse $A$ und $B$ bezeichnet man dann als '''statistisch unabhängig''' (englisch: ''statistical independent'') , wenn die Wahrscheinlichkeit der Schnittmenge $A ∩ B$ gleich dem Produkt der Einzelwahrscheinlichkeiten ist:
+
$\text{Definitions:}$&nbsp;
$${\rm Pr}(A \cap B) = {\rm Pr}(A)\cdot {\rm Pr}(B).$$
 
{{end}}
 
  
 +
*Two events&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; are called&nbsp; '''statistically independent''',&nbsp; if the probability of the intersection&nbsp; $A ∩ B$&nbsp;  is equal to the product of the individual probabilities:
 +
:$${\rm Pr}(A \cap B) = {\rm Pr}(A)\cdot {\rm Pr}(B).$$
 +
*If this condition is not satisfied,&nbsp; then the events&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; are '''statistically dependent''':
 +
:$${\rm Pr}(A \cap B) \ne {\rm Pr}(A)\cdot {\rm Pr}(B).$$}}
  
In manchen Anwendungsfällen ist die statistische Unabhängigkeit offensichtlich, zum Beispiel beim Experiment &bdquo;Münzwurf&rdquo;. Die Wahrscheinlichkeit für &bdquo;Zahl&rdquo; oder &bdquo;Bild&rdquo; ist unabhängig davon, ob beim letzten Wurf ''Zahl'' oder ''Bild'' aufgetreten ist.
 
  
Und auch die einzelnen Ergebnisse beim Zufallsexperiment &bdquo;Werfen einer Roulettekugel&rdquo; sind bei fairen Bedingungen stets statistisch unabhängig voneinander, auch wenn einzelne Systemspieler dies nicht wahrhaben wollen.  
+
*In some applications,&nbsp; statistical independence is obvious,&nbsp; for example,&nbsp; in the&nbsp; "coin toss"&nbsp; experiment.&nbsp; The probability for&nbsp; "heads"&nbsp; or&nbsp; "tails"&nbsp; is independent of whether&nbsp; "heads"&nbsp; or&nbsp; "tails"&nbsp; occurred in the last toss.
  
Bei anderen Anwendungen ist dagegen die Frage, ob zwei Ereignisse statistisch unabhängig sind oder nicht, gefühlsmäßig nicht oder nur sehr schwer zu beantworten. Hier kann man nur durch Überprüfung des oben angegebenen formalen Unabhängigkeitskriteriums zur richtigen Antwort gelangen, wie das folgende Beispiel zeigen soll.
+
*And also the individual results in the random experiment&nbsp; "throwing a roulette ball"&nbsp; are always statistically independent of each other under fair conditions,&nbsp; even if individual system players do not want to admit this.
  
 +
*In other applications,&nbsp; on the other hand,&nbsp; the question whether two events are statistically independent or not is not or only very difficult to answer instinctively.&nbsp; Here one can only arrive at the correct answer by checking the formal independence criterion given above,&nbsp; as the following example will show.
  
{{Beispiel}}
 
[[File:P_ID502__Sto_T_1_3_S1_neu.png|right| Beispiele für statistisch unabhängige Ereignisse]]
 
Wir betrachten wieder das Zufallsexperiment &bdquo;Werfen mit zwei Würfeln&rdquo;, wobei die beiden Würfel an ihren Farben Rot $(R)$ und Blau $(B)$ unterschieden werden können. Die Grafik soll diesen Sachverhalt verdeutlichen, wobei in dem zweidimensionalen Feld $(R, B)$ die Summe $S = R + B$ eingetragen ist.
 
  
Für die folgende Beschreibung definieren wir folgende Ereignisse:
+
{{GraueBox|TEXT= 
*$A_1$: Die Augenzahl des roten Würfels ist $R < 4$ (rote Hinterlegung) &nbsp;&rArr;&nbsp; ${\rm Pr}(A_1) = 1/2$,
+
$\text{Example 1:}$&nbsp;
*$A_2$: Die Augenzahl des blauen Würfels ist $B > 4$ (blaue Schrift) &nbsp;&rArr;&nbsp; ${\rm Pr}(A_2) = 1/3$,
+
We consider the experiment&nbsp; "throwing two dice",&nbsp; where the two dice&nbsp; (in graphic:&nbsp; "cubes")&nbsp; can be distinguished by their colors red&nbsp; $(R)$&nbsp; and blue&nbsp; $(B)$.
*$A_3$: Die Summe der beiden Würfel ist $S = 7$ (grüne Umrahmung) &nbsp;&rArr;&nbsp; ${\rm Pr}(A_3) = 1/6$,
 
*$A_4$: Die Summe der beiden Würfel ist $S = 8$  &nbsp;&rArr;&nbsp; ${\rm Pr}(A_4) = 5/36$,
 
*$A_5$: Die Summe der beiden Würfel ist $S = 10$  &nbsp;&rArr;&nbsp; ${\rm Pr}(A_5) = 3/36$,
 
  
 +
The graph illustrates this fact,&nbsp; where the sum&nbsp; $S = R + B$&nbsp; is entered in the two-dimensional field&nbsp; $(R, B)$.
  
Die Grafik kann wie folgt interpretiert werden:  
+
For the following description we define the following events:
*Die beiden Ereignisse $A_1$ und $A_2$ sind sind statistisch unabhängig, da die Wahrscheinlichkeit ${\rm Pr}(A_1 ∩ A_2) = 1/6$ der Schnittmenge gleich dem Produkt der beiden Einzelwahrscheinlichkeiten ${\rm Pr}(A_1) = 1/2$ und ${\rm Pr}(A_2) = 1/3$ ist. Aufgrund der Aufgabenstellung hätte auch jedes andere Ergebnis sehr überrascht.
+
[[File:EN_Sto_T_1_3_S1.png|right|frame| Examples for statistically independent events]]
*Aber auch die beiden Ereignisse $A_1$ und $A_3$ sind wegen ${\rm Pr}(A_1) = 1/2$, ${\rm Pr}(A_3) = 1/6$ und ${\rm Pr}(A_1 ∩ A_3) = 1/12$ statistisch voneinander unabhängig. Die Wahrscheinlichkeit der Schnittmenge $1/12$ ergibt sich, weil drei der 36 Felder sowohl rot hinterlegt als auch grün umrandet sind.
+
*$A_1$:&nbsp; The outcome of the red cube is&nbsp; $R < 4$&nbsp; (red background) &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1) = 1/2$,
*Dagegen bestehen zwischen den Ereignissen $A_1$ und $A_4$ statistische Bindungen. Dies zeigt sich, da die Wahrscheinlichkeit der Schnittmenge &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1 ∩ A_4) = 1/18 = 4/72$ ungleich dem Produkt ${\rm Pr}(A_1) \cdot {\rm Pr}(A_4)= 1/2 \cdot 5/36 = 5/72$ ist.
+
*$A_2$:&nbsp; The outcome of the blue cube is&nbsp; $B > 4$&nbsp; (blue font) &nbsp; &rArr; &nbsp; ${\rm Pr}(A_2) = 1/3$,
*Die beiden Ereignisse $A_1$ und $A_5$ sind sogar disjunkt &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1 ∩ A_5) = 0$: Keines der rot hinterlegten Felder ist mit $S=10$ beschriftet. Dieses Beispiel zeigt, dass Disjunktivität eine besonders ausgeprägte Form von statistischer Abhängigkeit ist.
+
*$A_3$:&nbsp; The sum of the two cubes is&nbsp; $S = 7$&nbsp; (green outline) &nbsp; &rArr; &nbsp; ${\rm Pr}(A_3) = 1/6$,
{{end}}
+
*$A_4$:&nbsp; The sum of the two cubes is&nbsp; $S = 8$&nbsp; &nbsp; &rArr; &nbsp; ${\rm Pr}(A_4) = 5/36$,
 +
*$A_5$:&nbsp; The sum of the two cubes is&nbsp; $S = 10$&nbsp;  &nbsp; &rArr; &nbsp; ${\rm Pr}(A_5) = 3/36$.
  
==Bedingte Wahrscheinlichkeit==
 
Bestehen zwischen den beiden Ereignissen $A$ und $B$ statistische Bindungen, so ist durch die (unbedingten) Wahrscheinlichkeiten ${\rm Pr}(A)$ und ${\rm Pr}(B)$ der Sachverhalt im statistischen Sinne nicht eindeutig beschrieben. Man benötigt dann noch so genannte bedingte Wahrscheinlichkeiten.
 
  
{{Definition}}
+
The graph can be interpreted as follows:
Die '''bedingte Wahrscheinlichkeit''' (englisch: ''Conditional Probability'') von $A$ unter der Bedingung $B$ ist wie folgt berechenbar:
+
*The two events&nbsp; $A_1$&nbsp; and&nbsp; $A_2$&nbsp; are statistically independent because the probability&nbsp; ${\rm Pr}(A_1 ∩ A_2) = 1/6$&nbsp; of the intersection is equal to the product of the two individual probabilities&nbsp; ${\rm Pr}(A_1) = 1/2$&nbsp; and&nbsp; ${\rm Pr}(A_2) = 1/3$&nbsp;.&nbsp; Given the problem definition,&nbsp; any other result would also have been very surprising.
$${\rm Pr}(A\hspace{0.05cm} | \hspace{0.05cm} B) = \frac{{\rm Pr}(A \cap B)}{{\rm Pr}(B)}.$$
+
*But also the events&nbsp; $A_1$&nbsp; and&nbsp; $A_3$&nbsp; are statistically independent because of&nbsp; ${\rm Pr}(A_1) = 1/2$,&nbsp; ${\rm Pr}(A_3) = 1/6$&nbsp; and&nbsp; ${\rm Pr}(A_1 ∩ A_3) = 1/12$.&nbsp; The probability of intersection&nbsp; $(1/12)$&nbsp; arises because three of the&nbsp; $36$&nbsp; squares are both highlighted in red and outlined in green.
{{end}}
+
*In contrast,&nbsp; there are statistical bindings between&nbsp; $A_1$&nbsp; and&nbsp; $A_4$&nbsp; because the probability of intersection &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1 ∩ A_4) = 1/18 = 4/72$&nbsp; is not equal to the product&nbsp; ${\rm Pr}(A_1) \cdot {\rm Pr}(A_4)= 1/2 \cdot 5/36 = 5/72$&nbsp;.
 +
*The two events&nbsp; $A_1$&nbsp; and&nbsp; $A_5$&nbsp; are even disjoint &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1 ∩ A_5) = 0$: &nbsp; none of the boxes with red background is labeled&nbsp; $S=10$&nbsp;.
  
  
In gleicher Weise gilt für die bedingte Wahrscheinlichkeit von $B$ unter der Bedingung $A$:
+
'''This example shows that disjunctivity is a particularly pronounced form of statistical dependence'''. }}
$${\rm Pr}(B\hspace{0.05cm} | \hspace{0.05cm}A) = \frac{{\rm Pr}(A \cap B)}{{\rm Pr}(A)}.$$
 
  
Verknüpft man diese beiden Gleichungen, so ergibt sich der Satz von [https://de.wikipedia.org/wiki/Thomas_Bayes Bayes]:
+
==Conditional Probability==
$${\rm Pr}(B \hspace{0.05cm} | \hspace{0.05cm} A) = \frac{{\rm Pr}(A\hspace{0.05cm} | \hspace{0.05cm} B)\cdot {\rm Pr}(\it B)}{{\rm Pr}(A)}.$$
+
<br>
 +
If there are statistical bindings between the two events&nbsp; $A$&nbsp; and&nbsp; $B$,&nbsp; the&nbsp; (unconditional)&nbsp; probabilities&nbsp; ${\rm Pr}(A)$&nbsp; and&nbsp; ${\rm Pr}(B)$&nbsp; do not describe the situation unambiguously in the statistical sense.&nbsp; So-called&nbsp; "conditional probabilities"&nbsp; are then required.
  
Nachfolgend sind einige Eigenschaften von bedingten Wahrscheinlichkeiten zusammengestellt:
+
{{BlaueBox|TEXT=   
*Auch eine bedingte Wahrscheinlichkeit liegt stets zwischen $0$ und $1$ einschließlich dieser beiden Grenzen: $0 \le {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \le 1$.
+
$\text{Definitions:}$&nbsp;
*Kann die Bedingung $B$ als konstant angesehen werden, so gelten alle im Kapitel [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen|Mengentheoretische Grundlagen]] für die unbedingten Wahrscheinlichkeiten ${\rm Pr}(A)$ und ${\rm Pr}(B)$ angegebenen Rechenregeln weiterhin.
 
*Sind die existierenden Ereignisse $A$ und $B$ disjunkt, so ist ${\rm Pr}(A\hspace{0.05cm} | \hspace{0.05cm} B) = {\rm Pr}(B\hspace{0.05cm} | \hspace{0.05cm}A)= 0$.  
 
*Ist $B$ eine echte oder unechte Teilmenge von $A$, so ist ${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) =1$.
 
*Sind zwei Ereignisse $A$ und $B$ statistisch voneinander unabhängig, so sind deren bedingte Wahrscheinlichkeiten gleich den unbedingten, wie die folgende Rechnung zeigt:
 
$${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) = \frac{{\rm Pr}(A \cap B)}{{\rm Pr}(B)} = \frac{{\rm Pr} ( A) \cdot {\rm Pr} ( B)} { {\rm Pr}(B)} = {\rm Pr} ( A).$$
 
  
 +
*The&nbsp; '''conditional probability''' of&nbsp; $A$&nbsp; under condition&nbsp; $B$&nbsp; can be calculated as follows:
 +
:$${\rm Pr}(A\hspace{0.05cm} \vert \hspace{0.05cm} B) = \frac{ {\rm Pr}(A \cap B)}{ {\rm Pr}(B)}.$$
  
{{Beispiel}}
+
*Similarly,&nbsp; the conditional probability of&nbsp; $B$&nbsp; under condition&nbsp; $A$&nbsp; is:
[[File:P_ID505__Sto_T_1_3_S2_neu.png | Beispiel für statistisch abhängige Ereignisse|Right]]
+
:$${\rm Pr}(B\hspace{0.05cm} \vert \hspace{0.05cm}A) = \frac{ {\rm Pr}(A \cap B)}{ {\rm Pr}(A)}.$$
Wir betrachten wieder das Zufallsexperiment ''Werfen mit zwei Würfeln'', wobei wie beim letzten Beispiel $S = R + B$ die Summe des roten und des blauen Würfels bezeichnet. Im nachfolgenden Schema ist das Ereignis $A_1 = „R < 4”$ wieder rötlich hinterlegt und das Ereignis $A_4 = „S = 8”$ durch grüne Umrahmungen markiert.
 
  
 +
*Combining these two equations,&nbsp; we get&nbsp; [https://en.wikipedia.org/wiki/Thomas_Bayes Bayes']&nbsp; Theorem:
 +
:$${\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A) = \frac{ {\rm Pr}(A\hspace{0.05cm} \vert \hspace{0.05cm} B)\cdot {\rm Pr}(B)}{ {\rm Pr}(A)}.$$}}
  
  
 +
Below are some properties of conditional probabilities:
 +
*Also a conditional probability lies always  between&nbsp; $0$&nbsp; and&nbsp; $1$&nbsp; including these two limits: &nbsp; $0 \le {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \le 1$.
 +
*With constant  condition&nbsp; $B$,&nbsp; all calculation rules given in the chapter&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics|Set Theory Basics]]&nbsp;  for the unconditional probabilities&nbsp; ${\rm Pr}(A)$&nbsp; and&nbsp; ${\rm Pr}(B)$&nbsp; still apply.
 +
*If the existing events&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; are disjoint,&nbsp; then&nbsp; ${\rm Pr}(A\hspace{0.05cm} | \hspace{0.05cm} B) = {\rm Pr}(B\hspace{0.05cm} | \hspace{0.05cm}A)= 0$&nbsp; $($ event&nbsp; $A$&nbsp; "exists"&nbsp; if&nbsp; ${\rm Pr}(A) > 0)$. 
 +
*If&nbsp; $B$&nbsp; is a proper or improper subset of&nbsp; $A$,&nbsp; then&nbsp; ${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) =1$. &nbsp;
 +
*If two events&nbsp; $A$&nbsp; and&nbsp; $B$ are statistically independent,&nbsp; their conditional probabilities are equal to the unconditional ones,&nbsp; as the following calculation shows:
 +
:$${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) = \frac{{\rm Pr}(A \cap B)}{{\rm Pr}(B)} = \frac{{\rm Pr} ( A) \cdot {\rm Pr} ( B)} { {\rm Pr}(B)} = {\rm Pr} ( A).$$
  
 +
{{GraueBox|TEXT= 
 +
$\text{Example 2:}$&nbsp;
 +
We again consider the experiment&nbsp; "Throwing two dice",&nbsp; where&nbsp; $S = R + B$&nbsp; denotes the sum of the red and blue dice (cube).
  
Zu dieser Grafik ist anzumerken:  
+
[[File:EN_Sto_T_1_3_S2.png |frame| Example of statistically dependent events|right]]
*Die bedingte Wahrscheinlichkeit Pr( $A_1 | A_4$) = 2/5 (zwei der fünf grün umrandeten Felder sind rot hinterlegt) berechnet sich aus dem Quotienten der Verbundwahrscheinlichkeit Pr( $A_1 ∩ A_4$) = 2/36 und der Wahrscheinlichkeit Pr( $A_4$) = 5/36.
+
Here we consider bindings between the two events
*Da $A_1$ und $A_4$ statistisch abhängig sind, ist Pr( $A_1 | A_4$) = 2/5 ungleich Pr( $A_1$) = 1/2.
+
*$A_1$:&nbsp; The outcome of the red cube is&nbsp; $R < 4$&nbsp; (red background) &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1) = 1/2$,
*Dieses letzte Ergebnis lässt sich zum Beispiel auch über den Satz von Bayes ableiten:
+
*$A_4$:&nbsp; The sum of the two cubes is&nbsp; $S = 8$&nbsp; (green outline) &nbsp; &rArr; &nbsp; ${\rm Pr}(A_4) = 5/36$,
$${\rm Pr}(A_4 \mid A_1) =  \frac{{\rm Pr}(A_1 \mid A_4)\cdot {\rm Pr} ( A_4)} { {\rm Pr}(A_1)} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {1}/{9} = \frac{2/5 \cdot 5/36}{1/2}.$$
 
*Dagegen gelten für $A_1$ und das hierzu statistisch unabhängige Ereignis $A_3 = „S = 7”$ die folgenden bedingten Wahrscheinlichkeiten, siehe [[Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit#Allgemeine_Definition_von_statistischer_Abh.C3.A4ngigkeit_.282.29|Grafik zum letzten Beispiel]]:
 
$$\rm Pr(\it A_{\rm 1} \mid \it A_{\rm 3}) = \rm Pr(\it A_{\rm 1}) = \rm 1/2\hspace{0.5cm}bzw.\hspace{0.5cm}\rm Pr(\it A_{\rm 3} \mid \it A_{\rm 1}) = \rm Pr(\it A_{\rm 3}) = \rm 1/6.$$
 
{{end}}
 
  
==Allgemeines Multiplikationstheorem==
 
Wir betrachten weiterhin mehrere Ereignisse $A_i$ mit 1 ≤ $i$ ≤ $I$. Diese Ereignisse $A_i$ stellen nun aber kein [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Vollst.C3.A4ndiges_System|vollständiges System]]  mehr dar, das heißt, sie sind nicht paarweise zueinander disjunkt, und es können zwischen den einzelnen Ereignissen auch statistische Bindungen bestehen.
 
  
{{Definition}}
+
and refer again to the event of&nbsp; [[Theory_of_Stochastic_Signals/Statistical_Dependence_and_Independence#General_Definition_of_Statistical_Dependence|Example 1]]:&nbsp;
Für die so genannte Verbundwahrscheinlichkeit, also für die Wahrscheinlichkeit der Schnittmenge aller $I$ Ereignisse $A_i$, gilt in diesem Fall:
+
*$A_3$:&nbsp; The sum of the two cubes is&nbsp; $S = 7$ &nbsp; &rArr; &nbsp; ${\rm Pr}(A_3) = 1/6$.
$$\rm Pr(\it A_{\rm 1} \cap \hspace{0.1cm} ...\hspace{0.1cm} \cap A_{I})  = \hspace{0.3cm} ...$$
 
$$...\hspace{0.3cm}= \rm Pr(\it A_{I})\hspace{0.05cm}\cdot\hspace{0.05cm}\rm Pr(\it A_{I \rm \hspace{-0.05cm}-\hspace{-0.05cm}1} \hspace{0.05cm}|  \hspace{0.05cm} A_I) \hspace{0.05cm}\cdot \hspace{0.05cm}\rm Pr(\it A_{I \rm \hspace{-0.05cm} -\hspace{-0.05cm}2} \hspace{0.05cm}| \hspace{0.05cm} \it A_{I \hspace{-0.05cm} - \hspace{-0.05cm} \rm 1}\cap \it A_I)\hspace{0.05cm} \cdot ...  \cdot\hspace{0.05cm} \rm Pr(\it A_{\rm 1} \hspace{0.05cm}|  \hspace{0.05cm}A_{\rm 2} \cap \hspace{0.1cm} ...  \hspace{0.1cm}\cap A_{ I}).$$
 
{{end}}
 
  
  
In gleicher Weise gilt natürlich auch:
+
Regarding this graph,&nbsp; note:
$$\rm Pr(\it A_{\rm 1} \cap \hspace{0.1cm} ...\hspace{0.1cm} \cap A_{I}) = \hspace{0.3cm} ...$$
+
*There are statistical bindings between  the both events&nbsp; $A_1$&nbsp; and&nbsp; $A_4$,&nbsp; since the probability of intersection  &nbsp; &rArr; &nbsp; ${\rm Pr}(A_1 ∩ A_4) = 2/36 = 4/72$&nbsp; is not equal to the product&nbsp; ${\rm Pr}(A_1) \cdot {\rm Pr}(A_4)= 1/2 \cdot 5/36 = 5/72$&nbsp;.   
$$...\hspace{0.3cm}= {\rm Pr}(A_1)\hspace{0.05cm}\cdot\hspace{0.05cm}{\rm Pr}(A_2 \hspace{0.05cm}\hspace{0.05cm} A_1) \hspace{0.05cm}\cdot \hspace{0.05cm}{\rm Pr}(A_3 \hspace{0.05cm}| \hspace{0.05cm} A_1\cap  A_2)\hspace{0.05cm} \cdot ...  \cdot\hspace{0.05cm} {\rm Pr}(A_I \hspace{0.05cm}\hspace{0.05cm}A_1 \cap \hspace{0.1cm} ...  \hspace{0.1cm}\cap A_{ I-1}).$$
+
*The conditional probability&nbsp; ${\rm Pr}(A_1 \hspace{0.05cm} \vert \hspace{0.05cm} A_4) = 2/5$&nbsp; can be calculated from the quotient of the joint probability&nbsp; ${\rm Pr}(A_1 ∩ A_4) = 2/36$&nbsp; and the probability &nbsp; ${\rm Pr}(A_4) = 5/36$&nbsp;.
 +
*Since the events&nbsp; $A_1$&nbsp; and&nbsp; $A_4$&nbsp; are statistically dependent,&nbsp; the conditional probability&nbsp; ${\rm Pr}(A_1 \hspace{0.05cm}\vert \hspace{0.05cm} A_4) = 2/5$&nbsp;  (two of the five squares outlined in green are highlighted in red)&nbsp; is not equal to the absolute probability&nbsp; ${\rm Pr}(A_1) = 1/2$&nbsp; (half of all squares are highlighted in red).
 +
*Similarly,&nbsp; the conditional probability&nbsp; ${\rm Pr}(A_4 \hspace{0.05cm} \vert \hspace{0.05cm} A_1) = 2/18 = 1/9$&nbsp;  (two of the&nbsp; $18$&nbsp; fields with a red background are outlined in green)&nbsp; is unequal to the absolute probability&nbsp; ${\rm Pr}(A_4) = 5/36$&nbsp; (a total of five of the&nbsp; $36$&nbsp; fields are outlined in green).
 +
*This last result can also be derived using&nbsp; '''Bayes'&nbsp; Theorem''', &nbsp; for example:
 +
:$${\rm Pr}(A_4 \hspace{0.05cm} \vert\hspace{0.05cm} A_1) =  \frac{ {\rm Pr}(A_1 \hspace{0.05cm} \vert\hspace{0.05cm} A_4)\cdot {\rm Pr} ( A_4)} {\rm Pr}(A_1)}  = \frac{2/5 \cdot 5/36}{1/2}  = 1/9.$$
 +
*In contrast,&nbsp; the following conditional probabilities hold for&nbsp; $A_1$&nbsp; and the statistically independent event&nbsp; $A_3$,&nbsp; see&nbsp; [[Theory_of_Stochastic_Signals/Statistische_Abhängigkeit_und_Unabhängigkeit#General_Definition_of_Statistical_Dependence| Example 1]]:
 +
:$${\rm Pr}(A_{\rm 1} \hspace{0.05cm}\vert \hspace{0.05cm} A_{\rm 3}) = {\rm Pr}(A_{\rm 1}) = \rm 1/2\hspace{0.5cm}{\rm bzw.}\hspace{0.5cm}{\rm Pr}(A_{\rm 3} \hspace{0.05cm} \vert \hspace{0.05cm} A_{\rm 1}) = {\rm Pr}(A_{\rm 3}) = 1/6.$$}}
  
{{Beispiel}}
 
Eine Lostrommel enthält zehn Lose, darunter drei Treffer (Ereignis $T$). Dann ergibt sich für die Wahrscheinlichkeit, dass man mit zwei Losen zwei Treffer zieht:
 
$$\rm Pr(\it T_{\rm 1} \cap \it T_{\rm 2}) = \rm Pr(\it T_{\rm1})\cdot \rm Pr(\it T_{\rm 2} \hspace{0.05cm}|  \hspace{0.05cm} \it T_{\rm 1}) = \rm 3/10 \cdot 2/9 = 1/15 \approx 6.7 \%.$$
 
  
Hierbei ist berücksichtigt, dass sich bei der zweiten Ziehung nur mehr neun Lose und zwei Treffer in der Urne befinden.  
+
==General multiplication theorem==
 +
<br>
 +
We consider several events denoted as&nbsp;  $A_i$&nbsp; with&nbsp; $1 ≤ i ≤ I$.&nbsp; However,&nbsp; these events&nbsp; $A_i$&nbsp; now no longer represent a&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Complete_system|"complete system"]]&nbsp;, viz,
 +
*they are not pairwise disjoint to each other,&nbsp; and
 +
*there may also be statistical bindings between the individual events.
  
Würde man jedoch die Lose nach der Ziehung wieder in die Trommel zurücklegen, so wären die Ereignisse $T_1$ und $T_2$ statistisch unabhängig  ⇒  $ {\rm Pr}(T_1 ∩ T_2) = (3/10)^2 = 9%.$
 
{{end}}
 
  
==Rückschlusswahrscheinlichkeit==
+
{{BlaueBox|TEXT=
Gegeben seien Ereignisse $A_i$ mit 1 ≤ $i$ ≤ $I$, die ein vollständiges System bilden. Das heißt: Alle Ereignisse sind paarweise disjunkt $(A_i ∩ A_j = ϕ$ für alle $i ≠ j$) und die Vereinigungsmenge ergibt die Grundmenge:
+
$\text{Definition:}$&nbsp;
$$\rm \bigcup_{\it i=1}^{\it I}\it A_i = \it G.$$
+
For the so-called&nbsp; '''joint probability''', i.e. for the probability of the intersection of all&nbsp; $I$&nbsp; events&nbsp; $A_i$,&nbsp; holds in this case:
 +
:$${\rm Pr}(A_{\rm 1} \cap \hspace{0.02cm}\text{ ...}\hspace{0.1cm} \cap A_{I})  =  
 +
{\rm Pr}(A_{I})\hspace{0.05cm}\cdot\hspace{0.05cm}{\rm Pr}(A_{I \rm -1} \hspace{0.05cm}\vert  \hspace{0.05cm} A_I) \hspace{0.05cm}\cdot \hspace{0.05cm}{\rm Pr}(A_{I \rm -2} \hspace{0.05cm}\vert\hspace{0.05cm} A_{I - \rm 1}\cap A_I)\hspace{0.05cm} \cdot  \hspace{0.02cm}\text{ ...}  \hspace{0.1cm} \cdot\hspace{0.05cm} {\rm Pr}(A_{\rm 1} \hspace{0.05cm}\vert  \hspace{0.05cm}A_{\rm 2} \cap \hspace{0.02cm}\text{ ...}  \hspace{0.1cm}\cap A_{ I}).$$
  
Daneben betrachten wir noch das Ereignis $B$, von dem alle bedingten Wahrscheinlichkeiten Pr( $B | A_i$) mit den Indizes 1 ≤ $i$ ≤ $I$ bekannt sind.
+
In the same way, of course, holds:
 +
:$${\rm Pr}(A_{\rm 1} \cap \hspace{0.02cm}\text{ ...}\hspace{0.1cm} \cap A_{I})  =  {\rm Pr}(A_1)\hspace{0.05cm}\cdot\hspace{0.05cm}{\rm Pr}(A_2 \hspace{0.05cm}\vert  \hspace{0.05cm} A_1) \hspace{0.05cm}\cdot \hspace{0.05cm}{\rm Pr}(A_3 \hspace{0.05cm}\vert \hspace{0.05cm}  A_1\cap  A_2)\hspace{0.05cm} \cdot \hspace{0.02cm}\text{ ...}\hspace{0.1cm}  \cdot\hspace{0.05cm} {\rm Pr}(A_I \hspace{0.05cm}\vert  \hspace{0.05cm}A_1 \cap \hspace{0.02cm} \text{ ...}  \hspace{0.1cm}\cap A_{ I-1}).$$}}
  
{{Definition}}
 
'''Satz von der totalen Wahrscheinlichkeit:''' Unter den oben genannten Voraussetzungen gilt für die (unbedingte) Wahrscheinlichkeit des Ereignisses $B$:
 
$$\rm Pr(\it B) = \sum_{i={\rm1}}^{I}\rm Pr(\it B \cap A_i) = \sum_{i={\rm1}}^{I}\rm Pr(\it B \mid A_i)\cdot\rm Pr(\it A_i).$$
 
{{end}}
 
  
 +
{{GraueBox|TEXT= 
 +
$\text{Example 3:}$&nbsp;
 +
A lottery drum contains ten lots,&nbsp; including three hits&nbsp; $($event&nbsp; $T_1)$.&nbsp;
  
Aus dieser Gleichung folgt mit dem Satz von [https://de.wikipedia.org/wiki/Thomas_Bayes Bayes]  für die Rückschlusswahrscheinlichkeit:
+
*Then the probability of drawing two hits with two tickets is:
$$\rm Pr(\it A_i \mid B) = \frac{\rm Pr(\it B \mid A_i)\cdot\rm Pr(\it A_i )}{\rm Pr(\it B)} = \frac{\rm Pr(\it B \mid A_i)\cdot\rm Pr(\it A_i )}{\sum_{k={\rm1}}^{I}\rm Pr(\it B \mid A_k)\cdot\rm Pr(\it A_k)}.$$
 
  
{{Beispiel}}
+
:$${\rm Pr}(T_1 \cap T_2) = {\rm Pr}(T_1) \cdot {\rm Pr}(T_2 \hspace{0.05cm }\vert \hspace{0.05cm} T_1) = 3/10 \cdot 2/9 = 1/15 \approx 6.7 \%.$$
In Münchner Studentenheimen wohnen Studierende der LMU (Ereignis $L$; 70%) und der TUM (Ereignis $T$; 30%). Es ist weiterhin bekannt, dass an der LMU 60% aller Studierenden weiblich sind, an der TUM nur 10%. Der Anteil aller Studentinnen (Ereignis $W$) kann dann mit dem Satz von der totalen Wahrscheinlichkeit ermittelt werden:
 
$$\rm Pr(\it W) = \rm Pr(\it W \mid L)\hspace{0.01cm}\cdot\hspace{0.01cm}\rm Pr(\it L) \hspace{0.05cm}+\hspace{0.05cm} \rm Pr(\it W\mid T)\hspace{0.01cm}\cdot\hspace{0.01cm}\rm Pr(\it T) = \rm 0.6\hspace{0.01cm}\cdot\hspace{0.01cm}0.7\hspace{0.05cm}+\hspace{0.05cm}0.1\hspace{0.01cm}\cdot \hspace{0.01cm}0.3 = 45 \%.$$
 
Trifft man eine Studentin, so kann man mit der Rückschlusswahrscheinlichkeit
 
$${\rm Pr}(L \hspace{-0.05cm}\mid  \hspace{-0.05cm}W) = \frac{ {\rm Pr}(W \hspace{-0.05cm}\mid  \hspace{-0.05cm}L)\cdot {\rm Pr}(L) }{{\rm Pr}(W \hspace{-0.05cm}\mid  \hspace{-0.05cm}L) \cdot {\rm Pr}(L) +{\rm Pr}(W \hspace{-0.05cm}\mid  \hspace{-0.05cm}T) \cdot  {\rm Pr}(T)}=\rm \frac{0.6\cdot 0.7}{0.6\cdot 0.7 + 0.1\cdot 0.3}=\frac{14}{15}$$
 
vorhersagen, dass sie an der LMU studieren wird. Ein durchaus realistisches Ergebnis.
 
{{end}}
 
  
==Aufgaben zum Kapitel==
+
*This takes into account that in the second draw&nbsp; $($event&nbsp; $T_2)$&nbsp; there would be only nine tickets and two hits in the drum if one hit had been drawn in the first run: 
 +
:$${\rm Pr}(T_2 \hspace{0.05cm} \vert\hspace{0.05cm} T_1) = 2/9\approx 22.2 \%.$$
 +
*However,&nbsp; if the tickets were returned to the drum after the draw,&nbsp; the events&nbsp; $T_1$&nbsp; and&nbsp; $T_2$&nbsp; would be statistically independent and it would hold: 
 +
:$$ {\rm Pr}(T_1 ∩ T_2) = (3/10)^2 = 9\%.$$}}
  
[[Aufgaben:1.2 Schaltlogik (D/B-Wandler)|Aufgabe 1.2: &nbsp; Schaltlogik (D/B-Wandler)]]
+
==Inference probability==
 +
<br>
 +
Given again events&nbsp; $A_i$&nbsp; with&nbsp; $1 ≤ i ≤ I$&nbsp; that form a&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Complete_system|"complete system"]].&nbsp; That is:
 +
*All events are pairwise disjoint&nbsp; $(A_i ∩ A_j = ϕ$&nbsp; for all&nbsp; $i ≠ j$&nbsp;).
 +
*The union gives the universal set:
 +
:$$\rm \bigcup_{\it i=1}^{\it I}\it A_i = \it G.$$
  
[[Aufgaben:1.2Z_Ziffernmengen|Zusatzaufgabe 1.2Z: &nbsp; Ziffernmengen]]
+
Besides,&nbsp; we consider the event&nbsp; $B$,&nbsp; of which all conditional probabilities&nbsp; ${\rm Pr}(B \hspace{0.05cm} | \hspace{0.05cm} A_i)$&nbsp; with indices&nbsp; $1 ≤ i ≤ I$&nbsp; are known.
  
[[Aufgaben:1.3 Fiktive_Uni_Irgenwo|Aufgabe 1.3: &nbsp; Fiktive Uni Irgenwo]]
+
{{BlaueBox|TEXT= 
 +
$\text{Theorem of total probability:}$&nbsp;
  
[[Aufgaben:1.3Z_Gewinnen_mit_Roulette|Zusatzaufgabe 1.3Z: &nbsp; Gewinnen mit Roulette]]
+
Under the above conditions,&nbsp; the&nbsp; (unconditional)&nbsp; probability of event&nbsp; $B$&nbsp; is:
 +
:$${\rm Pr}(B) = \sum_{i={\rm1} }^{I}{\rm Pr}(B \cap A_i) = \sum_{i={\rm1} }^{I}{\rm Pr}(B \hspace{0.05cm} \vert\hspace{0.05cm} A_i)\cdot{\rm Pr}(A_i).$$}}
  
  
Die Aussagen dieses Abschnitts sind im nachfolgenden Lernvideo zusammengefasst:  
+
{{BlaueBox|TEXT= 
 +
$\text{Definition:}$&nbsp; From this equation, using&nbsp;  [[Theory_of_Stochastic_Signals/Statistical_Dependence_and_Independence#Conditional_Probability|Bayes' theorem:]] &nbsp;  &rArr; &nbsp; '''Inference probability''':
 +
:$${\rm Pr}(A_i \hspace{0.05cm} \vert \hspace{0.05cm} B) = \frac{ {\rm Pr}( B \mid A_i)\cdot {\rm Pr}(A_i )}{ {\rm Pr}(B)} = \frac{ {\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A_i)\cdot {\rm Pr}(A_i )}{\sum_{k={\rm1} }^{I}{\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A_k)\cdot{\rm Pr}(A_k) }.$$}}
 +
 
 +
 
 +
{{GraueBox|TEXT= 
 +
$\text{Example 4:}$&nbsp;
 +
Munich's student hostels are occupied by students from
 +
*the Ludwig Maximilian Universiy of Munich&nbsp; $($event&nbsp; $L$ &nbsp; &rArr; &nbsp; ${\rm Pr}(L) = 70\%)$&nbsp; and
 +
*the Technical University of Munich&nbsp; $($event&nbsp; $T$ &nbsp; &rArr; &nbsp;  ${\rm Pr}(T) = 30\%)$.
 +
 
 +
 
 +
It is further known that at LMU&nbsp; $60\%$&nbsp; of all students are female,&nbsp; whereas at TUM only&nbsp; $10\%$&nbsp; are female.
 +
 
 +
*The proportion of all female students in the hostel&nbsp; $($event $F)$&nbsp; can then be determined using the total probability theorem:
 +
:$${\rm Pr}(F) = {\rm Pr}(F \hspace{0.05cm} \vert \hspace{0.05cm} L)\hspace{0.01cm}\cdot\hspace{0.01cm}{\rm Pr}(L) \hspace{0.05cm}+\hspace{0.05cm} {\rm Pr}(F \hspace{0.05cm} \vert \hspace{0.05cm} T)\hspace{0.01cm}\cdot\hspace{0.01cm}{\rm Pr}(T) = \rm 0.6\hspace{0.01cm}\cdot\hspace{0.01cm}0.7\hspace{0.05cm}+\hspace{0.05cm}0.1\hspace{0.01cm}\cdot \hspace{0.01cm}0.3 = 45 \%.$$
 +
*If we meet a female student, we can use the inference probability
 +
:$${\rm Pr}(L \hspace{-0.05cm}\mid  \hspace{-0.05cm}F) = \frac{ {\rm Pr}(F \hspace{-0.05cm}\mid  \hspace{-0.05cm}L)\cdot  {\rm Pr}(L) }{ {\rm Pr}(F \hspace{-0.05cm}\mid  \hspace{-0.05cm}L) \cdot  {\rm Pr}(L) +{\rm Pr}(F \hspace{-0.05cm}\mid  \hspace{-0.05cm}T) \cdot  {\rm Pr}(T)}=\rm \frac{0.6\cdot 0.7}{0.6\cdot 0.7 + 0.1\cdot 0.3}=\frac{14}{15}\approx 93.3 \%$$
 +
:predict that she will study at LMU.&nbsp; A quite realistic result&nbsp; (at least in the past).}}
 +
 
 +
 
 +
The topic of this chapter is illustrated with examples in the&nbsp;  (German language)&nbsp;  learning video
 +
:[[Statistische_Abhängigkeit_und_Unabhängigkeit_(Lernvideo)|Statistische Abhängigkeit und  Unabhängigkeit]] &nbsp; $\Rightarrow$ &nbsp; "Statistical Dependence and Independence".
 +
 
 +
==Exercises for the chapter==
 +
<br>
 +
[[Aufgaben:Exercise_1.4:_2S/3E_Channel_Model|Exercise 1.4: 2S/3E Channel Model]]
 +
 
 +
[[Aufgaben:Exercise_1.4Z:_Sum_of_Ternary_Quantities|Exercise 1.4Z: Sum of Ternary Quantities]]
 +
 
 +
[[Aufgaben:Exercise_1.5:_Drawing_Cards|Exercise 1.5: Drawing Cards]]
 +
 
 +
[[Aufgaben:Exercise_1.5Z:_Probabilities_of_Default|Exercise 1.5Z: Probabilities of Default]]
  
Statistische (Un-)Abhängigkeit
 
  
 
{{Display}}
 
{{Display}}

Revision as of 18:13, 11 April 2022

General Definition of Statistical Dependence


So far we have not paid much attention to  "statistical dependence"  between events,  even though we have already used it as in the case of two disjoint sets:   If an element belongs to  $A$,  it cannot with certainty also be contained in the disjoint set  $B$.

The strongest form of dependence at all is such a  deterministic dependence  between two sets or two events.  Less pronounced is the statistical dependence.  Let us start with its complement:

$\text{Definitions:}$ 

  • Two events  $A$  and  $B$  are called  statistically independent,  if the probability of the intersection  $A ∩ B$  is equal to the product of the individual probabilities:
$${\rm Pr}(A \cap B) = {\rm Pr}(A)\cdot {\rm Pr}(B).$$
  • If this condition is not satisfied,  then the events  $A$  and  $B$  are statistically dependent:
$${\rm Pr}(A \cap B) \ne {\rm Pr}(A)\cdot {\rm Pr}(B).$$


  • In some applications,  statistical independence is obvious,  for example,  in the  "coin toss"  experiment.  The probability for  "heads"  or  "tails"  is independent of whether  "heads"  or  "tails"  occurred in the last toss.
  • And also the individual results in the random experiment  "throwing a roulette ball"  are always statistically independent of each other under fair conditions,  even if individual system players do not want to admit this.
  • In other applications,  on the other hand,  the question whether two events are statistically independent or not is not or only very difficult to answer instinctively.  Here one can only arrive at the correct answer by checking the formal independence criterion given above,  as the following example will show.


$\text{Example 1:}$  We consider the experiment  "throwing two dice",  where the two dice  (in graphic:  "cubes")  can be distinguished by their colors red  $(R)$  and blue  $(B)$.

The graph illustrates this fact,  where the sum  $S = R + B$  is entered in the two-dimensional field  $(R, B)$.

For the following description we define the following events:

Examples for statistically independent events
  • $A_1$:  The outcome of the red cube is  $R < 4$  (red background)   ⇒   ${\rm Pr}(A_1) = 1/2$,
  • $A_2$:  The outcome of the blue cube is  $B > 4$  (blue font)   ⇒   ${\rm Pr}(A_2) = 1/3$,
  • $A_3$:  The sum of the two cubes is  $S = 7$  (green outline)   ⇒   ${\rm Pr}(A_3) = 1/6$,
  • $A_4$:  The sum of the two cubes is  $S = 8$    ⇒   ${\rm Pr}(A_4) = 5/36$,
  • $A_5$:  The sum of the two cubes is  $S = 10$    ⇒   ${\rm Pr}(A_5) = 3/36$.


The graph can be interpreted as follows:

  • The two events  $A_1$  and  $A_2$  are statistically independent because the probability  ${\rm Pr}(A_1 ∩ A_2) = 1/6$  of the intersection is equal to the product of the two individual probabilities  ${\rm Pr}(A_1) = 1/2$  and  ${\rm Pr}(A_2) = 1/3$ .  Given the problem definition,  any other result would also have been very surprising.
  • But also the events  $A_1$  and  $A_3$  are statistically independent because of  ${\rm Pr}(A_1) = 1/2$,  ${\rm Pr}(A_3) = 1/6$  and  ${\rm Pr}(A_1 ∩ A_3) = 1/12$.  The probability of intersection  $(1/12)$  arises because three of the  $36$  squares are both highlighted in red and outlined in green.
  • In contrast,  there are statistical bindings between  $A_1$  and  $A_4$  because the probability of intersection   ⇒   ${\rm Pr}(A_1 ∩ A_4) = 1/18 = 4/72$  is not equal to the product  ${\rm Pr}(A_1) \cdot {\rm Pr}(A_4)= 1/2 \cdot 5/36 = 5/72$ .
  • The two events  $A_1$  and  $A_5$  are even disjoint   ⇒   ${\rm Pr}(A_1 ∩ A_5) = 0$:   none of the boxes with red background is labeled  $S=10$ .


This example shows that disjunctivity is a particularly pronounced form of statistical dependence.

Conditional Probability


If there are statistical bindings between the two events  $A$  and  $B$,  the  (unconditional)  probabilities  ${\rm Pr}(A)$  and  ${\rm Pr}(B)$  do not describe the situation unambiguously in the statistical sense.  So-called  "conditional probabilities"  are then required.

$\text{Definitions:}$ 

  • The  conditional probability of  $A$  under condition  $B$  can be calculated as follows:
$${\rm Pr}(A\hspace{0.05cm} \vert \hspace{0.05cm} B) = \frac{ {\rm Pr}(A \cap B)}{ {\rm Pr}(B)}.$$
  • Similarly,  the conditional probability of  $B$  under condition  $A$  is:
$${\rm Pr}(B\hspace{0.05cm} \vert \hspace{0.05cm}A) = \frac{ {\rm Pr}(A \cap B)}{ {\rm Pr}(A)}.$$
  • Combining these two equations,  we get  Bayes'  Theorem:
$${\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A) = \frac{ {\rm Pr}(A\hspace{0.05cm} \vert \hspace{0.05cm} B)\cdot {\rm Pr}(B)}{ {\rm Pr}(A)}.$$


Below are some properties of conditional probabilities:

  • Also a conditional probability lies always between  $0$  and  $1$  including these two limits:   $0 \le {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \le 1$.
  • With constant condition  $B$,  all calculation rules given in the chapter  Set Theory Basics  for the unconditional probabilities  ${\rm Pr}(A)$  and  ${\rm Pr}(B)$  still apply.
  • If the existing events  $A$  and  $B$  are disjoint,  then  ${\rm Pr}(A\hspace{0.05cm} | \hspace{0.05cm} B) = {\rm Pr}(B\hspace{0.05cm} | \hspace{0.05cm}A)= 0$  $($ event  $A$  "exists"  if  ${\rm Pr}(A) > 0)$.
  • If  $B$  is a proper or improper subset of  $A$,  then  ${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) =1$.  
  • If two events  $A$  and  $B$ are statistically independent,  their conditional probabilities are equal to the unconditional ones,  as the following calculation shows:
$${\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) = \frac{{\rm Pr}(A \cap B)}{{\rm Pr}(B)} = \frac{{\rm Pr} ( A) \cdot {\rm Pr} ( B)} { {\rm Pr}(B)} = {\rm Pr} ( A).$$

$\text{Example 2:}$  We again consider the experiment  "Throwing two dice",  where  $S = R + B$  denotes the sum of the red and blue dice (cube).

Example of statistically dependent events

Here we consider bindings between the two events

  • $A_1$:  The outcome of the red cube is  $R < 4$  (red background)   ⇒   ${\rm Pr}(A_1) = 1/2$,
  • $A_4$:  The sum of the two cubes is  $S = 8$  (green outline)   ⇒   ${\rm Pr}(A_4) = 5/36$,


and refer again to the event of  Example 1

  • $A_3$:  The sum of the two cubes is  $S = 7$   ⇒   ${\rm Pr}(A_3) = 1/6$.


Regarding this graph,  note:

  • There are statistical bindings between the both events  $A_1$  and  $A_4$,  since the probability of intersection   ⇒   ${\rm Pr}(A_1 ∩ A_4) = 2/36 = 4/72$  is not equal to the product  ${\rm Pr}(A_1) \cdot {\rm Pr}(A_4)= 1/2 \cdot 5/36 = 5/72$ .
  • The conditional probability  ${\rm Pr}(A_1 \hspace{0.05cm} \vert \hspace{0.05cm} A_4) = 2/5$  can be calculated from the quotient of the joint probability  ${\rm Pr}(A_1 ∩ A_4) = 2/36$  and the probability   ${\rm Pr}(A_4) = 5/36$ .
  • Since the events  $A_1$  and  $A_4$  are statistically dependent,  the conditional probability  ${\rm Pr}(A_1 \hspace{0.05cm}\vert \hspace{0.05cm} A_4) = 2/5$  (two of the five squares outlined in green are highlighted in red)  is not equal to the absolute probability  ${\rm Pr}(A_1) = 1/2$  (half of all squares are highlighted in red).
  • Similarly,  the conditional probability  ${\rm Pr}(A_4 \hspace{0.05cm} \vert \hspace{0.05cm} A_1) = 2/18 = 1/9$  (two of the  $18$  fields with a red background are outlined in green)  is unequal to the absolute probability  ${\rm Pr}(A_4) = 5/36$  (a total of five of the  $36$  fields are outlined in green).
  • This last result can also be derived using  Bayes'  Theorem,   for example:
$${\rm Pr}(A_4 \hspace{0.05cm} \vert\hspace{0.05cm} A_1) = \frac{ {\rm Pr}(A_1 \hspace{0.05cm} \vert\hspace{0.05cm} A_4)\cdot {\rm Pr} ( A_4)} { {\rm Pr}(A_1)} = \frac{2/5 \cdot 5/36}{1/2} = 1/9.$$
  • In contrast,  the following conditional probabilities hold for  $A_1$  and the statistically independent event  $A_3$,  see  Example 1:
$${\rm Pr}(A_{\rm 1} \hspace{0.05cm}\vert \hspace{0.05cm} A_{\rm 3}) = {\rm Pr}(A_{\rm 1}) = \rm 1/2\hspace{0.5cm}{\rm bzw.}\hspace{0.5cm}{\rm Pr}(A_{\rm 3} \hspace{0.05cm} \vert \hspace{0.05cm} A_{\rm 1}) = {\rm Pr}(A_{\rm 3}) = 1/6.$$


General multiplication theorem


We consider several events denoted as  $A_i$  with  $1 ≤ i ≤ I$.  However,  these events  $A_i$  now no longer represent a  "complete system" , viz,

  • they are not pairwise disjoint to each other,  and
  • there may also be statistical bindings between the individual events.


$\text{Definition:}$  For the so-called  joint probability, i.e. for the probability of the intersection of all  $I$  events  $A_i$,  holds in this case:

$${\rm Pr}(A_{\rm 1} \cap \hspace{0.02cm}\text{ ...}\hspace{0.1cm} \cap A_{I}) = {\rm Pr}(A_{I})\hspace{0.05cm}\cdot\hspace{0.05cm}{\rm Pr}(A_{I \rm -1} \hspace{0.05cm}\vert \hspace{0.05cm} A_I) \hspace{0.05cm}\cdot \hspace{0.05cm}{\rm Pr}(A_{I \rm -2} \hspace{0.05cm}\vert\hspace{0.05cm} A_{I - \rm 1}\cap A_I)\hspace{0.05cm} \cdot \hspace{0.02cm}\text{ ...} \hspace{0.1cm} \cdot\hspace{0.05cm} {\rm Pr}(A_{\rm 1} \hspace{0.05cm}\vert \hspace{0.05cm}A_{\rm 2} \cap \hspace{0.02cm}\text{ ...} \hspace{0.1cm}\cap A_{ I}).$$

In the same way, of course, holds:

$${\rm Pr}(A_{\rm 1} \cap \hspace{0.02cm}\text{ ...}\hspace{0.1cm} \cap A_{I}) = {\rm Pr}(A_1)\hspace{0.05cm}\cdot\hspace{0.05cm}{\rm Pr}(A_2 \hspace{0.05cm}\vert \hspace{0.05cm} A_1) \hspace{0.05cm}\cdot \hspace{0.05cm}{\rm Pr}(A_3 \hspace{0.05cm}\vert \hspace{0.05cm} A_1\cap A_2)\hspace{0.05cm} \cdot \hspace{0.02cm}\text{ ...}\hspace{0.1cm} \cdot\hspace{0.05cm} {\rm Pr}(A_I \hspace{0.05cm}\vert \hspace{0.05cm}A_1 \cap \hspace{0.02cm} \text{ ...} \hspace{0.1cm}\cap A_{ I-1}).$$


$\text{Example 3:}$  A lottery drum contains ten lots,  including three hits  $($event  $T_1)$. 

  • Then the probability of drawing two hits with two tickets is:
$${\rm Pr}(T_1 \cap T_2) = {\rm Pr}(T_1) \cdot {\rm Pr}(T_2 \hspace{0.05cm }\vert \hspace{0.05cm} T_1) = 3/10 \cdot 2/9 = 1/15 \approx 6.7 \%.$$
  • This takes into account that in the second draw  $($event  $T_2)$  there would be only nine tickets and two hits in the drum if one hit had been drawn in the first run:
$${\rm Pr}(T_2 \hspace{0.05cm} \vert\hspace{0.05cm} T_1) = 2/9\approx 22.2 \%.$$
  • However,  if the tickets were returned to the drum after the draw,  the events  $T_1$  and  $T_2$  would be statistically independent and it would hold:
$$ {\rm Pr}(T_1 ∩ T_2) = (3/10)^2 = 9\%.$$

Inference probability


Given again events  $A_i$  with  $1 ≤ i ≤ I$  that form a  "complete system".  That is:

  • All events are pairwise disjoint  $(A_i ∩ A_j = ϕ$  for all  $i ≠ j$ ).
  • The union gives the universal set:
$$\rm \bigcup_{\it i=1}^{\it I}\it A_i = \it G.$$

Besides,  we consider the event  $B$,  of which all conditional probabilities  ${\rm Pr}(B \hspace{0.05cm} | \hspace{0.05cm} A_i)$  with indices  $1 ≤ i ≤ I$  are known.

$\text{Theorem of total probability:}$ 

Under the above conditions,  the  (unconditional)  probability of event  $B$  is:

$${\rm Pr}(B) = \sum_{i={\rm1} }^{I}{\rm Pr}(B \cap A_i) = \sum_{i={\rm1} }^{I}{\rm Pr}(B \hspace{0.05cm} \vert\hspace{0.05cm} A_i)\cdot{\rm Pr}(A_i).$$


$\text{Definition:}$  From this equation, using  Bayes' theorem:   ⇒   Inference probability:

$${\rm Pr}(A_i \hspace{0.05cm} \vert \hspace{0.05cm} B) = \frac{ {\rm Pr}( B \mid A_i)\cdot {\rm Pr}(A_i )}{ {\rm Pr}(B)} = \frac{ {\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A_i)\cdot {\rm Pr}(A_i )}{\sum_{k={\rm1} }^{I}{\rm Pr}(B \hspace{0.05cm} \vert \hspace{0.05cm} A_k)\cdot{\rm Pr}(A_k) }.$$


$\text{Example 4:}$  Munich's student hostels are occupied by students from

  • the Ludwig Maximilian Universiy of Munich  $($event  $L$   ⇒   ${\rm Pr}(L) = 70\%)$  and
  • the Technical University of Munich  $($event  $T$   ⇒   ${\rm Pr}(T) = 30\%)$.


It is further known that at LMU  $60\%$  of all students are female,  whereas at TUM only  $10\%$  are female.

  • The proportion of all female students in the hostel  $($event $F)$  can then be determined using the total probability theorem:
$${\rm Pr}(F) = {\rm Pr}(F \hspace{0.05cm} \vert \hspace{0.05cm} L)\hspace{0.01cm}\cdot\hspace{0.01cm}{\rm Pr}(L) \hspace{0.05cm}+\hspace{0.05cm} {\rm Pr}(F \hspace{0.05cm} \vert \hspace{0.05cm} T)\hspace{0.01cm}\cdot\hspace{0.01cm}{\rm Pr}(T) = \rm 0.6\hspace{0.01cm}\cdot\hspace{0.01cm}0.7\hspace{0.05cm}+\hspace{0.05cm}0.1\hspace{0.01cm}\cdot \hspace{0.01cm}0.3 = 45 \%.$$
  • If we meet a female student, we can use the inference probability
$${\rm Pr}(L \hspace{-0.05cm}\mid \hspace{-0.05cm}F) = \frac{ {\rm Pr}(F \hspace{-0.05cm}\mid \hspace{-0.05cm}L)\cdot {\rm Pr}(L) }{ {\rm Pr}(F \hspace{-0.05cm}\mid \hspace{-0.05cm}L) \cdot {\rm Pr}(L) +{\rm Pr}(F \hspace{-0.05cm}\mid \hspace{-0.05cm}T) \cdot {\rm Pr}(T)}=\rm \frac{0.6\cdot 0.7}{0.6\cdot 0.7 + 0.1\cdot 0.3}=\frac{14}{15}\approx 93.3 \%$$
predict that she will study at LMU.  A quite realistic result  (at least in the past).


The topic of this chapter is illustrated with examples in the  (German language)  learning video

Statistische Abhängigkeit und Unabhängigkeit   $\Rightarrow$   "Statistical Dependence and Independence".

Exercises for the chapter


Exercise 1.4: 2S/3E Channel Model

Exercise 1.4Z: Sum of Ternary Quantities

Exercise 1.5: Drawing Cards

Exercise 1.5Z: Probabilities of Default