View source for Theory of Stochastic Signals/Set Theory Basics

 
{{Header
|Untermenü=Wahrscheinlichkeitsrechnung
|Vorherige Seite=Some basic definitions
|Nächste Seite=Statistische Abhängigkeit und Unabhängigkeit
}}
==Venn diagram, universal and empty set==
<br>
[[File:EN_Sto_T_1_2_S1.png | right|frame|Set representation in the Venn diagram]]
In later chapters,&nbsp; we will sometimes refer to&nbsp; [https://https://en.wikipedia.org/wiki/Set_theory set theory]&nbsp;.&nbsp; Therefore,&nbsp; the most important basics and definitions of this discipline will be briefly summarized here.&nbsp;  The topic is also covered in the&nbsp; (German language)&nbsp; learning video&nbsp; <br> [[Mengentheoretische_Begriffe_und_Gesetzmäßigkeiten_(Lernvideo)|"Mengentheoretische Begriffe und Gesetzmäßigkeiten"]] &nbsp; &rArr; &nbsp; "Set Theory &ndash; Terms and Regularities"

An important tool of set theory is the&nbsp; '''Venn diagramm'''&nbsp; according to the graph:
*Applied to probability theory,&nbsp; here the events&nbsp; $A_i$&nbsp; are represented as areas.&nbsp; For a simpler description we do not denote the events here with&nbsp; $A_1$,&nbsp; $A_2$&nbsp; and&nbsp;  $A_3$,&nbsp; but with&nbsp; $A$,&nbsp; $B$&nbsp; and&nbsp; $C$ in contrast to the last chapter.&nbsp; 
*The total area corresponds to the&nbsp; "universal set"&nbsp; (or short:&nbsp; "universe")&nbsp; $G$.&nbsp; The universe&nbsp; $G$&nbsp; contains all possible outcomes and stands for the&nbsp; '''certain event''',&nbsp; which by definition occurs with probability „one”:  &nbsp; ${\rm Pr}(G) = 1$.&nbsp;  For example,&nbsp; in the random experiment&nbsp; "Throwing a die",&nbsp; the probability for the event&nbsp; "The number of eyes is less than or equal to 6"&nbsp; is identical to one.
*In contrast,&nbsp; the&nbsp; '''empty set'''&nbsp; $ϕ$&nbsp; does not contain a single element.&nbsp; In terms of events,&nbsp; the empty set specifies the&nbsp; '''impossible event'''&nbsp; with probability&nbsp; ${\rm Pr}(ϕ) = 0$&nbsp; an.&nbsp; For example,&nbsp; in the experiment&nbsp; "Throwing a die",&nbsp; the probability for the event&nbsp; "The number of eyes is greater than 6" is identically zero. 


Note that not every event&nbsp; $A$&nbsp; with&nbsp; ${\rm Pr}(A) = 0$&nbsp; can really never happen.&nbsp; For example: 
*The event&nbsp; "The noise value&nbsp; $n$&nbsp; is identically zero"&nbsp; is vanishingly small and&nbsp; ${\rm Pr}(n \equiv 0) = 0$,&nbsp; if&nbsp; $n$&nbsp; is described by a continuous&nbsp; (Gaussian)&nbsp; random variable.
*Nevertheless,&nbsp; it is of course possible&nbsp; (although extremely unlikely)&nbsp; that at some point the exact noise value&nbsp; $n = 0$&nbsp; will also occur.

==Union set==
<br>
Some set-theoretical relationss are explained now on the basis of the Venn diagram.

{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; The&nbsp; '''union set'''&nbsp; $C$&nbsp; of two sets&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; contains all the elements that are contained either in set&nbsp; $A$&nbsp; or in set&nbsp; $B$&nbsp; or in both.&nbsp; 
*This relationship is expressed as the following formula:
$$\ C = A \cup B \hspace{0.2cm}(= A + B).$$

*In the literature,&nbsp; especially in the Galois field&nbsp; $\rm GF(2)$&nbsp; the term&nbsp; [https://en.wikipedia.org/wiki/Sumset "sumset"]&nbsp; is common,&nbsp; and the plus sign is sometimes used.

*For example, in our tutorial we use this term in the book&nbsp; [[Channel_Coding/Some_Basics_of_Algebra#Examples_and_Properties_of_Galois_fields|"Channel Coding"]].}}


[[File: EN_Sto_T_1_2_S2.png  |right|frame| Union set in the Venn diagram]]
Using the diagram, it is easy to see the following laws of set theory:
:$$A \cup \it \phi = A \rm \hspace{3.6cm}(union \hspace{0.15cm}with \hspace{0.15cm}the \hspace{0.15cm}empty \hspace{0.15cm}set),$$
:$$A\cup G = G \rm \hspace{3.6cm}(union \hspace{0.15cm}with \hspace{0.15cm}the \hspace{0.15cm}universe),$$
:$$A\cup A = A  \hspace{3.6cm}(\rm tautology),$$
:$$A\cup B = B\cup A \hspace{2.75cm}(\rm commutative \hspace{0.15cm}property),$$
:$$(A\cup B)\cup C = A\cup (B\cup C) \hspace{0.45cm}(\rm associative \hspace{0.15cm}property).$$

If nothing else is known about the event sets&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; then only a lower bound and an upper bound can be given for the probability of the union set:
:$${\rm Max}\big({\rm Pr} (A), \ {\rm Pr} (B)\big) \le {\rm Pr} (A \cup B) \le   {\rm Pr} (A)+{\rm Pr} (B).$$

*The probability of the union set is equal to the lower bound if&nbsp; $A$&nbsp; is a&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Echte_Teilmenge_.E2.80.93_unechte_Teilmenge|subset]]&nbsp; of&nbsp; $B$&nbsp; or vice versa. 
*The upper bound holds for&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Disjunkte_Mengen|disjoint sets]].


{{GraueBox|TEXT=  
$\text{Example 1:}$&nbsp; We consider again the experiment&nbsp; "throwing a die".&nbsp; The possible outcomes&nbsp; (number of points)&nbsp; are thus&nbsp;  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.

Consider the two events
* $A :=$&nbsp; "The outcome is greater than or equal to&nbsp; $5$"$ = \{5, 6\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A)= 2/6= 1/3$, 
* $B :=$&nbsp; "The outcome is even" $= \{2, 4, 6\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (B)= 3/6= 1/2$, 


then the union set contains four elements: &nbsp;  $(A \cup B) = \{2, 4, 5, 6 \}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A \cup B) = 4/6 = 2/3$. 
*For the lower bound: &nbsp; ${\rm Pr} (A \cup B) \ge {\rm Max}\big({\rm Pr} (A),\ {\rm Pr} (B)\big ) = 3/6.$
*For the upper bound: &nbsp; $ {\rm Pr} (A \cup B) \le   {\rm Pr} (A)+{\rm Pr} (B) = 5/6.$}}

==Intersection set==
<br>
Another important set-theoretic linkage is the intersection.

{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; The&nbsp; '''intersection set'''&nbsp; $C$&nbsp; of two sets&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp; contains all those elements which are contained in both the set&nbsp; $A$&nbsp; and the set&nbsp; $B$.

*This relationship is expressed as the following formula:
:$$C = A \cap B \hspace{0.2cm}(= A \cdot B).$$

*In the literature,&nbsp; especially in the Galois field&nbsp; $\rm GF(2)$&nbsp; the term&nbsp; [https://en.wikipedia.org/wiki/Cartesian_product "Cartesian product"]&nbsp; is also common,&nbsp; and the multiplication sign is sometimes used.

*For example, in our tutorial we use this term in the book&nbsp; [[Channel_Coding/Some_Basics_of_Algebra#Examples_and_Properties_of_Galois_fields|"Channel Coding"]]. }}


[[File:EN_Sto_T_1_2_S3.png |right|frame| Intersection set in the Venn diagram]]
In the diagram,&nbsp; the intersection is shown in purple.&nbsp; Analog to the union set,&nbsp; the following regularities are to be mentioned here:
:$$A \cap \it \phi = \it \phi \rm \hspace{3.75cm}(intersection \hspace{0.15cm}with \hspace{0.15cm}the \hspace{0.15cm}empty \hspace{0.15cm}set),$$
:$$A \cap G = A \rm \hspace{3.6cm}(intersection \hspace{0.15cm}with \hspace{0.15cm}the \hspace{0.15cm}universe),$$
:$$A\cap A = A  \rm \hspace{3.6cm}(tautology),$$
:$$A\cap B = B\cap A \rm \hspace{2.75cm}(commutative \hspace{0.15cm}property),$$
:$$(A\cap B)\cap C = A\cap (B\cap C) \rm \hspace{0.45cm}(associative \hspace{0.15cm}property).$$
<br clear=all>
*If nothing else is known about&nbsp; $A$&nbsp; and&nbsp; $B$&nbsp;, then no statement can be made for the probability of the intersection.
*However, if&nbsp; ${\rm Pr} (A) \le 1/2$&nbsp; and at the same time&nbsp; ${\rm Pr} (B) \le 1/2$ hold, then a lower bound and an upper bound can be given:
:$$0 \le {\rm Pr} (A ∩ B) \le {\rm Min}\ \big({\rm Pr} (A),\  {\rm Pr} (B)\big ).$$

*${\rm Pr}(A ∩ B)$&nbsp; is sometimes called the "joint probability" and is denoted by&nbsp; ${\rm Pr}(A, \ B)$&nbsp;.
*${\rm Pr}(A ∩ B)$&nbsp; is equal to the upper bound if&nbsp; $A$&nbsp; is a&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Echte_Teilmenge_.E2.80.93_Unechte_Teilmenge|subset]]&nbsp;  of&nbsp; $B$&nbsp; or vice versa. 
*The lower bound is obtained for the joint probability of&nbsp;  [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Disjunkte_Mengen|disjoint sets]].


{{GraueBox|TEXT=  
$\text{Example 2:}$&nbsp; We consider again the experiment&nbsp; "throwing a die".&nbsp; The possible outcomes&nbsp; (number of points)&nbsp; are thus&nbsp;  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.
Consider the two events
* $A :=$ „the outcome is greater than or equal to&nbsp; $5$”$ = \{5, 6\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A)= 2/6= 1/3$,  und
* $B :=$ „the outcome is even”$ = \{2, 4, 6\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (B)= 3/6= 1/2$, 


The intersection contains only one element: &nbsp;  $(A ∩ B) = \{ 6 \}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A ∩ B) = 1/6$. 
*The upper bound is obtained as&nbsp; ${\rm Pr} (A ∩ B) \le {\rm Min}\ \big ({\rm Pr} (A), \, {\rm Pr} (B)\big ) = 2/6.$
*The lower bound of the intersection here is zero because of&nbsp; ${\rm Pr} (A) \le 1/2$ &nbsp;and&nbsp; ${\rm Pr} (B) \le 1/2$&nbsp;.}}

==Complementary set==
<br>
{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; The&nbsp; '''complementary set''' of&nbsp; $A$&nbsp; is often denoted by a straight line above the letter&nbsp; $(\overline{A})$&nbsp;.&nbsp; It contains all the elements that are not contained in the set&nbsp; $A$&nbsp; and it holds for their probability:
:$${\rm Pr}(\overline{A}) = 1- {\rm Pr}(A).$$}}


[[File:EN_Sto_T_1_2_S4.png| right|frame|Complementary set in the Venn diagram]]
In the Venn diagram shown, the set complementary to&nbsp; $A$&nbsp; is shaded.&nbsp; From this diagram, some set-theoretic relationships can be seen:
*The complementary set of the complementary set of&nbsp; $A$&nbsp; is the set&nbsp; $A$&nbsp; itself:
:$$\overline{\overline{A}} = A.$$
*The union of a set&nbsp; $A$&nbsp; with its complementary set gives the universal set:
:$${\rm Pr}(A \cup \overline{A}) = {\rm Pr}(G) = \rm 1.$$
*The intersection of $A$ with its complementary set gives the empty set:
:$${\rm Pr}(A \cap \overline{A}) = {\rm Pr}({\it \phi}) \rm = 0.$$

{{GraueBox|TEXT=  
$\text{Example 3:}$&nbsp; We consider again the experiment&nbsp; "throwing a die".&nbsp; The possible outcomes&nbsp; (number of points)&nbsp; are thus&nbsp;  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.
Starting from the set
* $A :=$ „the outcome is smaller than&nbsp; $5$” $= \{1, 2, 3, 4\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A)= 2/3$


the corresponding complementary set is
* $\overline{A} :=$ „the outcome is greater than or equal to&nbsp; $5$”$ = \{5, 6\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (\overline{A})= 1 - {\rm Pr} (A) = 1 - 2/3 = 1/3.$}}

==Strict subset &ndash; improper subset==
<br>
[[File:EN_Sto_T_1_2_S5.png | right|frame| Subsets in the Venn diagram]]
{{BlaueBox|TEXT=  
$\text{Definitions:}$&nbsp; One calls&nbsp; $A$&nbsp; a&nbsp; '''strict subset'''&nbsp; of&nbsp; $B$ and writes for this&nbsp; $A ⊂ B$, 
*if all elements of&nbsp; $A$&nbsp; are also contained in&nbsp; $B$&nbsp;,
*but not all elements of&nbsp; $B$&nbsp; are also contained in&nbsp; $A$. 


In this case, the probabilities are:
:$${\rm Pr}(A)  <  {\rm Pr}(B).$$

This set-theoretic relation is illustrated by the sketched Venn diagram.

On the other hand,&nbsp; $A$&nbsp; is called a&nbsp; ''' subset'''&nbsp; of&nbsp; $B$&nbsp; and uses the notation
:$$A \subseteq B = (A \subset B) \cup (A = B),$$
wenn&nbsp; $A$&nbsp; entweder eine echte Teilmenge von&nbsp; $B$&nbsp; ist oder wenn&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; gleiche Mengen sind.

*The relation&nbsp;  ${\rm Pr} (A) \le  {\rm Pr} (B)$ then applies to the probabilities.
*The equality sign is only valid for the special case&nbsp;  $A = B$.}} 


In addition, however, the two equations known as the&nbsp; '''laws of absorption'''&nbsp also apply:
:$$(A \cap B)  \cup A  =  A ,$$
:$$(A  \cup B) \cap A  =  A,$$

since the intersection&nbsp; $A ∩ B$&nbsp; is always a subset of&nbsp; $A$&nbsp;, but at the same time&nbsp; $A$&nbsp; is also a subset of the union&nbsp; $A ∪ B$&nbsp;.

{{GraueBox|TEXT=  
$\text{Example 4:}$&nbsp; We consider again the experiment&nbsp; "throwing a die".&nbsp; The possible outcomes&nbsp; (number of points)&nbsp; are thus&nbsp;  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.
Consider the two events
* $A :=$ „the outcome is uneven”$ = \{1, 3, 5\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (A)= 3/6$,  und
* $B :=$ „the outcome is a prime number” $= \{1, 2, 3, 5\}$ &nbsp; &rArr; &nbsp; ${\rm Pr} (B)= 4/6$.


It can be seen that&nbsp;  $A$&nbsp; is a (strict) subset of the set&nbsp; $B$&nbsp;.&nbsp; Accordingly, &nbsp; ${\rm Pr} (A) <  {\rm Pr} (B)$is also true. }}

==Theoreme von de Morgan==
<br>
[[File:EN_Sto_T_1_2_S6.png|frame| Zu den Theoremen von de Morgan | rechts]]
Bei vielen Aufgaben aus der Mengenlehre sind die beiden Theoreme von&nbsp; [https://de.wikipedia.org/wiki/Augustus_De_Morgan de Morgan]&nbsp;  äußerst nützlich. Diese lauten:
:$$\overline{A \cup B} = \overline{A} \cap \overline{B},$$
:$$\overline{A \cap B} = \overline{A} \cup \overline{B}.$$

Diese Gesetzmäßigkeiten sind im Schaubild veranschaulicht: 
*Die Menge&nbsp; $A$&nbsp; ist rot dargestellt und die Menge&nbsp; $B$&nbsp; blau. 
*Die Komplentärmenge&nbsp; $\overline {A}$&nbsp; von&nbsp; $A$&nbsp; ist in horizontaler Richtung schraffiert. 
*Die Komplentärmenge&nbsp;  $\overline {B}$&nbsp; von&nbsp; $B$&nbsp; ist in vertikaler Richtung schraffiert. 
*Das Komplement&nbsp; $\overline{A \cup B}$&nbsp; der Vereinigungsmenge&nbsp; ${A \cup B}$&nbsp; ist sowohl horizontal als auch vertikal schraffiert. 
*Es ist damit gleich der Schnittmenge&nbsp; $\overline{A} \cap \overline{B}$&nbsp; der beiden Komplentärmengen von&nbsp; $A$&nbsp; und&nbsp; $B$:
:$$\overline{A \cup B} = \overline{A} \cap \overline{B}.$$

Auch die zweite Form des de Morgan-Theorems lässt sich mit diesem Venndiagramm grafisch verdeutlichen:

*Die Schnittmenge&nbsp; $A ∩ B$&nbsp; (im Bild violett dargestellt) ist weder horizontal noch vertikal schraffiert. 
*Das Komplement&nbsp; $\overline{A ∩ B}$&nbsp; der Schnittmenge ist dementsprechend entweder horizontal, vertikal oder in beiden Richtungen schraffiert. 
*Nach dem zweiten Theorem von de Morgan ist das Komplement der Schnittmenge gleich der Vereinigungsmenge der beiden Komplentärmengen von&nbsp; $A$&nbsp; und&nbsp; $B$:
:$$\overline{A \cap B} = \overline{A} \cup \overline{B}.$$

{{GraueBox|TEXT=  
$\text{Beispiel 5:}$&nbsp; Wir betrachten die beiden Mengen 
* $A : =$ „die Augenzahl ist ungeradzahlig” $= \{1, 3, 5\}$, 
* $B : =$  „die Augenzahl ist größer als&nbsp; $2$” $= \{3, 4, 5, 6\}$. 


Daraus folgen die beiden komplementären Mengen 
* $\overline {A} : =$ „die Augenzahl ist geradzahlig” $= \{2, 4, 6\}$,
* $\overline {B} : =$ „die Augenzahl ist kleiner als&nbsp; $3$” $= \{1, 2\}$.


Weiter erhält man mit den obigen Theoremen die folgenden Teilmengen:
:$$\overline{A \cup B} = \overline{A} \cap \overline{B} = \{2\}\hspace{0.5 cm}\rm und \hspace{0.5cm} \overline{\it A \cap \it B} =\overline{\it A} \cup \overline{\it B} = \{1,2,4,6\}.$$}}

==Disjunkte Mengen==
<br>
{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; Zwei Mengen&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; nennt man&nbsp; '''disjunkt'''&nbsp; (englisch:&nbsp; ''disjoint'')&nbsp; oder&nbsp; '''miteinander unvereinbar''', 
*wenn es kein einziges Element gibt, 
*das sowohl in&nbsp; $A$&nbsp; als auch in&nbsp; $B$&nbsp; enthalten ist.}}


[[File:EN_Sto_T_1_2_S7.png |frame| Disjunkte Mengen im Venndiagramm | rechts]]
Das Schaubild zeigt zwei disjunkte Mengen&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; im Venndiagramm. 

In diesem Sonderfall gelten die folgenden Aussagen: 
*Die Schnittmenge zweier disjunkter Mengen&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; ergibt stets die leere Menge:
:$${\rm Pr}(A \cap B) =  {\rm Pr}(\phi) = \rm 0.$$
*Die Wahrscheinlichkeit der Vereinigungsmenge zweier disjunkter Mengen&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; ist immer gleich der Summe der beiden Einzelwahrscheinlichkeiten:
:$${\rm Pr}( A \cup B) =  {\rm Pr}( A) + {\rm Pr}(B).$$
<br clear=all>
{{GraueBox|TEXT=  
$\text{Beispiel 6:}$&nbsp; Bei unserem Standardexperiment sind die beiden Mengen 
* $A :=$  „die Augenzahl ist kleiner als&nbsp; $3$”$ = \{1, 2\}$  &nbsp; ⇒  &nbsp; ${\rm Pr}( A) = 2/6$, und 
* $B :=$  „die Augenzahl ist größer als&nbsp; $3$” $ = \{4, 5,6\}$  &nbsp; ⇒  &nbsp;  ${\rm Pr}( B) = 3/6$


zueinander disjunkt, da&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; kein einziges gemeinsames Element beinhalten. 
*Die Schnittmenge ergibt die leere Menge:&nbsp; ${A \cap B} = \phi$.
*Die Wahrscheinlichkeit der Vereinigungsmenge&nbsp; ${A \cup B}  = \{1, 2, 4, 5, 6\}$&nbsp; ist gleich&nbsp; ${\rm Pr}( A) + {\rm Pr}(B) = 5/6.$}}

==Additionstheorem==
<br>
Nur bei disjunkten Mengen&nbsp; $A$&nbsp; und&nbsp; $B$&nbsp; gilt für die Wahrscheinlichkeit der Vereinigungsmenge der Zusammenhang&nbsp; ${\rm Pr}( A \cup B) =  {\rm Pr}( A) + {\rm Pr}(B)$.&nbsp; Wie errechnet sich diese Wahrscheinlichkeit aber bei allgemeinen, nicht notwendigerweise disjunkten Ereignissen? 

[[File:EN_Sto_T_1_2_S8.png | right|frame| Zum Additionstheorem der Wahrscheinlichkeitsrechnung]]
Betrachten Sie das rechte  Venndiagramm mit der violett dargestellten Schnittmenge&nbsp; $A ∩ B$. 
*Die rote Menge beinhaltet alle Elemente, die zu&nbsp; $A$&nbsp; gehören, aber nicht zu&nbsp; $B$. 
*Die Elemente von&nbsp; $B$, die nicht gleichzeitig in&nbsp; $A$&nbsp; enthalten sind, sind blau dargestellt. 
*Alle roten, blauen und violetten Flächen zusammen ergeben die Vereinigungsmenge&nbsp; $A ∪ B$.


Aus dieser mengentheoretischen Darstellung erkennt man folgende Zusammenhänge:
:$${\rm Pr}(A) \hspace{0.8cm}= {\rm Pr}(A \cap B)  + {\rm Pr}(A \cap \overline{B}),$$
:$${\rm Pr}(B) \hspace{0.8cm}= {\rm Pr}(A \cap B) \rm +{\rm Pr}(\overline{A} \cap {B}),$$
:$${\rm Pr}(A \cup B) ={\rm Pr}(A \cap B) +{\rm Pr} ({A} \cap \overline{B}) \rm + {\rm Pr}(\overline{A} \cap {B}).$$

Addiert man die ersten beiden Gleichungen und subtrahiert davon die dritte, so erhält man:
:$${\rm Pr}(A) \rm +{\rm Pr}(B) -{\rm Pr}(A \cup B) = {\rm Pr}(A \cap B).$$

{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; Durch Umstellen dieser Gleichung kommt man zum sogenannten&nbsp; '''Additionstheorem'''&nbsp; (englisch:&nbsp; ''Addition Rule'')&nbsp; für zwei beliebige, nicht notwendigerweise disjunkte Ereignisse:
:$${\rm Pr}(A \cup B) = {\rm Pr}(A) + {\rm Pr}(B) - {\rm Pr}(A \cap B).$$}}


{{GraueBox|TEXT=  
$\text{Beispiel 7:}$&nbsp; Wir betrachten die beiden Mengen 
* $A :=$ „die Augenzahl ist ungeradzahlig” $= \{1, 3, 5\}$  &nbsp; ⇒ &nbsp;  ${\rm Pr}(A) = 3/6$, und 
* $B :=$  „die Augenzahl ist größer als&nbsp; $2$”$ = \{3, 4, 5, 6\}$  &nbsp; ⇒ &nbsp;  ${\rm Pr}(B) = 4/6$. 


Damit ergeben sich für die Wahrscheinlichkeiten 
*der Vereinigungsmenge  &nbsp; ⇒ &nbsp;  ${\rm Pr}(A ∪ B) = 5/6$, und 
*der Schnittmenge  &nbsp; ⇒ &nbsp;  ${\rm Pr}(A  ∩ B) = 2/6$. 


Die Zahlenwerte zeigen die Gültigkeit des Additionstheorems: &nbsp; $5/6 = 3/6 + 4/6 − 2/6$.}}

==Vollständiges System==
<br>
Im letzten Abschnitt zu diesem Kapitel  betrachten wir wieder mehr als zwei mögliche Ereignisse, nämlich allgemein&nbsp; $I$.&nbsp; Diese Ereignisse werden im Folgenden mit&nbsp; $A_i$&nbsp; bezeichnet, und es gilt für den Laufindex: &nbsp; $1 ≤ i ≤ I$.

{{BlaueBox|TEXT=  
$\text{Definition:}$&nbsp; Eine Konstellation mit den Ereignissen&nbsp; $A_1, \hspace{0.1cm}\text{...}\hspace{0.1cm} , A_i,  \hspace{0.1cm}\text{...}\hspace{0.1cm}  , A_I$&nbsp; bezeichnet man dann und nur dann als ein&nbsp; '''vollständiges System''', wenn die beiden folgenden Bedingungen erfüllt sind:
 
'''(1)''' &nbsp; Alle Ereignisse sind paarweise disjunkt:
:$$A_i \cap A_j = \it \phi \hspace{0.15cm}\rm f\ddot{u}r\hspace{0.15cm}alle\hspace{0.15cm}\it i \ne j.$$
'''(2)''' &nbsp; Die Vereinigung aller Ereignismengen ergibt die Grundmenge:
:$$\bigcup_{i=1}^{I} A_i = G.$$}}


Aufgrund dieser beiden Voraussetzungen gilt dann für die Summe aller Wahrscheinlichkeiten:
:$$\sum_{i =1}^{  I} {\rm Pr}(A_i) = 1.$$

{{GraueBox|TEXT=  
$\text{Beispiel 8:}$&nbsp; Die Ereignismengen&nbsp; $A_1 := \{1, 5\}$&nbsp; und&nbsp; $A_2 := \{2, 3\}$&nbsp; ergeben beim Zufallsexperiment "Werfen eines Würfels" zusammen mit der Menge&nbsp; $A_3 := \{4, 6\}$&nbsp; ein vollständiges System, nicht jedoch beim Experiment "Werfen einer Roulettekugel".}}


{{GraueBox|TEXT=  
$\text{Beispiel 9:}$&nbsp; Ein weiteres Beispiel für ein vollständiges System ist die diskrete Zufallsgröße&nbsp; $X = \{ x_1, x_2, \hspace{0.1cm}\text{...}\hspace{0.1cm} , x_I\}$&nbsp; mit den Auftrittswahrscheinlichkeiten entsprechend der folgenden&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsfunktion]]:
:$$P_X(X) = \big [ \hspace{0.1cm} P_X(x_1), P_X(x_2), \hspace{0.05cm}\text{...}\hspace{0.15cm}, P_X(x_I) \hspace{0.05cm} \big ] = \big [ \hspace{0.1cm} p_1, p_2, \hspace{0.05cm}\text{...} \hspace{0.15cm}, p_I \hspace{0.05cm} \big ] \hspace{0.05cm}$$
:$$\Rightarrow \hspace{0.3cm} p_1 = P_X(x_1) = {\rm Pr}(X=x_1) \hspace{0.05cm}, 
\hspace{0.2cm}p_2 =  {\rm Pr}(X=x_2) \hspace{0.05cm},\hspace{0.05cm}\text{...}\hspace{0.15cm},\hspace{0.2cm} p_I = {\rm Pr}(X=x_I) \hspace{0.05cm}.$$

Die möglichen Ergebnisse&nbsp; $x_i$&nbsp; der Zufallsgröße&nbsp; $X$&nbsp; sind paarweise zueinander disjunkt und die Summe aller Auftrittswahrscheinlichkeiten&nbsp;  $p_1 + p_2 + \hspace{0.1cm}\text{...}\hspace{0.1cm} + \hspace{0.05cm} p_I$&nbsp;  liefert grundsätzlich das Ergebnis&nbsp; $1$.}}


{{GraueBox|TEXT=  
$\text{Beispiel 10:}$&nbsp; Es gelte&nbsp; $X= \{0, 1, 2 \}$&nbsp; und&nbsp; $P_X (X) = \big[0.2, \ 0.5, \ 0.3\big]$. Dann gilt:
:$${\rm Pr}(X=0) = 0.2 \hspace{0.05cm}, \hspace{0.2cm} {\rm Pr}(X=1) = 0.5 \hspace{0.05cm}, \hspace{0.2cm} {\rm Pr}(X=2) = 0.3 \hspace{0.05cm}.$$

Bei der Zufallsgröße&nbsp; $X = \{1, \pi, {\rm e} \}$&nbsp; und gleichem&nbsp; $P_X(X) = \big[0.2, \ 0.5, \ 0.3\big]$&nbsp; lauten die Zuordnungen:
:$${\rm Pr}(X=1) = 0.2 \hspace{0.05cm}, \hspace{0.2cm} {\rm Pr}(X=\pi) = 0.5 \hspace{0.05cm}, \hspace{0.2cm} {\rm Pr}(X={\rm e}) = 0.3 \hspace{0.05cm}.$$


''Hinweise:'' 
*Die&nbsp; [[Information_Theory/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen#Wahrscheinlichkeitsfunktion_und_Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsfunktion]]&nbsp; $P_X(X)$&nbsp; macht nur Aussagen über die Wahrscheinlichkeiten, nicht über den Wertevorrat&nbsp;  $\{x_1, x_2, \hspace{0.1cm}\text{...}\hspace{0.1cm} , x_I\}$&nbsp; der Zufallsgröße&nbsp; $X$. 
*Diese zusätzliche Information liefert die&nbsp; [[Theory_of_Stochastic_Signals/Wahrscheinlichkeitsdichtefunktion_(WDF)#Definition_der_Wahrscheinlichkeitsdichtefunktion|Wahrscheinlichkeitsdichtefunktion]]&nbsp; (WDF).}}

==Aufgaben zum Kapitel==
<br>
[[Aufgaben:1.2 Schaltlogik (D/B-Wandler)|Aufgabe 1.2: Schaltlogik (D/B-Wandler)]]

[[Aufgaben:1.2Z_Ziffernmengen|Aufgabe 1.2Z: Ziffernmengen]]

[[Aufgaben:1.3 Fiktive_Uni_Irgenwo|Aufgabe 1.3: Fiktive Uni Irgenwo]]

[[Aufgaben:Aufgabe_1.3Z:_Gewinnen_mit_Roulette%3F|Aufgabe 1.3Z: Gewinnen mit Roulette?]]


{{Display}}