Difference between revisions of "Theory of Stochastic Signals/Some Basic Definitions"

From LNTwww
(34 intermediate revisions by 6 users not shown)
Line 1: Line 1:
 
{{FirstPage}}
 
{{FirstPage}}
 
{{Header
 
{{Header
|Untermenü=Wahrscheinlichkeitsrechnung
+
|Untermenü=Probability Calculation
 
|Nächste Seite=Mengentheoretische Grundlagen
 
|Nächste Seite=Mengentheoretische Grundlagen
 
}}
 
}}
==Experiment – Ergebnis – Wahrscheinlichkeit==
 
Der Ausgangspunkt einer jeden statistischen Untersuchung ist ein Zufallsexperiment. Darunter versteht man einen unter stets gleichen Bedingungen beliebig oft wiederholbaren Versuch mit ungewissem Ergebnis $E$, bei dem jedoch die Menge { $E_μ$} der möglichen Ergebnisse angebbar ist.
 
  
Die Anzahl der möglichen Ergebnisse bezeichnet man als den Ergebnisumfang $M$. Dann gilt:
+
== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
$$E_\mu \in G = \{E_\mu\}= \{E_1, \hspace{0.1cm}... \hspace{0.1cm}, E_M \} .$$
+
<br>
Hierbei kann die Laufvariable $μ$ alle ganzzahligen Werte zwischen 1 und $M$ annehmen.  $G$ nennt man auch den Ereignisraum oder die Grundmenge.
+
This first chapter brings a brief summary of&nbsp; '''probability calculation''',&nbsp; which surely many of you already know from your school days and which is an important prerequisite for understanding the chapters that follow.
  
{{Beispiel}}
+
This chapter includes
Beim Experiment ''Münzwurf'' gibt es nur zwei mögliche Ergebnisse, nämlich ''Zahl'' und ''Bild''  ⇒  $M =$ 2. Dagegen sind beim Zufallsexperiment ''Werfen einer Roulettekugel'' insgesamt $M =$ 37 verschiedene Ergebnisse möglich, und es gilt hier für für die Grundmenge:
+
* some&nbsp; &raquo;definitions&laquo;&nbsp; such as&nbsp; &raquo;random experiment&laquo;&nbsp;,&nbsp; &raquo;outcome&laquo;&nbsp;,&nbsp; &raquo; event&laquo;&nbsp;, and&nbsp; &raquo;probability&laquo;&nbsp;,
$$G = \{E_\mu\} = \{0, 1, 2, ... , 36\}.$$
+
* the&nbsp; &raquo;set-theoretical basics&laquo;&nbsp; relevant for probability theory,
{{end}}
+
* the clarification of&nbsp; &raquo;statistical dependence&laquo;&nbsp; and&nbsp; &raquo;statistical independence&laquo;,
 +
* the mathematical treatment of statistical dependence by&nbsp; &raquo;Markov chains&laquo;.
  
  
Wir setzen zunächst voraus, dass jeder Versuch genau ein einziges Ergebnis aus $G$ zur Folge hat und dass jedes dieser $M$ Ergebnisse in gleicher Weise (ohne Bevorzugung oder Benachteiligung) möglich ist.
+
==Experiment and outcome==
 +
<br>
 +
The starting point of any statistical investigation is a&nbsp; '''random experiment'''.&nbsp; By this,&nbsp; one understands
 +
*an experiment that can be repeated as often as desired under the same conditions with an uncertain&nbsp; '''outcome'''&nbsp; &nbsp;(German:&nbsp; "$\rm E\hspace{0.02cm}$rgebnis")&nbsp; $E$,
 +
*in which,&nbsp; however,&nbsp; the quantity&nbsp;  $ \{E_μ \}$&nbsp; of the possible outcomes is specifiable.
  
{{Definition}}
 
Mit dieser Annahme gilt für die Wahrscheinlichkeit (englisch: ''Probability'') eines jeden Ergebnisses $E_μ$ gleichermaßen:
 
$$\Pr (E_\mu) = 1/{M}.$$
 
{{end}}
 
  
 +
{{BlaueBox|TEXT= 
 +
$\text{Definition:}$&nbsp; The number of possible outcomes is called the&nbsp; '''outcome set size'''&nbsp; $M$.&nbsp; Then holds:
 +
:$$E_\mu \in G = \{E_\mu\}=  \{E_1, \hspace{0.1cm}\text{...} \hspace{0.1cm}, E_M \} .$$
 +
*The variable&nbsp; $μ$&nbsp; can take all integer values between&nbsp; $1$&nbsp; and&nbsp; $M$.&nbsp; 
 +
*$G = \{E_\mu\}$&nbsp; is called the event space or the&nbsp; '''universal set'''&nbsp; $($German:&nbsp; "Grundmenge" &nbsp; &rArr; &nbsp; letter:&nbsp; "G"$)$&nbsp; with&nbsp; $M$&nbsp; possible outcomes.}}
  
Dies ist die klassische Definition der Wahrscheinlichkeit. Pr( ... ) steht dabei für ''Probability'' und ist als eine mathematische Funktion zu verstehen.
 
  
{{Beispiel}}
+
{{GraueBox|TEXT= 
Beim Zufallsexperiment ''Münzwurf'' gilt für die Wahrscheinlichkeiten der beiden möglichen Ergebnisse: Pr(''Zahl'') = Pr(''Bild'') = 1/2. Dies setzt voraus, dass jeder Versuch entweder mit ''Zahl'' oder mit ''Bild'' ausgeht und dass nicht bei einem Versuch die Münze auf ihrem Rand zu stehen kommen kann.
+
$\text{Example 1:}$&nbsp; In the experiment&nbsp; "coin toss"&nbsp; there are only two possible outcomes,&nbsp; namely&nbsp; "heads"&nbsp; and&nbsp; "tails"  &nbsp; ⇒  &nbsp; $M = 2$.&nbsp; 
  
Auch beim Versuch ''Werfen einer Roulettekugel'' sind die Wahrscheinlichkeiten Pr( $E_μ$) = 1/37 nur dann für alle Zahlen von 0 bis 36 gleich, wenn der Roulettetisch nicht manipuliert wurde.
+
In contrast, in the random experiment&nbsp; "throwing a roulette ball"&nbsp; a total of&nbsp; $M = 37$&nbsp; different outcomes are possible,&nbsp; and it holds for the universal set in this case:
{{end}}
+
:$$G = \{E_\mu\} = \{0, 1, 2, \text{...} \hspace{0.1cm} , 36\}.$$}}
  
 +
==Classical definition of probability==
 +
<br>
 +
We assume here that each trial results in exactly one outcome from&nbsp; $G$&nbsp; and that each of these&nbsp; $M$&nbsp; outcomes is possible in the same way (without preference or disadvantage).
  
'''Anmerkung:''' Die Wahrscheinlichkeitsrechnung – und die darauf aufbauende Statistik – kann nur dann fundierte Aussagen liefern, wenn alle implizit vereinbarten Voraussetzungen tatsächlich erfüllt sind. Diese Bedingungen zu überprüfen ist nicht Aufgabe der Statistik, sondern von denjenigen, die diese nutzen. Da gegen diese Grundregel oft verstoßen wird, hat die Statistik in der Gesellschaft einen viel schlechteren Ruf, als es ihr eigentlich zustehen würde.
+
{{BlaueBox|TEXT= 
 +
$\text{Definition:}$&nbsp; With this assumption,&nbsp; the&nbsp; '''probability'''&nbsp; of each outcome&nbsp; $E_μ$&nbsp; is equally:
 +
:$$\Pr (E_\mu) = 1/{M}.$$}}
  
==Ereignis und Ereignismenge==
 
Unter einem Ereignis $A_i$ verstehen wir eine Menge bzw. die Zusammenfassung von Ergebnissen. Die Menge aller Ereignisse bezeichnen wir als die Ereignismenge { $A_i$}. Da die Anzahl $I$ der möglichen Ereignisse { $A_i$} im Allgemeinen nicht mit der Anzahl $M$ der möglichen Ergebnisse – also der Elemente von $G =$ { $E_μ$} – übereinstimmt, werden hier unterschiedliche Indizes gewählt.
 
  
 +
This is the&nbsp; "classical definition of probability".&nbsp; ${\rm Pr}(\text{...} )$&nbsp; stands for&nbsp; "probability"&nbsp; and is to be understood as a mathematical function.
  
{{Definition}}
+
{{GraueBox|TEXT= 
Setzt sich ein Ereignis $A_i$ aus $K$ (elementaren) Ergebnissen zusammen, so wird dessen Wahrscheinlichkeit wie folgt definiert:
+
$\text{Example 2:}$&nbsp;
$${\rm Pr} (A_i) = \frac{K}{M} = \frac{\rm Anzahl\hspace{0.1cm}der\hspace{0.1cm}g\ddot{u}nstigen\hspace{0.1cm}Ergebnisse}{\rm Anzahl\hspace{0.1cm}der\hspace{0.1cm}m\ddot{o}glichen\hspace{0.1cm}Ergebnisse}.$$
+
In the random experiment&nbsp; "coin toss",&nbsp; the probabilities of the two possible outcomes are
{{end}}
+
:$$\rm Pr(heads)=Pr(tails)=1/2.$$
  
 +
*This assumes that each attempt ends either with&nbsp; "heads"&nbsp; or with&nbsp; "tails"&nbsp; and that the coin cannot come to rest on its edge during an attempt.
  
Diese Gleichung nennt man die Wahrscheinlichkeitsdefinition nach Laplace.  Günstige Ergebnisse sind dabei solche, die zum zusammengesetzten Ereignis $A_i$ gehören. Aus dieser Gleichung geht bereits hervor, dass eine Wahrscheinlichkeit stets zwischen 0 und 1 liegen muss (einschließlich dieser beiden Grenzen).  
+
*Also in the experiment&nbsp; "throwing a roulette ball"&nbsp; the probabilities&nbsp; ${\rm Pr}( E_μ) = 1/37$&nbsp; are equal for all numbers from&nbsp; $0$&nbsp; to&nbsp; $36$&nbsp; only if the roulette table has not been manipulated.}}
  
Die Thematik von Kapitel 1.1 wird in einem Lernvideo anhand einfacher Beispiele behandelt:
 
  
 +
Note: &nbsp; '''Probability theory – and the statistics based on it – can only provide well-founded statements if all implicitly agreed conditions are actually fulfilled'''.&nbsp;
 +
*Checking these conditions is not the task of statistics,&nbsp; but of those who use them.&nbsp;
 +
*Since this basic rule is often violated,&nbsp; statistics has a much worse reputation in society than it actually deserves.
  
{{Beispiel}}
+
==Event and event probability==
Wir betrachten wieder das Experiment ''Werfen eines Würfels.'' Die möglichen Ergebnisse sind $E_μ ∈ G =$ {1, 2, 3, 4, 5, 6}. Definieren wir nun zwei Ereignisse $(I =$ 2), nämlich
+
<br>
* $A_1 =$ [die Augenzahl ist geradzahlig] = {2, 4, 6} und  
+
{{BlaueBox|TEXT=  
* $A_2 =$ [die Augenzahl ist ungeradzahlig] = {1, 3, 5},
+
$\text{Definitions:}$&nbsp;
  
so ist die Ereignismenge { $A_1, A_2$} gleich der Grundmenge $G$. Die Ereignisse $A_1$ und $A_2$ stellen für dieses Beispiel ein so genanntes vollständiges System  dar.  
+
'''(1)''' &nbsp; By an&nbsp; '''event'''&nbsp; we mean a set or summary of outcomes.&nbsp; We refer to the set of all events as the &nbsp; '''event set'''&nbsp; $\{A_i \}$.  
  
Dagegen ist die weitere Ereignismenge { $A_3, A_4$} ungleich der Grundmenge $G$, wenn man die beiden Einzelereignisse wie folgt definiert:
+
:Since the number&nbsp; $I$&nbsp; of possible events&nbsp; $\{A_i \}$&nbsp; is generally not the same as the number&nbsp; $M$&nbsp; of possible outcomes  &nbsp; &rArr; &nbsp;  the elements of&nbsp; $G = \{ E_μ \}$,&nbsp; <br>different indices are chosen here.
* $A_3 =$ [die Augenzahl ist kleiner als 3] = {1, 2},
 
* $A_4 =$ [die Augenzahl ist größer als 3] = {4, 5, 6}.  
 
  
 +
'''(2)''' &nbsp;If an event&nbsp; $A_i$&nbsp; is composed of&nbsp; $K$&nbsp; (elementary) outcomes, the&nbsp; '''event probability'''&nbsp; is defined as follows:
 +
:$${\rm Pr} (A_i) = \frac{K}{M} = \frac{\rm Number\hspace{0.1cm}of\hspace{0.1cm}favorable\hspace{0.1cm}outcomes}{\rm Number\hspace{0.1cm}of\hspace{0.1cm}possible\hspace{0.1cm}outcomes}.$$}}
 +
 +
 +
This equation is called the&nbsp; [https://en.wikipedia.org/wiki/Pierre-Simon_Laplace Laplace probability definition]. 
 +
*Here,&nbsp; "favorable outcomes"&nbsp; are those outcomes that belong to the composite event&nbsp; $A_i$.
 +
*From this definition it is already clear that a probability must always lie between&nbsp; $0$&nbsp; and&nbsp; $1$&nbsp;&nbsp; (including these two limits).
 +
 +
 +
{{GraueBox|TEXT= 
 +
$\text{Example 3:}$&nbsp;
 +
We now consider the experiment&nbsp; "throwing a die".&nbsp; The possible outcomes&nbsp; (number of points)&nbsp; are thus&nbsp;  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.
 +
 +
Let us now define two events&nbsp; $(I = 2)$, viz.
 +
* $A_1 = \big[$the outcome is even$\big] = \{2, 4, 6\}$,&nbsp; and 
 +
* $A_2 = \big[$the outcome is odd$\big] = \{1, 3, 5\}$,
 +
 +
 +
then the event set&nbsp;  $\{A_1, A_2\}$&nbsp; is equal to the universe&nbsp; $G$.&nbsp; For this example,&nbsp; the events&nbsp; $A_1$&nbsp; and&nbsp; $A_2$&nbsp; represent a so-called&nbsp; [[Theory_of_Stochastic_Signals/Set_Theory_Basics#Vollst.C3.A4ndiges_System|"complete system"]].
 +
 +
On the other hand,&nbsp; the further event set&nbsp;  $\{A_3, A_4\}$&nbsp; is not equal to the universe&nbsp; $G$,&nbsp; if we define the single events as follows:
 +
* $A_3 = \big[$the outcome is smaller than&nbsp; 3$\big] = \{1, 2\}$,
 +
* $A_4 =\big[$the outcome is bigger than&nbsp; 3$\big] = \{4, 5, 6\}$.
 +
 +
 +
Here,&nbsp; the event set&nbsp; $\{A_3, A_4\}$&nbsp; does not include the element&nbsp; "3".&nbsp; The probabilities of the events defined here are&nbsp; ${\rm Pr}( A_3) = 1/3$&nbsp; and&nbsp; ${\rm Pr}( A_1) ={\rm Pr}(A_2) = {\rm Pr}(A_4) = 1/2$.}}
 +
 +
 +
The topic of this chapter is illustrated with examples in the&nbsp; (German language)&nbsp; learning video&nbsp; [[Klassische_Definition_der_Wahrscheinlickeit_(Lernvideo)|Klassische Definition der Wahrscheinlickeit]] &nbsp; &rArr; &nbsp; "Classical definition of probability".
 +
 +
 +
==Exercises for the chapter==
 +
<br>
 +
[[Aufgaben:Exercise_1.1:_A_Special_Dice_Game|Exercise 1.1: A Special Dice Game]]
 +
 +
[[Aufgaben:Exercise_1.1Z:_Sum_of_Two_Ternary_Signals|Exercise 1.1Z: Sum of Two Ternary Signals]]
  
Hier beinhaltet die Ereignismenge { $A_3, A_4$} nicht das Element „3”. Die Wahrscheinlichkeiten der obigen Ereignisse sind Pr( $A_1$) = Pr( $A_2$) = Pr( $A_4$) = 1/2 und Pr( $A_3$) = 1/3.
 
{{end}}
 
  
 
{{Display}}
 
{{Display}}

Revision as of 15:39, 14 November 2021

  • [[Theory of Stochastic Signals/{{{Vorherige Seite}}} | Previous page]]
  • Next page
  • [[Theory of Stochastic Signals/{{{Vorherige Seite}}} | Previous page]]
  • Next page

# OVERVIEW OF THE FIRST MAIN CHAPTER #


This first chapter brings a brief summary of  probability calculation,  which surely many of you already know from your school days and which is an important prerequisite for understanding the chapters that follow.

This chapter includes

  • some  »definitions«  such as  »random experiment« ,  »outcome« ,  » event« , and  »probability« ,
  • the  »set-theoretical basics«  relevant for probability theory,
  • the clarification of  »statistical dependence«  and  »statistical independence«,
  • the mathematical treatment of statistical dependence by  »Markov chains«.


Experiment and outcome


The starting point of any statistical investigation is a  random experiment.  By this,  one understands

  • an experiment that can be repeated as often as desired under the same conditions with an uncertain  outcome   (German:  "$\rm E\hspace{0.02cm}$rgebnis")  $E$,
  • in which,  however,  the quantity  $ \{E_μ \}$  of the possible outcomes is specifiable.


$\text{Definition:}$  The number of possible outcomes is called the  outcome set size  $M$.  Then holds:

$$E_\mu \in G = \{E_\mu\}= \{E_1, \hspace{0.1cm}\text{...} \hspace{0.1cm}, E_M \} .$$
  • The variable  $μ$  can take all integer values between  $1$  and  $M$. 
  • $G = \{E_\mu\}$  is called the event space or the  universal set  $($German:  "Grundmenge"   ⇒   letter:  "G"$)$  with  $M$  possible outcomes.


$\text{Example 1:}$  In the experiment  "coin toss"  there are only two possible outcomes,  namely  "heads"  and  "tails"   ⇒   $M = 2$. 

In contrast, in the random experiment  "throwing a roulette ball"  a total of  $M = 37$  different outcomes are possible,  and it holds for the universal set in this case:

$$G = \{E_\mu\} = \{0, 1, 2, \text{...} \hspace{0.1cm} , 36\}.$$

Classical definition of probability


We assume here that each trial results in exactly one outcome from  $G$  and that each of these  $M$  outcomes is possible in the same way (without preference or disadvantage).

$\text{Definition:}$  With this assumption,  the  probability  of each outcome  $E_μ$  is equally:

$$\Pr (E_\mu) = 1/{M}.$$


This is the  "classical definition of probability".  ${\rm Pr}(\text{...} )$  stands for  "probability"  and is to be understood as a mathematical function.

$\text{Example 2:}$  In the random experiment  "coin toss",  the probabilities of the two possible outcomes are

$$\rm Pr(heads)=Pr(tails)=1/2.$$
  • This assumes that each attempt ends either with  "heads"  or with  "tails"  and that the coin cannot come to rest on its edge during an attempt.
  • Also in the experiment  "throwing a roulette ball"  the probabilities  ${\rm Pr}( E_μ) = 1/37$  are equal for all numbers from  $0$  to  $36$  only if the roulette table has not been manipulated.


Note:   Probability theory – and the statistics based on it – can only provide well-founded statements if all implicitly agreed conditions are actually fulfilled

  • Checking these conditions is not the task of statistics,  but of those who use them. 
  • Since this basic rule is often violated,  statistics has a much worse reputation in society than it actually deserves.

Event and event probability


$\text{Definitions:}$ 

(1)   By an  event  we mean a set or summary of outcomes.  We refer to the set of all events as the   event set  $\{A_i \}$.

Since the number  $I$  of possible events  $\{A_i \}$  is generally not the same as the number  $M$  of possible outcomes   ⇒   the elements of  $G = \{ E_μ \}$, 
different indices are chosen here.

(2)  If an event  $A_i$  is composed of  $K$  (elementary) outcomes, the  event probability  is defined as follows:

$${\rm Pr} (A_i) = \frac{K}{M} = \frac{\rm Number\hspace{0.1cm}of\hspace{0.1cm}favorable\hspace{0.1cm}outcomes}{\rm Number\hspace{0.1cm}of\hspace{0.1cm}possible\hspace{0.1cm}outcomes}.$$


This equation is called the  Laplace probability definition.

  • Here,  "favorable outcomes"  are those outcomes that belong to the composite event  $A_i$.
  • From this definition it is already clear that a probability must always lie between  $0$  and  $1$   (including these two limits).


$\text{Example 3:}$  We now consider the experiment  "throwing a die".  The possible outcomes  (number of points)  are thus  $E_μ ∈ G = \{1, 2, 3, 4, 5, 6\}$.

Let us now define two events  $(I = 2)$, viz.

  • $A_1 = \big[$the outcome is even$\big] = \{2, 4, 6\}$,  and
  • $A_2 = \big[$the outcome is odd$\big] = \{1, 3, 5\}$,


then the event set  $\{A_1, A_2\}$  is equal to the universe  $G$.  For this example,  the events  $A_1$  and  $A_2$  represent a so-called  "complete system".

On the other hand,  the further event set  $\{A_3, A_4\}$  is not equal to the universe  $G$,  if we define the single events as follows:

  • $A_3 = \big[$the outcome is smaller than  3$\big] = \{1, 2\}$,
  • $A_4 =\big[$the outcome is bigger than  3$\big] = \{4, 5, 6\}$.


Here,  the event set  $\{A_3, A_4\}$  does not include the element  "3".  The probabilities of the events defined here are  ${\rm Pr}( A_3) = 1/3$  and  ${\rm Pr}( A_1) ={\rm Pr}(A_2) = {\rm Pr}(A_4) = 1/2$.


The topic of this chapter is illustrated with examples in the  (German language)  learning video  Klassische Definition der Wahrscheinlickeit   ⇒   "Classical definition of probability".


Exercises for the chapter


Exercise 1.1: A Special Dice Game

Exercise 1.1Z: Sum of Two Ternary Signals