Difference between revisions of "Theory of Stochastic Signals/Probability Density Function"

From LNTwww
(16 intermediate revisions by 3 users not shown)
Line 1: Line 1:
 +
 
   
 
   
 
{{Header
 
{{Header
|Untermenü=Kontinuierliche Zufallsgrößen
+
|Untermenü=Continuous Random Variables
|Vorherige Seite=Erzeugung von diskreten Zufallsgrößen
+
|Vorherige Seite=Generation of Discrete Random Variables
|Nächste Seite=Verteilungsfunktion (VTF)
+
|Nächste Seite=Cumulative Distribution Function
 
}}
 
}}
  
== # ÜBERBLICK ZUM DRITTEN HAUPTKAPITEL # ==
+
== # OVERVIEW OF THE THIRD MAIN CHAPTER # ==
 
<br>
 
<br>
Wir betrachten hier kontinuierliche Zufallsgrößen, also Zufallsgrößen, die zumindest in gewissen Wertebereichen unendlich viele verschiedene Werte annehmen können.&nbsp;  
+
We consider here&nbsp; '''continuous random variables''',&nbsp; i.e.,&nbsp; random variables which can assume infinitely many different values,&nbsp; at least in certain ranges of real numbers.&nbsp;  
*Deren Anwendungen sind in der Informations&ndash; und Kommunikationstechnik von vielfältiger Art.&nbsp;  
+
*Their applications in information and communication technology are manifold.
*Sie werden unter Anderem für die Simulation von Rauschsignalen und zur Beschreibung von Fadingeinflüssen herangezogen.
+
*They are used,&nbsp; among other things,&nbsp; for the simulation of noise signals and for the description of fading effects.
  
  
Wir beschränken uns zunächst auf die statistische Beschreibung der Amplitudenverteilung.&nbsp; Innere statistische Bindungen der zugrundeliegenden Prozesse werden erst in den nachfolgenden Hauptkapiteln 4 und 5 betrachtet.
+
We restrict ourselves at first to the statistical description of the&nbsp; '''amplitude distribution'''.&nbsp; In detail,&nbsp; the following are treated:
  
Im Einzelnen werden behandelt:
+
*The relationship between&nbsp; &raquo;probability density function&laquo;&nbsp; $\rm (PDF)$&nbsp; and&nbsp; &raquo;cumulative distribution function&laquo;&nbsp; $\rm (CDF)$;
 +
*the calculation of&nbsp; &raquo;expected values&nbsp; and&nbsp; moments&laquo;;
 +
*some&nbsp; &raquo;special cases&laquo;&nbsp; of continuous-value distributions:  
 +
#uniform distributed random variables,&nbsp;
 +
#Gaussian distributed random variables,&nbsp;
 +
#exponential distributed random variables,&nbsp;
 +
#Laplace distributed random variables,&nbsp;
 +
#Rayleigh distributed random variables,&nbsp;
 +
#Rice distributed random variables,&nbsp;
 +
#Cauchy distributed random variables;
 +
*the&nbsp; &raquo;generation of continuous random variables&laquo;&nbsp; on a computer.
  
*der Zusammenhang zwischen Wahrscheinlichkeitsdichtefunktion und Verteilungsfunktion;
 
*die Berechnung der Erwartungswerte und Momente;
 
*einige Sonderfälle:&nbsp; Gleichverteilung,&nbsp; Gaußverteilung,&nbsp; Exponentialverteilung,&nbsp; Laplaceverteilung,&nbsp; Rayleighverteilung,&nbsp; Riceverteilung,&nbsp; Cauchyverteilung;
 
*die Generierung kontinuierlicher Zufallsgrößen an einem Rechner.
 
  
 +
'''Inner statistical dependencies'''&nbsp; of the underlying processes&nbsp; '''are not considered here'''.&nbsp; For this,&nbsp; we refer to the following main chapters 4 and 5.
  
Weitere Informationen zum Thema&nbsp; &bdquo;Kontinuierliche Zufallsgrößen&rdquo;&nbsp; sowie Aufgaben, Simulationen und Programmierübungen finden Sie im
 
  
*Kapitel 4: &nbsp; Kontinuierliche Zufallsgrößen (Programm &bdquo;kon&rdquo;)
+
==Properties of continuous random variables==
*Kapitel 13: &nbsp; Fehlerwahrscheinlichkeit (Programm &bdquo;fwk&rdquo;)
+
In the second chapter it was shown that the amplitude distribution of a discrete random variable is completely determined by its&nbsp; $M$&nbsp; occurrence probabilities,&nbsp; where the level number&nbsp; $M$&nbsp; usually has a finite value.
  
 +
{{BlaueBox|TEXT= 
 +
$\text{Definition:}$&nbsp; By a&nbsp; '''&raquo;value-continuous random variable&laquo;'''&nbsp; is meant a random variable whose possible numerical values are uncountable &nbsp; &rArr; &nbsp; $M \to \infty$. &nbsp; &nbsp; In the following,&nbsp; we will often use the short form "continuous random variable".}}
  
des Praktikums „Simulationsmethoden in der Nachrichtentechnik”.&nbsp; Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf
 
  
*dem Lehrsoftwarepaket&nbsp; [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim] &nbsp; &rArr; &nbsp; Link verweist auf die ZIP-Version des Programms,  
+
Further it shall hold:
*der&nbsp; [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Praktikumsanleitung &ndash; Teil A]  &nbsp; &rArr; &nbsp; Link verweist auf die PDF-Version mit Kapitel 4: &nbsp; Seite 47-80,
+
*In the following we denote continuous random variables&nbsp; (mostly)&nbsp; with&nbsp; $x$&nbsp; in contrast to the discrete random variables,&nbsp; which are denoted with&nbsp; $z$&nbsp; as before.
*der&nbsp; [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Praktikumsanleitung &ndash; Teil B]  &nbsp; &rArr; &nbsp; Link verweist auf die PDF-Version mit Kapitel 13: &nbsp; Seite 295-314.
+
*No statement is made here about a possible time discretization,&nbsp; i.e.,&nbsp; continuous random variables can be discrete in time.
 +
*Further,&nbsp; we assume for this chapter that there are no statistical bindings between the individual samples&nbsp; $x_ν$,&nbsp; or at least leave them out of consideration.  
  
  
 +
[[File: P_ID41__Sto_T_3_1_S1_neu.png |right|frame| Signal and PDF of a Gaussian noise signal]]
 +
{{GraueBox|TEXT=
 +
$\text{Example 1:}$
 +
The graphic shows a section of a stochastic noise signal&nbsp; $x(t)$&nbsp; whose instantaneous value can be taken as a continuous random variable&nbsp; $x$.
  
 +
*From the&nbsp; &raquo;probability density function&raquo; &nbsp; $\rm (PDF)$&nbsp; shown on the right,&nbsp; it can be seen that instantaneous values around the mean&nbsp; $m_1$&nbsp; occur most frequently for this example signal.
  
==Eigenschaften kontinuierlicher Zufallsgrößen==
 
<br>
 
Im zweiten Hauptkapitel wurde gezeigt, dass die Amplitudenverteilung einer (wert&ndash;)diskreten Zufallsgröße vollständig durch ihre&nbsp; $M$&nbsp; Auftrittswahrscheinlichkeiten bestimmt ist, wobei die Stufenzahl&nbsp; $M$&nbsp; meist einen endlichen Wert besitzt.
 
  
{{BlaueBox|TEXT= 
+
*Since there are no statistical dependencies between the samples $x_ν$,&nbsp; such a signal is also referred to as&nbsp; &raquo;white noise&laquo;.}}
$\text{Definition:}$&nbsp; Unter einer&nbsp; '''(wert&ndash;)kontinuierlichen Zufallsgrößen'''&nbsp; versteht man eine Zufallsgröße, deren mögliche Zahlenwerte nicht abzählbar sind &nbsp; &rArr; &nbsp; $M \to \infty$.}}
 
  
  
Für das Folgende soll gelten:
+
==Definition of the probability density function==
*Wir kennzeichnen wertkontinuierliche Zufallsgrößen (meist) mit&nbsp; $x$&nbsp; im Gegensatz zu den wertdiskreten Zufallsgrößen, die wie bisher mit&nbsp; $z$&nbsp; bezeichnet werden.
+
For a continuous random variable,&nbsp; the probabilities that it takes on quite specific values are zero.&nbsp; Therefore,&nbsp; to describe a continuous random variable,&nbsp; we must always refer to the&nbsp; "probability density function"&nbsp; $\rm (PDF)$.  
*Über eine eventuelle Zeitdiskretisierung wird hier keine Aussage getroffen, das heißt, wertkontinuierliche Zufallsgrößen können durchaus zeitdiskret sein.
 
*Wir setzen voraus, dass zwischen den einzelnen Abtastwerten&nbsp; $x_ν$&nbsp; keine statistischen Bindungen bestehen, oder lassen diese zumindest außer Betracht.  
 
  
 +
{{BlaueBox|TEXT=
 +
$\text{Definition:}$ &nbsp;
 +
The value of the&nbsp; &raquo;'''probability density function'''&laquo;&nbsp; $f_{x}(x)$&nbsp; at location&nbsp; $x_\mu$&nbsp; is equal to the probability that the instantaneous value of the random variable&nbsp; $x$&nbsp; lies in an&nbsp; (infinitesimally small)&nbsp; interval of width&nbsp; $Δx$&nbsp; around&nbsp; $x_\mu$,&nbsp; divided by&nbsp; $Δx$:
 +
:$$f_x(x=x_\mu) = \lim_{\rm \Delta \it x \hspace{0.05cm}\to \hspace{0.05cm}\rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\} }{\rm \Delta \it  x}.$$}}
  
[[File: P_ID41__Sto_T_3_1_S1_neu.png  |right|frame| Signal und WDF eines Gaußschen Rauschsignals]]
 
{{GraueBox|TEXT= 
 
$\text{Beispiel 1:}$&nbsp; Die Grafik zeigt einen Ausschnitt eines stochastischen Rauschsignals&nbsp; $x(t)$, dessen Momentanwert als eine kontinuierliche Zufallsgröße&nbsp; $x$&nbsp; aufgefasst werden kann.
 
  
*Aus der rechts dargestellten&nbsp; ''Wahrscheinlichkeitsdichtefunktion''&nbsp; (WDF) erkennt man, dass bei diesem Beispielsignal Momentanwerte um den Mittelwert&nbsp; $m_1$&nbsp; am häufigsten auftreten.
+
This extremely important descriptive variable has the following properties:
*Da zwischen den Abtastwerten&nbsp; $x_ν$&nbsp; keine statistischen Bindungen bestehen, bezeichnet man ein solches Signal auch als&nbsp; ''„Weißes Rauschen”.''}}
 
 
==Definition der Wahrscheinlichkeitsdichtefunktion==
 
<br>
 
Bei einer kontinuierlichen Zufallsgröße&nbsp; $x$&nbsp; sind die Wahrscheinlichkeiten, dass&nbsp; $x$&nbsp; ganz bestimmte Werte annimmt, identisch Null. Deshalb muss zur Beschreibung einer kontinuierlichen Zufallsgröße stets auf die ''Wahrscheinlichkeitsdichtefunktion''&nbsp; – abgekürzt&nbsp; '''WDF'''&nbsp; – übergegangen werden.
 
  
{{BlaueBox|TEXT= 
+
*Although from the time course in&nbsp; [[Theory_of_Stochastic_Signals/Probability_Density_Function_(PDF)#Properties_of_continuous_random_variables|$\text{Example 1}$]]&nbsp; it can be seen&nbsp; that the most frequent signal components lie at&nbsp; $x = m_1$&nbsp; and the PDF has its largest value here,&nbsp; for a continuous random variable the probability&nbsp; ${\rm Pr}(x = m_1)$,&nbsp; that the instantaneous value is exactly equal to the mean&nbsp; $m_1$,&nbsp; is identically zero.
$\text{Definition:}$&nbsp; Der Wert der&nbsp; '''Wahrscheinlichkeitsdichtefunktion'''&nbsp; $f_{x}(x)$&nbsp; an der Stelle&nbsp; $x_\mu$&nbsp; ist gleich der Wahrscheinlichkeit, dass der Momentanwert der Zufallsgröße&nbsp; $x$&nbsp; in einem (unendlich kleinen) Intervall der Breite&nbsp; $Δx$&nbsp; um&nbsp; $x_\mu$&nbsp; liegt, dividiert durch&nbsp; $Δx$:
 
:$$f_x(x=x_\mu) = \lim_{\rm \Delta \it x \hspace{0.05cm}\to \hspace{0.05cm}\rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\} }{\rm \Delta \it  x}.$$
 
  
Die englische Bezeichnung für die Wahrscheinlichkeitsdichtefunktion (WDF) ist&nbsp; ''Probability Density Function''&nbsp; (PDF). }}
 
  
 +
*For the probability that the random variable lies in the range between&nbsp; $x_{\rm u}$&nbsp; and&nbsp; $x_{\rm o}$:
 +
:$${\rm Pr}(x_{\rm u} \le  x \le x_{\rm o})= \int_{x_{\rm u} }^{x_{\rm o} }f_{x}(x) \,{\rm d}x.$$
  
Diese äußerst wichtige Beschreibungsgröße weist folgende Eigenschaften auf:
+
*As an important normalization property,&nbsp; this yields for the area under the PDF with the boundary transitions&nbsp; $x_{\rm u} → \hspace{0.05cm} - \hspace{0.05cm} $&nbsp; and&nbsp; $x_{\rm o} → +∞:$
*Obwohl aus dem Zeitverlauf  im&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion#Eigenschaften_kontinuierlicher_Zufallsgr.C3.B6.C3.9Fen|$\text{Beispiel 1}$]]&nbsp; zu ersehen ist, dass die häufigsten Signalanteile bei&nbsp; $x = m_1$&nbsp; liegen und die WDF hier ihren größten Wert besitzt, ist bei einer kontinuierlichen Zufallsgröße die Wahrscheinlichkeit&nbsp; ${\rm Pr}(x = m_1)$, dass der Momentanwert exakt gleich dem Mittelwert&nbsp; $m_1$&nbsp; ist, identisch Null.
+
:$$\int_{-\infty}^{+\infty} f_{x}(x) \,{\rm d}x = \rm 1.$$
  
 +
*The corresponding equation for discrete-value,&nbsp; $M$-level random variables states that the sum over the&nbsp; $M$&nbsp; occurrence probabilities gives the value&nbsp; $1$.
  
*Für die Wahrscheinlichkeit, dass die Zufallsgröße im Bereich zwischen&nbsp; $x_{\rm u}$&nbsp; und&nbsp; $x_{\rm o} > x_{\rm u}$&nbsp; liegt, gilt:
 
:$${\rm Pr}(x_{\rm u} \le  x \le x_{\rm o}) = \int_{x_{\rm u}}^{x_{\rm o}} f_{x}(x) \,{\rm d}x.$$
 
*Als wichtige Normierungseigenschaft ergibt sich daraus für die Fläche unter der WDF mit den Grenzübergängen&nbsp; $x_{\rm u} → \hspace{0.05cm} – \hspace{0.05cm} ∞$&nbsp; und&nbsp; $x_{\rm o} → +∞:$
 
:$$\int_{-\infty}^{+\infty} f_{x}(x) \,{\rm d}x = \rm 1.$$
 
*Die entsprechende Gleichung für wertdiskrete,&nbsp; $M$&ndash;stufige Zufallsgrößen sagt aus, dass die Summe aller&nbsp; $M$&nbsp; Wahrscheinlichkeiten den Wert&nbsp; $1$&nbsp; ergibt.
 
  
 +
{{BlaueBox|TEXT=
 +
$\text{Note on nomenclature:}$&nbsp;
 +
In the literature,&nbsp; a distinction is often made between the random variable&nbsp; $X$&nbsp; and its realizations&nbsp; $x ∈ X$.
  
{{BlaueBox|TEXT= 
+
Thus, the above definition equation is
$\text{Hinweis zur Nomenklatur:}$&nbsp;
+
:$$f_{X}(X=x) = \lim_{ {\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0}\frac{ {\rm Pr} \{ x - {\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/ 2\} }{ {\rm \Delta} x}.$$
In der Fachliteratur wird oft zwischen der Zufallsgröße&nbsp; $X$&nbsp; und deren Realisierungen&nbsp; $x ∈ X$&nbsp; unterschieden.&nbsp; Somit würde die obige Definitionsgleichung lauten:
 
:$$f_{X}(X=x) = \lim_{ {\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0}\frac{ {\rm Pr} \{ x - {\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/ 2\} } { {\rm \Delta} x}.$$
 
  
Wir haben in unserem Lerntutorial&nbsp; $\rm LNTwww$&nbsp; auf diese genauere Nomenklatur weitgehend verzichtet, um nicht für eine Größe zwei Buchstaben zu verbrauchen.  
+
We have largely dispensed with this more precise nomenclature in our learning tutorial&nbsp; $\rm LNTwww$&nbsp; so as not to use up two letters for one quantity.  
*Kleinbuchstaben&nbsp; $($wie&nbsp; $x)$&nbsp; bezeichnen bei uns oft Signale und Großbuchstaben&nbsp; $($wie&nbsp; $X)$&nbsp; die zugehörigen Spektren.  
+
*Lowercase letters&nbsp; $($as&nbsp; $x)$&nbsp; often denote signals and uppercase letters&nbsp; $($as&nbsp; $X)$&nbsp; the associated spectra in our case.  
*Trotzdem müssen wir heute (2017) ehrlicher Weise zugeben, dass die Entscheidung von 2001 nicht ganz glücklich war.}}
+
*Nevertheless,&nbsp; today (2017)&nbsp; we have to honestly admit that the 2001 decision was not entirely happy.}}
  
==WDF-Definition für diskrete Zufallsgrößen==
+
==PDF definition for discrete random variables==
<br>
+
For reasons of a uniform representation of all random variables&nbsp; (both discrete-value and continuous-value),&nbsp; it is convenient to define the probability density function also for discrete random variables.  
Aus Gründen einer einheitlichen Darstellung aller Zufallsgrößen (sowohl wertdiskret als auch wertkontinuierlich) ist es zweckmäßig, die Wahrscheinlichkeitsdichtefunktion auch für diskrete Zufallsgrößen zu definieren.  
 
  
{{BlaueBox|TEXT=
+
{{BlaueBox|TEXT=
$\text{Definition:}$&nbsp; Wendet man die&nbsp; [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion#Definition_der_Wahrscheinlichkeitsdichtefunktion|'''Definitionsgleichung''']]&nbsp; der letzten Seite&nbsp; '''auf diskrete Zufallsgrößen'''&nbsp; an, so nimmt die WDF an einigen Stellen&nbsp; $x_\mu$&nbsp; aufgrund des nicht verschwindend kleinen Wahrscheinlichkeitswertes und des Grenzübergangs&nbsp; $Δx → 0$&nbsp;  unendlich große Werte an.  
+
$\text{Definition:}$ &nbsp;
 +
Applying the definition equation of the last section to discrete random variables,&nbsp; the PDF takes infinitely large values at some points&nbsp; $x_\mu$&nbsp; due to the nonvanishingly small probability value and the limit transition&nbsp $Δx → 0$.  
  
Somit ergibt sich für die WDF eine Summe von&nbsp; [[Signaldarstellung/Gleichsignal_-_Grenzfall_eines_periodischen_Signals#Diracfunktion_im_Frequenzbereich|Diracfunktionen]]&nbsp; (bzw. ''Distributionen''):  
+
Thus,&nbsp; the PDF results in a sum of&nbsp; [[Signal_Representation/Direct_Current_Signal_-_Limit_Case_of_a_Periodic_Signal#Dirac_.28delta.29_function_in_frequency_domain|Dirac delta functions]] &nbsp; &rArr; &nbsp; "distributions":  
 
:$$f_{x}(x)=\sum_{\mu=1}^{M}p_\mu\cdot {\rm \delta}( x-x_\mu).$$
 
:$$f_{x}(x)=\sum_{\mu=1}^{M}p_\mu\cdot {\rm \delta}( x-x_\mu).$$
  
Die Gewichte dieser Diracfunktionen sind gleich den Wahrscheinlichkeiten &nbsp;$p_\mu = {\rm Pr}(x = x_\mu$). }}
+
The weights of these Dirac delta functions are equal to the probabilities&nbsp; $p_\mu = {\rm Pr}(x = x_\mu$).}}  
 +
 
 +
 
 +
Here is another note to help classify the different descriptive quantities for discrete and continuous random variables: &nbsp; Probability and probability density function are related in a similar way as in the book&nbsp; [[Signal Representation]]
 +
*a discrete spectral component of a harmonic oscillation ⇒ line spectrum,&nbsp; and
 +
*a continuous spectrum of an energy-limited&nbsp; (pulse-shaped)&nbsp; signal.
  
  
Hier noch ein Hinweis, um die unterschiedlichen Beschreibungsgrößen für diskrete und kontinuierliche Zufallsgrößen einordnen zu können:
+
[[File:P_ID40__Sto_T_3_1_S3_NEU.png|right|frame|Signal and PDF of a ternary signal]]
+
{{GraueBox|TEXT=
::Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion stehen in ähnlichem Verhältnis zueinander wie im Buch&nbsp; [[Signaldarstellung]]
+
$\text{Example 2:}$&nbsp; Below is a section
::*ein diskreter Spektralanteil einer harmonischen Schwingung  &nbsp; ⇒  &nbsp; Linienspektrum, und
+
*of a rectangular signal with three possible values,
::*ein kontinuierliches Spektrum eines energiebegrenzten (impulsförmigen) Signals.
+
*where the signal value&nbsp; $0 \ \rm V$&nbsp; occurs twice as often as the outer signal values&nbsp; $(\pm 1 \ \rm V)$.  
  
[[File:P_ID40__Sto_T_3_1_S3_NEU.png|right|frame|Signal und WDF eines Digitalsignals]]
 
{{GraueBox|TEXT= 
 
$\text{Beispiel 2:}$&nbsp; Dargestellt ist ein Ausschnitt eines Rechtecksignals mit drei möglichen Werten, wobei der Signalwert&nbsp; $0 \hspace{0.05cm} \rm V$&nbsp; doppelt so häufig wie die äußeren Signalwerte&nbsp; $(\pm 1 \hspace{0.05cm} \rm V)$&nbsp; auftritt.
 
  
Somit lautet die dazugehörige WDF (Anteile von oben nach unten):
 
:$$f_{x}(x) = 0.25 \cdot \delta(x \hspace{-0.05cm}-\hspace{-0.05cm}{\rm 1 \hspace{0.05cm} V}) \hspace{-0.05cm}+\hspace{-0.05cm} 0.5\cdot \delta(x)  \hspace{-0.05cm}+\hspace{-0.05cm}  0.25\cdot \delta (x \hspace{-0.05cm} +\hspace{-0.05cm} 1\hspace{0.05cm} \rm V).$$}}
 
  
 +
Thus,&nbsp; the corresponding&nbsp; PDF&nbsp; (values from top to bottom)&nbsp; is:
 +
:$$f_{x}(x) = 0.25 \cdot \delta(x - {\rm 1 V})+ 0.5\cdot \delta(x) + 0.25\cdot \delta (x + 1\rm V).$$}}
  
Zur Vertiefung der hier behandelten Thematik empfehlen wir das Lernvideo&nbsp; [[Wahrscheinlichkeit_und_WDF_(Lernvideo)|Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion]]. 
 
  
==Numerische Ermittlung der WDF==
+
For a more in-depth look at the topic covered here,&nbsp; we recommend the following&nbsp; (German language)&nbsp; learning video:
<br>
 
Die Grafik zeigt ein Schema zur numerischen Ermittlung der Wahrscheinlichkeitsdichtefunktion. Für die folgende Beschreibung setzen wir voraus, dass die vorliegende Zufallsgröße $x$ außerhalb des Bereichs von $x_{\rm min} = -4.02$ bis $x_{\rm max} = +4.02$ keine oder nur vernachlässigbar kleine Anteile besitzt.
 
  
[[File:P_ID175__Sto_T_3_1_S4_ganzneu.png|center|frame| Zur numerischen Ermittlung der WDF]]
+
:[[Wahrscheinlichkeit_und_WDF_(Lernvideo)|Wahrscheinlichkeit und WDF]] &nbsp; &rArr; &nbsp; "Probability and probability density function"
  
Dann geht man folgendermaßen vor:
+
==Numerical determination of the PDF==
*Man teilt den Wertebereich von $x$ in $I$ Intervalle gleicher Breite $Δx$ ein und definiert ein Feld $\text{WDF}\big[0 : I–1\big]$. In obiger Skizze ist $I = 201$ und dementsprechend $Δx = 0.04$ gewählt.
+
You can see here a scheme for the numerical determination of the probability density function:&nbsp;  
*Die Zufallsgröße $x$ wird nun $N$ mal nacheinander aufgerufen und dabei jeweils geprüft, zu welchem Intervall $i_{\rm akt}$ die aktuelle Zufallsgröße $x_{\rm akt}$ gehört: &nbsp; $i_{\rm akt} = ({\rm int})((x + x_{\rm max})/Δx)$.
 
*Das Feldelement  ${\rm WDF}\big[i_{\rm akt}\big]$ wird dann um $1$ erhöht. Nach $N$ Durchläufen beinhaltet dann $\text{WDF}[i_{\rm akt}]$  die Anzahl der Zufallszahlen, die zum Intervall $i_{\rm akt}$ gehören.
 
*Die tatsächlichen WDF-Werte erhält man, wenn am Ende noch alle Feldelemente $\text{WDF}[i]$ mit $0 ≤ i < I$ durch $N · Δx$ dividiert werden.
 
  
 +
Assuming that the random variable&nbsp; $x$&nbsp; at hand has negligible values outside the range from&nbsp; $x_{\rm min} = -4.02$&nbsp; to&nbsp; $x_{\rm max} = +4.02$,&nbsp; proceed as follows:
 +
[[File:EN_Sto_T_3_1_S4_neu.png |right|frame| For numerical determination of the PDF]]
 +
#Divide the range of&nbsp; $x$-values into&nbsp; $I$&nbsp; intervals of equal width&nbsp; $Δx$&nbsp; and define a field&nbsp; $\text{PDF}[0 : I-1]$.&nbsp; In the sketch&nbsp; $I = 201$&nbsp; and accordingly&nbsp; $Δx = 0.04$&nbsp; is chosen.
 +
#The random variable&nbsp; $x$&nbsp; is now called&nbsp; $N$&nbsp; times in succession,&nbsp; each time checking to which interval&nbsp; $i_{\rm act}$&nbsp; the current random variable&nbsp; $x_{\rm act}$ belongs: <br> &nbsp; &nbsp; $i_{\rm act} = ({\rm int})((x + x_{\rm max})/Δx).$
 +
#The corresponding field element PDF( $i_{\rm act}$) is then incremented by&nbsp; $1$.&nbsp;
 +
#After $N$ iterations, $\text{PDF}[i_{\rm act}]$ then contains the number of random numbers belonging to the interval $i_{\rm act}$.
 +
#The actual PDF values are obtained if,&nbsp; at the end,&nbsp; all field elements&nbsp; $\text{PDF}[i]$&nbsp; with&nbsp; $0 ≤ i ≤ I-1$&nbsp; are still divided by&nbsp; $N \cdot Δx$.
 +
<br clear=all>
 +
{{GraueBox|TEXT=
 +
$\text{Example 3:}$&nbsp;
 +
From the drawn green arrows in the graph above,&nbsp;  one can see:
 +
*The value&nbsp; $x_{\rm act} = 0.07$&nbsp; leads to the result&nbsp; $i_{\rm act} =$ (int) ((0.07 + 4.02)/0.04) = (int) $102.25$.
 +
* Here&nbsp; "(int)"&nbsp; means an integer conversion after float division &nbsp; ⇒ &nbsp; $i_{\rm act} = 102$.
 +
*The same interval&nbsp; $i_{\rm act} = 102$&nbsp; results for&nbsp; $0.06 < x_{\rm act} < 0.10$,&nbsp; so for example also for&nbsp; $x_{\rm act} = 0.09$. }}
  
{{GraueBox|TEXT=
+
==Exercises for the chapter==
$\text{Beispiel 3:}$&nbsp; Aus den eingezeichneten grünen Pfeilen in obiger Grafik erkennt man:
 
*Der Wert $x_{\rm akt} = 0.07$ führt zum Ergebnis $i_{\rm akt} = \text{(int) }((0.07 + 4.02)/0.04) = \text{(int) }102.25$.
 
*Hierbei bedeutet $\rm (int)$ eine Integerwandlung nach der Float&ndash;Division  &nbsp; ⇒  &nbsp; $i_{\rm akt} = 102$.
 
*Das gleiche Intervall $i_{\rm akt} = 102$ ergibt sich für alle Werte im Bereich $0.06 \le x_{\rm akt} < 0.10$, zum Beispiel also auch für $x_{\rm akt} = 0.09$. }}
 
  
==Aufgaben zum Kapitel==
+
[[Aufgaben:Exercise_3.1:_cos²-PDF_and_PDF_with_Dirac_Functions|Exercise 3.1: Cosine-square PDF and PDF with Dirac Functions]]
<br>
 
[[Aufgaben:3.1 cos² - und Dirac-WDF|Aufgabe 3.1: $\cos^2$ - und Dirac-WDF]]
 
  
[[Aufgaben:3.1Z Dreieckförmige WDF|Aufgabe 3.1Z: Dreieckförmige WDF]]
+
[[Aufgaben:Exercise_3.1Z:_Triangular_PDF|Exercise 3.1Z: Triangular PDF]]
  
  
 
{{Display}}
 
{{Display}}

Revision as of 15:33, 16 February 2022


# OVERVIEW OF THE THIRD MAIN CHAPTER #


We consider here  continuous random variables,  i.e.,  random variables which can assume infinitely many different values,  at least in certain ranges of real numbers. 

  • Their applications in information and communication technology are manifold.
  • They are used,  among other things,  for the simulation of noise signals and for the description of fading effects.


We restrict ourselves at first to the statistical description of the  amplitude distribution.  In detail,  the following are treated:

  • The relationship between  »probability density function«  $\rm (PDF)$  and  »cumulative distribution function«  $\rm (CDF)$;
  • the calculation of  »expected values  and  moments«;
  • some  »special cases«  of continuous-value distributions:
  1. uniform distributed random variables, 
  2. Gaussian distributed random variables, 
  3. exponential distributed random variables, 
  4. Laplace distributed random variables, 
  5. Rayleigh distributed random variables, 
  6. Rice distributed random variables, 
  7. Cauchy distributed random variables;
  • the  »generation of continuous random variables«  on a computer.


Inner statistical dependencies  of the underlying processes  are not considered here.  For this,  we refer to the following main chapters 4 and 5.


Properties of continuous random variables

In the second chapter it was shown that the amplitude distribution of a discrete random variable is completely determined by its  $M$  occurrence probabilities,  where the level number  $M$  usually has a finite value.

$\text{Definition:}$  By a  »value-continuous random variable«  is meant a random variable whose possible numerical values are uncountable   ⇒   $M \to \infty$.     In the following,  we will often use the short form "continuous random variable".


Further it shall hold:

  • In the following we denote continuous random variables  (mostly)  with  $x$  in contrast to the discrete random variables,  which are denoted with  $z$  as before.
  • No statement is made here about a possible time discretization,  i.e.,  continuous random variables can be discrete in time.
  • Further,  we assume for this chapter that there are no statistical bindings between the individual samples  $x_ν$,  or at least leave them out of consideration.


Signal and PDF of a Gaussian noise signal

$\text{Example 1:}$ The graphic shows a section of a stochastic noise signal  $x(t)$  whose instantaneous value can be taken as a continuous random variable  $x$.

  • From the  »probability density function»   $\rm (PDF)$  shown on the right,  it can be seen that instantaneous values around the mean  $m_1$  occur most frequently for this example signal.


  • Since there are no statistical dependencies between the samples $x_ν$,  such a signal is also referred to as  »white noise«.


Definition of the probability density function

For a continuous random variable,  the probabilities that it takes on quite specific values are zero.  Therefore,  to describe a continuous random variable,  we must always refer to the  "probability density function"  $\rm (PDF)$.

$\text{Definition:}$   The value of the  »probability density function«  $f_{x}(x)$  at location  $x_\mu$  is equal to the probability that the instantaneous value of the random variable  $x$  lies in an  (infinitesimally small)  interval of width  $Δx$  around  $x_\mu$,  divided by  $Δx$:

$$f_x(x=x_\mu) = \lim_{\rm \Delta \it x \hspace{0.05cm}\to \hspace{0.05cm}\rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\} }{\rm \Delta \it x}.$$


This extremely important descriptive variable has the following properties:

  • Although from the time course in  $\text{Example 1}$  it can be seen  that the most frequent signal components lie at  $x = m_1$  and the PDF has its largest value here,  for a continuous random variable the probability  ${\rm Pr}(x = m_1)$,  that the instantaneous value is exactly equal to the mean  $m_1$,  is identically zero.


  • For the probability that the random variable lies in the range between  $x_{\rm u}$  and  $x_{\rm o}$:
$${\rm Pr}(x_{\rm u} \le x \le x_{\rm o})= \int_{x_{\rm u} }^{x_{\rm o} }f_{x}(x) \,{\rm d}x.$$
  • As an important normalization property,  this yields for the area under the PDF with the boundary transitions  $x_{\rm u} → \hspace{0.05cm} - \hspace{0.05cm} ∞$  and  $x_{\rm o} → +∞:$
$$\int_{-\infty}^{+\infty} f_{x}(x) \,{\rm d}x = \rm 1.$$
  • The corresponding equation for discrete-value,  $M$-level random variables states that the sum over the  $M$  occurrence probabilities gives the value  $1$.


$\text{Note on nomenclature:}$  In the literature,  a distinction is often made between the random variable  $X$  and its realizations  $x ∈ X$.

Thus, the above definition equation is

$$f_{X}(X=x) = \lim_{ {\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0}\frac{ {\rm Pr} \{ x - {\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/ 2\} }{ {\rm \Delta} x}.$$

We have largely dispensed with this more precise nomenclature in our learning tutorial  $\rm LNTwww$  so as not to use up two letters for one quantity.

  • Lowercase letters  $($as  $x)$  often denote signals and uppercase letters  $($as  $X)$  the associated spectra in our case.
  • Nevertheless,  today (2017)  we have to honestly admit that the 2001 decision was not entirely happy.

PDF definition for discrete random variables

For reasons of a uniform representation of all random variables  (both discrete-value and continuous-value),  it is convenient to define the probability density function also for discrete random variables.

$\text{Definition:}$   Applying the definition equation of the last section to discrete random variables,  the PDF takes infinitely large values at some points  $x_\mu$  due to the nonvanishingly small probability value and the limit transition&nbsp $Δx → 0$.

Thus,  the PDF results in a sum of  Dirac delta functions   ⇒   "distributions":

$$f_{x}(x)=\sum_{\mu=1}^{M}p_\mu\cdot {\rm \delta}( x-x_\mu).$$

The weights of these Dirac delta functions are equal to the probabilities  $p_\mu = {\rm Pr}(x = x_\mu$).


Here is another note to help classify the different descriptive quantities for discrete and continuous random variables:   Probability and probability density function are related in a similar way as in the book  Signal Representation

  • a discrete spectral component of a harmonic oscillation ⇒ line spectrum,  and
  • a continuous spectrum of an energy-limited  (pulse-shaped)  signal.


Signal and PDF of a ternary signal

$\text{Example 2:}$  Below is a section

  • of a rectangular signal with three possible values,
  • where the signal value  $0 \ \rm V$  occurs twice as often as the outer signal values  $(\pm 1 \ \rm V)$.


Thus,  the corresponding  PDF  (values from top to bottom)  is:

$$f_{x}(x) = 0.25 \cdot \delta(x - {\rm 1 V})+ 0.5\cdot \delta(x) + 0.25\cdot \delta (x + 1\rm V).$$


For a more in-depth look at the topic covered here,  we recommend the following  (German language)  learning video:

Wahrscheinlichkeit und WDF   ⇒   "Probability and probability density function"

Numerical determination of the PDF

You can see here a scheme for the numerical determination of the probability density function: 

Assuming that the random variable  $x$  at hand has negligible values outside the range from  $x_{\rm min} = -4.02$  to  $x_{\rm max} = +4.02$,  proceed as follows:

For numerical determination of the PDF
  1. Divide the range of  $x$-values into  $I$  intervals of equal width  $Δx$  and define a field  $\text{PDF}[0 : I-1]$.  In the sketch  $I = 201$  and accordingly  $Δx = 0.04$  is chosen.
  2. The random variable  $x$  is now called  $N$  times in succession,  each time checking to which interval  $i_{\rm act}$  the current random variable  $x_{\rm act}$ belongs:
        $i_{\rm act} = ({\rm int})((x + x_{\rm max})/Δx).$
  3. The corresponding field element PDF( $i_{\rm act}$) is then incremented by  $1$. 
  4. After $N$ iterations, $\text{PDF}[i_{\rm act}]$ then contains the number of random numbers belonging to the interval $i_{\rm act}$.
  5. The actual PDF values are obtained if,  at the end,  all field elements  $\text{PDF}[i]$  with  $0 ≤ i ≤ I-1$  are still divided by  $N \cdot Δx$.


$\text{Example 3:}$  From the drawn green arrows in the graph above,  one can see:

  • The value  $x_{\rm act} = 0.07$  leads to the result  $i_{\rm act} =$ (int) ((0.07 + 4.02)/0.04) = (int) $102.25$.
  • Here  "(int)"  means an integer conversion after float division   ⇒   $i_{\rm act} = 102$.
  • The same interval  $i_{\rm act} = 102$  results for  $0.06 < x_{\rm act} < 0.10$,  so for example also for  $x_{\rm act} = 0.09$.

Exercises for the chapter

Exercise 3.1: Cosine-square PDF and PDF with Dirac Functions

Exercise 3.1Z: Triangular PDF