Difference between revisions of "Theory of Stochastic Signals/Exponentially Distributed Random Variables"

From LNTwww
 
(43 intermediate revisions by 8 users not shown)
Line 1: Line 1:
 
   
 
   
 
{{Header
 
{{Header
|Untermenü=Kontinuierliche Zufallsgrößen
+
|Untermenü=Continuous Random Variables
|Vorherige Seite= Gaußverteilte Zufallsgröße
+
|Vorherige Seite= Gaussian Distributed Random Variables
|Nächste Seite=Weitere Verteilungen
+
|Nächste Seite=Further Distributions
 
}}
 
}}
==Einseitige Exponentialverteilung==
+
==One-sided exponential distribution==
{{Definition}}
+
<br>
Eine kontinuierliche Zufallsgröße $x$ nennt man (einseitig) '''exponentialverteilt''', wenn sie nur nicht-negative Werte annehmen kann und die WDF für $x>0$ den folgenden Verlauf hat:  
+
{{BlaueBox|TEXT= 
$$f_x(x)=\it \lambda\cdot\rm e^{\it -\lambda \hspace{0.05cm}\cdot \hspace{0.03cm} x}.$$
+
$\text{Definition:}$&nbsp;
{{end}}
+
A continuous random variable&nbsp; $x$&nbsp; is called&nbsp; (one-sided)&nbsp; &raquo;'''exponentially distributed'''&laquo;&nbsp; if it can take only non&ndash;negative values and the probability density function has the following shape  for&nbsp; $x>0$:  
 +
:$$f_x(x)=\it \lambda\cdot\rm e^{\it -\lambda \hspace{0.05cm}\cdot \hspace{0.03cm} x}.$$}}
  
  
[[File: P_ID72__Sto_T_3_6_S1_neu.png | WDF und VTF einer exponentialverteilten Zufallsgröße]]
+
[[File: P_ID72__Sto_T_3_6_S1_neu.png |right|frame| PDF and CDF of an exponentially distributed random variable]]
  
Das linke Bild zeigt die ''Wahrscheinlichkeitsdichtefunktion'' (WDF) einer exponentialverteilten Zufallsgröße $x$. Hervorzuheben ist:   
+
The left sketch shows the&nbsp; "probability density function"&nbsp; $\rm (PDF)$&nbsp; of such an exponentially distributed random variable&nbsp; $x$.&nbsp; To be emphasized:   
*Je größer der Verteilungsparameter $λ$ ist, um so steiler erfolgt der Abfall.
+
#The larger the distribution parameter&nbsp; $λ$,&nbsp; &nbsp; the steeper the decay.
*Definitionsgemäß gilt $f_{x}(0) = λ/2$, also der Mittelwert aus linksseitigem Grenzwert $(0)$ und rechtsseitigem Grenzwert $(\lambda)$.
+
#By definition&nbsp; $f_{x}(0) = λ/2$,&nbsp; i.e. the mean of left-hand limit&nbsp; $(0)$&nbsp; and right-hand limit&nbsp; $(\lambda)$.
  
 +
*For the&nbsp; "cumulative distribution function"&nbsp; $\rm (CDF)$,&nbsp; we obtain for&nbsp; $r > 0$&nbsp; by integration over the PDF&nbsp;  (right graph):
 +
:$$F_{x}(r)=1-\rm e^{\it -\lambda\hspace{0.05cm}\cdot \hspace{0.03cm} r}.$$
  
Für die ''Verteilungsfunktion'' (rechtes Bild) erhält man für $r > 0$ durch Integration über die WDF:  
+
*The&nbsp; "moments"&nbsp; of the one-sided exponential distribution are generally equal to &nbsp;
$$F_{x}(r)=1-\rm e^{\it -\lambda\hspace{0.05cm}\cdot \hspace{0.03cm} r}.$$
+
:$$m_k = k!/λ^k.$$
 +
*From this and from Steiner's theorem, we get for the "mean" and the "standard deviation":  
 +
:$$m_1={1}/{\lambda},$$
 +
:$$\sigma=\sqrt{m_2-m_1^2}=\sqrt{\frac{2}{\lambda^2}-\frac{1}{\lambda^2}}={1}/{\lambda}.$$
  
Die ''Momente'' der einseitigen Exponentialverteilung sind allgemein gleich $m_k = k!/λ^k.$ Daraus und aus dem Satz von Steiner ergibt sich für den Mittelwert und die Streuung:
+
{{GraueBox|TEXT=
$$m_1={1}/{\lambda},$$
+
$\text{Example 1:}$&nbsp; The exponential distribution has great importance for reliability studies,&nbsp; and the term&nbsp; "lifetime distribution"&nbsp; is also commonly used in this context.
$$\sigma=\sqrt{m_2-m_1^2}=\sqrt{\frac{2}{\lambda^2}-\frac{1}{\lambda^2}}={1}/{\lambda}.$$
+
#In these applications,&nbsp; the random variable is often the time&nbsp; $t$&nbsp; that elapses before a component fails.
 +
#Furthermore,&nbsp; it should be noted that the exponential distribution is closely related to the&nbsp; [[Theory_of_Stochastic_Signals/Poisson_Distribution|$\text{Poisson distribution}$]]. }}
  
{{Beispiel}}
+
==Transformation of random variables==
Die Exponentialverteilung hat große Bedeutung für Zuverlässigkeitsuntersuchungen, wobei in diesem Zusammenhang auch der Begriff &bdquo;Lebensdauerverteilung&rdquo; üblich ist.  
+
<br>
*Bei diesen Anwendungen ist die Zufallsgröße oft die Zeit $t$, die bis zum Ausfall einer Komponente vergeht.
+
To generate such an exponentially distributed random variable on a digital computer,&nbsp; you can use e.g. a&nbsp; &raquo;'''nonlinear transformation'''&laquo;.&nbsp; The underlying principle is first stated here in general terms.  
*Desweiteren ist anzumerken, dass die Exponentialverteilung eng mit der [[Stochastische_Signaltheorie/Poissonverteilung|Poissonverteilung]]  in Zusammenhang steht.
 
{{end}}
 
  
==Transformation von Zufallsgrößen==
+
{{BlaueBox|TEXT=
Zur Erzeugung einer solchen exponentialverteilten Zufallsgröße an einem Digitalrechner kann zum Beispiel eine '''nichtlineare Transformation''' verwendet werden. Das zugrunde liegende Prinzip wird hier zunächst allgemein angegeben.  
+
$\text{Procedure:}$&nbsp; If a continuous-valued random variable&nbsp; $u$&nbsp; possesses the PDF&nbsp; $f_{u}(u)$,&nbsp; then the probability density function of the random variable transformed at the nonlinear characteristic&nbsp; $x = g(u)$&nbsp; holds:
 +
:$$f_{x}(x)=\frac{f_u(u)}{\mid g\hspace{0.05cm}'(u)\mid}\Bigg \vert_{\hspace{0.1cm} u=h(x)}.$$
  
Besitzt eine kontinuierliche Zufallsgröße $u$ die WDF $f_{u}(u)$, so gilt für die Wahrscheinlichkeitsdichtefunktion der an der nichtlinearen Kennlinie $x = g(u)$ transformierten Zufallsgröße $x$:
+
Here,&nbsp; $g\hspace{0.05cm}'(u)$&nbsp; denotes the derivative of the characteristic curve&nbsp; $g(u)$&nbsp; and&nbsp; $h(x)$&nbsp; gives the inverse function to&nbsp; $g(u)$&nbsp; . }}
$$f_{x}(x)=\frac{f_u(u)}{\mid g'(u)\mid}\Bigg |_{\hspace{0.1cm} u=h(x)}.$$
 
  
Hierbei bezeichnet $g'(u)$ die Ableitung der Kennlinie und $h(x)$ gibt die Umkehrfunktion zu $g(u)$ an.
 
  
*Diese Gleichung gilt allerdings nur unter der Voraussetzung, dass die Ableitung $g'(u) \ne 0$ ist.  
+
*However,&nbsp; the above equation is only valid under the condition that the derivative&nbsp; $g\hspace{0.03cm}'(u) \ne 0$.  
*Bei einer Kennlinie mit horizontalen Abschnitten $(g'(u) = 0$) treten in der WDF zusätzliche Diracfunktionen auf, wenn die Eingangsgröße in diesem Bereich Anteile besitzt.  
+
*For a characteristic with horizontal sections&nbsp; $(g\hspace{0.05cm}'(u) = 0)$:&nbsp; Additional Dirac delta functions appear in the PDF if the input variable has components in these ranges.  
*Die Gewichte dieser Diracfunktionen sind gleich den Wahrscheinlichkeiten, dass die Eingangsgröße in diesen Bereichen liegt.  
+
*The weights of these Dirac delta functions are equal to the probabilities that the input variable lies in these ranges.  
  
 +
 +
{{GraueBox|TEXT=
 +
[[File:P_ID76__Sto_T_3_6_S2_neu.png |frame| To transform random variables | right]] 
 +
$\text{Example 2:}$&nbsp;
 +
Given a random variable&nbsp; $u$&nbsp; triangularly distributed between&nbsp; $-2$&nbsp; and&nbsp; $+2$&nbsp; on a nonlinearity with characteristic&nbsp; $x = g(u)$,
 +
*which,&nbsp; in the range&nbsp; $\vert u \vert ≤ 1$&nbsp; triples the input values,&nbsp; and
 +
*mapping all values&nbsp; $\vert u \vert > 1$&nbsp; to &nbsp; $x = \pm 3$ &nbsp; depending on the sign,
  
{{Beispiel}}
 
[[File:P_ID76__Sto_T_3_6_S2_neu.png | Zur Transformation von Zufallsgrößen | rechts]]
 
Gibt man eine zwischen $–2$ und $+2$ dreieckverteilte Zufallsgröße $u$ auf eine Nichtlinerität mit der Kennlinie $x = g(u)$, die im Bereich $|u| ≤ 1$ die Eingangswerte um den Faktor $3$ verstärkt und alle Werte $|u| > 1$ je nach Vorzeichen auf $x  ±3$ abbildet, so ergibt sich die rechts skizzierte WDF $f_{x}(x)$. Bitte beachten Sie:
 
*Aufgrund der Verstärkung um den Faktor 3 ist die WDF $f_{x}(x)$ um diesen Faktor breiter und niedriger als $f_{u}(u).$
 
*Die horizontalen Begrenzungen der Kennlinie bei $u = ±1$ führen zu den beiden Diracfunktionen bei $x = ±3$, jeweils mit Gewicht $1/8$  &nbsp; ⇒  &nbsp; grüne Flächen in der WDF $f_{u}(u).$
 
  
 +
then the PDF&nbsp; $f_{x}(x)$&nbsp; sketched on the right is obtained.
  
{{end}}
 
  
==Erzeugung einer exponentialverteilten Zufallsgröße==
+
Please note:
Es wird nun vorausgesetzt, dass die zu transformierende Zufallsgröße $u$ gleichverteilt zwischen $0$ (inklusive) und $1$ (exklusive) ist. Dazu betrachten wir die monoton steigende Kennlinie
 
$$x=g_1(u) =\frac{1}{\lambda}\cdot \rm ln(\frac{1}{1-\it u}).$$
 
  
Es  kann gezeigt werden, dass durch diese Kennlinie $x=g_1(u)$ eine  einseitig exponentialverteilte Zufallsgröße $x$ mit folgender WDF entsteht (Herleitung siehe [[Stochastische_Signaltheorie/Exponentialverteilte_Zufallsgrößen#Herleitung_der_zugeh.C3.B6rigen_Transformationskennlinie|nächste Seite]]):
+
# Due to the amplification by a factor of&nbsp; $3$ &nbsp; &rArr; &nbsp; $f_{x}(x)$&nbsp; is wider and lower than $f_{u}(u)$ by this factor.
$$f_{\rm x}(x)=\lambda\cdot\rm e^{\it -\lambda  x}\hspace{0.2cm}{\rm f\ddot{u}r}\hspace{0.2cm} {\it x}>0.$$
+
# The two horizontal limits of the characteristic at &nbsp; $u = ±1$ &nbsp; lead to two Dirac delta functions at&nbsp; $x = ±3$,&nbsp; each with weight&nbsp; $1/8$.
*Für $x = 0$ ist der WDF-Wert nur halb so groß $(\lambda/2)$.
+
# The weight&nbsp; $1/8$&nbsp; corresponds to the green areas in the PDF&nbsp; $f_{u}(u).$}}  
* Negative $x$-Werte treten nicht auf, da für $0 ≤ u < 1$ das Argument der (natürlichen) Logarithmus–Funktion nicht kleiner wird als $1$.
+
 
+
==Generation of an exponentially distributed random variable==
 +
<br>
 +
{{BlaueBox|TEXT=
 +
$\text{Procedure:}$&nbsp;
 +
Now we assume that the random variable&nbsp; $u$&nbsp; to be transformed is uniformly distributed between&nbsp; $0$&nbsp; (inclusive) and&nbsp; $1$&nbsp; (exclusive).&nbsp;
  
Die gleiche WDF erhält man übrigens mit der monoton fallenden Kennlinie
+
*Moreover,&nbsp; we consider the monotonically increasing characteristic curve
$$x=g_2(u)=\frac{1}{\lambda}\cdot \rm ln(\frac{1}{\it u})=-\frac{1}{\lambda}\cdot \rm ln(\it u \rm ).$$
+
:$$x=g_1(u) =\frac{1}{\lambda}\cdot \rm ln \ (\frac{1}{1-\it u}).$$
  
Bitte beachten Sie:
+
*It can be shown that by this characteristic&nbsp; $x=g_1(u)$&nbsp; a one-sided exponentially distributed random variable&nbsp; $x$&nbsp; with the following PDF arises&nbsp; <br>(derivation see [[Theory_of_Stochastic_Signals/Exponentially_Distributed_Random_Variables#Derivation_of_the_corresponding_transformation_characteristic|"next section"]]):
*Bei einer Rechnerimplementierung entsprechend der ersten Transformationskennlinie $x=g_1(u)$ ist der Wert $u =$ 1 auszuschließen.
+
:$$f_{x}(x)=\lambda\cdot\rm e^{\it -\lambda \hspace{0.05cm}\cdot \hspace{0.03cm} x}\hspace{0.2cm}{\rm for}\hspace{0.2cm} {\it x}>0.$$
*Verwendet man die zweite Transformationskennlinie $x=g_2(u)$, so muss der Wert $u =0$ ausgeschlossen werden.  
+
*Note:
 +
#For&nbsp; $x = 0$&nbsp; the PDF value is half&nbsp; $(\lambda/2)$.
 +
# Negative&nbsp; $x$ values do not occur because for&nbsp; $0 ≤ u < 1$&nbsp; the argument of the (natural) logarithm function does not become smaller than&nbsp; $1$.}}
 +
  
Das Lernvideo [[Erzeugung einer Exponentialverteilung]] soll die  hier abgeleiteten Transformation vVerdeutlichen.
+
By the way,&nbsp; the same PDF is obtained with the monotonically decreasing characteristic curve
 +
:$$x=g_2(u)=\frac{1}{\lambda}\cdot \rm ln \ (\frac{1}{\it u})=-\frac{1}{\lambda}\cdot \rm ln(\it u \rm ).$$
  
==Herleitung der zugehörigen Transformationskennlinie==
+
Please note:
 +
*When using a computer implementation corresponding to the first transformation characteristic&nbsp; $x=g_1(u)$ &nbsp; &rArr; &nbsp; the value&nbsp; $u = 1$&nbsp; must be excluded.
 +
*On the other hand,&nbsp; if one uses the second transformation characteristic&nbsp; $x=g_2(u)$ &nbsp; &rArr; &nbsp;  the value&nbsp; $u =0$&nbsp; must be excluded.
  
'''Aufgabenstellung:''' &nbsp; Nun wird die bereits auf der letzten Seite verwendete Transformationskennlinie $x = g(u)$ hergeleitet, die aus einer zwischen $0$ und $1$ gleichverteilten Zufallsgröße $u$ mit der  Wahrscheinlichkeitsdichtefunktion (WDF) $f_{u}(u)$ eine einseitig exponentialverteilte Zufallsgröße $x$ mit der Wahrscheinlichkeitsdichtefunktion $f_{x}(x)$ formt:
 
  
$$f_{u}(u)= \left\{          \begin{array}{*{2}{c}}          1 & \rm falls\hspace{0.3cm}  0 < {\it u} < 1,\\        0.5 & \rm falls\hspace{0.3cm}  {\it u} = 0, {\it u} = 1,\\          0 & \rm sonst, \\              \end{array}    \right. \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
+
The following&nbsp; (German language)&nbsp; learning video shall clarify the transformations derived here: <br> &nbsp; &nbsp; &nbsp;[[Erzeugung_einer_Exponentialverteilung_(Lernvideo)|"Erzeugung einer Exponentialverteilung"]] &nbsp; $\Rightarrow$ &nbsp; "Generation of an exponential distribution".
f_{x}(x)= \left\{          \begin{array}{*{2}{c}}        \lambda\cdot\rm e^{\it -\lambda\hspace{0.03cm} \cdot \hspace{0.03cm} x} & \rm falls\hspace{0.3cm}  {\it x} > 0,\\        \lambda/2 &  \rm falls\hspace{0.3cm} {\it x} = 0  ,\\          0 & \rm falls\hspace{0.3cm} {\it x} < 0. \\              \end{array}    \right.$$
 
  
'''Problemlösung:'''
+
==Derivation of the corresponding transformation characteristic==
 +
<br>
 +
{{BlaueBox|TEXT=
 +
$\text{Task:}$&nbsp;
 +
#&nbsp; Now the transformation characteristic&nbsp; $x = g_1(u)= g(u)$&nbsp; already used in the last section is derived.
 +
#&nbsp; This forms from the uniformly distributed random variable&nbsp; $u$&nbsp; with PDF&nbsp; $f_{u}(u)$&nbsp; a one-sided exponentially distributed random variable&nbsp; $x$&nbsp; with PDF&nbsp; $f_{x}(x)$:
 +
 +
::$$f_{u}(u)= \left\{          \begin{array}{*{2}{c} }          1 & \rm if\hspace{0.3cm}  0 < {\it u} < 1,\\        0.5 & \rm if\hspace{0.3cm}  {\it u} = 0, {\it u} = 1,\\          0 & \rm else, \\              \end{array}    \right. \hspace{0.5cm}\Rightarrow \hspace{0.5cm}
 +
f_{x}(x)= \left\{          \begin{array}{*{2}{c} }        \lambda\cdot\rm e^{\it -\lambda\hspace{0.03cm} \cdot \hspace{0.03cm} x} & \rm if\hspace{0.3cm}  {\it x} > 0,\\        \lambda/2 &  \rm if\hspace{0.3cm} {\it x} = 0  ,\\          0 & \rm else\hspace{0.3cm} {\it x} < 0. \\              \end{array}    \right.$$}}
  
'''(1)'''&nbsp; Ausgehend von der allgemeinen Transformationsgleichung
 
$$f_{x}(x)=\frac{f_{u}(u)}{\mid g'(u) \mid }\Bigg |_{\hspace{0.1cm} u=h(x)}$$
 
erhält man durch Umstellen und Einsetzen der vorgegebenen WDF $f_{ x}(x):$
 
$$\mid g'(u)\mid\hspace{0.1cm}=\frac{f_{\rm u}(u)}{f_{\rm x}(x)}\Bigg |_{\hspace{0.1cm} x=g(u)}= {1}/{\lambda} \cdot {\rm e}^{\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}g(u)}.$$
 
Hierbei gibt $x = g'(u)$ die Ableitung der Kennlinie an, die wir als monoton steigend voraussetzen.
 
  
'''(2)'''&nbsp; Mit dieser Annahme erhält man $|g'(u)| = g'(u) = dx/du$ und die Differentialgleichung ${\rm d}u =  \lambda\  \cdot {\rm e}^{-\lambda  x}\, {\rm d}x$ mit der Lösung $u = K - {\rm e}^{-\lambda x}.$
+
{{BlaueBox|TEXT=
 +
$\text{Solution:}$&nbsp;
  
'''(3)'''&nbsp; Aus der Bedingung, dass die Eingangsgröße $u =0$ zum Ausgangswert $x =0$ führen soll, erhält man für die Konstante $K =1$  und damit $u = 1- {\rm e}^{-\lambda x}.$
+
'''(1)'''&nbsp; Starting from the general transformation equation
 +
::$$f_{x}(x)=\frac{f_{u}(u)}{\mid g\hspace{0.05cm}'(u) \mid }\Bigg \vert _{\hspace{0.1cm} u=h(x)}$$
 +
:is obtained by converting and substituting the given PDF&nbsp; $f_{ x}(x):$
 +
::$$\mid g\hspace{0.05cm}'(u)\mid\hspace{0.1cm}=\frac{f_{u}(u)}{f_{x}(x)}\Bigg \vert _{\hspace{0.1cm} x=g(u)}= {1}/{\lambda} \cdot {\rm e}^{\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}g(u)}.$$
 +
:Here&nbsp; $x = g\hspace{0.05cm}'(u)$&nbsp; gives the derivative of the characteristic curve,&nbsp; which we assume to be monotonically increasing.  
  
'''(4)'''&nbsp; Löst man diese Gleichung nach $x$ auf, so ergibt sich die vorne angegebene Gleichung:
+
'''(2)'''&nbsp; With this assumption we get &nbsp; $\vert g\hspace{0.05cm}'(u)\vert = g\hspace{0.05cm}'(u) = {\rm d}x/{\rm d}u$ &nbsp; and the differential equation &nbsp; ${\rm d}u =  \lambda\cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}  x}\, {\rm d}x$ &nbsp; with solution &nbsp; $u = K - {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm} x}.$
$$x = g_1(u)= \frac{1}{\lambda} \cdot {\rm ln} \left(\frac{1}{1 - u} \right) .$$
 
  
Bei einer Rechnerimplementierung ist allerdings sicherzustellen, dass für die gleichverteilte Eingangsgröße $u$ der kritische Wert 1 ausgeschlossen wird. Dies wirkt sich jedoch auf das Endergebnis nicht aus.  
+
'''(3)'''&nbsp; From the condition that the input variable &nbsp;$u =0$&nbsp; should lead to the output value &nbsp;$x =0$,&nbsp; we obtain for the constant&nbsp; $K =1$&nbsp; and thus &nbsp; $u = 1- {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm} x}.$
  
 +
'''(4)'''&nbsp; Solving this equation for&nbsp; $x$&nbsp; yields the equation given in front:
 +
::$$x = g_1(u)= \frac{1}{\lambda} \cdot {\rm ln} \left(\frac{1}{1 - u} \right) .$$
  
==Zweiseitige Exponentialverteilung &ndash; Laplaceverteilung==
+
*In a computer implementation,&nbsp; however,&nbsp; ensure that the critical value&nbsp; $1$&nbsp; is excluded for the uniformly distributed input variable&nbsp; $u$.&nbsp;
In einem engen Zusammenhang mit der Exponentialverteilung steht die sogenannte [https://de.wikipedia.org/wiki/Laplaceverteilung Laplace-Verteilung] mit der Wahrscheinlichkeitsdichtefunktion
+
*This,&nbsp; however,&nbsp; has (almost) no effect on the final result. }}
$$f_{x}(x)=\frac{\lambda}{2}\cdot\rm e^{\it -\lambda \hspace{0.05cm} \cdot \hspace{0.05cm} | x|}.$$
 
  
*Diese ist eine ''zweiseitige Exponentialverteilung,'' die insbesondere die Amplitudenverteilung von Sprach- und Musiksignalen ausreichend gut approximiert.
 
* Die Momente $k$&ndash;ter Ordnung &nbsp; &rArr; &nbsp; $m_k$ der Laplaceverteilung stimmen für geradzahliges $k$ mit denen der Exponentialverteilung überein.
 
* Für ungeradzahliges $k$ ergibt sich dagegen  bei der Laplaceverteilung stets $m_k= 0$.
 
  
 +
==Two-sided exponential distribution - Laplace distribution==
 +
<br>
 +
Closely related to the exponential distribution is the&nbsp; [https://en.wikipedia.org/wiki/Laplace_distribution $\text{Laplace distribution}$]&nbsp; with the probability density function
 +
:$$f_{x}(x)=\frac{\lambda}{2}\cdot\rm e^{\it -\lambda \hspace{0.05cm} \cdot \hspace{0.05cm} | x|}.$$
  
Zur Generierung verwendet man eine zwischen $±1$ gleichverteilte Zufallsgröße $v$, wobei  $v = 0$ ausgeschlossen werden muss und die Transformationskennlinie
+
The Laplace distribution is a&nbsp; "two-sided exponential distribution"&nbsp; that approximates sufficiently well the amplitude distribution of speech and music signals.
$$x=\frac{{\rm sign}(v)}{\lambda}\cdot \rm ln(\it v \rm ).$$
+
* The&nbsp; $k$&ndash;th order  moments&nbsp; $m_k$&nbsp; of the Laplace distribution agree with those of the exponential distribution for even&nbsp; $k$.
 +
* For odd&nbsp; $k$,&nbsp;  the&nbsp; (symmetric)&nbsp; Laplace distribution always yields&nbsp; $m_k= 0$.
 +
*For generation of the Laplace distribution,&nbsp; one uses a between&nbsp; $±1$&nbsp; uniformly distributed random variable&nbsp; $v$&nbsp; $($where&nbsp; $v = 0$&nbsp; must be excluded$)$&nbsp; and the transformation characteristic curve
 +
:$$x=\frac{{\rm sign}(v)}{\lambda}\cdot \rm ln(\it v \rm ).$$
  
''Weitere Hinweise:''
+
Further notes:
*Aus der [[Aufgaben:3.8_Verstärkung_und_Begrenzung| Aufgabe 3.3]] erkennt man weitere Eigenschaften der Laplaceverteilung.
+
*From the&nbsp; [[Aufgaben:Exercise_3.8:_Amplification_and_Limitation|"Exercise 3.8"]]&nbsp; one can see further properties of the Laplace distribution.
*Mit dem Berechnungstool [[WDF, VTF und Momente spezieller Verteilungen ]] können Sie sich unter Anderem die Kenngrößen (WDF, VTF, Momente) der Exponential- und der Laplaceverteilung anzeigen lassen.
+
*With the HTML 5/JavaScript applet&nbsp; [[Applets:PDF,_CDF_and_Moments_of_Special_Distributions|"PDF, CDF and Moments of Special Distributions"]]&nbsp; you can display the characteristics of the exponential and the Laplace distribution.
*Im zweiten Teil des Lernvideos [[Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion]] wird an Beispielen gezeigt, dass die Laplaceverteilung für die Beschreibung von Sprach- und Musiksignalen eine große Bedeutung besitzt.
+
*In the&nbsp; (German language)&nbsp; learning video&nbsp; [[Wahrscheinlichkeit_und_WDF_(Lernvideo)|"Wahrscheinlichkeit und WDF"]] &nbsp; $\Rightarrow$ &nbsp; "Probability and PDF",&nbsp; it is shown which meaning the Laplace distribution has for the description of speech and music signals.
 +
*We also refer you to the&nbsp; (German language)&nbsp; HTML 5/JavaScript applet&nbsp; [[Applets:Zweidimensionale_Laplace-Zufallsgrößen_(Applet)|"Zweidimensionale Laplace-Zufallsgrößen"]] &nbsp; &rArr; &nbsp; "Two-dimensional Laplace random variables".
 
    
 
    
  
==Aufgaben zum Kapitel==
+
==Exercises for the chapter==
 
+
<br>
[[Aufgaben:3.8 Verstärkung und Begrenzung|Aufgabe 3.8: &nbsp; Verstärkung und Begrenzung]]
+
[[Aufgaben:Exercise_3.8:_Amplification_and_Limitation|Exercise 3.8: Amplification and Limitation]]
  
[[Aufgaben:3.8Z Kreis(ring)fläche|Zusatzaufgabe 3.8Z: &nbsp; Kreis(ring)fläche]]
+
[[Aufgaben:Exercise_3.8Z:_Circle_(Ring)_Area|Exercise 3.8Z: Circle (Ring) Area]]
  
[[Aufgaben:3.9 Kennlinie für Cosinus-WDF|Aufgabe 3.9: &nbsp; Kennlinie für Cosinus-WDF]]
+
[[Aufgaben:Exercise_3.9:_Characteristic_Curve_for_Cosine_PDF|Exercise 3.9: Characteristic Curve for Cosine PDF]]
  
[[Aufgaben:3.9Z Sinustransformation|Zusatzaufgabe 3.9Z: &nbsp; Sinustransformation]]
+
[[Aufgaben:Exercise_3.9Z:_Sine_Transformation|Exercise 3.9Z: Sine Transformation]]
  
  
  
 
{{Display}}
 
{{Display}}

Latest revision as of 21:22, 20 December 2022

One-sided exponential distribution


$\text{Definition:}$  A continuous random variable  $x$  is called  (one-sided)  »exponentially distributed«  if it can take only non–negative values and the probability density function has the following shape for  $x>0$:

$$f_x(x)=\it \lambda\cdot\rm e^{\it -\lambda \hspace{0.05cm}\cdot \hspace{0.03cm} x}.$$


PDF and CDF of an exponentially distributed random variable

The left sketch shows the  "probability density function"  $\rm (PDF)$  of such an exponentially distributed random variable  $x$.  To be emphasized:

  1. The larger the distribution parameter  $λ$,    the steeper the decay.
  2. By definition  $f_{x}(0) = λ/2$,  i.e. the mean of left-hand limit  $(0)$  and right-hand limit  $(\lambda)$.
  • For the  "cumulative distribution function"  $\rm (CDF)$,  we obtain for  $r > 0$  by integration over the PDF  (right graph):
$$F_{x}(r)=1-\rm e^{\it -\lambda\hspace{0.05cm}\cdot \hspace{0.03cm} r}.$$
  • The  "moments"  of the one-sided exponential distribution are generally equal to  
$$m_k = k!/λ^k.$$
  • From this and from Steiner's theorem, we get for the "mean" and the "standard deviation":
$$m_1={1}/{\lambda},$$
$$\sigma=\sqrt{m_2-m_1^2}=\sqrt{\frac{2}{\lambda^2}-\frac{1}{\lambda^2}}={1}/{\lambda}.$$

$\text{Example 1:}$  The exponential distribution has great importance for reliability studies,  and the term  "lifetime distribution"  is also commonly used in this context.

  1. In these applications,  the random variable is often the time  $t$  that elapses before a component fails.
  2. Furthermore,  it should be noted that the exponential distribution is closely related to the  $\text{Poisson distribution}$.

Transformation of random variables


To generate such an exponentially distributed random variable on a digital computer,  you can use e.g. a  »nonlinear transformation«.  The underlying principle is first stated here in general terms.

$\text{Procedure:}$  If a continuous-valued random variable  $u$  possesses the PDF  $f_{u}(u)$,  then the probability density function of the random variable transformed at the nonlinear characteristic  $x = g(u)$  holds:

$$f_{x}(x)=\frac{f_u(u)}{\mid g\hspace{0.05cm}'(u)\mid}\Bigg \vert_{\hspace{0.1cm} u=h(x)}.$$

Here,  $g\hspace{0.05cm}'(u)$  denotes the derivative of the characteristic curve  $g(u)$  and  $h(x)$  gives the inverse function to  $g(u)$  .


  • However,  the above equation is only valid under the condition that the derivative  $g\hspace{0.03cm}'(u) \ne 0$.
  • For a characteristic with horizontal sections  $(g\hspace{0.05cm}'(u) = 0)$:  Additional Dirac delta functions appear in the PDF if the input variable has components in these ranges.
  • The weights of these Dirac delta functions are equal to the probabilities that the input variable lies in these ranges.


To transform random variables

$\text{Example 2:}$  Given a random variable  $u$  triangularly distributed between  $-2$  and  $+2$  on a nonlinearity with characteristic  $x = g(u)$,

  • which,  in the range  $\vert u \vert ≤ 1$  triples the input values,  and
  • mapping all values  $\vert u \vert > 1$  to   $x = \pm 3$   depending on the sign,


then the PDF  $f_{x}(x)$  sketched on the right is obtained.


Please note:

  1. Due to the amplification by a factor of  $3$   ⇒   $f_{x}(x)$  is wider and lower than $f_{u}(u)$ by this factor.
  2. The two horizontal limits of the characteristic at   $u = ±1$   lead to two Dirac delta functions at  $x = ±3$,  each with weight  $1/8$.
  3. The weight  $1/8$  corresponds to the green areas in the PDF  $f_{u}(u).$

Generation of an exponentially distributed random variable


$\text{Procedure:}$  Now we assume that the random variable  $u$  to be transformed is uniformly distributed between  $0$  (inclusive) and  $1$  (exclusive). 

  • Moreover,  we consider the monotonically increasing characteristic curve
$$x=g_1(u) =\frac{1}{\lambda}\cdot \rm ln \ (\frac{1}{1-\it u}).$$
  • It can be shown that by this characteristic  $x=g_1(u)$  a one-sided exponentially distributed random variable  $x$  with the following PDF arises 
    (derivation see "next section"):
$$f_{x}(x)=\lambda\cdot\rm e^{\it -\lambda \hspace{0.05cm}\cdot \hspace{0.03cm} x}\hspace{0.2cm}{\rm for}\hspace{0.2cm} {\it x}>0.$$
  • Note:
  1. For  $x = 0$  the PDF value is half  $(\lambda/2)$.
  2. Negative  $x$ values do not occur because for  $0 ≤ u < 1$  the argument of the (natural) logarithm function does not become smaller than  $1$.


By the way,  the same PDF is obtained with the monotonically decreasing characteristic curve

$$x=g_2(u)=\frac{1}{\lambda}\cdot \rm ln \ (\frac{1}{\it u})=-\frac{1}{\lambda}\cdot \rm ln(\it u \rm ).$$

Please note:

  • When using a computer implementation corresponding to the first transformation characteristic  $x=g_1(u)$   ⇒   the value  $u = 1$  must be excluded.
  • On the other hand,  if one uses the second transformation characteristic  $x=g_2(u)$   ⇒   the value  $u =0$  must be excluded.


The following  (German language)  learning video shall clarify the transformations derived here:
     "Erzeugung einer Exponentialverteilung"   $\Rightarrow$   "Generation of an exponential distribution".

Derivation of the corresponding transformation characteristic


$\text{Task:}$ 

  1.   Now the transformation characteristic  $x = g_1(u)= g(u)$  already used in the last section is derived.
  2.   This forms from the uniformly distributed random variable  $u$  with PDF  $f_{u}(u)$  a one-sided exponentially distributed random variable  $x$  with PDF  $f_{x}(x)$:
$$f_{u}(u)= \left\{ \begin{array}{*{2}{c} } 1 & \rm if\hspace{0.3cm} 0 < {\it u} < 1,\\ 0.5 & \rm if\hspace{0.3cm} {\it u} = 0, {\it u} = 1,\\ 0 & \rm else, \\ \end{array} \right. \hspace{0.5cm}\Rightarrow \hspace{0.5cm} f_{x}(x)= \left\{ \begin{array}{*{2}{c} } \lambda\cdot\rm e^{\it -\lambda\hspace{0.03cm} \cdot \hspace{0.03cm} x} & \rm if\hspace{0.3cm} {\it x} > 0,\\ \lambda/2 & \rm if\hspace{0.3cm} {\it x} = 0 ,\\ 0 & \rm else\hspace{0.3cm} {\it x} < 0. \\ \end{array} \right.$$


$\text{Solution:}$ 

(1)  Starting from the general transformation equation

$$f_{x}(x)=\frac{f_{u}(u)}{\mid g\hspace{0.05cm}'(u) \mid }\Bigg \vert _{\hspace{0.1cm} u=h(x)}$$
is obtained by converting and substituting the given PDF  $f_{ x}(x):$
$$\mid g\hspace{0.05cm}'(u)\mid\hspace{0.1cm}=\frac{f_{u}(u)}{f_{x}(x)}\Bigg \vert _{\hspace{0.1cm} x=g(u)}= {1}/{\lambda} \cdot {\rm e}^{\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}g(u)}.$$
Here  $x = g\hspace{0.05cm}'(u)$  gives the derivative of the characteristic curve,  which we assume to be monotonically increasing.

(2)  With this assumption we get   $\vert g\hspace{0.05cm}'(u)\vert = g\hspace{0.05cm}'(u) = {\rm d}x/{\rm d}u$   and the differential equation   ${\rm d}u = \lambda\ \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm} x}\, {\rm d}x$   with solution   $u = K - {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm} x}.$

(3)  From the condition that the input variable  $u =0$  should lead to the output value  $x =0$,  we obtain for the constant  $K =1$  and thus   $u = 1- {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm} x}.$

(4)  Solving this equation for  $x$  yields the equation given in front:

$$x = g_1(u)= \frac{1}{\lambda} \cdot {\rm ln} \left(\frac{1}{1 - u} \right) .$$
  • In a computer implementation,  however,  ensure that the critical value  $1$  is excluded for the uniformly distributed input variable  $u$. 
  • This,  however,  has (almost) no effect on the final result.


Two-sided exponential distribution - Laplace distribution


Closely related to the exponential distribution is the  $\text{Laplace distribution}$  with the probability density function

$$f_{x}(x)=\frac{\lambda}{2}\cdot\rm e^{\it -\lambda \hspace{0.05cm} \cdot \hspace{0.05cm} | x|}.$$

The Laplace distribution is a  "two-sided exponential distribution"  that approximates sufficiently well the amplitude distribution of speech and music signals.

  • The  $k$–th order moments  $m_k$  of the Laplace distribution agree with those of the exponential distribution for even  $k$.
  • For odd  $k$,  the  (symmetric)  Laplace distribution always yields  $m_k= 0$.
  • For generation of the Laplace distribution,  one uses a between  $±1$  uniformly distributed random variable  $v$  $($where  $v = 0$  must be excluded$)$  and the transformation characteristic curve
$$x=\frac{{\rm sign}(v)}{\lambda}\cdot \rm ln(\it v \rm ).$$

Further notes:


Exercises for the chapter


Exercise 3.8: Amplification and Limitation

Exercise 3.8Z: Circle (Ring) Area

Exercise 3.9: Characteristic Curve for Cosine PDF

Exercise 3.9Z: Sine Transformation