Difference between revisions of "Theory of Stochastic Signals/Cumulative Distribution Function"

From LNTwww
(47 intermediate revisions by 6 users not shown)
Line 1: Line 1:
 
   
 
   
 
{{Header
 
{{Header
|Untermenü=Kontinuierliche Zufallsgrößen
+
|Untermenü=Continuous Random Variables
|Vorherige Seite=Wahrscheinlichkeitsdichtefunktion (WDF)
+
|Vorherige Seite=Probability Density Function
|Nächste Seite=Erwartungswerte und Momente
+
|Nächste Seite=Expected Values and Moments
 
}}
 
}}
==VTF bei kontinuierlichen Zufallsgrößen (1)==
+
==Relationship between PDF and CDF==
Zur Beschreibung von Zufallsgrößen wird neben der [[Stochastische_Signaltheorie/Wahrscheinlichkeitsdichtefunktion_(WDF)|Wahrscheinlichkeitsdichtefunktion]] auch häufig die Verteilungsfunktion (VTF) herangezogen, die wie folgt definiert ist:  
+
<br>
 +
To describe random variables,&nbsp; in addition to the&nbsp; [[Theory_of_Stochastic_Signals/Probability_Density_Function|probability density function]]&nbsp; $\rm (PDF)$,&nbsp; we also use the&nbsp; cumulative distribution function&nbsp; $\rm (CDF)$&nbsp; which is defined as follows:  
  
{{Definition}}
+
{{BlaueBox|TEXT= 
Die Verteilungsfunktion $F_{\rm x}(r)$ entspricht der Wahrscheinlichkeit, dass die Zufallsgröße $x$ kleiner oder gleich einem reellen Zahlenwert $r$ ist:  
+
$\text{Definition:}$&nbsp; The&nbsp; '''cumulative distribution function'''&nbsp; $F_{x}(r)$&nbsp; corresponds to the probability that the random variable&nbsp; $x$&nbsp; is less than or equal to a real number&nbsp; $r$:  
$$F_{\rm x}(\it r) \rm = \rm Pr(\it x \le r).$$
+
:$$F_{x}(r) = {\rm Pr}( x \le r).$$}}
{{end}}
 
  
  
Bei einer kontinuierlichen Zufallsgröße sind bezüglich der VTF folgende Aussagen möglich:  
+
For a continuous random variable,&nbsp; the following statements are possible regarding the CDF:  
*Die Verteilungsfunktion ist aus der WDF $f_{\rm x}(x)$ durch Integration berechenbar. Es gilt:  
+
*The CDF is computable from the probability density function&nbsp; $f_{x}(x)$&nbsp; by integration.&nbsp; It holds:  
$$F_{\rm x}(r) \rm = \int_{-\infty}^{r}f_x(x)\,{\rm d}x.$$
+
:$$F_{x}(r) = \int_{-\infty}^{r}f_x(x)\,{\rm d}x.$$
*Da die WDF nie negativ ist, steigt $F_{\rm x}(r)$ zumindest schwach monoton an, und liegt stets zwischen den beiden Grenzwerten $F_{\rm x}(r → \hspace{0.05cm} \hspace{0.05cm} ∞) =$ 0 und $F_{\rm x}(r → +∞) =$ 1.  
+
*Since the PDF is never negative,&nbsp; $F_{x}(r)$&nbsp; increases at least weakly monotonically,&nbsp; and always lies between the following limits:
*Umgekehrt lässt sich die Wahrscheinlichkeitsdichtefunktion aus der Verteilungsfunktion durch Differentiation bestimmen:  
+
:$$F_{x}(r → \hspace{0.05cm} - \hspace{0.05cm} ∞) = 0, \hspace{0.5cm}F_{x}(r → +∞) = 1.$$
$$f_{\rm x}(x)=\frac{\rm d\it F_{\rm x}(r)}{\rm d \it r}\Bigg |_{\hspace{0.1cm}r=x}.$$
+
*Inversely,&nbsp; the probability density function can be determined from the CDF by differentiation:  
:Der Zusatz $„r = x”$ macht deutlich, dass bei unserer Nomenklatur das Argument der WDF die Zufallsgröße selbst ist, während das VTF–Argument eine beliebige reelle Variable $r$ ist.
+
:$$f_{x}(x)=\frac{{\rm d} F_{x}(r)}{{\rm d} r}\Bigg |_{\hspace{0.1cm}r=x}.$$
 +
:The addition&nbsp; "$r = x$"&nbsp; makes it clear that in our nomenclature the PDF argument is the random variable itself, while the CDF argument specifies any real variable&nbsp; $r$&nbsp;.
  
 +
{{BlaueBox|TEXT=
 +
$\text{Nomenclature Notes:}$&nbsp;
 +
 +
If in the definitions of&nbsp; $\rm PDF$&nbsp; and&nbsp; $\rm CDF$&nbsp; we had distinguished
 +
*between the random variable&nbsp; $X$&nbsp;
 +
*and the realizations&nbsp; $x ∈ X$&nbsp; &nbsp; ⇒ &nbsp; $f_{X}(x), F_{X}(x)$,
  
Hinweise zur Nomenklatur: Hätten wir wie bei WDF und VTF zwischen Zufallsgröße $X$ und Realisierungen $x ∈ X$ unterschieden  ⇒  $f_{\rm X}(x), F_{\rm X}(x),$ so ergäbe sich folgende Nomenklatur:
 
$$F_{\rm X}(\it x) \rm = \rm Pr(\it X \le x) \rm = \int_{-\infty}^{x}f_{\rm x}(\xi)\,{\rm d}\xi.$$
 
  
Leider haben wir uns zu Beginn unseres LNTwww–Projektes (2001) für die obige Nomenklatur entschieden, was nun (2016) nicht mehr zu ändern ist, auch im Hinblick der realisierten Lernvideos. Wir bleiben also bei $„f_{\rm x}(x)”$ anstelle von $„f_{\rm X}(x)”$ sowie $„F_{\rm x}(r)”$ anstelle von $„F_{\rm X}(x)”.$  
+
we would have the following nomenclature:
 +
:$$F_{X}(x) = {\rm Pr}(X \le x) = \int_{-\infty}^{x}f_{x}(\xi)\,{\rm d}\xi.$$
  
==VTF bei kontinuierlichen Zufallsgrößen (2)==
+
Unfortunately,&nbsp; at the beginning of our&nbsp; $\rm LNTwww$ project&nbsp; (2001)&nbsp; we decided to use our nomenclature for quite legitimate reasons,&nbsp which now&nbsp; (2017)&nbsp; cannot be changed,&nbsp; also with regard to the realized learning videos.  
{{Beispiel}}
 
Das linke Bild zeigt das Foto ''Lena,'' das häufig als Testvorlage für Bildcodierverfahren dient. Wird dieses Bild in 256 × 256 Bildpunkte (Pixel) unterteilt, und ermittelt man für jedes einzelne Pixel die Helligkeit, so erhält man eine Folge $〈x_ν〉$ von Grauwerten, deren Länge $N = 256^2 = 65536$ beträgt.
 
Der Grauwert $x$ ist dabei eine wertkontinuierliche Zufallsgröße, wobei die Zuordnung zu Zahlenwerten willkürlich erfolgt. Beispielsweise sei „Schwarz” durch den Wert $x =$ 0 und „Weiß” durch $x =$ 1 charakterisiert. Der Zahlenwert $x =$ 0.5 kennzeichnet dann eine mittlere Graufärbung.  
 
  
[[File:P_ID617__Sto_T_3_2_S1b_neu.png | WDF und VTF eines wertkontinuierlichen Bildes]]
+
'''So we stick with&nbsp; $f_{x}(x)$&nbsp; instead of&nbsp; $f_{X}(x)$&nbsp; as well as&nbsp; $F_{x}(r)$&nbsp; instead of&nbsp; $F_{X}(x).$}}
  
Im mittleren Bild ist die WDF $f_{\rm x}(x)$ dargestellt, die in der Literatur auch oft als ''Grauwertstatistik'' bezeichnet wird. Es ist ersichtlich, dass im Originalbild einige Grauwerte bevorzugt sind und die beiden Extremwerte $x =$ 0 („tiefes Schwarz”) bzw. $x =$ 1 („reines Weiß”) nur sehr selten auftreten. Die Verteilungsfunktion $F_{\rm x}(r)$ dieser kontinuierlichen Zufallsgröße ist stetig und steigt, wie das rechte Bild zeigt, von 0 auf 1 monoton und stetig an.  
+
==CDF for continuous-valued random variables==
 +
<br>
 +
The equations given in the last section apply only to continuous-valued random variables and will be illustrated here by an example.&nbsp; In the next section it will be shown that for&nbsp; [[Theory_of_Stochastic_Signals/Cumulative_Distribution_Function#CDF_for_discrete-valued_random_variables|discrete-valued random variables]]&nbsp; the equations must be modified somewhat.
  
''Anmerkung:'' Genau genommen ist bei einem am Computer darstellbaren Bild – im Gegensatz zu einem echten Foto – der Grauwert stets eine diskrete Zufallsgröße. Bei großer Auflösung der Farbinformation („Farbtiefe”) kann man diese Zufallsgröße allerdings näherungsweise als kontinuierlich betrachten.
+
{{GraueBox|TEXT= 
{{end}}
+
$\text{Example 1:}$&nbsp; The left image shows the photo&nbsp; "Lena",&nbsp; which is often used as a test template for image coding procedures.
 +
[[File:P_ID617__Sto_T_3_2_S1b_neu.png |right|frame| PDF and CDF of a continuous-valued image]]
 +
 +
*If this image is divided into&nbsp; $256 × 256$&nbsp; (image) pixels,&nbsp;  and the brightness is determined for each pixel,&nbsp; a sequence&nbsp; $〈x_ν〉$&nbsp; of gray values is obtained whose length&nbsp; $N = 256^2 = 65536$.
 +
*The gray value&nbsp; $x$&nbsp; is a continuous-valued random variable,&nbsp; where the assignment to numerical values is arbitrary.&nbsp; For example,&nbsp; let&nbsp; "black"&nbsp; be characterized by the value&nbsp; $x = 0$&nbsp; and&nbsp; "white"&nbsp; by&nbsp; $x = 1$:&nbsp; The value&nbsp; $x =0.5$&nbsp; then characterizes a medium gray coloration.
  
  
Die in diesem Abschnitt behandelte Thematik ist in einem Lernvideo zusammengefasst:
+
The middle diagram shows the PDF&nbsp; $f_{x}(x)$&nbsp; which is also often referred to in the literature as&nbsp; "gray value statistics".
Zusammenhang zwischen WDF und VTF  (2-teilig: Dauer 6:40 – 3:20)  
+
*It can be seen that in the original image some gray values are preferred and the two extreme values&nbsp; $x =0$&nbsp; ("deep black")&nbsp; or&nbsp; $x =1$&nbsp; ("pure white")&nbsp; occur very rarely.
 +
*The distribution function&nbsp; $F_{x}(r)$&nbsp; of this continuous random variable is continuous and increases monotonically from&nbsp; $0$&nbsp; to&nbsp; $1$&nbsp; as the right figure shows.&nbsp;
 +
*For&nbsp; $r \approx 0$&nbsp; and&nbsp; $r \approx 1$&nbsp; the CDF is horizontal due to the lack of PDF components.
  
==VTF bei diskreten Zufallsgrößen (1)==
 
Für die Berechnung der Verteilungsfunktion einer diskreten Zufallsgröße $x$ aus deren WDF muss stets von einer etwas allgemeineren Gleichung ausgegangen werden. Hier gilt mit $ε$ > 0:
 
$$F_{\rm x}(r)=\lim_{\varepsilon\to 0}\int_{-\infty}^{r+\varepsilon}f_x(x)\,{\rm d}x.$$
 
  
Die Berechnung der Verteilungsfunktion durch Grenzwertbildung ist aufgrund des „≤”-Zeichens in der [[Stochastische_Signaltheorie/Verteilungsfunktion_(VTF)#VTF_bei_kontinuierlichen_Zufallsgr.C3.B6.C3.9Fen_.281.29|Definition]]  erforderlich. Berücksichtigt man weiterhin, dass bei einer diskreten Zufallsgröße die WDF aus einer Summe von gewichteten [[Signaldarstellung/Allgemeine_Beschreibung/Gleichsignal_-_Grenzfall_eines_periodischen_Signals#Diracfunktion_im_Frequenzbereich|Diracfunktionen]]  besteht, so erhält man:  
+
Note: &nbsp; Strictly speaking,&nbsp; for an image that can be displayed on a computer:&nbsp; In contrast to an "analog" photograph:
$$F_{\rm x}(r)=\lim_{\varepsilon\to 0}\int_{-\infty}^{r+\varepsilon}\sum\limits_{\mu= \rm1}^{\it M}p_\mu\cdot \delta(x-x_\mu)\,{\rm d}x.$$
+
# &nbsp; '''The gray value is always a discrete value random variable'''.&nbsp;
Vertauscht man in dieser Gleichung Integration und Summation, und berücksichtigt man zudem, dass die Integration über die Diracfunktion die Sprungfunktion ergibt, so erhält man:  
+
# &nbsp; However,&nbsp; with large resolution of the color information&nbsp; ("color depth"),&nbsp; this random variable can be approximated to be continuous in value. }}
$$F_{\rm x}(r)=\sum\limits_{\mu= \rm 1}^{\it M}p_\mu\cdot \gamma_0 (r-x_\mu),\hspace{0.4cm\rm mit} \hspace{0.4cm}\gamma_0(x)=\lim_{\epsilon\to 0}\int_{-\infty}^{x+\epsilon}\delta (u)\,\rm d \it u = \left\{ \begin{array}{*{2}{c}} \rm 0  \rm falls\hspace{0.1cm}\it x< \rm 0,\\ 1  \rm falls\hspace{0.1cm}\it x\ge \rm 0. \\ \end{array} \right.$$
 
Hier ist zu bemerken:
 
* $γ_0(x)$ unterscheidet sich von der in der Systemtheorie üblichen Sprungfunktion $γ(x)$ dadurch, dass an der Sprungstelle $x =$ 0 der rechtsseitige Grenzwert Eins gültig ist (anstelle des Mittelwertes 1/2 zwischen links- und rechtsseitigem Grenzwert).
 
*Mit obiger VTF-Definition gilt dann für die Wahrscheinlichkeit von kontinuierlichen und diskreten Zufallsgrößen gleichermaßen, und natürlich auch für ''gemischte Zufallsgrößen'' mit diskreten und kontinuierlichen Anteilen:
 
$${\rm Pr}(x_{\rm u}<x \le x_{\rm o})=F_x(x_{\rm o})-F_x(x_{\rm u}).$$
 
*Bei rein kontinuierlichen Zufallsgrößen können in dieser Gleichung das „Kleiner”–Zeichen und das „Kleiner / Gleich”–Zeichen gegenseitig ersetzt werden.  
 
$${\rm Pr}(x_{\rm u}<x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x < x_{\rm o}) ={\rm Pr}(x_{\rm u}<x < x_{\rm o}).$$
 
  
==VTF bei diskreten Zufallsgrößen (2)==
 
{{Beispiel}}
 
Wird nun der Grauwert des ''Lena''–Fotos  mit acht Stufen quantisiert, so dass jedes einzelne Pixel durch drei Bit dargestellt und digital übertragen werden kann, so ergibt sich die diskrete Zufallsgröße $q$. Durch die Quantisierung geht allerdings ein Teil der Bildinformation verloren, was sich im quantisierten Bild durch deutlich erkennbare „Konturen” auswirkt.
 
  
[[File:P_ID74__Sto_T_3_2_S2b_neu.png | WDF und VTF eines wertdiskreten Bildes]]
+
The topic of this chapter is illustrated with examples in the&nbsp; (German language)&nbsp; learning video&nbsp; <br> &nbsp; &nbsp; &nbsp;[[Zusammenhang_zwischen_WDF_und_VTF_(Lernvideo)|"Zusammenhang zwischen WDF und VTF"]]&nbsp; $\Rightarrow$ "Relationship between PDF and CDF".
  
Die dazugehörige Wahrscheinlichkeitsdichtefunktion $f_{\rm q}(q)$ setzt sich aus $M =$ 8 Diracfunktionen zusammen, wobei bei der hier gewählten Quantisierung den möglichen Graustufen die Werte $q_\mu = (\mu$ – 1)/7 mit $\mu =$ 1, 2, ... , 8 zugeordnet sind. Die Gewichte der Diracfunktionen kann man aus der WDF $f_{\rm x}(x)$ des Originalbildes berechnen. Man erhält
 
$$p_\mu=\rm Pr(\it q \rm = q_\mu \rm ) \rm = \rm Pr(\frac{2\it \mu-\rm 3}{14}< {\it x} \le\frac{2\it \mu- \rm 1}{14}) \rm = \int_{(2\it \mu- \rm 3)/14}^{(2\mu-1)/14}\it f_{\rm x}(x)\,{\rm d}x,$$
 
  
wobei für die undefinierten Randbereiche $(x$ < 0 bzw. $x$ > 1) jeweils $f_{\rm x}(x) =$ 0 zu setzen ist.  
+
==CDF for discrete-valued random variables==
 +
<br>
 +
For the CDF calculation of a discrete valued random variable&nbsp; $x$&nbsp; from its PDF,&nbsp; a more general equation must always be assumed&nbsp; Here, with the auxiliary variable&nbsp; $\varepsilon > 0$:
 +
:$$F_{x}(r)=\lim_{\varepsilon\hspace{0.05cm}\to \hspace{0.05cm}0}\int_{-\infty}^{r+\varepsilon}f_x(x)\,{\rm d}x.$$
  
Da im Originalbild die Graustufen $x ≈$ 0 („sehr tiefes Schwarz”) bzw. $x ≈$ 1 („nahezu reines Weiß”) weitgehend fehlen, sind die Wahrscheinlichkeiten $p_1 ≈ p_8 ≈$ 0, und in der WDF sind tatsächlich nur sechs Diracfunktionen sichtbar. Die beiden fehlenden Diracfunktionen bei 0 und 1 sind in der mittleren Grafik durch Punkte markiert.  
+
*The CDF calculation is here required  by boundary value formation due to the&nbsp; "less than/equal"&nbsp; sign in the&nbsp; [[Theory_of_Stochastic_Signals/Cumulative_Distribution_Function#Relationship_between_PDF_and_CDF|general definition]].
 +
*If we also take into account that,&nbsp; for a discrete valued random variable,&nbsp; the PDF consists of a sum of weighted&nbsp; [[Signal_Representation/Direct_Current_Signal_-_Limit_Case_of_a_Periodic_Signal#Dirac_.28delta.29_function_in_frequency_domain|Dirac delta functions]],&nbsp; we obtain:
 +
:$$F_{x}(r)=\lim_{\varepsilon\hspace{0.05cm}\to \hspace{0.05cm} 0}\int_{-\infty}^{r+\varepsilon}\sum\limits_{\mu= 1}^{ M}p_\mu\cdot \delta(x-x_\mu)\,{\rm d}x.$$
 +
*If we interchange integration and summation in this equation,&nbsp; and consider that integration over the Dirac delta function yields the step function,&nbsp; we obtain:
 +
:$$F_{x}(r)=\sum\limits_{\mu= \rm 1}^{\it M}p_\mu\cdot \gamma_0 (r-x_\mu),\hspace{0.4cm}{\rm with} \hspace{0.4cm}\gamma_0(x)=\lim_{\epsilon\hspace{0.05cm}\to \hspace{0.05cm} 0}\int_{-\infty}^{x+\varepsilon}\delta (u)\,{\rm d} u = \left\{ \begin{array}{*{2}{c}}  0 \hspace{0.4cm}  {\rm if}\hspace{0.1cm} x< 0,\\ 1 \hspace{0.4cm} {\rm if}\hspace{0.1cm}x\ge 0. \\ \end{array} \right.$$
  
Die rechts skizzierte Verteilungsfunktion $F_{\rm q}(r)$ weist entsprechend dem oben Gesagten sechs Unstetigkeitsstellen auf, bei denen jeweils der rechtsseitige Grenzwert gültig ist.
+
It should be noted that:
{{end}}
+
* The function&nbsp; $γ_0(x)$&nbsp; differs from the&nbsp; [[Signal_Representation/Fourier_Transform_Theorems#Assignment_Theorem|unit step function]]&nbsp; $γ(x)$&nbsp; often used in systems theory in that at the jump point&nbsp; $x = 0$&nbsp; the right-hand side limit&nbsp; "one"&nbsp; is valid&nbsp; $($instead of the mean value&nbsp; "$0.5$"&nbsp; between left&ndash; and right&ndash;hand side limits$)$.
 +
*With the above CDF definition,&nbsp; the probability equation holds for continuous and discrete random variables equally,&nbsp; and of course also for&nbsp; "mixed random variables"&nbsp; with discrete and continuous parts:
 +
:$${\rm Pr}(x_{\rm u}<x \le x_{\rm o})=F_x(x_{\rm o})-F_x(x_{\rm u}).$$
 +
*For purely continuous random variables,&nbsp; the&nbsp; "less than"&nbsp; sign and the&nbsp; "less than/equal to"&nbsp; sign could be substituted for each other here.  
 +
:$${\rm Pr}(x_{\rm u}<x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x < x_{\rm o}) ={\rm Pr}(x_{\rm u}<x < x_{\rm o}).$$
  
 +
{{GraueBox|TEXT= 
 +
$\text{Example 2:}$&nbsp; If the gray value of the&nbsp; [[Theory_of_Stochastic_Signals/Cumulative_Distribution_Function#CDF_for_continuous-valued_random_variables|original Lena photo]]&nbsp; is quantized by eight levels,&nbsp; so that each pixel can be represented by three bits and transmitted digitally,&nbsp; the discrete random variable&nbsp; $q$&nbsp; is obtained. &nbsp; However, due to the quantization,&nbsp; a part of the image information is lost,&nbsp; which is reflected in the quantized image by clearly recognizable&nbsp; "contours".
 +
 +
[[File:P_ID74__Sto_T_3_2_S2b_neu.png |right|frame| PDF and CDF of a discrete valued image]]
 +
 +
*The associated PDF&nbsp; $f_{q}(q)$&nbsp; is composed of&nbsp; $M = 8$&nbsp; Dirac delta functions, where,&nbsp; in the quantization chosen here,&nbsp; the possible gray levels are assigned the values&nbsp; $q_\mu = (\mu - 1)/7$&nbsp; with&nbsp; $\mu = 1, 2,$ ... , $8$.
 +
*The weights of the Dirac delta functions can be calculated from the PDF&nbsp; $f_{x}(x)$&nbsp; of the original image.&nbsp; One obtains
 +
:$$p_\mu={\rm Pr}(q = q_\mu ) = {\rm Pr}(\frac{2\mu-\rm 3}{14}< {x} \le\frac{2\it \mu- \rm 1}{14}) $$
 +
:$$\Rightarrow \hspace{0.3cm} p_\mu={\rm Pr}(q = q_\mu ) = \int_{(2\it \mu- \rm 3)/14}^{(2\mu-1)/14}\it f_{x}{\rm (}x{\rm )}\,{\rm d}x.$$
 +
*For the undefined areas&nbsp; $(x<0$, &nbsp;  $x>1)$&nbsp; is to be set&nbsp; $f_{x}(x) = 0$&nbsp;.
 +
*Since in the original image the gray levels&nbsp; $x ≈0$&nbsp; ("very deep black") &nbsp;or&nbsp; $x ≈1$&nbsp; ("almost pure white")&nbsp; are largely missing,&nbsp; $p_1 ≈ p_8 ≈ 0$ result.
 +
* Thus,&nbsp; only six Dirac delta functions are visible in the PDF.&nbsp; The two missing Diracs at&nbsp; $q = 0$&nbsp; and&nbsp; $q =1$&nbsp; are only indicated by dots.
 +
*The step-shaped CDF&nbsp; $F_{q}(r)$&nbsp; sketched on the right thus has six points of discontinuity,&nbsp; where  in each case the right-hand side limit is valid.}}.
 +
 +
The topic of this chapter is illustrated with examples in the&nbsp; (German language)&nbsp; learning video&nbsp; <br> &nbsp; &nbsp; &nbsp;[[Zusammenhang_zwischen_WDF_und_VTF_(Lernvideo)|"Zusammenhang zwischen WDF und VTF"]]&nbsp; $\Rightarrow$ "Relationship between PDF and CDF".
 +
 +
 +
==Exercises for the chapter==
 +
<br>
 +
[[Aufgaben:Exercise_3.2:_CDF_for_Exercise_3.1|Exercise 3.2: CDF for Exercise_3.1]]
 +
 +
[[Aufgaben:Exercise_3.2Z:_Relationship_between_PDF_and_CDF|Exercise 3.2Z: Relationship between PDF and CDF]]
  
Die in diesem Abschnitt behandelte Thematik ist im folgenden Lernvideo zusammengefasst: Zusammenhang zwischen WDF und VTF  (2-teilig: Dauer 6:40 – 3:20)
 
  
 
{{Display}}
 
{{Display}}

Revision as of 14:27, 3 February 2022

Relationship between PDF and CDF


To describe random variables,  in addition to the  probability density function  $\rm (PDF)$,  we also use the  cumulative distribution function  $\rm (CDF)$  which is defined as follows:

$\text{Definition:}$  The  cumulative distribution function  $F_{x}(r)$  corresponds to the probability that the random variable  $x$  is less than or equal to a real number  $r$:

$$F_{x}(r) = {\rm Pr}( x \le r).$$


For a continuous random variable,  the following statements are possible regarding the CDF:

  • The CDF is computable from the probability density function  $f_{x}(x)$  by integration.  It holds:
$$F_{x}(r) = \int_{-\infty}^{r}f_x(x)\,{\rm d}x.$$
  • Since the PDF is never negative,  $F_{x}(r)$  increases at least weakly monotonically,  and always lies between the following limits:
$$F_{x}(r → \hspace{0.05cm} - \hspace{0.05cm} ∞) = 0, \hspace{0.5cm}F_{x}(r → +∞) = 1.$$
  • Inversely,  the probability density function can be determined from the CDF by differentiation:
$$f_{x}(x)=\frac{{\rm d} F_{x}(r)}{{\rm d} r}\Bigg |_{\hspace{0.1cm}r=x}.$$
The addition  "$r = x$"  makes it clear that in our nomenclature the PDF argument is the random variable itself, while the CDF argument specifies any real variable  $r$ .

$\text{Nomenclature Notes:}$ 

If in the definitions of  $\rm PDF$  and  $\rm CDF$  we had distinguished

  • between the random variable  $X$ 
  • and the realizations  $x ∈ X$    ⇒   $f_{X}(x), F_{X}(x)$,


we would have the following nomenclature:

$$F_{X}(x) = {\rm Pr}(X \le x) = \int_{-\infty}^{x}f_{x}(\xi)\,{\rm d}\xi.$$

Unfortunately,  at the beginning of our  $\rm LNTwww$ project  (2001)  we decided to use our nomenclature for quite legitimate reasons,&nbsp which now  (2017)  cannot be changed,  also with regard to the realized learning videos.

So we stick with  $f_{x}(x)$  instead of  $f_{X}(x)$  as well as  $F_{x}(r)$  instead of  $F_{X}(x).$

CDF for continuous-valued random variables


The equations given in the last section apply only to continuous-valued random variables and will be illustrated here by an example.  In the next section it will be shown that for  discrete-valued random variables  the equations must be modified somewhat.

$\text{Example 1:}$  The left image shows the photo  "Lena",  which is often used as a test template for image coding procedures.

PDF and CDF of a continuous-valued image
  • If this image is divided into  $256 × 256$  (image) pixels,  and the brightness is determined for each pixel,  a sequence  $〈x_ν〉$  of gray values is obtained whose length  $N = 256^2 = 65536$.
  • The gray value  $x$  is a continuous-valued random variable,  where the assignment to numerical values is arbitrary.  For example,  let  "black"  be characterized by the value  $x = 0$  and  "white"  by  $x = 1$:  The value  $x =0.5$  then characterizes a medium gray coloration.


The middle diagram shows the PDF  $f_{x}(x)$  which is also often referred to in the literature as  "gray value statistics".

  • It can be seen that in the original image some gray values are preferred and the two extreme values  $x =0$  ("deep black")  or  $x =1$  ("pure white")  occur very rarely.
  • The distribution function  $F_{x}(r)$  of this continuous random variable is continuous and increases monotonically from  $0$  to  $1$  as the right figure shows. 
  • For  $r \approx 0$  and  $r \approx 1$  the CDF is horizontal due to the lack of PDF components.


Note:   Strictly speaking,  for an image that can be displayed on a computer:  In contrast to an "analog" photograph:

  1.   The gray value is always a discrete value random variable
  2.   However,  with large resolution of the color information  ("color depth"),  this random variable can be approximated to be continuous in value.


The topic of this chapter is illustrated with examples in the  (German language)  learning video 
     "Zusammenhang zwischen WDF und VTF"  $\Rightarrow$ "Relationship between PDF and CDF".


CDF for discrete-valued random variables


For the CDF calculation of a discrete valued random variable  $x$  from its PDF,  a more general equation must always be assumed  Here, with the auxiliary variable  $\varepsilon > 0$:

$$F_{x}(r)=\lim_{\varepsilon\hspace{0.05cm}\to \hspace{0.05cm}0}\int_{-\infty}^{r+\varepsilon}f_x(x)\,{\rm d}x.$$
  • The CDF calculation is here required by boundary value formation due to the  "less than/equal"  sign in the  general definition.
  • If we also take into account that,  for a discrete valued random variable,  the PDF consists of a sum of weighted  Dirac delta functions,  we obtain:
$$F_{x}(r)=\lim_{\varepsilon\hspace{0.05cm}\to \hspace{0.05cm} 0}\int_{-\infty}^{r+\varepsilon}\sum\limits_{\mu= 1}^{ M}p_\mu\cdot \delta(x-x_\mu)\,{\rm d}x.$$
  • If we interchange integration and summation in this equation,  and consider that integration over the Dirac delta function yields the step function,  we obtain:
$$F_{x}(r)=\sum\limits_{\mu= \rm 1}^{\it M}p_\mu\cdot \gamma_0 (r-x_\mu),\hspace{0.4cm}{\rm with} \hspace{0.4cm}\gamma_0(x)=\lim_{\epsilon\hspace{0.05cm}\to \hspace{0.05cm} 0}\int_{-\infty}^{x+\varepsilon}\delta (u)\,{\rm d} u = \left\{ \begin{array}{*{2}{c}} 0 \hspace{0.4cm} {\rm if}\hspace{0.1cm} x< 0,\\ 1 \hspace{0.4cm} {\rm if}\hspace{0.1cm}x\ge 0. \\ \end{array} \right.$$

It should be noted that:

  • The function  $γ_0(x)$  differs from the  unit step function  $γ(x)$  often used in systems theory in that at the jump point  $x = 0$  the right-hand side limit  "one"  is valid  $($instead of the mean value  "$0.5$"  between left– and right–hand side limits$)$.
  • With the above CDF definition,  the probability equation holds for continuous and discrete random variables equally,  and of course also for  "mixed random variables"  with discrete and continuous parts:
$${\rm Pr}(x_{\rm u}<x \le x_{\rm o})=F_x(x_{\rm o})-F_x(x_{\rm u}).$$
  • For purely continuous random variables,  the  "less than"  sign and the  "less than/equal to"  sign could be substituted for each other here.
$${\rm Pr}(x_{\rm u}<x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x \le x_{\rm o}) ={\rm Pr}(x_{\rm u}\le x < x_{\rm o}) ={\rm Pr}(x_{\rm u}<x < x_{\rm o}).$$

$\text{Example 2:}$  If the gray value of the  original Lena photo  is quantized by eight levels,  so that each pixel can be represented by three bits and transmitted digitally,  the discrete random variable  $q$  is obtained.   However, due to the quantization,  a part of the image information is lost,  which is reflected in the quantized image by clearly recognizable  "contours".

PDF and CDF of a discrete valued image
  • The associated PDF  $f_{q}(q)$  is composed of  $M = 8$  Dirac delta functions, where,  in the quantization chosen here,  the possible gray levels are assigned the values  $q_\mu = (\mu - 1)/7$  with  $\mu = 1, 2,$ ... , $8$.
  • The weights of the Dirac delta functions can be calculated from the PDF  $f_{x}(x)$  of the original image.  One obtains
$$p_\mu={\rm Pr}(q = q_\mu ) = {\rm Pr}(\frac{2\mu-\rm 3}{14}< {x} \le\frac{2\it \mu- \rm 1}{14}) $$
$$\Rightarrow \hspace{0.3cm} p_\mu={\rm Pr}(q = q_\mu ) = \int_{(2\it \mu- \rm 3)/14}^{(2\mu-1)/14}\it f_{x}{\rm (}x{\rm )}\,{\rm d}x.$$
  • For the undefined areas  $(x<0$,   $x>1)$  is to be set  $f_{x}(x) = 0$ .
  • Since in the original image the gray levels  $x ≈0$  ("very deep black")  or  $x ≈1$  ("almost pure white")  are largely missing,  $p_1 ≈ p_8 ≈ 0$ result.
  • Thus,  only six Dirac delta functions are visible in the PDF.  The two missing Diracs at  $q = 0$  and  $q =1$  are only indicated by dots.
  • The step-shaped CDF  $F_{q}(r)$  sketched on the right thus has six points of discontinuity,  where in each case the right-hand side limit is valid.

.

The topic of this chapter is illustrated with examples in the  (German language)  learning video 
     "Zusammenhang zwischen WDF und VTF"  $\Rightarrow$ "Relationship between PDF and CDF".


Exercises for the chapter


Exercise 3.2: CDF for Exercise_3.1

Exercise 3.2Z: Relationship between PDF and CDF