Difference between revisions of "Theory of Stochastic Signals/Probability Density Function"
| Line 9: | Line 9: | ||
Wir beschränken uns zunächst auf die statistische Beschreibung der Amplitudenverteilung. Innere statistische Bindungen der zugrundeliegenden Prozesse werden erst in den beiden nachfolgenden Kapiteln betrachtet. | Wir beschränken uns zunächst auf die statistische Beschreibung der Amplitudenverteilung. Innere statistische Bindungen der zugrundeliegenden Prozesse werden erst in den beiden nachfolgenden Kapiteln betrachtet. | ||
| − | |||
Weitere Informationen zum Thema „Kontinuierliche Zufallsgrößen” sowie Aufgaben, Simulationen und Programmierübungen finden Sie im | Weitere Informationen zum Thema „Kontinuierliche Zufallsgrößen” sowie Aufgaben, Simulationen und Programmierübungen finden Sie im | ||
| Line 15: | Line 14: | ||
*Kapitel 4: Kontinuierliche Zufallsgrößen (Programm kon) | *Kapitel 4: Kontinuierliche Zufallsgrößen (Programm kon) | ||
*Kapitel 13: Fehlerwahrscheinlichkeit (Programm fwk) | *Kapitel 13: Fehlerwahrscheinlichkeit (Programm fwk) | ||
| − | |||
des Praktikums „Simulationsmethoden in der Nachrichtentechnik”. Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf | des Praktikums „Simulationsmethoden in der Nachrichtentechnik”. Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf | ||
| Line 21: | Line 19: | ||
*dem Lehrsoftwarepaket [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim] ⇒ Link verweist auf die ZIP-Version des Programms, | *dem Lehrsoftwarepaket [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim] ⇒ Link verweist auf die ZIP-Version des Programms, | ||
*der [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Praktikumsanleitung - Teil A] ⇒ Link verweist auf die PDF-Version mit Kapitel 4: Seite 47-80, | *der [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Praktikumsanleitung - Teil A] ⇒ Link verweist auf die PDF-Version mit Kapitel 4: Seite 47-80, | ||
| − | *der [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Praktikumsanleitung - Teil B] ⇒ Link verweist auf die PDF-Version mit Kapitel 13: Seite | + | *der [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Praktikumsanleitung - Teil B] ⇒ Link verweist auf die PDF-Version mit Kapitel 13: Seite 295-314. |
| Line 29: | Line 27: | ||
Im zweiten Kapitel wurde gezeigt, dass die Amplitudenverteilung einer diskreten Zufallsgröße vollständig durch ihre $M$ Auftrittswahrscheinlichkeiten bestimmt ist, wobei die Stufenzahl $M$ meist einen endlichen Wert besitzt. | Im zweiten Kapitel wurde gezeigt, dass die Amplitudenverteilung einer diskreten Zufallsgröße vollständig durch ihre $M$ Auftrittswahrscheinlichkeiten bestimmt ist, wobei die Stufenzahl $M$ meist einen endlichen Wert besitzt. | ||
| − | + | Nun betrachten wir (wert-)kontinuierliche Zufallsgrößen. Darunter versteht man Zufallsgrößen, deren mögliche Zahlenwerte nicht abzählbar sind ⇒ $M \to \infty$. | |
| + | |||
| + | Weiter soll gelten: | ||
| + | *Wir kennzeichnen im Weiteren kontinuierliche Zufallsgrößen (meist) mit $x$ im Gegensatz zu den diskreten Zufallsgrößen, die wie wie bisher mit $z$ bezeichnet werden. | ||
| + | *Über eine eventuelle Zeitdiskretisierung wird hier keine Aussage getroffen, das heißt, kontinuierliche Zufallsgrößen können durchaus zeitdiskret sein. | ||
| + | *Weiter setzen wir für dieses Kapitel voraus, dass zwischen den einzelnen Abtastwerten $x_ν$ keine statistischen Bindungen bestehen, oder lassen diese zumindest außer Betracht. | ||
| + | |||
| − | |||
{{Beispiel}} | {{Beispiel}} | ||
| − | Das | + | Das folgende Bild zeigt einen Ausschnitt eines stochastischen Rauschsignals $x(t)$, dessen Momentanwert als eine kontinuierliche Zufallsgröße $x$ aufgefasst werden kann. |
| − | [[File: P_ID41__Sto_T_3_1_S1_neu.png | Signal und WDF eines Gaußschen Rauschsignals]] | + | [[File: P_ID41__Sto_T_3_1_S1_neu.png |center| Signal und WDF eines Gaußschen Rauschsignals]] |
| − | Aus der rechts dargestellten Wahrscheinlichkeitsdichtefunktion (WDF) erkennt man, dass bei diesem Beispielsignal Momentanwerte um den Mittelwert $m_1$ am häufigsten auftreten. Da zwischen den Abtastwerten $x_ν$ keine statistischen Bindungen bestehen, spricht man bei einem solchen Signal auch von ''„Weißem Rauschen”.'' | + | Aus der rechts dargestellten ''Wahrscheinlichkeitsdichtefunktion'' (WDF) erkennt man, dass bei diesem Beispielsignal Momentanwerte um den Mittelwert $m_1$ am häufigsten auftreten. Da zwischen den Abtastwerten $x_ν$ keine statistischen Bindungen bestehen, spricht man bei einem solchen Signal auch von ''„Weißem Rauschen”.'' |
{{end}} | {{end}} | ||
==Definition der Wahrscheinlichkeitsdichtefunktion== | ==Definition der Wahrscheinlichkeitsdichtefunktion== | ||
| − | Bei einer kontinuierlichen Zufallsgröße sind die Wahrscheinlichkeiten, dass diese ganz bestimmte Werte annimmt, identisch 0. Deshalb muss zur Beschreibung einer kontinuierlichen Zufallsgröße stets auf die ''Wahrscheinlichkeitsdichtefunktion'' – abgekürzt WDF – übergegangen werden. | + | Bei einer kontinuierlichen Zufallsgröße sind die Wahrscheinlichkeiten, dass diese ganz bestimmte Werte annimmt, identisch $0$. Deshalb muss zur Beschreibung einer kontinuierlichen Zufallsgröße stets auf die ''Wahrscheinlichkeitsdichtefunktion'' – abgekürzt WDF – übergegangen werden. |
| − | {{ | + | {{Definition}} |
| − | Der Wert der Wahrscheinlichkeitsdichtefunktion $f_{ | + | Der Wert der '''Wahrscheinlichkeitsdichtefunktion''' $f_{x}(x)$ an der Stelle $x_µ$ ist gleich der Wahrscheinlichkeit, dass der Momentanwert der Zufallsgröße $x$ in einem (unendlich kleinen) Intervall der Breite $Δx$ um $x_µ$ liegt, dividiert durch $Δx$: |
| − | $$f_x(x=x_\mu) = \lim_{\rm \Delta \it x\to \rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\}}{\rm \Delta \it x}.$$ | + | $$f_x(x=x_\mu) = \lim_{\rm \Delta \it x \hspace{0.05cm}\to \hspace{0.05cm}\rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\}}{\rm \Delta \it x}.$$ |
{{end}} | {{end}} | ||
Diese äußerst wichtige Beschreibungsgröße weist folgende Eigenschaften auf: | Diese äußerst wichtige Beschreibungsgröße weist folgende Eigenschaften auf: | ||
| − | *Obwohl aus dem beispielhaften Zeitverlauf auf der letzten Seite zu ersehen ist, dass die häufigsten Signalanteile bei $x = m_1$ liegen und die Wahrscheinlichkeitsdichtefunktion hier ihren größten Wert besitzt, ist die Wahrscheinlichkeit Pr( | + | *Obwohl aus dem beispielhaften Zeitverlauf auf der letzten Seite zu ersehen ist, dass die häufigsten Signalanteile bei $x = m_1$ liegen und die Wahrscheinlichkeitsdichtefunktion hier ihren größten Wert besitzt, ist die Wahrscheinlichkeit ${\rm Pr}(x = m_1$), dass der Momentanwert exakt gleich dem Mittelwert $m_1$ ist, identisch $0$. |
*Für die Wahrscheinlichkeit, dass die Zufallsgröße im Bereich zwischen $x_u$ und $x_o$ liegt, gilt: | *Für die Wahrscheinlichkeit, dass die Zufallsgröße im Bereich zwischen $x_u$ und $x_o$ liegt, gilt: | ||
| − | $$\rm Pr( | + | :$${\rm Pr}(x_{\rm u} \le x \le x_{\rm o}) = \int_{x_{\rm u}}^{x_{\rm o}} f_{x}(x) \,{\rm d}x.$$ |
| − | *Als wichtige Normierungseigenschaft ergibt sich daraus für die Fläche unter der WDF mit den Grenzübergängen $ | + | *Als wichtige Normierungseigenschaft ergibt sich daraus für die Fläche unter der WDF mit den Grenzübergängen $x_{\rm u} → \hspace{0.05cm} – \hspace{0.05cm} ∞$ und $x_{\rm o} → +∞:$ |
| − | $$\int_{-\infty}^{+\infty} f_{ | + | :$$\int_{-\infty}^{+\infty} f_{x}(x) \,{\rm d}x = \rm 1.$$ |
| − | *Die entsprechende Gleichung für wertdiskrete, $M$-stufige Zufallsgrößen sagt aus, dass die Summe über die $M$ Auftrittswahrscheinlichkeiten den Wert 1 ergibt. | + | *Die entsprechende Gleichung für wertdiskrete, $M$-stufige Zufallsgrößen sagt aus, dass die Summe über die $M$ Auftrittswahrscheinlichkeiten den Wert $1$ ergibt. |
Zur Vertiefung der hier behandelten Thematik empfehlen wir das folgende Lernvideo: | Zur Vertiefung der hier behandelten Thematik empfehlen wir das folgende Lernvideo: | ||
| − | Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion | + | |
| + | [[Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion]] | ||
Hinweis zur Nomenklatur: In der Fachliteratur wird meist zwischen der Zufallsgröße $X$ und deren Realisierungen $x ∈ X$ unterschieden. Samit lautet die obige Definitionsgleichung | Hinweis zur Nomenklatur: In der Fachliteratur wird meist zwischen der Zufallsgröße $X$ und deren Realisierungen $x ∈ X$ unterschieden. Samit lautet die obige Definitionsgleichung | ||
| − | $$f_{ | + | $$f_{X}(X=x) = \lim_{{\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0}\frac{{\rm Pr} \{ x-{\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/ 2\}}{{\rm \Delta} x}.$$ |
| − | Wir haben in unserem Lerntutorial auf diese genauere Nomenklatur weitgehend verzichtet, um nicht für eine Größe zwei Buchstaben zu verbrauchen. Kleinbuchstaben (wie $x$) bezeichnen bei uns oft Signale und Großbuchstaben (wie $X$) die zugehörigen Spektren. Trotzdem müssen wir heute ( | + | Wir haben in unserem Lerntutorial auf diese genauere Nomenklatur weitgehend verzichtet, um nicht für eine Größe zwei Buchstaben zu verbrauchen. Kleinbuchstaben (wie $x$) bezeichnen bei uns oft Signale und Großbuchstaben (wie $X$) die zugehörigen Spektren. Trotzdem müssen wir heute (2017) ehrlicher Weise zugeben, dass die Entscheidung von 2001 nicht ganz glücklich war. |
==WDF-Definition für diskrete Zufallsgrößen== | ==WDF-Definition für diskrete Zufallsgrößen== | ||
Revision as of 14:38, 7 March 2017
Wir betrachten im Folgenden kontinuierliche Zufallsgrößen, also Zufallsgrößen, die zumindest in gewissen Wertebereichen unendlich viele verschiedene Werte annehmen können. Deren Anwendungen sind in der Informations- und Kommunikationstechnik von vielfältiger Art. Sie werden unter Anderem für die Simulation von Rauschsignalen und zur Beschreibung von Fadingeinflüssen herangezogen.
Wir beschränken uns zunächst auf die statistische Beschreibung der Amplitudenverteilung. Innere statistische Bindungen der zugrundeliegenden Prozesse werden erst in den beiden nachfolgenden Kapiteln betrachtet.
Weitere Informationen zum Thema „Kontinuierliche Zufallsgrößen” sowie Aufgaben, Simulationen und Programmierübungen finden Sie im
- Kapitel 4: Kontinuierliche Zufallsgrößen (Programm kon)
- Kapitel 13: Fehlerwahrscheinlichkeit (Programm fwk)
des Praktikums „Simulationsmethoden in der Nachrichtentechnik”. Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf
- dem Lehrsoftwarepaket LNTsim ⇒ Link verweist auf die ZIP-Version des Programms,
- der Praktikumsanleitung - Teil A ⇒ Link verweist auf die PDF-Version mit Kapitel 4: Seite 47-80,
- der Praktikumsanleitung - Teil B ⇒ Link verweist auf die PDF-Version mit Kapitel 13: Seite 295-314.
Der erste Abschnitt „Wahrscheinlichkeitsdichtefunktion” ist wie folgt gegliedert:
Contents
Eigenschaften kontinuierlicher Zufallsgrößen
Im zweiten Kapitel wurde gezeigt, dass die Amplitudenverteilung einer diskreten Zufallsgröße vollständig durch ihre $M$ Auftrittswahrscheinlichkeiten bestimmt ist, wobei die Stufenzahl $M$ meist einen endlichen Wert besitzt.
Nun betrachten wir (wert-)kontinuierliche Zufallsgrößen. Darunter versteht man Zufallsgrößen, deren mögliche Zahlenwerte nicht abzählbar sind ⇒ $M \to \infty$.
Weiter soll gelten:
- Wir kennzeichnen im Weiteren kontinuierliche Zufallsgrößen (meist) mit $x$ im Gegensatz zu den diskreten Zufallsgrößen, die wie wie bisher mit $z$ bezeichnet werden.
- Über eine eventuelle Zeitdiskretisierung wird hier keine Aussage getroffen, das heißt, kontinuierliche Zufallsgrößen können durchaus zeitdiskret sein.
- Weiter setzen wir für dieses Kapitel voraus, dass zwischen den einzelnen Abtastwerten $x_ν$ keine statistischen Bindungen bestehen, oder lassen diese zumindest außer Betracht.
Das folgende Bild zeigt einen Ausschnitt eines stochastischen Rauschsignals $x(t)$, dessen Momentanwert als eine kontinuierliche Zufallsgröße $x$ aufgefasst werden kann.
Aus der rechts dargestellten Wahrscheinlichkeitsdichtefunktion (WDF) erkennt man, dass bei diesem Beispielsignal Momentanwerte um den Mittelwert $m_1$ am häufigsten auftreten. Da zwischen den Abtastwerten $x_ν$ keine statistischen Bindungen bestehen, spricht man bei einem solchen Signal auch von „Weißem Rauschen”.
Definition der Wahrscheinlichkeitsdichtefunktion
Bei einer kontinuierlichen Zufallsgröße sind die Wahrscheinlichkeiten, dass diese ganz bestimmte Werte annimmt, identisch $0$. Deshalb muss zur Beschreibung einer kontinuierlichen Zufallsgröße stets auf die Wahrscheinlichkeitsdichtefunktion – abgekürzt WDF – übergegangen werden.
Der Wert der Wahrscheinlichkeitsdichtefunktion $f_{x}(x)$ an der Stelle $x_µ$ ist gleich der Wahrscheinlichkeit, dass der Momentanwert der Zufallsgröße $x$ in einem (unendlich kleinen) Intervall der Breite $Δx$ um $x_µ$ liegt, dividiert durch $Δx$: $$f_x(x=x_\mu) = \lim_{\rm \Delta \it x \hspace{0.05cm}\to \hspace{0.05cm}\rm 0}\frac{\rm Pr \{\it x_\mu-\rm \Delta \it x/\rm 2 \le \it x \le x_\mu \rm +\rm \Delta \it x/\rm 2\}}{\rm \Delta \it x}.$$
Diese äußerst wichtige Beschreibungsgröße weist folgende Eigenschaften auf:
- Obwohl aus dem beispielhaften Zeitverlauf auf der letzten Seite zu ersehen ist, dass die häufigsten Signalanteile bei $x = m_1$ liegen und die Wahrscheinlichkeitsdichtefunktion hier ihren größten Wert besitzt, ist die Wahrscheinlichkeit ${\rm Pr}(x = m_1$), dass der Momentanwert exakt gleich dem Mittelwert $m_1$ ist, identisch $0$.
- Für die Wahrscheinlichkeit, dass die Zufallsgröße im Bereich zwischen $x_u$ und $x_o$ liegt, gilt:
- $${\rm Pr}(x_{\rm u} \le x \le x_{\rm o}) = \int_{x_{\rm u}}^{x_{\rm o}} f_{x}(x) \,{\rm d}x.$$
- Als wichtige Normierungseigenschaft ergibt sich daraus für die Fläche unter der WDF mit den Grenzübergängen $x_{\rm u} → \hspace{0.05cm} – \hspace{0.05cm} ∞$ und $x_{\rm o} → +∞:$
- $$\int_{-\infty}^{+\infty} f_{x}(x) \,{\rm d}x = \rm 1.$$
- Die entsprechende Gleichung für wertdiskrete, $M$-stufige Zufallsgrößen sagt aus, dass die Summe über die $M$ Auftrittswahrscheinlichkeiten den Wert $1$ ergibt.
Zur Vertiefung der hier behandelten Thematik empfehlen wir das folgende Lernvideo:
Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion
Hinweis zur Nomenklatur: In der Fachliteratur wird meist zwischen der Zufallsgröße $X$ und deren Realisierungen $x ∈ X$ unterschieden. Samit lautet die obige Definitionsgleichung
$$f_{X}(X=x) = \lim_{{\rm \Delta} x \hspace{0.05cm}\to \hspace{0.05cm} 0}\frac{{\rm Pr} \{ x-{\rm \Delta} x/2 \le X \le x +{\rm \Delta} x/ 2\}}{{\rm \Delta} x}.$$
Wir haben in unserem Lerntutorial auf diese genauere Nomenklatur weitgehend verzichtet, um nicht für eine Größe zwei Buchstaben zu verbrauchen. Kleinbuchstaben (wie $x$) bezeichnen bei uns oft Signale und Großbuchstaben (wie $X$) die zugehörigen Spektren. Trotzdem müssen wir heute (2017) ehrlicher Weise zugeben, dass die Entscheidung von 2001 nicht ganz glücklich war.
WDF-Definition für diskrete Zufallsgrößen
Aus Gründen einer einheitlichen Darstellung aller Zufallsgrößen (sowohl wertdiskret als auch wertkontinuierlich) ist es zweckmäßig, die Wahrscheinlichkeitsdichtefunktion auch für diskrete Zufallsgrößen zu definieren. Wendet man die Definitionsgleichung der letzten Seite auf diskrete Zufallsgrößen an, so nimmt die WDF an einigen Stellen $x_µ$ aufgrund des nicht verschwindend kleinen Wahrscheinlichkeitswertes und des Grenzübergangs $Δx →$ 0 unendlich große Werte an. Somit ergibt sich für die WDF eine Summe von Diracfunktionen (bzw. Distributionen): $$f_{\rm x}(x)=\sum_{\mu=1}^{M}p_\mu\cdot \rm \delta(\it x-x_\mu).$$
Die Gewichte dieser Diracfunktionen sind gleich den Wahrscheinlichkeiten $p_µ =$ Pr( $x = x_µ$). Hier noch ein Hinweis, um die unterschiedlichen Beschreibungsgrößen für diskrete und kontinuierliche Zufallsgrößen einordnen zu können: Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion stehen in ähnlichem Verhältnis zueinander wie im Buch Signaldarstellung
- ein diskreter Spektralanteil einer harmonischen Schwingung ⇒ Linienspektrum,
- ein kontinuierliches Spektrum eines energiebegrenzten (impulsförmigen) Signals.
Nachfolgend sehen Sie einen Ausschnitt eines Rechtecksignals mit drei möglichen Werten, wobei der Signalwert 0 V doppelt so häufig wie die äußeren Signalwerte (±1 V) auftritt.
Somit lautet die dazugehörige WDF (Anteile von oben nach unten): $$f_{\rm x}(x) = \rm 0.25 \cdot \delta(\it x-\rm 1V) + 0.5\cdot \it \delta(x) \rm + \rm 0.25\cdot \delta (\it x \rm + \rm 1\rm V).$$
Zur Vertiefung der hier behandelten Thematik empfehlen wir das folgende Lernvideo:
Wahrscheinlichkeit und Wahrscheinlichkeitsdichtefunktion (2-teilig: Dauer 5:30 – 6:35)
Numerische Ermittlung der WDF
Sie sehen hier ein Schema zur numerischen Ermittlung der Wahrscheinlichkeitsdichtefunktion.
Setzt man voraus, dass die vorliegende Zufallsgröße $x$ außerhalb des Bereichs von $x_{\rm min} =$ –4.02 bis $x_{\rm max} =$ +4.02 nur vernachlässigbar kleine Anteile besitzt, so geht man folgendermaßen vor:
- Man teilt diesen Wertebereich von $x$ in $I$ Intervalle gleicher Breite $Δx$ ein und definiert ein Feld WDF[0 : $I$–1]. In obiger Skizze ist $I =$ 201 und dementsprechend $Δx =$ 0.04 gewählt.
- Die Zufallsgröße $x$ wird nun $N$ mal nacheinander aufgerufen und dabei jeweils geprüft, zu welchem Intervall $i_{\rm akt}$ die aktuelle Zufallsgröße $x_{\rm akt}$ gehört: $i_{\rm akt} = (int)((x + x_{\rm max})/Δx)$.
- Das entsprechende Feldelement WDF( $i_{\rm akt}$) wird dann um 1 erhöht. Nach $N$ Durchläufen beinhaltet dann WDF( $i_{\rm akt}$) die Anzahl der Zufallszahlen, die zum Intervall $i_{\rm akt}$ gehören.
- Die tatsächlichen WDF-Werte erhält man, wenn am Ende noch alle Feldelemente WDF( $i$) mit 0 ≤ $i$ ≤ $I$–1 durch $N · Δx$ dividiert werden.
Aus den eingezeichneten Pfeilen in obiger Grafik erkennt man:
- Der Wert $x_{\rm akt} =$ 0.07 führt zum Ergebnis $i_{\rm akt} =$ (int) ((0.07 + 4.02)/0.04) = (int) 102.25. Hierbei bedeutet (int) eine Integerwandlung nach der Float-Division ⇒ $i_{\rm akt} =$ 102.
- Das gleiche Intervall $i_{\rm akt} =$ 102 ergibt sich für 0.06 < $x_{\rm akt}$ < 0.10, z.B. auch für $x_{\rm akt} =$ 0.09.
