Exercise 1.6: Transition Probabilities

• Return to book

Rechts sehen Sie 20 Realisierungen einer binären homogenen Markovkette erster Ordnung mit den Ereignissen $A$ und $B$. Man erkennt bereits aus dieser Darstellung, dass zu Beginn ($ν = 0$) das Ereignis $A$ überwiegt, zu späteren Zeitpunkten – etwa ab $ν = 4$ – jedoch etwas häufiger das Ereignis $B$ eintritt.

Durch Mittelung über Millionen von Realisierungen wurden einige Ereigniswahrscheinlichkeiten numerisch ermittelt:

$Pr(A_\text{v=0}) \approx 0.9; Pr(A_\text{v=1}) \approx 0.15; Pr(A_\text{v>4}) \approx 0.4$

Diese empirischen Zahlenwerte sollen herangezogen werden, um die Parameter (Übergangswahrscheinlichkeiten) der Markovkette zu ermitteln.

Hinweis: Die Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 1.4. Sie können Ihre Ergebnisse mit dem nachfolgenden Berechnungstool überprüfen:

Fragebogen

1

Welche Wahrscheinlichkeiten ergeben sich zu den Zeiten $ν = 0$, $ν = 1$ und $ν = 9$, wenn man nur die 20 dargestellten Realisierungen berücksichtigt?

$Pr(A_\text{v=0})$ =

$Pr(A_\text{v=1})$ =

$Pr(A_\text{v=9})$ =

2

Welche der Aussagen sind aufgrund der Musterfolgen zutreffend?

	Nach $A$ ist $B$ wahrscheinlicher als $A$.
	Sowohl nach $A$ als auch nach $B$ kann wieder $A$ oder $B$ folgen.
	Die Folge $B B B B ...$ ist nicht möglich.

3

Berechnen Sie alle Übergangswahrscheinlichkeiten der Markovkette. Wie groß sind insbesondere $Pr(A | A)$ und $Pr(B | B)$?

$Pr(A|A)$ =

$Pr(B|B)$ =

4

Wie groß ist die Wahrscheinlichkeit, dass die ersten zehn Elemente der Folge jeweils $B$ sind?

$Pr(B_0, ... , B_9)$ = $* 10^{}$^

5

Wie groß ist die Wahrscheinlichkeit, dass sehr lange nach Einschalten der Kette die Zeichenfolge $A B B A$ erzeugt wird?

$Pr(A B B A)$ =

Musterlösung

Solution

1.  Die entsprechenden Wahrscheinlichkeiten sind:

$$*Pr(A_\text{$\nu$ = 0}) = \underline{17/20 = 0.85},$$

$$*Pr(A_\text{$\nu$ = 1}) = \underline{2/20 = 0.10},$$

$$*Pr(A_\text{$\nu$ = 9}) = \underline{8/20 = 0.40},$$

3.  Nach A folgt B sehr viel häufiger als A, das heißt, es wird sicher Pr(B | A) > Pr(A | A) sein. Alle vier Übergänge zwischen den zwei Ereignissen A und B sind möglich. Daraus folgt weiter, dass alle vier Übergangswahrscheinlichkeiten ungleich 0 sein werden. Wegen Pr(B_ν=0) ≠ 0 und Pr(B | B) ≠ 0 kann natürlich auch die Folge B B B B ... erzeugt werden, auch wenn diese bei den 20 hier ausgegebenen Markovketten nicht dabei ist. Richtig sind die Lösungsvorschläge 1 und 2.

3.  Bei einer Markovkette erster Ordnung gilt mit der Abkürzung Pr(A₀) = Pr(A_ν=0) usw.:

$${\rm Pr}(A_1) = {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \cdot {\rm Pr}(A_0) \hspace{0.1cm} + \hspace{0.1cm} {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \cdot {\rm Pr}(B_0).$$

Die ergodischen Wahrscheinlichkeiten sind Pr(A) = Pr(A_ν>4) = 0.4 und Pr(B) = Pr(B_ν>4) = 0.6. Zwischen diesen besteht folgender Zusammenhang:

$${\rm Pr}(A) = {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \cdot {\rm Pr}(A) \hspace{0.1cm} + \hspace{0.1cm} {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \cdot {\rm Pr}(B).$$

Mit den angegebenen Zahlenwerten erhält man aus diesen letzten beiden Gleichungen:

$$0.15 = {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \cdot 0.90 \hspace{0.1cm} + \hspace{0.1cm} {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \cdot 0.10 ,$$

$$0.40 = {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \cdot 0.40 \hspace{0.1cm} + \hspace{0.1cm} {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} B) \cdot 0.60 .$$

Multipliziert man die erste Gleichung mit 6 und subtrahiert davon die zweite, so ergibt sich:

$$0.5 = 5 \cdot {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \hspace{0.15cm} \Rightarrow \hspace{0.15cm} {\rm Pr}(A \hspace{0.05cm} | \hspace{0.05cm} A) \hspace{0.15cm}\underline {= 0.1}.$$

Setzt man dieses Ergebnis in eine der oberen Gleichungen ein, so erhält man $Pr(A | B) = 0.6$. Die weiteren Wahrscheinlichkeiten sind $Pr(B | A) = 1 - Pr(A | A) = 0.9, Pr(B | B) = 1 - Pr(A | B)\ \underline{= 0.4}$.

4.  Dieser Fall ist nur dann möglich, wenn die Markovkette mit B beginnt und danach neunmal ein Übergang von B nach B stattfindet:

$${\rm Pr}(B_0,\hspace{0.05cm} ... \hspace{0.05cm}, B_{9}) = {\rm Pr}(B_0) \cdot {\rm Pr}(B\hspace{0.05cm}| \hspace{0.05cm} B)^9 = {\rm 0.1} \cdot {\rm 0.4}^9 \hspace{0.15cm}\underline {\approx 2.62 \cdot 10^{-5}}.$$

5.  Hier muss von der ergodischen Wahrscheinlichkeit Pr(A) ausgegangen werden und man erhält:

$${\rm Pr}(A_{\nu}, \hspace{0.05cm}B_{\nu +1}, \hspace{0.05cm}B_{\nu +2},\hspace{0.05cm} A_{\nu +3}) = {\rm Pr}(A) \hspace{0.01cm}\cdot \hspace{0.01cm}{\rm Pr}(B\hspace{0.05cm}| \hspace{0.05cm} A) \hspace{0.01cm}\cdot\hspace{0.01cm} {\rm Pr}(B\hspace{0.05cm}| \hspace{0.05cm} B)\hspace{0.01cm}\cdot \hspace{0.01cm}{\rm Pr}(A\hspace{0.05cm}| \hspace{0.05cm} B)\hspace{0.15cm}\underline {\approx 8.64 \hspace{-0.05cm}\cdot \hspace{-0.05cm}10^{-2}}.$$