Exercise 1.7: Ternary Markov Chain

Wir betrachten eine Markovkette mit den drei möglichen Ereignissen $A, B, C$. Die Übergangswahrscheinlichkeiten sind der Grafik zu entnehmen. Ein Übergang von $A$ nach $C$ und umgekehrt ist somit nicht möglich:

$p_\text{AC} = p_\text{CA} = 0 $ .

Die drei Ereigniswahrscheinlichkeiten zum Startzeitpunkt $ν = 0$ sind wie folgt gegeben:

$Pr(A_0) = 0,$

$Pr(B_0) = 1,$

$Pr(C_0) = 0.$

Hinweis: Die Aufgabe bezieht sich auf den Abschnitt Matrix-Vektordarstellung im Kapitel 1.4

Fragebogen

$P_\text{AA}$ =

$P_\text{BB}$ =

$P_\text{CC}$ =

$Pr(A_1)$ =

$Pr(A_2)$ =

$Pr(A)$ =

Musterlösung

Solution

1. Allgemein bzw. in diesem Sonderfall muss gelten:

$$p_{\rm AA} = 1 - p_{\rm AB} - p_{\rm AC} \hspace{0.5cm} \Rightarrow \hspace{0.5cm} p_{\rm AA} = 1 - 0.75 -0 \hspace{0.15cm}\underline {= 0.25},$$

$$p_{\rm BB} = 1 - p_{\rm BA} - p_{\rm BC} \hspace{0.5cm} \Rightarrow \hspace{0.5cm} p_{\rm BB} = 1 - 0.75 -0.25 \hspace{0.15cm}\underline {= 0},$$

$$p_{\rm CC} = 1 - p_{\rm CA} - p_{\rm CB} \hspace{0.5cm} \Rightarrow \hspace{0.5cm} p_{\rm CC} = 1 - 0 - 0.25 \hspace{0.15cm}\underline {= 0.75}.$$

Damit lautet die Übergangsmatrix:

$${\mathbf{P}} = \left[ \begin{array}{ccc} 1/4 & 3/4 & 0 \\ 3/4 & 0 & 1/4 \\ 0 & 1/4 & 3/4 \end{array} \right] .$$

2. Wegen Pr(B₀) = 1 und p_BB = 0 kann zum Zeitpunkt ν = 1 das Ereignis B nicht auftreten und das Ereignis A ist sehr viel wahrscheinlicher als das Ereignis C:

$$\hspace{0.15cm}\underline {{\rm Pr}(A_1) = 3/4}; \hspace{0.5cm} {\rm Pr}(B_1) = 0; \hspace{0.5cm}{\rm Pr}(C_1) = 1/4.$$

Zum gleichen Ergebnis kommt man durch Anwendung der Vektor-Matrixdarstellung.

3. Für den Wahrscheinlichkeitsvektor zum Zeitpunkt ν = 2 gilt:

$${\mathbf{p}^{(\nu = 2)}} = {\mathbf{P}}^{\rm T} \cdot {\mathbf{p}^{(\nu =1 )}}= \left[ \begin{array}{ccc} 1/4 & 3/4& 0 \\ 3/4 & 0 & 1/4 \\ 0& 1/4& 3/4 \end{array} \right] \left[ \begin{array}{c} 3/4 \\ 0 \\ 1/4 \end{array} \right] = \left[ \begin{array}{c} 3/16 \\ 10/16 \\ 3/16 \end{array} \right] .$$

Damit ist die Ereigniswahrscheinlichkeit Pr(A₂) = 3/16 = 0.1875.

4. Zur Lösung dieser Aufgabe sollen verschiedene Möglichkeiten angegeben werden. Zum einen das Lösen eines Gleichungssystems mit drei Unbekannten:

$${\rm Pr}(A) = 1/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(A) \hspace{0.1cm} + \hspace{0.1cm} 3/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(B),$$

$${\rm Pr}(B) = 3/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(A) \hspace{2.8cm} + \hspace{0.1cm} 1/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(C),$$

$${\rm Pr}(C) = \hspace{2.8cm} 1/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(B) \hspace{0.1cm} + \hspace{0.1cm} 3/4 \hspace{0.05cm} \cdot \hspace{0.05cm} {\rm Pr}(C).$$

Aus der ersten Gleichung erhält man Pr(B) = Pr(A), aus der letzten Pr(C) = Pr(A). Da die Summe aller Wahrscheinlichkeiten gleich 1 ist, folgt Pr(A) = Pr(B) = Pr(C) = 1/3.

Zum gleichen Ergebnis kommt man durch Analyse der Übergangsmatrix. Da die Summe jeder Spalte gleich 1 ist (das heißt: die Summe einer jeden Zeile der transponierten Matrix ergibt ebenfalls 1), ist offensichtlich, dass alle Ereigniswahrscheinlichkeiten gleich sein müssen.

Auch durch kurzes Nachdenken hätte man das Ergebnis ohne Rechnung vorhersagen können. Da bei jedem Ereignis die Zahlenwerte bei den abgehenden Pfeilen (nur zu anderen Ereignissen) mit denen bei den ankommenden gleich sind, ist nicht einzusehen, warum eines der Ereignisse bevorzugt sein sollte.