Applets:Entropie und Näherungen binärer Nachrichtenquellen - Revision history

Javier: Text replacement - "”" to """

2021-05-28T14:45:16Z

Text replacement - "”" to """

Javier: Text replacement - "„" to """

2021-05-28T14:43:09Z

Text replacement - "„" to """

Tasnad at 12:36, 20 August 2020

2020-08-20T12:36:27Z

Javier: Text replacement - "[[Informationstheorie" to "[[Information_Theory"

2020-07-09T13:00:28Z

Text replacement - "[[Informationstheorie" to "[[Information_Theory"

Javier: Text replacement - "[[Biografien_und_Bibliografien" to "[[Biographies_and_Bibliographies"

2020-07-09T12:53:00Z

Text replacement - "[[Biografien_und_Bibliografien" to "[[Biographies_and_Bibliographies"

Javier: Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

2020-07-09T09:51:11Z

Text replacement - "[[Stochastische_Signaltheorie/" to "[[Theory_of_Stochastic_Signals/"

Guenter at 12:14, 10 May 2019

2019-05-10T12:14:42Z

Guenter at 13:23, 15 April 2019

2019-04-15T13:23:05Z

Guenter at 16:04, 8 April 2019

2019-04-08T16:04:37Z

Guenter at 15:24, 8 April 2019

2019-04-08T15:24:18Z

@@ Line 3: / Line 3: @@
 ==Programmbeschreibung==
 <br>
-Dieses Applet soll den Begriff "Entropie&rdquo; am Beispiel einer binären Nachrichtenquelle verdeutlichen. Die Quellensymbolfolge lautet somit &nbsp;$〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν–1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} ,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}〉$&nbsp; mit &nbsp;$q_i \in \{A, B\}$&nbsp; für &nbsp;$i \ge 1$. Betrachtet werden sowohl eine gedächtnisfreie Quelle als auch eine Markovquelle erster Ordnung (also mit Gedächtnis "1&rdquo;), deren Entropien &nbsp;$H$&nbsp; jeweils in geschlossener Form angegeben werden können.
+Dieses Applet soll den Begriff "Entropie" am Beispiel einer binären Nachrichtenquelle verdeutlichen. Die Quellensymbolfolge lautet somit &nbsp;$〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν–1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} ,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}〉$&nbsp; mit &nbsp;$q_i \in \{A, B\}$&nbsp; für &nbsp;$i \ge 1$. Betrachtet werden sowohl eine gedächtnisfreie Quelle als auch eine Markovquelle erster Ordnung (also mit Gedächtnis "1"), deren Entropien &nbsp;$H$&nbsp; jeweils in geschlossener Form angegeben werden können.
 Ebenso werden für die unendlich lange Quellensymbolfolge so genannte Entropienäherungen &nbsp;$H_1$, &nbsp;$H_2$, ... , &nbsp;$H_k$, ... in geschlossener Form angegeben, wobei
@@ Line 32: / Line 32: @@
 Wir setzen zunächst voraus, dass die Auftrittwahrscheinlichkeiten der beiden Symbole &nbsp;$\rm A$&nbsp; und &nbsp;$\rm B$&nbsp; unabhängig von den vorherigen Symbolen innerhalb der Folge gleich &nbsp;$p_{\rm A} = p$&nbsp; und &nbsp;$p_{\rm B} = 1 – p$&nbsp; seien.
-Für die Entropie dieser "gedächtnislosen&rdquo; Binärquelle gilt:
+Für die Entropie dieser "gedächtnislosen" Binärquelle gilt:
 :$$H = H_{\rm bin} (p) =  p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
@@ Line 57: / Line 57: @@
   \hspace{0.05cm}.$$
-Daraus ist die ''Verbundentropie'' eines Zweier–Tupels berechenbar (der Index "2&rdquo; symbolisiert, dass sich die so berechnete Entropie auf Zweiertupel bezieht):
+Daraus ist die ''Verbundentropie'' eines Zweier–Tupels berechenbar (der Index "2" symbolisiert, dass sich die so berechnete Entropie auf Zweiertupel bezieht):
 :$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Zweiertupel})
@@ Line 72: / Line 72: @@
   \hspace{0.05cm}.$$
-Der Index "1&rdquo; soll darauf hinweisen, dass &nbsp;$H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge. Mit dem Entscheidungsgehalt &nbsp;$H_0 = \log_2 2 = 1\text{ (bit)}$&nbsp; ergibt sich dann folgende Größenbeziehung:
+Der Index "1" soll darauf hinweisen, dass &nbsp;$H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge. Mit dem Entscheidungsgehalt &nbsp;$H_0 = \log_2 2 = 1\text{ (bit)}$&nbsp; ergibt sich dann folgende Größenbeziehung:
 :$$H_0 \ge H_1 \ge H_2
@@ Line 289: / Line 289: @@
 *Alle Parameterwerte sind angepasst.
 *Alle Entropiewerte werden berechnet und eine Symbolfolge ausgegeben.
-*Musterlösung nach Drücken von "Hide solution&rdquo;.
+*Musterlösung nach Drücken von "Hide solution".
-*Mit der Nummer "0&rdquo; wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
+*Mit der Nummer "0" wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
 <br clear=all>
 {{BlaueBox|TEXT=
@@ Line 325: / Line 325: @@
 '''(5)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  0.8$&nbsp;. Wie groß sind die Entropie &nbsp;$H$ und die Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$? }}
-::*&nbsp;Bei dieser "Markovquelle&rdquo; ist &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$&nbsp;. Deshalb ist auch die unbedingte Wahrscheinlichkeit &nbsp;$p_{\rm A} = 0.2$ &nbsp; &rArr; &nbsp; $p_{\rm B} = 0.8$.
+::*&nbsp;Bei dieser "Markovquelle" ist &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$&nbsp;. Deshalb ist auch die unbedingte Wahrscheinlichkeit &nbsp;$p_{\rm A} = 0.2$ &nbsp; &rArr; &nbsp; $p_{\rm B} = 0.8$.
 ::*Es handelt sich also um die gleiche gedächtnislose Quelle wie bei '''(4)''' &nbsp; &rArr; &nbsp;$H = H_1 =$ ... $=H_6 =  0.722\text{ bit/Symbol}$.
@@ Line 331: / Line 331: @@
 '''(6)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  0.2$&nbsp;. Wie groß sind die Entropie &nbsp;$H$ und die Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$? }}
-::*&nbsp;Hier handelt es sich um eine "echte Markovquelle&rdquo;, da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
+::*&nbsp;Hier handelt es sich um eine "echte Markovquelle", da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
 ::*Wegen &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A}}$ sind die beiden unbedingten Symbolwahrscheinlichkeiten gleich: &nbsp;$p_{\rm A} = p_{\rm B} = 0.5$&nbsp; &rArr; &nbsp; $H_1 = 1$.
 ::*Die Entropienäherungen $H_k$ werden mit steigendem $k$ kleiner: &nbsp;$H_2 = 0.861$, &nbsp;$H_3 = 0.815$, ... , &nbsp;$H_6 = 0.768$.  Der Endwert ist wieder &nbsp;$H = H_\infty = 0.722\text{ bit/Symbol}$.
@@ Line 401: / Line 401: @@
 ==Über die Autoren==
 Dieses interaktive Applet  wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert.
-*Die erste Version wurde 2011 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit "FlashMX&ndash;Actionscript&rdquo; erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
+*Die erste Version wurde 2011 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit "FlashMX&ndash;Actionscript" erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
-*2019 wurde das Programm  von  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  "HTML5&rdquo; umgesetzt und neu gestaltet.
+*2019 wurde das Programm  von  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  "HTML5" umgesetzt und neu gestaltet.

@@ Line 3: / Line 3: @@
 ==Programmbeschreibung==
 <br>
-Dieses Applet soll den Begriff &bdquo;Entropie&rdquo; am Beispiel einer binären Nachrichtenquelle verdeutlichen. Die Quellensymbolfolge lautet somit &nbsp;$〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν–1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} ,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}〉$&nbsp; mit &nbsp;$q_i \in \{A, B\}$&nbsp; für &nbsp;$i \ge 1$. Betrachtet werden sowohl eine gedächtnisfreie Quelle als auch eine Markovquelle erster Ordnung (also mit Gedächtnis &bdquo;1&rdquo;), deren Entropien &nbsp;$H$&nbsp; jeweils in geschlossener Form angegeben werden können.
+Dieses Applet soll den Begriff "Entropie&rdquo; am Beispiel einer binären Nachrichtenquelle verdeutlichen. Die Quellensymbolfolge lautet somit &nbsp;$〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν–1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} ,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}〉$&nbsp; mit &nbsp;$q_i \in \{A, B\}$&nbsp; für &nbsp;$i \ge 1$. Betrachtet werden sowohl eine gedächtnisfreie Quelle als auch eine Markovquelle erster Ordnung (also mit Gedächtnis "1&rdquo;), deren Entropien &nbsp;$H$&nbsp; jeweils in geschlossener Form angegeben werden können.
 Ebenso werden für die unendlich lange Quellensymbolfolge so genannte Entropienäherungen &nbsp;$H_1$, &nbsp;$H_2$, ... , &nbsp;$H_k$, ... in geschlossener Form angegeben, wobei
@@ Line 32: / Line 32: @@
 Wir setzen zunächst voraus, dass die Auftrittwahrscheinlichkeiten der beiden Symbole &nbsp;$\rm A$&nbsp; und &nbsp;$\rm B$&nbsp; unabhängig von den vorherigen Symbolen innerhalb der Folge gleich &nbsp;$p_{\rm A} = p$&nbsp; und &nbsp;$p_{\rm B} = 1 – p$&nbsp; seien.
-Für die Entropie dieser &bdquo;gedächtnislosen&rdquo; Binärquelle gilt:
+Für die Entropie dieser "gedächtnislosen&rdquo; Binärquelle gilt:
 :$$H = H_{\rm bin} (p) =  p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
@@ Line 57: / Line 57: @@
   \hspace{0.05cm}.$$
-Daraus ist die ''Verbundentropie'' eines Zweier–Tupels berechenbar (der Index &bdquo;2&rdquo; symbolisiert, dass sich die so berechnete Entropie auf Zweiertupel bezieht):
+Daraus ist die ''Verbundentropie'' eines Zweier–Tupels berechenbar (der Index "2&rdquo; symbolisiert, dass sich die so berechnete Entropie auf Zweiertupel bezieht):
 :$$H_2\hspace{0.05cm}' = \sum_{q_{\nu}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm}q_{\mu}\hspace{0.01cm} \}} \sum_{q_{\nu+1}\hspace{0.05cm} \in \hspace{0.05cm}\{ \hspace{0.05cm} q_{\mu}\hspace{0.01cm} \}}\hspace{-0.1cm}{\rm Pr}(q_{\nu}\cap q_{\nu+1}) \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{{\rm Pr}(q_{\nu}\cap q_{\nu+1})} \hspace{0.4cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Zweiertupel})
@@ Line 72: / Line 72: @@
   \hspace{0.05cm}.$$
-Der Index &bdquo;1&rdquo; soll darauf hinweisen, dass &nbsp;$H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge. Mit dem Entscheidungsgehalt &nbsp;$H_0 = \log_2 2 = 1\text{ (bit)}$&nbsp; ergibt sich dann folgende Größenbeziehung:
+Der Index "1&rdquo; soll darauf hinweisen, dass &nbsp;$H_1$&nbsp; ausschließlich die Symbolwahrscheinlichkeiten berücksichtigt und nicht statistischen Bindungen zwischen Symbolen innerhalb der Folge. Mit dem Entscheidungsgehalt &nbsp;$H_0 = \log_2 2 = 1\text{ (bit)}$&nbsp; ergibt sich dann folgende Größenbeziehung:
 :$$H_0 \ge H_1 \ge H_2
@@ Line 289: / Line 289: @@
 *Alle Parameterwerte sind angepasst.
 *Alle Entropiewerte werden berechnet und eine Symbolfolge ausgegeben.
-*Musterlösung nach Drücken von &bdquo;Hide solution&rdquo;.
+*Musterlösung nach Drücken von "Hide solution&rdquo;.
-*Mit der Nummer &bdquo;0&rdquo; wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
+*Mit der Nummer "0&rdquo; wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
 <br clear=all>
 {{BlaueBox|TEXT=
@@ Line 325: / Line 325: @@
 '''(5)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  0.8$&nbsp;. Wie groß sind die Entropie &nbsp;$H$ und die Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$? }}
-::*&nbsp;Bei dieser &bdquo;Markovquelle&rdquo; ist &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$&nbsp;. Deshalb ist auch die unbedingte Wahrscheinlichkeit &nbsp;$p_{\rm A} = 0.2$ &nbsp; &rArr; &nbsp; $p_{\rm B} = 0.8$.
+::*&nbsp;Bei dieser "Markovquelle&rdquo; ist &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.2$&nbsp;. Deshalb ist auch die unbedingte Wahrscheinlichkeit &nbsp;$p_{\rm A} = 0.2$ &nbsp; &rArr; &nbsp; $p_{\rm B} = 0.8$.
 ::*Es handelt sich also um die gleiche gedächtnislose Quelle wie bei '''(4)''' &nbsp; &rArr; &nbsp;$H = H_1 =$ ... $=H_6 =  0.722\text{ bit/Symbol}$.
@@ Line 331: / Line 331: @@
 '''(6)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  0.2$&nbsp;. Wie groß sind die Entropie &nbsp;$H$ und die Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$? }}
-::*&nbsp;Hier handelt es sich um eine &bdquo;echte Markovquelle&rdquo;, da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
+::*&nbsp;Hier handelt es sich um eine "echte Markovquelle&rdquo;, da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
 ::*Wegen &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A}}$ sind die beiden unbedingten Symbolwahrscheinlichkeiten gleich: &nbsp;$p_{\rm A} = p_{\rm B} = 0.5$&nbsp; &rArr; &nbsp; $H_1 = 1$.
 ::*Die Entropienäherungen $H_k$ werden mit steigendem $k$ kleiner: &nbsp;$H_2 = 0.861$, &nbsp;$H_3 = 0.815$, ... , &nbsp;$H_6 = 0.768$.  Der Endwert ist wieder &nbsp;$H = H_\infty = 0.722\text{ bit/Symbol}$.
@@ Line 401: / Line 401: @@
 ==Über die Autoren==
 Dieses interaktive Applet  wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert.
-*Die erste Version wurde 2011 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit &bdquo;FlashMX&ndash;Actionscript&rdquo; erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
+*Die erste Version wurde 2011 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit "FlashMX&ndash;Actionscript&rdquo; erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
-*2019 wurde das Programm  von  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  &bdquo;HTML5&rdquo; umgesetzt und neu gestaltet.
+*2019 wurde das Programm  von  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  "HTML5&rdquo; umgesetzt und neu gestaltet.

@@ Line 1: / Line 1: @@
-{{LntAppletLink|entropie}}
+{{LntAppletLink|entropy}}
 ==Programmbeschreibung==
@@ Line 409: / Line 409: @@
 ==Nochmalige Aufrufmöglichkeit des Applets in neuem Fenster==
-{{LntAppletLink|entropie}}
+{{LntAppletLink|entropy}}

@@ Line 173: / Line 173: @@
 Diese Gleichungen erlauben erste informationstheoretische Aussagen über Markovprozesse:
 * Für &nbsp;$p_{\rm {A\hspace{0.01cm}|\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}|\hspace{0.01cm}A}}$&nbsp; sind die Symbole gleichwahrscheinlich &nbsp; ⇒ &nbsp; $p_{\text{A}} = p_{\text{B}}= 0.5$. Die erste Entropienäherung liefert demzufolge  &nbsp;$H_1 = H_0 = 1 \hspace{0.05cm} \rm  bit/Symbol$, und zwar unabhängig von den tatsächlichen Werten der (bedingten) Übergangswahrscheinlichkeiten &nbsp;$p_{\text{A|B}}$ &nbsp;bzw.&nbsp; $p_{\text{B|A}}$.
-*Die Quellenentropie &nbsp;$H$&nbsp; als der Grenzwert $($für &nbsp;$k \to \infty)$&nbsp; der [[Informationstheorie/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung $k$–ter Ordnung]] &nbsp; &rArr; &nbsp; $H_k$&nbsp;   hängt aber sehr wohl von den tatsächlichen Werten von &nbsp;$p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$&nbsp; ab und nicht nur von ihrem Quotienten. Dies zeigt das folgende Beispiel.
+*Die Quellenentropie &nbsp;$H$&nbsp; als der Grenzwert $($für &nbsp;$k \to \infty)$&nbsp; der [[Information_Theory/Nachrichtenquellen_mit_Gedächtnis#Verallgemeinerung_auf_.7F.27.22.60UNIQ-MathJax108-QINU.60.22.27.7F.E2.80.93Tupel_und_Grenz.C3.BCbergang|Entropienäherung $k$–ter Ordnung]] &nbsp; &rArr; &nbsp; $H_k$&nbsp;   hängt aber sehr wohl von den tatsächlichen Werten von &nbsp;$p_{\text{A|B}}$ &nbsp;und&nbsp; $p_{\text{B|A}}$&nbsp; ab und nicht nur von ihrem Quotienten. Dies zeigt das folgende Beispiel.

@@ Line 401: / Line 401: @@
 ==Über die Autoren==
 Dieses interaktive Applet  wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert.
-*Die erste Version wurde 2011 von [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit &bdquo;FlashMX&ndash;Actionscript&rdquo; erstellt (Betreuer: [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
+*Die erste Version wurde 2011 von [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Eugen_Mehlmann_.28Bachelorarbeit_EI_2011.29|Eugen Mehlmann]] im Rahmen seiner Bachelorarbeit mit &bdquo;FlashMX&ndash;Actionscript&rdquo; erstellt (Betreuer: [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Prof._Dr.-Ing._habil._G.C3.BCnter_S.C3.B6der_.28am_LNT_seit_1974.29|Günter Söder]]).
-*2019 wurde das Programm  von  [[Biografien_und_Bibliografien/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biografien_und_Bibliografien/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  &bdquo;HTML5&rdquo; umgesetzt und neu gestaltet.
+*2019 wurde das Programm  von  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Studierende#Xiaohan_Liu_.28Bachelorarbeit_2018.29|Xiaohan Liu]] (Bachelorarbeit, Betreuer: [[Biographies_and_Bibliographies/Beteiligte_der_Professur_Leitungsgebundene_%C3%9Cbertragungstechnik#Tasn.C3.A1d_Kernetzky.2C_M.Sc._.28bei_L.C3.9CT_seit_2014.29|Tasnád Kernetzky]] ) auf  &bdquo;HTML5&rdquo; umgesetzt und neu gestaltet.

@@ Line 52: / Line 52: @@
 Wir teilen nun die Quellensymbolfolge $〈 q_1, \hspace{0.05cm} q_2,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}, q_{ν–1}, \hspace{0.05cm}q_ν, \hspace{0.05cm}\hspace{0.05cm}q_{ν+1} ,\hspace{0.05cm}\text{ ...} \hspace{0.05cm}〉$ in Zweiertupel entsprechend der Grafik auf und betrachten dadurch die Entropie zweier aufeinanderfolgender Quellensymbole.
-Die Binärquelle wird weiterhin wie im letzten Abschnitt als ''gedächtnislos'' bzw. ''redundanzfrei'' vorausgesetzt. Für die Kombination  $(q_ν, \hspace{0.05cm}q_{ν+1})$ gibt es in diesem Fall &nbsp;$2^2 = 4$&nbsp; mögliche Symbolpaare (farblich markiert) mit folgenden &nbsp;[[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Schnittmenge|Verbundwahrscheinlichkeiten]]:
+Die Binärquelle wird weiterhin wie im letzten Abschnitt als ''gedächtnislos'' bzw. ''redundanzfrei'' vorausgesetzt. Für die Kombination  $(q_ν, \hspace{0.05cm}q_{ν+1})$ gibt es in diesem Fall &nbsp;$2^2 = 4$&nbsp; mögliche Symbolpaare (farblich markiert) mit folgenden &nbsp;[[Theory_of_Stochastic_Signals/Mengentheoretische_Grundlagen#Schnittmenge|Verbundwahrscheinlichkeiten]]:
 :$${\rm Pr}(q_{\nu}\cap q_{\nu+1})\le {\rm Pr}(q_{\nu}) \cdot {\rm Pr}( q_{\nu+1})
@@ Line 155: / Line 155: @@
 [[File:Inf_T_1_2_S5_vers2.png|right|frame|Markovprozesse mit $M = 2$ Zuständen]]
-Folgen mit statistischen Bindungen zwischen den Folgenelementen (Symbolen) werden oft durch [[Stochastische_Signaltheorie/Markovketten|Markovprozesse]] modelliert, wobei wir uns hier auf binäre Markovprozesse erster Ordnung mit den Zuständen (Symbolen) &nbsp;$\rm A$&nbsp; und &nbsp;$\rm B$&nbsp; beschränken.
+Folgen mit statistischen Bindungen zwischen den Folgenelementen (Symbolen) werden oft durch [[Theory_of_Stochastic_Signals/Markovketten|Markovprozesse]] modelliert, wobei wir uns hier auf binäre Markovprozesse erster Ordnung mit den Zuständen (Symbolen) &nbsp;$\rm A$&nbsp; und &nbsp;$\rm B$&nbsp; beschränken.
 Rechts  sehen Sie das Übergangsdiagramm für einen binären Markovprozess erster Ordnung. Von den vier angegebenen Übertragungswahrscheinlichkeiten sind allerdings nur zwei frei wählbar, zum Beispiel
@@ Line 165: / Line 165: @@
   \hspace{0.05cm}.$
-Aufgrund der vorausgesetzten Eigenschaften [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Station.C3.A4re_Zufallsprozesse|Stationarität]] und [[Stochastische_Signaltheorie/Autokorrelationsfunktion_(AKF)#Ergodische_Zufallsprozesse|Ergodizität]] gilt für die Zustands– bzw. Symbolwahrscheinlichkeiten:
+Aufgrund der vorausgesetzten Eigenschaften [[Theory_of_Stochastic_Signals/Autokorrelationsfunktion_(AKF)#Station.C3.A4re_Zufallsprozesse|Stationarität]] und [[Theory_of_Stochastic_Signals/Autokorrelationsfunktion_(AKF)#Ergodische_Zufallsprozesse|Ergodizität]] gilt für die Zustands– bzw. Symbolwahrscheinlichkeiten:
 :$$p_{\rm A} = {\rm Pr}({\rm A}) = \frac{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}{p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}

@@ Line 289: / Line 289: @@
 *Alle Parameterwerte sind angepasst.
 *Alle Entropiewerte werden berechnet und eine Symbolfolge ausgegeben.
-*Musterlösung nach Drücken von &bdquo;Hide solition&rdquo;.
+*Musterlösung nach Drücken von &bdquo;Hide solution&rdquo;.
 *Mit der Nummer &bdquo;0&rdquo; wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
 <br clear=all>
@@ Line 319: / Line 319: @@
 '''(4)''' &nbsp; Was ändert sich gegenüber '''(3)''' mit den Symbolwahrscheinlichkeiten &nbsp;$p_{\rm A} =  0.8$&nbsp; und &nbsp;$p_{\rm B} =  0.2$?}}
 ::&nbsp;'''Nichts'''. Die binäre Entropiefunktion ist symmetrisch um &nbsp;$p=0.5$.
 {{BlaueBox|TEXT=
@@ Line 356: / Line 357: @@
 '''(10)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.8$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1.0$. Interpretieren Sie die dargestellten Ergebnisse. }}
-::*Die unbedingten Symbolwahrscheinlichkeiten sind &nbsp;$p_{\rm A} = 0.4444$&nbsp; und &nbsp;$p_{\rm B} = 0.556$&nbsp; &rArr; &nbsp; $H_1 = 0.991 \ne 1$. Der Entropie&ndash;Endwert ist &nbsp;$H = H_\infty = 0.401\text{ bit/Symbol}$.
+::*Die unbedingten Symbolwahrscheinlichkeiten sind &nbsp;$p_{\rm A} = 0.444$&nbsp; und &nbsp;$p_{\rm B} = 0.556$&nbsp; &rArr; &nbsp; $H_1 = 0.991 \ne 1$. Der Entropie&ndash;Endwert ist &nbsp;$H = H_\infty = 0.401\text{ bit/Symbol}$.
 ::*&nbsp;Aus der Symbolfolge erkennt man, dass das Symbol &nbsp;$\rm A$&nbsp; im Gegensatz zum Symbol &nbsp;$\rm B$&nbsp; stets isoliert auftritt.
@@ Line 366: / Line 374: @@
 [[File:Anleitung_Entropie.png|left]]
-&nbsp; &nbsp; '''(A)''' &nbsp; &nbsp; Bereich der graphischen Darstellung für $H(f)$
+<br>
+&nbsp; &nbsp; '''(A)''' &nbsp; &nbsp; Auswahl: &nbsp; Gedächtnislose Quelle / Markovquelle
-&nbsp; &nbsp; '''(C)''' &nbsp; &nbsp; Variationsmöglichkeit für die  graphischen Darstellungen
+&nbsp; &nbsp; '''(B)''' &nbsp; &nbsp; Parametereingabe per Slider (Beispiel Markovquelle)
-&nbsp; &nbsp; '''(D)''' &nbsp; &nbsp; Parametereingabe per Slider<br>&nbsp; &nbsp; &nbsp; &nbsp;  &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  &nbsp; links (rot): &bdquo;Low&ndash;pass 1&rdquo;, &nbsp; &nbsp; &nbsp; &nbsp;  rechts (blau): &bdquo;Low&ndash;pass 2&rdquo;
+&nbsp; &nbsp; '''(C)''' &nbsp; &nbsp; Markovdiagramm (falls Markovquelle)
-&nbsp; &nbsp; '''(E)''' &nbsp; &nbsp; Parameter entsprechend der Voreinstellung &nbsp; &rArr; &nbsp; &bdquo;Reset&rdquo;
+&nbsp; &nbsp; '''(D)''' &nbsp; &nbsp; Eingabe der Folgenlänge &nbsp;$N$&nbsp; zur Berechnung der&nbsp; $\hat H_k$
-&nbsp; &nbsp; '''(F)''' &nbsp; &nbsp; Einstellung von $t_*$ und $f_*$ für Numerikausgabe
+&nbsp; &nbsp; '''(E)''' &nbsp; &nbsp; Ausgabe einer simulierten Symbolfolge
-&nbsp; &nbsp; '''(G)''' &nbsp; &nbsp; Numerikausgabe von $H(f_*)$ und $h(t_*)$<br>&nbsp; &nbsp; &nbsp; &nbsp;  &nbsp; &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;  &nbsp; links (rot): &bdquo;Low&ndash;pass 1&rdquo;, &nbsp; &nbsp; &nbsp; &nbsp;  rechts (blau): &bdquo;Low&ndash;pass 2&rdquo;
+&nbsp; &nbsp; '''(F)''' &nbsp; &nbsp; Ausgabe des Entropiewertes&nbsp; $H$
-'''Details zum obigen Punkt (C)'''
+&nbsp; &nbsp; '''(G)''' &nbsp; &nbsp; Ausgabe der Entropienäherungen&nbsp; $H_k$
-&nbsp; &nbsp; '''(*)''' &nbsp; Verschiebe&ndash;Funktionen &bdquo;$\leftarrow$&rdquo; (Bildausschnitt nach links, <br>&nbsp; &nbsp; &nbsp; &nbsp;  &nbsp; &nbsp; &nbsp; &nbsp; &nbsp;&nbsp; &nbsp;  Ordinate nach rechts) sowie &bdquo;$\uparrow$&rdquo; &bdquo;$\downarrow$&rdquo; &bdquo;$\rightarrow$&rdquo;
+&nbsp; &nbsp; '''(H)''' &nbsp; &nbsp; Ausgabe der numerisch ermittelten Entropienäherungen&nbsp; $\hat H_k$
 ==Über die Autoren==
 Dieses interaktive Applet  wurde am [http://www.lnt.ei.tum.de/startseite Lehrstuhl für Nachrichtentechnik] der [https://www.tum.de/ Technischen Universität München] konzipiert und realisiert.

← Older revision		Revision as of 16:04, 8 April 2019
Line 364:		Line 364:

	==Zur Handhabung des Applets==		==Zur Handhabung des Applets==
		+
		+	[[File:Anleitung_Entropie.png\|left]]
		+	'''(A)'''     Bereich der graphischen Darstellung für $H(f)$
		+
		+	'''(B)'''     Bereich der graphischen Darstellung für $h(t)$
		+
		+	'''(C)'''     Variationsmöglichkeit für die graphischen Darstellungen
		+
		+	'''(D)'''     Parametereingabe per Slider<br>                      links (rot): &bdquo;Low–pass 1”,         rechts (blau): &bdquo;Low–pass 2”
		+
		+	'''(E)'''     Parameter entsprechend der Voreinstellung   ⇒   &bdquo;Reset”
		+
		+	'''(F)'''     Einstellung von $t_$ und $f_$ für Numerikausgabe
		+
		+	'''(G)'''     Numerikausgabe von $H(f_)$ und $h(t_)$<br>                      links (rot): &bdquo;Low–pass 1”,         rechts (blau): &bdquo;Low–pass 2”
		+
		+	'''Details zum obigen Punkt (C)'''
		+
		+	'''(*)'''   Zoom–Funktionen &bdquo;$+$” (Vergrößern), &bdquo;$-$” (Verkleinern)<br>                     und $\rm o$ (Zurücksetzen)
		+
		+	'''(*)'''   Verschiebe–Funktionen &bdquo;$\leftarrow$” (Bildausschnitt nach links, <br>                     Ordinate nach rechts) sowie &bdquo;$\uparrow$” &bdquo;$\downarrow$” &bdquo;$\rightarrow$”
		+
		+
		+	'''Andere Möglichkeiten''':
		+
		+	*Bei gedrückter Shifttaste und Scrollen kann im Koordinatensystem gezoomt werden.
		+	*Bei gedrückter Shifttaste und gedrückter linker Maustaste kann das Koordinatensystem verschoben werden.
		+	<br clear = all>
		+

@@ Line 284: / Line 284: @@
 ==Versuchsdurchführung==
-[[File:Zeigerdiagramm_aufgabe_2.png|right]]
+[[File:Exercises_Entropie.png|right]]
 *Wählen Sie zunächst die Aufgabennummer.
 *Eine Aufgabenbeschreibung wird angezeigt.
 *Alle Parameterwerte sind angepasst.
-*Lösung nach Drücken von &bdquo;Hide solition&rdquo;.
+*Alle Entropiewerte werden berechnet und eine Symbolfolge ausgegeben.
+*Musterlösung nach Drücken von &bdquo;Hide solition&rdquo;.
+*Mit der Nummer &bdquo;0&rdquo; wird auf die gleichen Einstellung wie beim Programmstart zurückgesetzt.
 <br clear=all>
 {{BlaueBox|TEXT=
 '''(1)''' &nbsp; Wählen Sie die gedächtnislose Binärquelle mit &nbsp;$p_{\rm A} = p_{\rm B} = 0.5$. Wie lauten die analytisch berechneten Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$?
@@ Line 340: / Line 330: @@
 '''(6)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  0.2$&nbsp;. Wie groß sind die Entropie &nbsp;$H$ und die Entropienäherungen &nbsp;$H_1$, ... , &nbsp;$H_6$? }}
-::*&nbsp;Hier handelt es sich um eine &bdquo;echte Markovquelle&rdquo; da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
+::*&nbsp;Hier handelt es sich um eine &bdquo;echte Markovquelle&rdquo;, da sich &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.2$&nbsp; und &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1 - p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } = 0.8$&nbsp; unterscheiden.
 ::*Wegen &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B}} = p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A}}$ sind die beiden unbedingten Symbolwahrscheinlichkeiten gleich: &nbsp;$p_{\rm A} = p_{\rm B} = 0.5$&nbsp; &rArr; &nbsp; $H_1 = 1$.
-::*Die Entropienäherungen $H_k$ werden mit steigendem $k$ kleiner: &nbsp;$H_2 = 0.861$, &nbsp;$H_3 = 0.815$, ... , &nbsp;$H_6 = 0.768$.  Der Endwert ist wieder &nbsp;$H = 0.722\text{ bit/Symbol}$.
+::*Die Entropienäherungen $H_k$ werden mit steigendem $k$ kleiner: &nbsp;$H_2 = 0.861$, &nbsp;$H_3 = 0.815$, ... , &nbsp;$H_6 = 0.768$.  Der Endwert ist wieder &nbsp;$H = H_\infty = 0.722\text{ bit/Symbol}$.
 {{BlaueBox|TEXT=
@@ Line 354: / Line 344: @@
 ::*Wegen &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B}} \ne p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A}}$ sind nun die beiden unbedingten Symbolwahrscheinlichkeiten unterschiedlich: &nbsp;$p_{\rm A} = 0.471$&nbsp; und &nbsp;$p_{\rm B} = 0.529$&nbsp; &rArr; &nbsp; $H_1 = 0.998 \ne 1$.
-::*Die Entropienäherungen $H_k$ werden wieder kontinuierlich kleiner: &nbsp;$H_2 = 0.800$, &nbsp;$H_3 = 0.734$, ... , &nbsp;$H_6 = 0.669$.  Endwert: &nbsp; $H = 0.603\text{ bit/Symbol}$.
+::*Die Entropienäherungen $H_k$ werden wieder kontinuierlich kleiner: &nbsp;$H_2 = 0.800$, &nbsp;$H_3 = 0.734$, ... , &nbsp;$H_6 = 0.669$.  Endwert: &nbsp; $H = H_\infty = 0.603\text{ bit/Symbol}$.
 ::*&nbsp;Aus der Symbolfolge erkennt man, dass zwei Symbole &nbsp;$\rm A$&nbsp; ganz selten aufeinanderfolgen.
@@ Line 361: / Line 351: @@
 ::*Anhand der roten Kurve in der Grafik zu '''(8)''' lässt sich bereits das Ergebnis  &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} }\approx 0.45$&nbsp; abschätzen.
-::* Der dazugehörige Entropie&ndash;Endwert ist &nbsp; $H = 0.818\text{ bit/Symbol}$.
+::* Der dazugehörige Entropie&ndash;Endwert ist &nbsp; $H = H_\infty = 0.818\text{ bit/Symbol}$.
 {{BlaueBox|TEXT=
 '''(10)''' &nbsp; Wählen Sie nun die Markovquelle mit &nbsp;$p_{\rm {A\hspace{0.01cm}\vert\hspace{0.01cm}B} } =  0.8$&nbsp; und &nbsp;$p_{\rm {B\hspace{0.01cm}\vert\hspace{0.01cm}A} } =  1.0$. Interpretieren Sie die dargestellten Ergebnisse. }}
-::*Die unbedingten Symbolwahrscheinlichkeiten sind &nbsp;$p_{\rm A} = 0.4444$&nbsp; und &nbsp;$p_{\rm B} = 0.556$&nbsp; &rArr; &nbsp; $H_1 = 0.991 \ne 1$. Der Entropie&ndash;Endwert ist &nbsp;$H = 0.401\text{ bit/Symbol}$.
+::*Die unbedingten Symbolwahrscheinlichkeiten sind &nbsp;$p_{\rm A} = 0.4444$&nbsp; und &nbsp;$p_{\rm B} = 0.556$&nbsp; &rArr; &nbsp; $H_1 = 0.991 \ne 1$. Der Entropie&ndash;Endwert ist &nbsp;$H = H_\infty = 0.401\text{ bit/Symbol}$.
 ::*&nbsp;Aus der Symbolfolge erkennt man, dass das Symbol &nbsp;$\rm A$&nbsp; im Gegensatz zum Symbol &nbsp;$\rm B$&nbsp; stets isoliert auftritt.