LNTwww - User contributions [en]

Aufgaben:Exercise 1.17Z: BPSK Channel Capacity

2017-12-21T10:43:43Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Informationstheoretische Grenzen der Kanalcodierung}}

[[File:P_ID2413__KC_Z_1_16.png|right|frame|Zur Verdeutlichung der BPSK–Kanalkapazität]]

Gemäß dem [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung#Kanalcodierungstheorem_und_Kanalkapazit.C3.A4t|Kanalcodierungstheorem]] lassen sich Binärsignale über den [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanal]] dann und nur dann fehlerfrei übertragen, wenn

*man einen Kanalcode der Rate $R = k/n$ verwendet,
*die Blocklänge $n$ dieses Codes sehr groß gewählt wird $⇒ n → ∞,$
*die Rate $R$ kleiner ist als die für binären Eingang gültige Kanalkapazität $C_{2}$,
*wobei die BPSK–Kanalkapazität $C_{2}$ vom AWGN–Quotienten $E_{\rm B}/N_{0}$ abhängt.

Der zulässige Bereich für die Coderate $R$ ist in der Grafik grün hinterlegt. Die Grenzkurve $C_{2}$, gültig für binäre Eingangssignale (daher der Index 2) und manchmal auch als BPSK–Kanalkapazität bezeichnet, ist allerdings nicht in mathematisch–geschlossener Form angebbar, sondern das Ergebnis eines Integrals, das nur numerisch ausgewertet werden kann.

Als blaue Kurve ist die Kanalkapazität $C$ eingetragen, wenn man beliebige reelle Eingangssignale zulässt. Bei mehrstufigen Signalen kann die Rate durchaus auch Werte $R > 1$ annehmen. Für eine Gaußverteilung ergibt sich für eine gegebene Rate $R$ das kleinstmögliche $(E_{\rm B}/N_{0})_{\rm min}$ gemäß der Gleichung

:$$\left (E_{\rm B}/N_0 \right)_{\rm min} = \frac{2^{2R}-1}{2R}\hspace{0.05cm}.$$

Im Umkehrschluss ist die Rate $R$ für den gegebenen AWGN–Quotienten $E_{\rm B}/N_{0}$ nach oben begrenzt. Die gerade noch zulässige Coderate $R_{\rm max}$ bei gegebenem Kanal $(E_{\rm B}/N_{0} = \rm const.)$ bezeichnen wir als die Kanalkapazität $C$. Für $E_{\rm B}/N_{0} = 1 ⇒ 10 · \ \lg {E_{\rm B}/N_0} = 0 {\rm dB}$ erhält man beispielsweise $C = 0.5$. Das heißt: Auch bei bestmöglicher Amplitudenverteilung des reellen Eingangssignals darf die Coderate den Wert $R = 0.5$ nicht überschreiten. Bei binärem Eingang ergibt sich ein etwas kleinerer Wert gemäß $C_{2}.$
In dieser Aufgabe soll versucht werden, den grafisch vorgegebenen Verlauf der Kanalkapazität $C_{2}$ durch eine Exponentialfunktion anzunähern:

*Verwenden Sie für die Abszisse die Hilfsvariable (siehe Grafik)

:$$x = \frac {x_0 + 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 }{1\,{\rm dB}}\hspace{0.05cm}.$$

Das heißt: $x$ ist ohne Einheit; auf die Pseudo–Einheit „$\rm dB$” wird verzichtet.

*Berücksichtigen Sie, dass für ein kleines $E_{\rm B}/N_{0}$ die Näherung $C_{2} \approx C$ gültig ist (siehe Grafik), woraus der Parameter $x_{0}$ bestimmt werden kann.

*Setzen Sie für $C_{2}' = 1 - \exp{(–a · x)}$ an und bestimmen Sie den Parameter $a$ aus der gestrichelt eingezeichneten Tangente derart, dass $C_{2} ' \approx C$ gilt.

''Hinweise:''
* Die Aufgabe behandelt das Thema von Kapitel [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung|Informationstheoretische Grenzen der Kanalcodierung]] und ergänzt die [[Aufgaben:1.17_Coderate_vs._EB/N0|Aufgabe 1.17]].
* Auf die Pseudo–Einheit „bit/Kanalzugriff” der Kanalkapazität wird in diesen Aufgaben verzichtet.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Berechnen Sie aus dem Grenzwert für $C → 0$ den Kurvenparameter $x_{0}$?
|type="{}"}
$x_{0} \ = \ $ { 1.6 3% }$\ \rm dB$

{Approximieren Sie $C_{2}(x)$ durch $C_{2}'(x) = 1 -\exp {(–a · x)}$. Wie groß ist $a$?
|type="{}"}
$a \ = \ $ { 0.4 3% }

{Welche Kanalkapazität $C_{2}'$ ergibt sich nach dieser Näherung für $E_{\rm B} = N_{0}$?
|type="{}"}
$E_{\rm B} = N_{0} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.47 3% }

{Berechnen Sie auch die Kanalkapazitätsnäherung für folgende Werte:
|type="{}"}
$10 · \lg {E_{\rm B} / N_0} = 2 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.76 3% }
$10 · \lg {E_{\rm B} / N_0} = 4 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.89 3% }
$10 · \lg {E_{\rm B} / N_0} = 6 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.95 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}

'''(1)'''  Im unteren $E_{\rm B} = N_{0}$–Bereich laufen die Kapazitätskurven
*$C_{2}$ (gültig für binären Eingang, z.B. BPSK) und
*$C$ (gültig für analogen reellwertigen Eingang)

zusammen. Für eine gegebene Rate $R$ muss $E_{\rm B} = N_{0}$ größer sein als $(2^{2R} – 1)/2R.$ Der Grenzübergang für $R → 0$ liefert die absolute Shannon–Grenze, ab der eine fehlerfreie Übertragung nicht mehr möglich ist:

:$${\rm Min}\hspace{0.1cm}\left [E_{\rm B}/N_0 \right] = \lim_{R \rightarrow 0}\hspace{0.1cm} \frac{2^{2R}-1}{2R} = {\rm ln}\hspace{0.1cm}2 \approx 0.693$$

:$$10 \cdot {\rm lg} \hspace{0.1cm} {\rm Min}\hspace{0.1cm}\left [E_{\rm B}/N_0 \right] \approx -1.6 \,{\rm dB} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} x_0 \hspace{0.15cm} \underline{= 1.6 \,{\rm dB}}\hspace{0.05cm}.$$

'''(2)'''  Aus der Grafik auf der Angabenseite lässt sich die Tangentensteigerung im Nullpunkt abschätzen:

:$$\frac{{\rm d}C_2}{{\rm d}x} (x=0) = \frac{1.6 + 1.5}{1.25} =2.48 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} a = \frac{1}{2.48} \hspace{0.15cm} \underline{\approx 0.4}\hspace{0.05cm}.$$

Damit lautet die Näherung für die BPSK–Kanalkapazität in Abhängigkeit des Abszissenwertes $x$:

:$$C_2' = \hspace{0.15cm} \left\{ \begin{array}{c} 1 - {\rm exp}(- 0.4 \cdot x) \\ 0 \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm}} x > 0, \\{\rm f\ddot{u}r\hspace{0.15cm}} x < 0. \end{array}$$

'''(3)'''  Aus $E_{\rm B} = N_{0}$ folgt $\ 10 · \lg {(E_{\rm B} = N_0)} = 0 \ {\rm dB}$ sowie $x = 1.6$:

:$$C_2' = 1 - {\rm exp}(- 0.4 \cdot 1.6)\hspace{0.15cm}\underline{\approx 0.47}\hspace{0.05cm}.$$

'''(4)'''  Die entsprechenden Zahlenwerte lauten:
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 2\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 3.6)\hspace{0.15cm}\underline{\approx 0.76}$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 4\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 5.6)\hspace{0.15cm}\underline{\approx 0.89}$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 6\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 7.6)\hspace{0.15cm}\underline{\approx 0.95}.$$

Die so angenäherten Werte $C_{2}'$ der Kanalkapazität für binären Eingang sind etwas zu klein. Aus der Grafik können die genaueren Werte $C_{2}$ abgelesen werden:

:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 2\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.78}\hspace{0.05cm},$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 4\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.94}\hspace{0.05cm},$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 6\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.99}\hspace{0.05cm}.$$

Ab etwa $\ 10 · \lg {(E_{\rm B} / N_0)} = 8 \ {\rm dB}$ gilt innerhalb der Zeichengenauigkeit $C_{2}'= C_{2} = 1$ (bit/Kanalzugriff).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.7 Informationstheoretische Grenzen der Kanalcodierung^]]

Aufgaben:Exercise 1.17Z: BPSK Channel Capacity

2017-12-21T10:43:03Z

Hussain:

Aufgaben:Exercise 1.17Z: BPSK Channel Capacity

2017-12-21T10:40:06Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Informationstheoretische Grenzen der Kanalcodierung}}

[[File:P_ID2413__KC_Z_1_16.png|right|frame|Zur Verdeutlichung der BPSK–Kanalkapazität]]

Gemäß dem [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung#Kanalcodierungstheorem_und_Kanalkapazit.C3.A4t|Kanalcodierungstheorem]] lassen sich Binärsignale über den [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanal]] dann und nur dann fehlerfrei übertragen, wenn

*man einen Kanalcode der Rate $R = k/n$ verwendet,
*die Blocklänge $n$ dieses Codes sehr groß gewählt wird $⇒ n → ∞,$
*die Rate $R$ kleiner ist als die für binären Eingang gültige Kanalkapazität $C_{2}$,
*wobei die BPSK–Kanalkapazität $C_{2}$ vom AWGN–Quotienten $E_{\rm B}/N_{0}$ abhängt.

Der zulässige Bereich für die Coderate $R$ ist in der Grafik grün hinterlegt. Die Grenzkurve $C_{2}$, gültig für binäre Eingangssignale (daher der Index 2) und manchmal auch als BPSK–Kanalkapazität bezeichnet, ist allerdings nicht in mathematisch–geschlossener Form angebbar, sondern das Ergebnis eines Integrals, das nur numerisch ausgewertet werden kann.

Als blaue Kurve ist die Kanalkapazität $C$ eingetragen, wenn man beliebige reelle Eingangssignale zulässt. Bei mehrstufigen Signalen kann die Rate durchaus auch Werte $R > 1$ annehmen. Für eine Gaußverteilung ergibt sich für eine gegebene Rate $R$ das kleinstmögliche $(E_{\rm B}/N_{0})_{\rm min}$ gemäß der Gleichung

:$$\left (E_{\rm B}/N_0 \right)_{\rm min} = \frac{2^{2R}-1}{2R}\hspace{0.05cm}.$$

Im Umkehrschluss ist die Rate $R$ für den gegebenen AWGN–Quotienten $E_{\rm B}/N_{0}$ nach oben begrenzt. Die gerade noch zulässige Coderate $R_{\rm max}$ bei gegebenem Kanal $(E_{\rm B}/N_{0} = \rm const.)$ bezeichnen wir als die Kanalkapazität $C$. Für $E_{\rm B}/N_{0} = 1 ⇒ 10 · \ \lg {E_{\rm B}/N_0} = 0 {\rm dB}$ erhält man beispielsweise $C = 0.5$. Das heißt: Auch bei bestmöglicher Amplitudenverteilung des reellen Eingangssignals darf die Coderate den Wert $R = 0.5$ nicht überschreiten. Bei binärem Eingang ergibt sich ein etwas kleinerer Wert gemäß $C_{2}.$
In dieser Aufgabe soll versucht werden, den grafisch vorgegebenen Verlauf der Kanalkapazität $C_{2}$ durch eine Exponentialfunktion anzunähern:

*Verwenden Sie für die Abszisse die Hilfsvariable (siehe Grafik)

:$$x = \frac {x_0 + 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 }{1\,{\rm dB}}\hspace{0.05cm}.$$

Das heißt: $x$ ist ohne Einheit; auf die Pseudo–Einheit „$\rm dB$” wird verzichtet.

*Berücksichtigen Sie, dass für ein kleines $E_{\rm B}/N_{0}$ die Näherung $C_{2} \approx C$ gültig ist (siehe Grafik), woraus der Parameter $x_{0}$ bestimmt werden kann.

*Setzen Sie für $C_{2}' = 1 - \exp{(–a · x)}$ an und bestimmen Sie den Parameter $a$ aus der gestrichelt eingezeichneten Tangente derart, dass $C_{2} ' \approx C$ gilt.

''Hinweise:''
* Die Aufgabe behandelt das Thema von Kapitel [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung|Informationstheoretische Grenzen der Kanalcodierung]] und ergänzt die [[Aufgaben:1.17_Coderate_vs._EB/N0|Aufgabe 1.17]].
* Auf die Pseudo–Einheit „bit/Kanalzugriff” der Kanalkapazität wird in diesen Aufgaben verzichtet.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Berechnen Sie aus dem Grenzwert für $C → 0$ den Kurvenparameter $x_{0}$?
|type="{}"}
$x_{0} \ = \ $ { 1.6 3% }$\ \rm dB$

{Approximieren Sie $C_{2}(x)$ durch $C_{2}'(x) = 1 -\exp {(–a · x)}$. Wie groß ist $a$?
|type="{}"}
$a \ = \ $ { 0.4 3% }

{Welche Kanalkapazität $C_{2}'$ ergibt sich nach dieser Näherung für $E_{\rm B} = N_{0}$?
|type="{}"}
$E_{\rm B} = N_{0} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.47 3% }

{Berechnen Sie auch die Kanalkapazitätsnäherung für folgende Werte:
|type="{}"}
$10 · \lg {E_{\rm B} / N_0} = 2 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.76 3% }
$10 · \lg {E_{\rm B} / N_0} = 4 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.89 3% }
$10 · \lg {E_{\rm B} / N_0} = 6 \ {\rm dB} \text{:} \hspace{0.2cm} \ C_{2}' \ = \ $ { 0.95 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}

'''(1)'''  Im unteren $E_{\rm B} = N_{0}$–Bereich laufen die Kapazitätskurven
*$C_{2}$ (gültig für binären Eingang, z.B. BPSK) und
*$C$ (gültig für analogen reellwertigen Eingang)
zusammen. Für eine gegebene Rate $R$ muss $E_{\rm B} = N_{0}$ größer sein als $(2^{2R} – 1)/2R.$ Der Grenzübergang für $R → 0$ liefert die absolute Shannon–Grenze, ab der eine fehlerfreie Übertragung nicht mehr möglich ist:

:$${\rm Min}\hspace{0.1cm}\left [E_{\rm B}/N_0 \right] = \lim_{R \rightarrow 0}\hspace{0.1cm} \frac{2^{2R}-1}{2R} = {\rm ln}\hspace{0.1cm}2 \approx 0.693$$

:$$10 \cdot {\rm lg} \hspace{0.1cm} {\rm Min}\hspace{0.1cm}\left [E_{\rm B}/N_0 \right] \approx -1.6 \,{\rm dB} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} x_0 \hspace{0.15cm} \underline{= 1.6 \,{\rm dB}}\hspace{0.05cm}.$$

'''(2)'''  Aus der Grafik auf der Angabenseite lässt sich die Tangentensteigerung im Nullpunkt abschätzen:

:$$\frac{{\rm d}C_2}{{\rm d}x} (x=0) = \frac{1.6 + 1.5}{1.25} =2.48 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} a = \frac{1}{2.48} \hspace{0.15cm} \underline{\approx 0.4}\hspace{0.05cm}.$$

Damit lautet die Näherung für die BPSK–Kanalkapazität in Abhängigkeit des Abszissenwertes $x$:

:$$C_2' = \hspace{0.15cm} \left\{ \begin{array}{c} 1 - {\rm exp}(- 0.4 \cdot x) \\ 0 \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm}} x > 0, \\{\rm f\ddot{u}r\hspace{0.15cm}} x < 0. \end{array}$$

'''(3)'''  Aus $E_{\rm B} = N_{0}$ folgt $\ 10 · {\rm lg} \ (E_{\rm B} = N_{0}) = 0 {\rm dB}$ sowie $x = 1.6:$

:$$C_2' = 1 - {\rm exp}(- 0.4 \cdot 1.6)\hspace{0.15cm}\underline{\approx 0.47}\hspace{0.05cm}.$$

'''(4)'''  Die entsprechenden Zahlenwerte lauten:

:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 2\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 3.6)\hspace{0.15cm}\underline{\approx 0.76}$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 4\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 5.6)\hspace{0.15cm}\underline{\approx 0.89}$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 6\,{\rm dB:} \hspace{0.3cm} C_2' \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - {\rm exp}(- 0.4 \cdot 7.6)\hspace{0.15cm}\underline{\approx 0.95}.$$

Die so angenäherten Werte $C_{2}'$ der Kanalkapazität für binären Eingang sind etwas zu klein. Aus der Grafik können die genaueren Werte $C_{2}$ abgelesen werden:

:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 2\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.78}\hspace{0.05cm},$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 4\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.94}\hspace{0.05cm},$$
:$$10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 6\,{\rm dB:} \hspace{0.3cm} C_2 \hspace{-0.15cm}\ \approx \ \hspace{-0.15cm} {0.99}\hspace{0.05cm}.$$

Ab etwa $\ 10 · {\rm lg} \ (E_{\rm B} = N_{0}) = 8 {\rm dB}$ gilt innerhalb der Zeichengenauigkeit $C_{2}'= C_{2} = 1$ (bit/Kanalzugriff).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.7 Informationstheoretische Grenzen der Kanalcodierung

^]]

Aufgaben:Exercise 1.17: About the Channel Coding Theorem

2017-12-21T10:32:52Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Informationstheoretische Grenzen der Kanalcodierung

}}

[[File:P_ID2412__KC_A_1_16.png|right|frame|Kanalkapazität und Coderaten etablierter Systeme]]

Die Grafik zeigt maximal zulässige Coderaten $R < C$ gemäß Shannons [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung#Kanalcodierungstheorem_und_Kanalkapazit.C3.A4t|Kanalcodierungstheorem:]]

*Die grüne Grenzkurve gibt die Kanalkapazität $C$ für den AWGN–Kanal unter der Voraussetzung eines binären Eingangssignals („BPSK”) an.

*In [[Aufgaben:1.17Z_BPSK–Kanalkapazität|Aufgabe 1.17Z]] wird hierfür eine einfache Näherung angegeben. Mit der zweiten Abszisse

:$$x = \frac {1.6\,{\rm dB} + 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 }{1\,{\rm dB}}$$

ergibt sich näherungsweise:

:$$C \approx \hspace{0.15cm} \left\{ \begin{array}{c} 1 - {\rm exp}(- 0.4 \cdot x) \\ \\ 0 \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm}} x > 0, \\ \\{\rm f\ddot{u}r\hspace{0.15cm}} x < 0. \end{array}$$

*Gilt $R < C$, so kann ein Code gefunden werden, der bei unendlich langen Blöcken $(n → ∞)$ zur Fehlerwahrscheinlichkeit 0 führt. Wie dieser Code aussieht, ist durch das Kanalcodierungstheorem nicht festgelegt und spielt für diese Aufgabe auch keine Rolle.

In die Grafik eingezeichnet sind die Kenngrößen etablierter Codiersysteme. Die roten Punkte \mathbf{X}, \mathbf{Y} und \mathbf{Z} markieren drei Hamming–Codes unterschiedlicher Codelängen, nämlich mit $n = 7$, $n = 15$ und $n = 31$. Das Codiersystem W ist durch die Kenngrößen $R = 0.5$ und $10 \ · \ \lg {E_{\rm B}/N_0} = 3 {\rm dB}$ gekennzeichnet.

''Hinweise:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung|Informationstheoretische Grenzen der Kanalcodierung]].
* Die informationstheoretische Grenze „Kanalkapazität” bezieht sich auf die Fehlerwahrscheinlichkeit $0$. Die eingezeichneten Punkte realer Übertragungssysteme ergeben sich dagegen unter der Annahme $\rm BER = 10^{–5}$.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Welche der roten Punkte gehören zu welchem Hamming–Code? ''Hinweis:'' Die Grafik wurde für $\rm BER = 10^{–5}$ erstellt.
|type="[]"}
+ ${\boldsymbol{\rm X}}$ bezeichnet den $(7, 4, 3)$–Hamming–Code.
+ ${\boldsymbol{\rm Y}}$ bezeichnet den $(15, 11, 3)$–Hamming–Code.
+ ${\boldsymbol{\rm Z}}$ bezeichnet den $(31, 15, 3)$–Hamming–Code.

{In welche Richtung werden sich die Punkte ${\boldsymbol{\rm X}}$, ${\boldsymbol{\rm Y}}$ und ${\boldsymbol{\rm Z}}$ verschieben, wenn die Grafik für BER $= 10^{–10}$ erstellt werden soll?
|type="[]"}
- Nach links,
+ nach rechts,
- nach oben.

{Bis zu welcher Coderate $R_{\rm max}$ könnte man ein System mit gleichem $E_{\rm B}/N_{0}$ wie System W betreiben?
|type="{}"}
$\ E_{\rm B}/N_{0} = 3 \ {\rm dB} \text{:} \hspace{0.2cm} R_{\rm max} \ = \ $ { 0.84 3% }

{Um welchen Faktor $A$ könnte die Sendeleistung von System W entsprechend der Kanalkapazitätskurve $C$ herabgesetzt werden?
|type="{}"}
$\ R = 0.5 \text{:} \hspace{0.2cm} A ({\rm größer} \ 1!) \ = \ $ { 1.94 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig sind alle Lösungsvorschläge. Dies erkennt man bereits an den Raten: ${\boldsymbol{\rm Z}}$ hat eine größere Rate als ${\boldsymbol{\rm Y}}$ und ${\boldsymbol{\rm Y}}$ eine größere Rate als ${\boldsymbol{\rm X}}$. Da zudem der Hamming–Code $(31,15,3)$  ⇒  Code Z die größte Codewortlänge n aufweist, benötigt er trotz größerer Coderate $R$ für ${\rm BER} = 10^{–5}$ ein geringeres $E_{\rm B}/N_{0}$.

'''(2)'''  Richtig ist die Antwort 2. Für eine kleinere Bitfehlerrate benötigt man stets ein größeres $E_{\rm B}/N_{0}$. Eine vertikale Verschiebung gibt es nicht, da sich auch mit $\rm BER = 10^{–10}$ an den Coderaten nichts ändert.

'''(3)'''  Für den logarithmierten AWGN–Parameter $10 · \lg {E_{\rm B}/N_0} = 3 \ {\rm dB}$ ergibt sich die vorne angegebene Hilfsgröße $x = 1.6 + 3 = 4.6.$ Damit erhält man:

:$$R_{\rm max} = C (x = 4.6)= 1 - {\rm exp}(- 0.4 \cdot 4.6) \hspace{0.15cm} \underline{= 0.84} \hspace{0.05cm}.$$

'''(4)'''  Entsprechend der vorgegebenen Gleichung gilt nun:
:$$1 - {\rm exp}(- 0.4 \cdot x) = 0.5 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} x = \frac{-{\rm ln}(0.5)}{-0.4} = 1.73$$

:$$\hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 1.73 - 1.6 = 0.13 \,{\rm dB}\hspace{0.05cm}.$$

$10 · \lg {E_{\rm B}/N_0}$ könnte demnach um $3 \ \rm dB - 0.13 \ dB = 2.87 \ dB$ herabgesetzt werden, also um den Faktor

:$$A = 10^{0.287}\hspace{0.15cm} \underline{= 1.94} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.7 Informationstheoretische Grenzen der Kanalcodierung^]]

Aufgaben:Exercise 1.17: About the Channel Coding Theorem

2017-12-21T10:32:17Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Informationstheoretische Grenzen der Kanalcodierung

}}

[[File:P_ID2412__KC_A_1_16.png|right|frame|Kanalkapazität und Coderaten etablierter Systeme]]

Die Grafik zeigt maximal zulässige Coderaten $R < C$ gemäß Shannons [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung#Kanalcodierungstheorem_und_Kanalkapazit.C3.A4t|Kanalcodierungstheorem:]]

*Die grüne Grenzkurve gibt die Kanalkapazität $C$ für den AWGN–Kanal unter der Voraussetzung eines binären Eingangssignals („BPSK”) an.

*In [[Aufgaben:1.17Z_BPSK–Kanalkapazität|Aufgabe 1.17Z]] wird hierfür eine einfache Näherung angegeben. Mit der zweiten Abszisse

:$$x = \frac {1.6\,{\rm dB} + 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 }{1\,{\rm dB}}$$

ergibt sich näherungsweise:

:$$C \approx \hspace{0.15cm} \left\{ \begin{array}{c} 1 - {\rm exp}(- 0.4 \cdot x) \\ \\ 0 \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm}} x > 0, \\ \\{\rm f\ddot{u}r\hspace{0.15cm}} x < 0. \end{array}$$

*Gilt $R < C$, so kann ein Code gefunden werden, der bei unendlich langen Blöcken $(n → ∞)$ zur Fehlerwahrscheinlichkeit 0 führt. Wie dieser Code aussieht, ist durch das Kanalcodierungstheorem nicht festgelegt und spielt für diese Aufgabe auch keine Rolle.

In die Grafik eingezeichnet sind die Kenngrößen etablierter Codiersysteme. Die roten Punkte \mathbf{X}, \mathbf{Y} und \mathbf{Z} markieren drei Hamming–Codes unterschiedlicher Codelängen, nämlich mit $n = 7$, $n = 15$ und $n = 31$. Das Codiersystem W ist durch die Kenngrößen $R = 0.5$ und $10 \ · \ \lg {E_{\rm B}/N_0} = 3 {\rm dB}$ gekennzeichnet.

''Hinweise:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Informationstheoretische_Grenzen_der_Kanalcodierung|Informationstheoretische Grenzen der Kanalcodierung]].
* Die informationstheoretische Grenze „Kanalkapazität” bezieht sich auf die Fehlerwahrscheinlichkeit $0$. Die eingezeichneten Punkte realer Übertragungssysteme ergeben sich dagegen unter der Annahme $\rm BER = 10^{–5}$.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Welche der roten Punkte gehören zu welchem Hamming–Code? ''Hinweis:'' Die Grafik wurde für $\rm BER = 10^{–5}$ erstellt.
|type="[]"}
+ ${\boldsymbol{\rm X}}$ bezeichnet den $(7, 4, 3)$–Hamming–Code.
+ ${\boldsymbol{\rm Y}}$ bezeichnet den $(15, 11, 3)$–Hamming–Code.
+ ${\boldsymbol{\rm Z}}$ bezeichnet den $(31, 15, 3)$–Hamming–Code.

{In welche Richtung werden sich die Punkte ${\boldsymbol{\rm X}}$, ${\boldsymbol{\rm Y}}$ und ${\boldsymbol{\rm Z}}$ verschieben, wenn die Grafik für BER $= 10^{–10}$ erstellt werden soll?
|type="[]"}
- Nach links,
+ nach rechts,
- nach oben.

{Bis zu welcher Coderate $R_{\rm max}$ könnte man ein System mit gleichem $E_{\rm B}/N_{0}$ wie System W betreiben?
|type="{}"}
$\ E_{\rm B}/N_{0} = 3 \ {\rm dB} \text{:} \hspace{0.2cm} R_{\rm max} \ = \ $ { 0.84 3% }

{Um welchen Faktor $A$ könnte die Sendeleistung von System W entsprechend der Kanalkapazitätskurve $C$ herabgesetzt werden?
|type="{}"}
$\ R = 0.5 \text{:} \hspace{0.2cm} A ({\rm größer} \ 1!) \ = \ $ { 1.94 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig sind alle Lösungsvorschläge. Dies erkennt man bereits an den Raten: ${\boldsymbol{\rm Z}}$ hat eine größere Rate als ${\boldsymbol{\rm Y}}$ und ${\boldsymbol{\rm Y}}$ eine größere Rate als ${\boldsymbol{\rm X}}$. Da zudem der Hamming–Code $(31,15,3)$  ⇒  Code Z die größte Codewortlänge n aufweist, benötigt er trotz größerer Coderate $R$ für ${\rm BER} = 10^{–5}$ ein geringeres $E_{\rm B}/N_{0}$.

'''(2)'''  Richtig ist die Antwort 2. Für eine kleinere Bitfehlerrate benötigt man stets ein größeres $E_{\rm B}/N_{0}$. Eine vertikale Verschiebung gibt es nicht, da sich auch mit BER $= 10^{–10}$ an den Coderaten nichts ändert.

'''(3)'''  Für den logarithmierten AWGN–Parameter $10 · \lg {E_{\rm B}/N_0} = 3 \ {\rm dB}$ ergibt sich die vorne angegebene Hilfsgröße $x = 1.6 + 3 = 4.6.$ Damit erhält man:

:$$R_{\rm max} = C (x = 4.6)= 1 - {\rm exp}(- 0.4 \cdot 4.6) \hspace{0.15cm} \underline{= 0.84} \hspace{0.05cm}.$$

'''(4)'''  Entsprechend der vorgegebenen Gleichung gilt nun:
:$$1 - {\rm exp}(- 0.4 \cdot x) = 0.5 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} x = \frac{-{\rm ln}(0.5)}{-0.4} = 1.73$$

:$$\hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 = 1.73 - 1.6 = 0.13 \,{\rm dB}\hspace{0.05cm}.$$

$10 · \lg {E_{\rm B}/N_0}$ könnte demnach um $3 \ \rm dB - 0.13 \ dB = 2.87 \ dB$ herabgesetzt werden, also um den Faktor

:$$A = 10^{0.287}\hspace{0.15cm} \underline{= 1.94} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.7 Informationstheoretische Grenzen der Kanalcodierung^]]

Aufgaben:Exercise 1.16Z: Bounds for the Gaussian Error Function

2017-12-21T10:22:16Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2415__KC_A_1_15.png|right|farme|Q(x) und verwandte Funktionen]]

Die Wahrscheinlichkeit, dass eine Gaußsche Zufallsgröße $n$ mit Streuung $\sigma$ → Varianz $\sigma^2$ betragsmäßig größer ist als ein Wert $A$, ist gleich

:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$

Hierbei verwendet ist eine der wichtigsten Funktionen für die Nachrichtentechnik (in der Grafik rot eingezeichnet): [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|die Komplementäre Gaußsche Fehlerfunktion]]

:$$\rm Q (\it x) = \frac{\rm 1}{\sqrt{\rm 2\pi}}\int\limits_{\it x}^{+\infty}\rm e^{\it -u^{\rm 2}/\rm 2}\,d \it u \hspace{0.05cm}.$$

${\rm Q}(x)$ ist eine monoton fallende Funktion mit ${\rm Q}(0) = 0.5$. Für große Werte von $x$ tendiert ${\rm Q}(x)$ gegen Null.

Das Integral der ${\rm Q}$–Funktion ist analytisch nicht lösbar und wird meist in Tabellenform angegeben. Aus der Literatur bekannt sind aber handhabbare Näherungslösungen bzw. Schranken für positive $x$–Werte:

*die obere Schranke (obere blaue Kurve in nebenstehender Grafik, nur gültig für $x > 0$):

:$$ \rm Q_o(\it x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die untere Schranke (untere blaue Kurve in der Grafik, nur gültig für $x > 1$):

:$$ \rm Q_u(\it x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die Chernoff–Rubin–Schranke (grüne Kurve in der Grafik, gezeichnet für $K = 1$):

:$$\rm Q_{CR}(\it x)=K \cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm}.$$

In der Aufgabe ist zu untersuchen, in wie weit diese Schranken als Näherungen für ${\rm Q}(x)$ herangezogen werden können und welche Verfälschungen sich dadurch ergeben.

''Hinweise:''
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]] dieses Buches sowie auf das Kapitel [[Kanalcodierung/Distanzeigenschaften_und_Fehlerwahrscheinlichkeitsschranken|Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken]] im Buch „Stochastische Signaltheorie”.
* Die Aufgabe bietet auch einige wichtige Hinweise zur Lösung der [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]], in der die Funktion ${\rm Q}_{\rm CR}(x)$ zur Herleitung der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke]] für den AWGN–Kanal benötigt wird.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf das folgende Interaktionsmodul:
# [[Komplementäre Gaußsche Fehlerfunktion]]

===Fragebogen===

<quiz display=simple>

{Welche Werte liefern die obere und die untere Schranke für $x = 4$?
|type="{}"}
${\rm Q}_{o}(x = 4) \ = \ $ { 3.346 3% }$\ \cdot 10^{-5} $
${\rm Q}_{u}(x = 4) \ = \ $ { 3.137 3% }$\ \cdot 10^{-5} $

{Welche Aussagen gelten für die Funktionen ${\rm Q}_{o}(x = 4)$ und ${\rm Q}_{u}(x = 4)$?
|type="[]"}
+ Für $x ≥ 2$ sind die beiden Schranken brauchbar.
+ Für $x < 1$ ist ${\rm Q}_{u}(x)$ unbrauchbar (wegen ${\rm Q}_{u}(x) < 0$).
- Für $x < 1$ ist ${\rm Q}_{o}(x)$ unbrauchbar (wegen ${\rm Q}_{o}(x) > 1$).

{Um welchen Faktor liegt die Chernoff–Rubin–Schranke oberhalb von ${\rm Q}_{o}(x)$?
|type="{}"}
${\rm Q}_{\rm CR}(x)/{\rm Q}_{o}(x) \text{:} \hspace{0.2cm} x =2 \ = \ $ { 5 3% }
$x =4 \ = \ $ { 10 3% }
$x =6 \ = \ $ { 15 3% }

{Bestimmen Sie $K$ derart, dass $K \cdot {\rm Q}_{\rm CR}(x)$ möglichst nahe bei ${\rm Q}(x)$ liegt und gleichzeitig im gesamten Bereich ${\rm Q}(x) ≤ K · {\rm Q}_{\rm CR}(x)$ eingehalten wird.
|type="{}"}
$K \ = \ $ { 0.5 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die obere Schranke lautet:

:$${\rm Q_o}(x)=\frac{1}{\sqrt{\rm 2\pi}\cdot x}\cdot {\rm e}^{-x^{\rm 2}/\rm 2} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_o}(4 )=\frac{1}{\sqrt{\rm 2\pi}\cdot 4}\cdot {\rm e}^{-8 }\hspace{0.15cm}\underline{\approx 3.346 \cdot 10^{-5}}\hspace{0.05cm}.$$

Die untere Schranke kann wie folgt umgewandelt werden:

:$${\rm Q_u}( x)=(1-1/x^2) \cdot {\rm Q_o}(x) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_u}(4 ) \hspace{0.15cm}\underline{\approx 3.137 \cdot 10^{-5}} \hspace{0.05cm}.$$

Die relativen Abweichungen gegenüber dem „echten” Wert ${\rm Q}(4) = 3.167 · 10^{–5}$ sind $+5%$ bzw. $–1%.$

'''(2)'''  Richtig sind Antwort 1 und 2. Für $x = 2$ wird der tatsächliche Funktionswert ${\rm Q}(x) = 2.275 · 10^{–2}$ begrenzt durch ${\rm Q}_{o}(x) = 2.7 · 10^{–2}$ bzw. ${\rm Q}_{u}(x) = 2.025 · 10^{–2}$. Die relativen Abweichungen betragen $18.7%$ bzw. $–11%.$ Die letzte Aussage ist falsch. Erst für $x < 0.37$ gilt ${\rm Q}_{o}(x) > 1.$

'''(3)'''  Für den Quotienten aus ${\rm Q}_{\rm CR}(x)$ und ${\rm Q}_{o}(x)$ gilt nach den vorgegebenen Gleichungen:

:$$q(x) = \frac{{\rm Q_{CR}}(x)}{{\rm Q_{o}}(x)} = \frac{{\rm exp}(-x^2/2)}{{\rm exp}(-x^2/2)/({\sqrt{2\pi} \cdot x})} = {\sqrt{2\pi} \cdot x}$$

:$$\Rightarrow \hspace{0.3cm} q(x) \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} q(x =2) = 5\hspace{0.05cm}, \hspace{0.2cm}q(x =4) = 10\hspace{0.05cm}, \hspace{0.2cm}q(x =6) = 15\hspace{0.05cm}.$$

Je größer der Abszissenwert x, um so ungenauer wird ${\rm Q}(x)$ durch ${\rm Q}_{\rm CR}(x)$ angenähert. Bei Betrachtung der Grafik auf der Angabenseite hat man (hatte ich) den Eindruck, dass ${\rm Q}_{\rm CR}(x)$ sich aus ${\rm Q}(x)$ durch Verschieben nach unten bzw. Verschieben nach oben ergibt. Das ist aber nur eine optische Täuschung und entspricht nicht dem Sachverhalt.

'''(4)'''  Mit K = 0.5 stimmt die neue Schranke $0.5 · {\rm Q}_{\rm CR}(x)$ für $x = 0$ exakt mit ${\rm Q}(x=0) = 0.500$ überein. Für größere Abszissenwerte wird damit auch die Verfälschung $q = 1.25 · x$ nur halb so groß.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit
^]]

Aufgaben:Exercise 1.16Z: Bounds for the Gaussian Error Function

2017-12-21T10:20:48Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2415__KC_A_1_15.png|right|farme|Q(x) und verwandte Funktionen]]

Die Wahrscheinlichkeit, dass eine Gaußsche Zufallsgröße $n$ mit Streuung $\sigma$ → Varianz $\sigma^2$ betragsmäßig größer ist als ein Wert $A$, ist gleich

:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$

Hierbei verwendet ist eine der wichtigsten Funktionen für die Nachrichtentechnik (in der Grafik rot eingezeichnet): [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|die Komplementäre Gaußsche Fehlerfunktion]]

:$$\rm Q (\it x) = \frac{\rm 1}{\sqrt{\rm 2\pi}}\int\limits_{\it x}^{+\infty}\rm e^{\it -u^{\rm 2}/\rm 2}\,d \it u \hspace{0.05cm}.$$

${\rm Q}(x)$ ist eine monoton fallende Funktion mit ${\rm Q}(0) = 0.5$. Für große Werte von $x$ tendiert ${\rm Q}(x)$ gegen Null.

Das Integral der ${\rm Q}$–Funktion ist analytisch nicht lösbar und wird meist in Tabellenform angegeben. Aus der Literatur bekannt sind aber handhabbare Näherungslösungen bzw. Schranken für positive $x$–Werte:

*die obere Schranke (obere blaue Kurve in nebenstehender Grafik, nur gültig für $x > 0$):

:$$ \rm Q_o(\it x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die untere Schranke (untere blaue Kurve in der Grafik, nur gültig für $x > 1$):

:$$ \rm Q_u(\it x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die Chernoff–Rubin–Schranke (grüne Kurve in der Grafik, gezeichnet für $K = 1$):

:$$\rm Q_{CR}(\it x)=K \cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm}.$$

In der Aufgabe ist zu untersuchen, in wie weit diese Schranken als Näherungen für ${\rm Q}(x)$ herangezogen werden können und welche Verfälschungen sich dadurch ergeben.

''Hinweise:''
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]] dieses Buches sowie auf das Kapitel [[Kanalcodierung/Distanzeigenschaften_und_Fehlerwahrscheinlichkeitsschranken|Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken]] im Buch „Stochastische Signaltheorie”.
* Die Aufgabe bietet auch einige wichtige Hinweise zur Lösung der [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]], in der die Funktion ${\rm Q}_{\rm CR}(x)$ zur Herleitung der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke]] für den AWGN–Kanal benötigt wird.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf das folgende Interaktionsmodul:
# [[Komplementäre Gaußsche Fehlerfunktion]]

===Fragebogen===

<quiz display=simple>

{Welche Werte liefern die obere und die untere Schranke für $x = 4$?
|type="{}"}
${\rm Q}_{o}(x = 4) \ = \ $ { 3.346 3% }$\ \cdot 10^{-5} $
${\rm Q}_{u}(x = 4) \ = \ $ { 3.137 3% }$\ \cdot 10^{-5} $

{Welche Aussagen gelten für die Funktionen ${\rm Q}_{o}(x = 4)$ und ${\rm Q}_{u}(x = 4)$?
|type="[]"}
+ Für $x ≥ 2$ sind die beiden Schranken brauchbar.
+ Für $x < 1$ ist ${\rm Q}_{u}(x)$ unbrauchbar (wegen ${\rm Q}_{u}(x) < 0$).
- Für $x < 1$ ist ${\rm Q}_{o}(x)$ unbrauchbar (wegen ${\rm Q}_{o}(x) > 1$).

{Um welchen Faktor liegt die Chernoff–Rubin–Schranke oberhalb von ${\rm Q}_{o}(x)$?
|type="{}"}
${\rm Q}_{\rm CR}(x)/{\rm Q}_{o}(x) \text{:} \hspace{0.2cm} x =2 \ = \ $ { 5 3% }
$x =4 \ = \ $ { 10 3% }
$x =6 \ = \ $ { 15 3% }

{Bestimmen Sie $K$ derart, dass $K \cdot {\rm Q}_{\rm CR}(x)$ möglichst nahe bei ${\rm Q}(x)$ liegt und gleichzeitig im gesamten Bereich ${\rm Q}(x) ≤ K · {\rm Q}_{\rm CR}(x)$ eingehalten wird.
|type="{}"}
$K \ = \ $ { 0.5 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die obere Schranke lautet:

:$${\rm Q_o}(x)=\frac{1}{\sqrt{\rm 2\pi}\cdot x}\cdot {\rm e}^{-x^{\rm 2}/\rm 2} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_o}(4 )=\frac{1}{\sqrt{\rm 2\pi}\cdot 4}\cdot {\rm e}^{-8 }\hspace{0.15cm}\underline{\approx 3.346 \cdot 10^{-5}}\hspace{0.05cm}.$$

Die untere Schranke kann wie folgt umgewandelt werden:

:$${\rm Q_u}( x)=(1-1/x^2) \cdot {\rm Q_o}(x) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_u}(4 ) \hspace{0.15cm}\underline{\approx 3.137 \cdot 10^{-5}} \hspace{0.05cm}.$$

Die relativen Abweichungen gegenüber dem „echten” Wert ${\rm Q}(4) = 3.167 · 10^{–5}$ sind $+5%$ bzw. $–1%.$

'''(2)'''  Richtig sind Antwort 1 und 2. Für $x = 2$ wird der tatsächliche Funktionswert ${\rm Q}(x) = 2.275 · 10^{–2}$ begrenzt durch ${\rm Q}_{o}(x) = 2.7 · 10^{–2}$ bzw. ${\rm Q}_{u}(x) = 2.025 · 10^{–2}$. Die relativen Abweichungen betragen $18.7%$ bzw. $–11%.$ Die letzte Aussage ist falsch. Erst für $x < 0.37$ gilt ${\rm Q}_{o}(x) > 1.$

'''(3)'''  Für den Quotienten aus ${\rm Q}_{\rm CR}(x)$ und ${\rm Q}_{o}(x)$ gilt nach den vorgegebenen Gleichungen:

:$$q(x) = \frac{{\rm Q_{CR}}(x)}{{\rm Q_{o}}(x)} = \frac{{\rm exp}(-x^2/2)}{{\rm exp}(-x^2/2)/({\sqrt{2\pi} \cdot x})} = {\sqrt{2\pi} \cdot x}$$

:$$\Rightarrow \hspace{0.3cm} q(x) \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} q(x =2) = 5\hspace{0.05cm}, \hspace{0.2cm}q(x =4) = 10\hspace{0.05cm}, \hspace{0.2cm}q(x =6) = 15\hspace{0.05cm}.$$

Je größer der Abszissenwert x, um so ungenauer wird ${\rm Q}(x)$ durch ${\rm Q}_{\rm CR}(x)$ angenähert. Bei Betrachtung der Grafik auf der Angabenseite hat man (hatte ich) den Eindruck, dass ${\rm Q}_{\rm CR}(x)$ sich aus ${\rm Q}(x)$ durch Verschieben nach unten bzw. Verschieben nach oben ergibt. Das ist aber nur eine optische Täuschung und entspricht nicht dem Sachverhalt.

'''(4)'''  Mit K = 0.5 stimmt die neue Schranke $0.5 · {\rm Q}_{\rm CR}(x)$ für $x = 0$ exakt mit ${\rm Q}(x=0) = 0.500$ überein. Für größere Abszissenwerte wird damit auch die Verfälschung $q = 1.25 · x$ nur halb so groß.

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16Z: Bounds for the Gaussian Error Function

2017-12-21T10:18:30Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2415__KC_A_1_15.png|right|farme|Q(x) und verwandte Funktionen]]

Die Wahrscheinlichkeit, dass eine Gaußsche Zufallsgröße $n$ mit Streuung $\sigma$ → Varianz $\sigma^2$ betragsmäßig größer ist als ein Wert $A$, ist gleich

:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$

Hierbei verwendet ist eine der wichtigsten Funktionen für die Nachrichtentechnik (in der Grafik rot eingezeichnet): [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|die Komplementäre Gaußsche Fehlerfunktion]]

:$$\rm Q (\it x) = \frac{\rm 1}{\sqrt{\rm 2\pi}}\int\limits_{\it x}^{+\infty}\rm e^{\it -u^{\rm 2}/\rm 2}\,d \it u \hspace{0.05cm}.$$

${\rm Q}(x)$ ist eine monoton fallende Funktion mit ${\rm Q}(0) = 0.5$. Für große Werte von $x$ tendiert ${\rm Q}(x)$ gegen Null.

Das Integral der ${\rm Q}$–Funktion ist analytisch nicht lösbar und wird meist in Tabellenform angegeben. Aus der Literatur bekannt sind aber handhabbare Näherungslösungen bzw. Schranken für positive $x$–Werte:

*die obere Schranke (obere blaue Kurve in nebenstehender Grafik, nur gültig für $x > 0$):

:$$ \rm Q_o(\it x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die untere Schranke (untere blaue Kurve in der Grafik, nur gültig für $x > 1$):

:$$ \rm Q_u(\it x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die Chernoff–Rubin–Schranke (grüne Kurve in der Grafik, gezeichnet für $K = 1$):

:$$\rm Q_{CR}(\it x)=K \cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm}.$$

In der Aufgabe ist zu untersuchen, in wie weit diese Schranken als Näherungen für ${\rm Q}(x)$ herangezogen werden können und welche Verfälschungen sich dadurch ergeben.

''Hinweise:''
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]] dieses Buches sowie auf das Kapitel [[Kanalcodierung/Distanzeigenschaften_und_Fehlerwahrscheinlichkeitsschranken|Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken]] im Buch „Stochastische Signaltheorie”.
* Die Aufgabe bietet auch einige wichtige Hinweise zur Lösung der [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]], in der die Funktion ${\rm Q}_{\rm CR}(x)$ zur Herleitung der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke]] für den AWGN–Kanal benötigt wird.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf das folgende Interaktionsmodul:
# [[Komplementäre Gaußsche Fehlerfunktion]]

===Fragebogen===

<quiz display=simple>

{Welche Werte liefern die obere und die untere Schranke für $x = 4$?
|type="{}"}
${\rm Q}_{o}(x = 4) \ = \ $ { 3.346 3% }$\ \cdot 10^{-5} $
${\rm Q}_{u}(x = 4) \ = \ $ { 3.137 3% }$\ \cdot 10^{-5} $

{Welche Aussagen gelten für die Funktionen ${\rm Q}_{o}(x = 4)$ und ${\rm Q}_{u}(x = 4)$?
|type="[]"}
+ Für $x ≥ 2$ sind die beiden Schranken brauchbar.
+ Für $x < 1$ ist ${\rm Q}_{u}(x)$ unbrauchbar (wegen ${\rm Q}_{u}(x) < 0$).
- Für $x < 1$ ist ${\rm Q}_{o}(x)$ unbrauchbar (wegen ${\rm Q}_{o}(x) > 1$).

{Um welchen Faktor liegt die Chernoff–Rubin–Schranke oberhalb von ${\rm Q}_{o}(x)$?
|type="{}"}
${\rm Q}_{\rm CR}(x)/{\rm Q}_{o}(x) \text{:} \hspace{:} x =2 \ = \ $ { 5 3% }
$x =4 \ = \ $ { 10 3% }
$x =6 \ = \ $ { 15 3% }

{Bestimmen Sie $K$ derart, dass $K \cdot {\rm Q}_{\rm CR}(x)$ möglichst nahe bei ${\rm Q}(x)$ liegt und gleichzeitig im gesamten Bereich ${\rm Q}(x) ≤ K · {\rm Q}_{\rm CR}(x)$ eingehalten wird.
|type="{}"}
$K \ = \ $ { 0.5 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die obere Schranke lautet:

:$${\rm Q_o}(x)=\frac{1}{\sqrt{\rm 2\pi}\cdot x}\cdot {\rm e}^{-x^{\rm 2}/\rm 2} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_o}(4 )=\frac{1}{\sqrt{\rm 2\pi}\cdot 4}\cdot {\rm e}^{-8 }\hspace{0.15cm}\underline{\approx 3.346 \cdot 10^{-5}}\hspace{0.05cm}.$$

Die untere Schranke kann wie folgt umgewandelt werden:

:$${\rm Q_u}( x)=(1-1/x^2) \cdot {\rm Q_o}(x) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_u}(4 ) \hspace{0.15cm}\underline{\approx 3.137 \cdot 10^{-5}} \hspace{0.05cm}.$$

Die relativen Abweichungen gegenüber dem „echten” Wert ${\rm Q}(4) = 3.167 · 10^{–5}$ sind $+5%$ bzw. $–1%.$

'''(2)'''  Richtig sind Antwort 1 und 2. Für $x = 2$ wird der tatsächliche Funktionswert ${\rm Q}(x) = 2.275 · 10^{–2}$ begrenzt durch ${\rm Q}_{o}(x) = 2.7 · 10^{–2}$ bzw. ${\rm Q}_{u}(x) = 2.025 · 10^{–2}$. Die relativen Abweichungen betragen $18.7%$ bzw. $–11%.$ Die letzte Aussage ist falsch. Erst für $x < 0.37$ gilt ${\rm Q}_{o}(x) > 1.$

'''(3)'''  Für den Quotienten aus ${\rm Q}_{\rm CR}(x)$ und ${\rm Q}_{o}(x)$ gilt nach den vorgegebenen Gleichungen:

:$$q(x) = \frac{{\rm Q_{CR}}(x)}{{\rm Q_{o}}(x)} = \frac{{\rm exp}(-x^2/2)}{{\rm exp}(-x^2/2)/({\sqrt{2\pi} \cdot x})} = {\sqrt{2\pi} \cdot x}$$

:$$\Rightarrow \hspace{0.3cm} q(x) \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} q(x =2) = 5\hspace{0.05cm}, \hspace{0.2cm}q(x =4) = 10\hspace{0.05cm}, \hspace{0.2cm}q(x =6) = 15\hspace{0.05cm}.$$

Je größer der Abszissenwert x, um so ungenauer wird ${\rm Q}(x)$ durch ${\rm Q}_{\rm CR}(x)$ angenähert. Bei Betrachtung der Grafik auf der Angabenseite hat man (hatte ich) den Eindruck, dass ${\rm Q}_{\rm CR}(x)$ sich aus ${\rm Q}(x)$ durch Verschieben nach unten bzw. Verschieben nach oben ergibt. Das ist aber nur eine optische Täuschung und entspricht nicht dem Sachverhalt.

'''(4)'''  Mit K = 0.5 stimmt die neue Schranke $0.5 · {\rm Q}_{\rm CR}(x)$ für $x = 0$ exakt mit ${\rm Q}(x=0) = 0.500$ überein. Für größere Abszissenwerte wird damit auch die Verfälschung $q = 1.25 · x$ nur halb so groß.

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16Z: Bounds for the Gaussian Error Function

2017-12-21T10:15:11Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2415__KC_A_1_15.png|right|farme|Q(x) und verwandte Funktionen]]

Die Wahrscheinlichkeit, dass eine Gaußsche Zufallsgröße $n$ mit Streuung $\sigma$ → Varianz $\sigma^2$ betragsmäßig größer ist als ein Wert $A$, ist gleich

:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$

Hierbei verwendet ist eine der wichtigsten Funktionen für die Nachrichtentechnik (in der Grafik rot eingezeichnet): [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|die Komplementäre Gaußsche Fehlerfunktion]]

:$$\rm Q (\it x) = \frac{\rm 1}{\sqrt{\rm 2\pi}}\int\limits_{\it x}^{+\infty}\rm e^{\it -u^{\rm 2}/\rm 2}\,d \it u \hspace{0.05cm}.$$

${\rm Q}(x)$ ist eine monoton fallende Funktion mit ${\rm Q}(0) = 0.5$. Für große Werte von $x$ tendiert ${\rm Q}(x)$ gegen Null.

Das Integral der ${\rm Q}$–Funktion ist analytisch nicht lösbar und wird meist in Tabellenform angegeben. Aus der Literatur bekannt sind aber handhabbare Näherungslösungen bzw. Schranken für positive $x$–Werte:

*die obere Schranke (obere blaue Kurve in nebenstehender Grafik, nur gültig für $x > 0$):

:$$ \rm Q_o(\it x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die untere Schranke (untere blaue Kurve in der Grafik, nur gültig für $x > 1$):

:$$ \rm Q_u(\it x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$

*die Chernoff–Rubin–Schranke (grüne Kurve in der Grafik, gezeichnet für $K = 1$):

:$$\rm Q_{CR}(\it x)=K \cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm}.$$

In der Aufgabe ist zu untersuchen, in wie weit diese Schranken als Näherungen für ${\rm Q}(x)$ herangezogen werden können und welche Verfälschungen sich dadurch ergeben.

''Hinweise:''
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]] dieses Buches sowie auf das Kapitel [[Kanalcodierung/Distanzeigenschaften_und_Fehlerwahrscheinlichkeitsschranken|Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken]] im Buch „Stochastische Signaltheorie”.
* Die Aufgabe bietet auch einige wichtige Hinweise zur Lösung der [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]], in der die Funktion ${\rm Q}_{\rm CR}(x)$ zur Herleitung der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke]] für den AWGN–Kanal benötigt wird.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf das folgende Interaktionsmodul:
# [[Komplementäre Gaußsche Fehlerfunktion]]

===Fragebogen===

<quiz display=simple>

{Welche Werte liefern die obere und die untere Schranke für $x = 4$?
|type="{}"}
$\ {\rm Q}_{o}(x = 4)$ = { 3.346 3% }$\ \cdot 10^{-5} $
$\ {\rm Q}_{u}(x = 4)$ = { 3.137 3% }$\ \cdot 10^{-5} $

{Welche Aussagen gelten für die Funktionen ${\rm Q}_{o}(x = 4)$ und ${\rm Q}_{u}(x = 4)$?
|type="[]"}
+ Für $x ≥ 2$ sind die beiden Schranken brauchbar.
+ Für $x < 1$ ist ${\rm Q}_{u}(x)$ unbrauchbar (wegen ${\rm Q}_{u}(x) < 0$).
- Für $x < 1$ ist ${\rm Q}_{o}(x)$ unbrauchbar (wegen ${\rm Q}_{o}(x) > 1$).

{1
Um welchen Faktor liegt die Chernoff–Rubin–Schranke oberhalb von ${\rm Q}_{o}(x)$?
|type="{}"}
$\ {\rm Q}_{\rm CR}(x)/{\rm Q}_{o}(x) \ : \ \ \ x =2$ = { 5 3% }
$\ x =4$ = { 10 3% }
$\ x =6$ = { 15 3% }

{Bestimmen Sie $K$ derart, dass $K \ \cdot \ {\rm Q}_{\rm CR}(x)$ möglichst nahe bei ${\rm Q}(x)$ liegt und gleichzeitig im gesamten Bereich ${\rm Q}(x) \ ≤ \ K · \ {\rm Q}_{\rm CR}(x)$ eingehalten wird.
|type="{}"}
$\ K$ = { 0.5 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die obere Schranke lautet:

:$${\rm Q_o}(x)=\frac{1}{\sqrt{\rm 2\pi}\cdot x}\cdot {\rm e}^{-x^{\rm 2}/\rm 2} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_o}(4 )=\frac{1}{\sqrt{\rm 2\pi}\cdot 4}\cdot {\rm e}^{-8 }\hspace{0.15cm}\underline{\approx 3.346 \cdot 10^{-5}}\hspace{0.05cm}.$$

Die untere Schranke kann wie folgt umgewandelt werden:

:$${\rm Q_u}( x)=(1-1/x^2) \cdot {\rm Q_o}(x) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Q_u}(4 ) \hspace{0.15cm}\underline{\approx 3.137 \cdot 10^{-5}} \hspace{0.05cm}.$$

Die relativen Abweichungen gegenüber dem „echten” Wert ${\rm Q}(4) = 3.167 · 10^{–5}$ sind $+5%$ bzw. $–1%.$

'''(2)'''  Richtig sind Antwort 1 und 2. Für $x = 2$ wird der tatsächliche Funktionswert ${\rm Q}(x) = 2.275 · 10^{–2}$ begrenzt durch ${\rm Q}_{o}(x) = 2.7 · 10^{–2}$ bzw. ${\rm Q}_{u}(x) = 2.025 · 10^{–2}$. Die relativen Abweichungen betragen $18.7%$ bzw. $–11%.$ Die letzte Aussage ist falsch. Erst für $x < 0.37$ gilt ${\rm Q}_{o}(x) > 1.$

'''(3)'''  Für den Quotienten aus ${\rm Q}_{\rm CR}(x)$ und ${\rm Q}_{o}(x)$ gilt nach den vorgegebenen Gleichungen:

:$$q(x) = \frac{{\rm Q_{CR}}(x)}{{\rm Q_{o}}(x)} = \frac{{\rm exp}(-x^2/2)}{{\rm exp}(-x^2/2)/({\sqrt{2\pi} \cdot x})} = {\sqrt{2\pi} \cdot x}$$

:$$\Rightarrow \hspace{0.3cm} q(x) \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} q(x =2) = 5\hspace{0.05cm}, \hspace{0.2cm}q(x =4) = 10\hspace{0.05cm}, \hspace{0.2cm}q(x =6) = 15\hspace{0.05cm}.$$

Je größer der Abszissenwert x, um so ungenauer wird ${\rm Q}(x)$ durch ${\rm Q}_{\rm CR}(x)$ angenähert. Bei Betrachtung der Grafik auf der Angabenseite hat man (hatte ich) den Eindruck, dass ${\rm Q}_{\rm CR}(x)$ sich aus ${\rm Q}(x)$ durch Verschieben nach unten bzw. Verschieben nach oben ergibt. Das ist aber nur eine optische Täuschung und entspricht nicht dem Sachverhalt.

'''(4)'''  Mit K = 0.5 stimmt die neue Schranke $0.5 · {\rm Q}_{\rm CR}(x)$ für $x = 0$ exakt mit ${\rm Q}(x=0) = 0.500$ überein. Für größere Abszissenwerte wird damit auch die Verfälschung $q = 1.25 · x$ nur halb so groß.

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:11:54Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:
:$$p_1 = W_4 \cdot {\rm Q}\left ( 2 \right ) + W_8 \cdot {\rm Q}\left ( 2 \cdot \sqrt{2} \right )
= 14 \cdot 2.28 \cdot 10^{-2}+ 1 \cdot 0.23 \cdot 10^{-2} \hspace{0.15cm}\underline{\approx 0.3215}\hspace{0.05cm},$$

bzw. für $\boldsymbol{\sigma = 0.5}$:
:$$p_1 = 14 \cdot {\rm Q}\left ( 4 \right ) + {\rm Q}\left ( 4 \cdot \sqrt{2} \right )
= 14 \cdot 3.17 \cdot 10^{-5}+ 1.1 \cdot 10^{-8} \hspace{0.15cm}\underline{\approx 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt ${\rm Q}(x) ≤ {\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der ${\rm Q}$–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:09:52Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:
:$$p_1 = W_4 \cdot {\rm Q}\left ( 2 \right ) + W_8 \cdot {\rm Q}\left ( 2 \cdot \sqrt{2} \right )
= 14 \cdot 2.28 \cdot 10^{-2}+ 1 \cdot 0.23 \cdot 10^{-2} \hspace{0.15cm}\underline{\approx 0.3215}\hspace{0.05cm},$$

bzw. für $\boldsymbol{\sigma = 0.5}$:
:$$p_1 = 14 \cdot {\rm Q}\left ( 4 \right ) + {\rm Q}\left ( 4 \cdot \sqrt{2} \right )
= 14 \cdot 3.17 \cdot 10^{-5}+ 1.1 \cdot 10^{-8} \hspace{0.15cm}\underline{\approx 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt ${\rm Q}(x) ≤ {\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der {\rm Q}–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:09:34Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:
:$$p_1 = W_4 \cdot {\rm Q}\left ( 2 \right ) + W_8 \cdot {\rm Q}\left ( 2 \cdot \sqrt{2} \right )
= 14 \cdot 2.28 \cdot 10^{-2}+ 1 \cdot 0.23 \cdot 10^{-2} \hspace{0.15cm}\underline{\approx 0.3215}\hspace{0.05cm},$$

bzw. für $\boldsymbol{\sigma = 0.5}$:
:$$p_1 = 14 \cdot {\rm Q}\left ( 4 \right ) + {\rm Q}\left ( 4 \cdot \sqrt{2} \right )
= 14 \cdot 3.17 \cdot 10^{-5}+ 1.1 \cdot 10^{-8} \hspace{0.15cm}\underline{\approx 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt $\rm Q}(x) ≤ {\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der {\rm Q}–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:09:10Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:
:$$p_1 = W_4 \cdot {\rm Q}\left ( 2 \right ) + W_8 \cdot {\rm Q}\left ( 2 \cdot \sqrt{2} \right )
= 14 \cdot 2.28 \cdot 10^{-2}+ 1 \cdot 0.23 \cdot 10^{-2} \hspace{0.15cm}\underline{\approx 0.3215}\hspace{0.05cm},$$

bzw. für $\boldsymbol{\sigma = 0.5}$:
:$$p_1 = 14 \cdot {\rm Q}\left ( 4 \right ) + {\rm Q}\left ( 4 \cdot \sqrt{2} \right )
= 14 \cdot 3.17 \cdot 10^{-5}+ 1.1 \cdot 10^{-8} \hspace{0.15cm}\underline{\approx 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt $\rm Q}(x) ≤ ${\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der {\rm Q}–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:08:44Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:
:$$p_1 = W_4 \cdot {\rm Q}\left ( 2 \right ) + W_8 \cdot {\rm Q}\left ( 2 \cdot \sqrt{2} \right )
= 14 \cdot 2.28 \cdot 10^{-2}+ 1 \cdot 0.23 \cdot 10^{-2} \hspace{0.15cm}\underline{\approx 0.3215}\hspace{0.05cm},$

bzw. für $\boldsymbol{\sigma = 0.5}$:
:$$p_1 = 14 \cdot {\rm Q}\left ( 4 \right ) + {\rm Q}\left ( 4 \cdot \sqrt{2} \right )
= 14 \cdot 3.17 \cdot 10^{-5}+ 1.1 \cdot 10^{-8} \hspace{0.15cm}\underline{\approx 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt $\rm Q}(x) ≤ ${\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der {\rm Q}–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:07:11Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum $\{W_i\}$ ist definiert für $i = 0, \ ... \ , \ n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des $(8, 4, 4)$–Codes wurde mit $W_{0} = 1 , \ W_{4} = 14, \ W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim $(7, 4, 3)$–Hamming–Code  ⇒  $W_{3} = W_{4} = 7, \ W_{7} = 1$ und der Streuung $\sigma = 1$:

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den $(8, 4, 4)$–Code zeigt:

*Es gilt $\rm Q}(x) ≤ ${\rm QCR}(x) = \exp{(-x^2/2)}$. Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des $(8, 4, 4)$–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\sigma = 1$ lautet der Bhattacharyya–Parameter $\beta = \exp{(–0.5)} = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\sigma = 0.5$ ergibt sich dagegen $\beta = \exp{(–2)} \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe (2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der {\rm Q}–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T10:01:35Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt $\{W_i\}$ die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:59:40Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:59:03Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ {0.3192 3% }
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{3} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:58:22Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ {0.3192 3% }
$(8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:57:55Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ {0.3192 3% }
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:56:39Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{2} \ = \ $ {0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ ${ 0.444 3% }$\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-21T09:55:46Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{:} p_{2} \ = \ $ {0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ ${ 0.444 3% }$\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-20T22:42:06Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = \sum_{l=2}^{2^k} W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = \sum_{i=1}^{n} $W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den $(8, 4, 4)$–Code und $\sigma = 1, \ \sigma = 0.5$ an.
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.3215 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{1} \ = \ $ { 0.444 3% } $\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$(8, 4, 4)–{\rm Code}, \ \sigma = 1 \text{:} \hspace{:} p_{2} \ = \ $ {0.3192 3% }
$\sigma = 0.5 \text{:} \hspace{0.2cm} p_{2} \ = \ ${ 0.444 3% }$\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.16: Block Error Probability Bounds for AWGN

2017-12-20T22:36:42Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2414__KC_A_1_15.png|right|frame|Funktion ${\rm Q}(x)$ und Näherungen ]]

Wir gehen von der folgenden Konstellation aus:
*ein linearer Blockcode mit der Coderate $R = k/n$ und dem Distanzspektrum $\{W_i\}, \ i = 1, \ ... \ , n$,
*ein AWGN–Kanal, gekennzeichnet durch „$E_{\rm B}/N_{0}$”  ⇒  umrechenbar in die Rauschleistung $\sigma^2$,
*ein Empfänger, basierend auf ''Soft Decision'' sowie dem ''Maximum–Likelihood–Kriterium''.

Unter der für die gesamte Aufgabe gültigen Annahme, dass stets das Nullwort $\underline{x}_{1} = (0, 0, ... , 0)$ gesendet wird, gilt für die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|„paarweise Fehlerwahrscheinlichkeit”]] mit einem anderen Codewort $\underline{x}_{l} (l = 2, ... , 2^k):$

:$$ {\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = {\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm}.$$

Die Herleitung dieser Beziehung finden Sie in [Liv10]. In dieser Gleichung wurden verwendet:
*die komplementäre Gaußsche Fehlerfunktion ${\rm Q}(x)$,
*das [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $w_{\rm H}(\underline{x}_{l})$ des Codewortes $\underline{x}_{l}$,
*die AWGN–Rauschleistung $\sigma^2 = (2 · R · E_{\rm B}/N_{0})^{–1}.$

Damit lassen sich verschiedene Schranken für die Blockfehlerwahrscheinlichkeit angeben:

*die sogenannte [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$$p_1 = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Pr}[\hspace{0.05cm}\underline{x}_{\hspace{0.02cm}1} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}l}\hspace{0.05cm}] = \sum_{l = 2}^{2^k}\hspace{0.05cm}{\rm Q}\left ( \sqrt{w_{\rm H}(\underline{x}_{\hspace{0.02cm}l})/\sigma^2} \right ) \hspace{0.05cm},$$

*die so genannte [http://www.eit.lth.se/fileadmin/eit/courses/ett051/Laborationer/Lab2ManualHt12009.pdf Truncated Union Bound] (TUB):

:$$p_2 = W_{d_{\rm min}} \cdot {\rm Q}\left ( \sqrt{d_{\rm min}/\sigma^2} \right ) \hspace{0.05cm},$$

*die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke:]]

:$$p_3 = W(\beta) - 1\hspace{0.05cm},\hspace{0.2cm} {\rm mit}\hspace{0.15cm} \beta = {\rm exp}\left [ - 1/(2\sigma^2) \right ] \hspace{0.05cm}.$$

In diesem Fall ist das Distanzspektrum $\{W_i\}$ durch die Gewichtsfunktion zu ersetzen:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Beim Übergang von der ''Union Bound'' $p_{1}$ zur Schranke $p_{3}$ wird unter Anderem die Funktion ${\rm Q}(x)$ durch die ''Chernoff–Rubin–Schranke'' ${\rm Q}_{\rm CR}(x)$ ersetzt. Beide Funktionen sind in obigerer Grafik dargestellt (rote bzw. grüne Kurve).

In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird der Zusammenhang zwischen diesen Funktionen numerisch ausgewertet und Bezug genommen zu den Schranken ${\rm Q}_{o}(x)$ und ${\rm Q}_{u}(x)$, die in obiger Grafik ebenfalls eingezeichnet sind.

''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]]
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.
* Weiter verweisen wir auf folgendes Flash–Modul:
# Komplimentäre Gaußsche Fehlerfunktion (Dateigröße: 235 kB)

===Fragebogen===

<quiz display=simple>
{Welche Gleichung gilt für die ''Union Bound''?
|type="[]"}
- $p_{1} = {\rm Summe}$ (über $l = 2, ... , 2^k$) $W_{l} · {\rm Q}[(l/\sigma^2)^{0.5}],$
+ $p_{1} = {\rm Summe}$ (über $i = 1, ... , n$) $W_{i} · {\rm Q}[(i/\sigma^2)^{0.5}],$

{Geben Sie die Union Bound für den (8, 4, 4)–Code und $\sigma = 1$, $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{1} \ = \ ${ 0.3215 3% }
$\ \sigma = 0.5: \ \ \ p_{1} \ = \ ${ 0.444 3% }$\ \cdot 10^{-3} $

{Was liefert die ''Truncated Union Bound'' bei gleichen Randbedingungen?
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{2} \ = \ ${0.3192 3% }
$\ \sigma = 0.5: \ \ \ p_{2} \ = \ ${ 0.444 3% }$\ \cdot 10^{-3} $

{Welche Aussage gilt immer (für alle Konstellationen)?
|type="[]"}
+ Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{1}$.
- Die Blockfehlerwahrscheinlichkeit ist nie größer als $p_{2}$.

{Wie kommt man von $p_{1}$ zur Bhattacharyya–Schranke $p_{3}$? Dadurch, dass man
|type="[]"}
+ die Fehlerfunktion ${\rm Q}(x)$ durch die Funktion ${\rm Q}_{\rm CR}(x)$ ersetzt,
- den Bhattacharyya–Parameter $\beta = 1/\sigma$ setzt,
+ statt { $W_{i}$ } die Gewichtsfunktion $W(X)$ verwendet.

{Geben Sie die Bhattacharyya–Schranke für $\sigma = 1$ und $\sigma = 0.5$ an.
|type="{}"}
$\ (8, 4, 4)–Code, \sigma = 1: p_{3} \ = \ $ { 1.913 3% }
$\ \sigma = 0.5: \ \ \ p_{3} \ = \ ${ 0.47 3% }$\ \cdot 10^{-2} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig ist Antwort 2. Das Distanzspektrum { $W_{i}$ } ist definiert für $i = 0, ... , n$:

*$W_{1}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = 1$ auftritt.
*$W_{n}$ gibt an, wie oft das Hamming–Gewicht $w_{\rm H}(\underline{x}_{i}) = n$ auftritt.

Damit lautet die ''Union Bound'':

:$$p_1 = {\rm Pr(Union \hspace{0.15cm}Bound)}= \sum_{i = 1}^{n}\hspace{0.05cm}W_i \cdot {\rm Q}\left ( \sqrt{i/\sigma^2} \right ) \hspace{0.05cm}.$$

'''(2)'''  Das Distanzspektrum des (8, 4, 4)–Codes wurde mit $W_{0} = 1 , W_{4} = 14, W_{8} = 1$ angegeben. Somit erhält man für $\boldsymbol{\sigma = 1}$:

bzw. für $\boldsymbol{\sigma = 0.5}$:

'''(3)'''  Mit der Minimaldistanz $d_{\rm min} = 4$ erhält man:

:$$\sigma = 1.0: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} W_4 \cdot {\rm Q}\left ( 2 \right ) \hspace{0.15cm}\underline{= 0.3192}\hspace{0.05cm},$$
:$$\sigma = 0.5: \hspace{0.2cm} p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm}W_4 \cdot {\rm Q}\left ( 4 \right ) \approx p_1 \hspace{0.15cm}\underline{ = 0.444 \cdot 10^{-3}}\hspace{0.05cm}.$$

'''(4)'''  Richtig ist Antwort 1. Die ''Union Bound'' – hier mit $p_{1}$ bezeichnet – ist in jedem Fall eine obere Schranke für die Blockfehlerwahrscheinlichkeit. Für die Schranke $p_{2}$ (''Truncated Union Bound'') trifft das nicht immer zu. Beispielsweise erhält man beim (7, 4, 3)–Hamming–Code ⇒ $W_{3} = W_{4} = 7, W_{7} = 1$ und der Streuung $\sigma = 1:$

:$$p_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 7 \cdot {\rm Q}\left ( \sqrt{3} \right ) = 7 \cdot 4.18 \cdot 10^{-2} \approx 0.293\hspace{0.05cm},$$
:$$p_1 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} p_2 + 7 \cdot {\rm Q}\left ( \sqrt{4} \right )+ 1 \cdot {\rm Q}\left ( \sqrt{7} \right ) \approx 0.455 \hspace{0.05cm}.$$

Die tatsächliche Blockfehlerwahrscheinlichkeit wird wahrscheinlich zwischen $p_{2} = 0.293$ und $p_{1} = 0.455$ liegen (wurde nicht nachgeprüft). Das heißt: $p_{2}$ ist keine obere Schranke.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 3, wie die folgende Rechnung für den (8, 4, 4)–Code zeigt:

*Es gilt Q(x) ≤ QCR(x) = exp(– x2/2). Damit kann für die Union Bound

:$$p_1 = W_4 \cdot {\rm Q}\left ( \sqrt{4/\sigma^2} \right ) +W_8 \cdot {\rm Q}\left ( \sqrt{8/\sigma^2} \right )$$

eine weitere obere Schranke angegeben werden:

:$$p_1 \le W_4 \cdot {\rm exp}\left [ - {4}/(2 \sigma^2) \right ] +W_8 \cdot {\rm exp}\left [ - {8}/(2 \sigma^2) \right ] \hspace{0.05cm}.$$

*Mit $\beta = {\rm exp}[–1/(2\sigma^2)]$ kann hierfür auch geschrieben werden (das vorgegebene $\beta = 1/\sigma$ ist also falsch):

:$$p_1 \le W_4 \cdot \beta^4 + W_8 \cdot \beta^8 \hspace{0.05cm}.$$

*Die Gewichtsfunktion des (8, 4, 4)–Codes lautet:

:$$W(X) = 1 + W_4 \cdot X^4 + W_8 \cdot X^8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(\beta) - 1 = W_4 \cdot \beta^4 + W_8 \cdot \beta^8$$

:$$\Rightarrow \hspace{0.3cm} p_3 = W(\beta) - 1 \ge p_1\hspace{0.05cm}.$$

'''(6)'''  Mit $\boldsymbol{\sigma = 1}$ lautet der Bhattacharyya–Parameter $\beta = {\rm exp}(–0.5) = 0.6065$ und man erhält damit für die Bhattacharyya–Schranke:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 0.135 + 0.018 \hspace{0.15cm}\underline{= 1.913}\hspace{0.05cm}.$$

Berücksichtigt man, dass $p_{3}$(eine Schranke für) eine Wahrscheinlichkeit angibt, so ist $p_{3} = 1.913$ nur eine triviale Schranke. Für $\boldsymbol{\sigma = 0.5}$ ergibt sich dagegen $\beta = {\rm exp}(–2) \approx 0.135.$ Dann gilt:

:$$p_3 = 14 \cdot \beta^4 + \beta^8 = 14 \cdot 3.35 \cdot 10^{-4} + 1.1 \cdot 10^{-7} \hspace{0.15cm}\underline{= 4.7 \cdot 10^{-3}}\hspace{0.05cm}.$$

Ein Vergleich mit der Teilaufgabe 2) zeigt, dass im vorliegenden Beispiel die Bhattacharyya–Schranke $p_{3}$ um den Faktor $(4.7 · 10^{–3})/(0.44 · 10^{–3}) > 10$ oberhalb der ''Union Bound'' $p_{1}$ liegt. Der Grund für diese große Abweichung ist die Chernoff–Rubin–Schranke, die deutlich oberhalb der Q–Funktion liegt. In der [[Aufgaben:1.16Z_Schranken_für_Q(x)|Aufgabe 1.16Z]] wird die Abweichung zwischen ${\rm Q}_{\rm CR}$ und ${\rm Q}(x)$ auch quantitativ berechnet:

:$${{\rm Q_{CR}}( x )}/{{\rm Q}( x )} \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {{\rm Q_{CR}}( x = 4 )}/{{\rm Q}( x = 4)} \approx 10 \hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.15: Distance Spectra of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T22:29:45Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2407__KC_A_1_9.png|right|frame|Codetabellen des $(7, 4)$–Hamming–Codes und der $(8, 4)$–Erweiterung]]

Wir betrachten wie in [[Aufgaben:1.09_Erweiterter_Hamming–Code|Aufgabe 1.9]]
*den $(7, 4, 3)$–Hamming–Code und
*den erweiterten $(8, 4, 4)$–Hamming–Code.

Die Grafik zeigt die zugehörigen Codetabellen. In der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] wurde schon die Syndromdecodierung dieser beiden Codes behandelt.
In dieser Aufgabe sollen die Unterschiede hinsichtlich des Distanzspektrums $\{W_{i}\}$ herausgearbeitet werden. Für die Laufvariable gilt $i = 0, \ ... \ , n:$

*Die Integerzahl $W_{i}$ gibt die Zahl der Codeworte $\underline{x}$ mit dem [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $\underline{w}_{\rm H}( \underline{x} ) = i$ an.
*Bei den hier betrachteten linearen Code bescheibt $W_{i}$ gleichzeitig die Anzahl der Codeworte mit der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Hamming–Distanz]] $i$ vom Nullwort.
*Häufig weist man der Zahlenmenge $\{W_i\}$ einer Pseudo–Funktion zu, die man [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]] (englisch: ''Weight Enumerator Function'', WEF) nennt:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Bhattacharyya hat die Pseudo–Funktion $W(X;)$ verwendet, um eine kanalunabhängige (obere) Schranke für die Blockfehlerwahrscheinlichkeit anzugeben:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Der so genannte ''Bhattacharyya–Parameter'' ist dabei wie folgt gegeben:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

''Hinweise:''
* Die Aufgabe bezieht sich auf Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]], ebenso wie [[Aufgaben:1.14_Bhattacharyya–Schranke_für_BEC|Aufgabe 1.14]] und [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]].
* Als Kanäle sollen betrachtet werden:
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Modell]] (''Binary Symmetric Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]].
* Anzumerken ist, dass die Bhattacharyya–Schranke im allgemeinen sehr pessimistisch ist. Die tatsächliche Blockfehlerwahrscheinlichkeit liegt oft deutlich darunter.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Geben Sie das Distanzspektrum des $(7, 4, 3)$–Hamming–Codes an.
|type="{}"}
$( 7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} W_{0} \ = \ ${ 1 3% }
$W_{3} \ = \ ${ 7 3% }
$W_{4} \ = \ ${ 7 3% }
$W_{7} \ = \ ${ 1 3% }

{Wie lautet die Bhattacharyya–Schranke für das BSC–Modell mit $\varepsilon = 0.01?$
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ $ { 0.666 3% }

{Wie lautet bei gleichem Kanal die Schranke des erweiterten Codes?
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ ${ 0.022 3% }

{Mit welchem BEC–Parameter $\lambda$ erhält man die genau gleichen Schranken?
|type="{}"}
$\lambda \ = \ $ { 0 3% }

{Betrachten wir nun das AWGN–Modell. Bestimmen Sie $E_{\rm B} / N_{0}$ in $\rm dB$ derart, dass sich für den $(8, 4, 4)$–Code die gleiche Bhattacharyya–Schranke ergibt.
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 5 3% }$ \ \rm dB$

{Ermitteln Sie nun den AWGN–Parameter für den $(7, 4, 3)$–Hamming–Code.
|type="{}"}
$\ (7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 4.417 3% }$ \ \rm dB$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Durch die Analyse aller Codeworte des $(7, 4, 3)$–Hamming–Codes erkennt man, dass

*$W_{0} \ \underline{ = \ 1}$ Codewort keine Eins beinhaltet (das Nullwort),
*$W_{3} \ \underline{ = \ 7}$ Codeworte drei Einsen beinhalten,
*$W_{4} \ \underline{ = \ 7}$ Codeworte vier Einsen beinhalten,
*$W_{7} \ \underline{ = \ 1}$ Codewort nur aus Einsen besteht.

$W_{i}$ gibt gleichzeitig die Anzahl der Codeworte an, die sich vom Nullwort in $i \ \rm Bit$ unterscheiden.

'''(2)'''  Die Bhattacharyya–Schranke lautet:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Die Gewichtsfunktion ist durch die Teilaufgabe (1) festgelegt:

:$$W(X) = 1+ 7 \cdot X^{3} + 7 \cdot X^{4} + X^{7}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot \beta^{3} + 7 \cdot \beta^{4} + \beta^{7} \hspace{0.05cm}.$$

Für den Bhattacharyya–Parameter des BSC–Modells gilt:

:$$\beta = 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)} = 2 \cdot \sqrt{0.01 \cdot 0.99} = 0.199$$

:$$ \Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot 0.199^{3} + 7 \cdot 0.199^{4} + 0.199^{7} \hspace{0.15cm} \underline{ \approx 0.066} \hspace{0.05cm}.$$

Ein Vergleich mit der tatsächlichen Blockfehlerwahrscheinlichkeit, wie in [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$$W(X) = 1+ 14 \cdot X^{4} + X^{8}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 14 \cdot \beta^{4} + \beta^{8} = 14 \cdot 0.199^{4} + 0.199^{8} \hspace{0.15cm} \underline{ \approx 0.022} \hspace{0.05cm}.$$

zeigt, dass Bhattacharyya nur eine äußerst grobe Schranke bereitstellt. Im vorliegenden Fall liegt diese Schranke um mehr als den Faktor $30$ über dem tatsächlichen Wert.

'''(3)'''  Aus der Codetabelle des $(8, 4, 4)$–Codes erhält man folgende Ergebnisse:

:$${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2 = 2.1 \cdot 10^{-3} \hspace{0.05cm},$$

'''(4)'''  Die Gleichung für den Bhattacharyya–Parameter lautet:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{ \varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

Mit dem BEC–Modell ergibt sich genau die gleiche Schranke, wenn die Auslöschungswahrscheinlichkeit $\lambda = \beta \ \underline{= 0.199}$ beträgt.

'''(5)'''  Entsprechend obiger Gleichung muss gelten:

:$$\beta = {\rm exp}[- R \cdot E_{\rm B}/N_0] = 0.199 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} R \cdot E_{\rm B}/N_0 = 10^{0.199} = 1.58 \hspace{0.05cm}.$$

Die Coderate des $(8, 4, 4)$–Codes ist $R = 0.5$:

:$$E_{\rm B}/N_0 = 3.16 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 5\,{\rm dB}} \hspace{0.05cm}.$$

'''(6)'''  Mit der Coderate $R = 4/7$ erhält man:

:$$E_{\rm B}/N_0 = 7/4 \cdot 1.58 = 2.765 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 4.417\,{\rm dB}} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.15: Distance Spectra of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T22:28:02Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2407__KC_A_1_9.png|right|frame|Codetabellen des $(7, 4)$–Hamming–Codes und der $(8, 4)$–Erweiterung]]

Wir betrachten wie in [[Aufgaben:1.09_Erweiterter_Hamming–Code|Aufgabe 1.9]]
*den $(7, 4, 3)$–Hamming–Code und
*den erweiterten $(8, 4, 4)$–Hamming–Code.

Die Grafik zeigt die zugehörigen Codetabellen. In der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] wurde schon die Syndromdecodierung dieser beiden Codes behandelt.
In dieser Aufgabe sollen die Unterschiede hinsichtlich des Distanzspektrums $\{W_{i}\}$ herausgearbeitet werden. Für die Laufvariable gilt $i = 0, \ ... \ , n:$

*Die Integerzahl $W_{i}$ gibt die Zahl der Codeworte $\underline{x}$ mit dem [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $\underline{w}_{\rm H}( \underline{x} ) = i$ an.
*Bei den hier betrachteten linearen Code bescheibt $W_{i}$ gleichzeitig die Anzahl der Codeworte mit der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Hamming–Distanz]] $i$ vom Nullwort.
*Häufig weist man der Zahlenmenge $\{W_i\}$ einer Pseudo–Funktion zu, die man [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]] (englisch: ''Weight Enumerator Function'', WEF) nennt:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Bhattacharyya hat die Pseudo–Funktion $W(X;)$ verwendet, um eine kanalunabhängige (obere) Schranke für die Blockfehlerwahrscheinlichkeit anzugeben:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Der so genannte ''Bhattacharyya–Parameter'' ist dabei wie folgt gegeben:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

''Hinweise:''
* Die Aufgabe bezieht sich auf Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]], ebenso wie [[Aufgaben:1.14_Bhattacharyya–Schranke_für_BEC|Aufgabe 1.14]] und [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]].
* Als Kanäle sollen betrachtet werden:
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Modell]] (''Binary Symmetric Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]].
* Anzumerken ist, dass die Bhattacharyya–Schranke im allgemeinen sehr pessimistisch ist. Die tatsächliche Blockfehlerwahrscheinlichkeit liegt oft deutlich darunter.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Geben Sie das Distanzspektrum des $(7, 4, 3)$–Hamming–Codes an.
|type="{}"}
$( 7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} W_{0} \ = \ ${ 1 3% }
$W_{3} \ = \ ${ 7 3% }
$W_{4} \ = \ ${ 7 3% }
$W_{7} \ = \ ${ 1 3% }

{Wie lautet die Bhattacharyya–Schranke für das BSC–Modell mit $\varepsilon = 0.01?$
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ $ { 0.666 3% }

{Wie lautet bei gleichem Kanal die Schranke des erweiterten Codes?
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ ${ 0.022 3% }

{Mit welchem BEC–Parameter $\lambda$ erhält man die genau gleichen Schranken?
|type="{}"}
$\lambda \ = \ $ { 0 3% }

{Betrachten wir nun das AWGN–Modell. Bestimmen Sie $E_{\rm B} / N_{0}$ in $\rm dB$ derart, dass sich für den $(8, 4, 4)$–Code die gleiche Bhattacharyya–Schranke ergibt.
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 5 3% }$ \ \rm dB$

{Ermitteln Sie nun den AWGN–Parameter für den (7, 4, 3)–Hamming–Code.
|type="{}"}
$\ (7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 4.417 3% }$ \ \rm dB$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Durch die Analyse aller Codeworte des $(7, 4, 3)$–Hamming–Codes erkennt man, dass

*$W_{0} \ \underline{ = \ 1}$ Codewort keine Eins beinhaltet (das Nullwort),
*$W_{3} \ \underline{ = \ 7}$ Codeworte drei Einsen beinhalten,
*$W_{4} \ \underline{ = \ 7}$ Codeworte vier Einsen beinhalten,
*$W_{7} \ \underline{ = \ 1}$ Codewort nur aus Einsen besteht.

$W_{i}$ gibt gleichzeitig die Anzahl der Codeworte an, die sich vom Nullwort in $i \ \rm Bit$ unterscheiden.

'''(2)'''  Die Bhattacharyya–Schranke lautet:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Die Gewichtsfunktion ist durch die Teilaufgabe (1) festgelegt:

:$$W(X) = 1+ 7 \cdot X^{3} + 7 \cdot X^{4} + X^{7}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot \beta^{3} + 7 \cdot \beta^{4} + \beta^{7} \hspace{0.05cm}.$$

Für den Bhattacharyya–Parameter des BSC–Modells gilt:

:$$\beta = 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)} = 2 \cdot \sqrt{0.01 \cdot 0.99} = 0.199$$

:$$ \Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot 0.199^{3} + 7 \cdot 0.199^{4} + 0.199^{7} \hspace{0.15cm} \underline{ \approx 0.066} \hspace{0.05cm}.$$

Ein Vergleich mit der tatsächlichen Blockfehlerwahrscheinlichkeit, wie in [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$$W(X) = 1+ 14 \cdot X^{4} + X^{8}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 14 \cdot \beta^{4} + \beta^{8} = 14 \cdot 0.199^{4} + 0.199^{8} \hspace{0.15cm} \underline{ \approx 0.022} \hspace{0.05cm}.$$

zeigt, dass Bhattacharyya nur eine äußerst grobe Schranke bereitstellt. Im vorliegenden Fall liegt diese Schranke um mehr als den Faktor $30$ über dem tatsächlichen Wert.

'''(3)'''  Aus der Codetabelle des $(8, 4, 4)$–Codes erhält man folgende Ergebnisse:

:$${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2 = 2.1 \cdot 10^{-3} \hspace{0.05cm},$$

'''(4)'''  Die Gleichung für den Bhattacharyya–Parameter lautet:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{ \varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

Mit dem BEC–Modell ergibt sich genau die gleiche Schranke, wenn die Auslöschungswahrscheinlichkeit $\lambda = \beta \ \underline{= 0.199}$ beträgt.

'''(5)'''  Entsprechend obiger Gleichung muss gelten:

:$$\beta = {\rm exp}[- R \cdot E_{\rm B}/N_0] = 0.199 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} R \cdot E_{\rm B}/N_0 = 10^{0.199} = 1.58 \hspace{0.05cm}.$$

Die Coderate des $(8, 4, 4)$–Codes ist $R = 0.5$:

:$$E_{\rm B}/N_0 = 3.16 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 5\,{\rm dB}} \hspace{0.05cm}.$$

'''(6)'''  Mit der Coderate $R = 4/7$ erhält man:

:$$E_{\rm B}/N_0 = 7/4 \cdot 1.58 = 2.765 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 4.417\,{\rm dB}} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.15: Distance Spectra of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T22:27:48Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2407__KC_A_1_9.png|right|frame|Codetabellen des $(7, 4)$–Hamming–Codes und der $(8, 4)$–Erweiterung]]

Wir betrachten wie in [[Aufgaben:1.09_Erweiterter_Hamming–Code|Aufgabe 1.9]]
*den (7, 4, 3)–Hamming–Code und
*den erweiterten (8, 4, 4)–Hamming–Code.

Die Grafik zeigt die zugehörigen Codetabellen. In der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] wurde schon die Syndromdecodierung dieser beiden Codes behandelt.
In dieser Aufgabe sollen die Unterschiede hinsichtlich des Distanzspektrums $\{W_{i}\}$ herausgearbeitet werden. Für die Laufvariable gilt $i = 0, \ ... \ , n:$

*Die Integerzahl $W_{i}$ gibt die Zahl der Codeworte $\underline{x}$ mit dem [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Gewicht]] $\underline{w}_{\rm H}( \underline{x} ) = i$ an.
*Bei den hier betrachteten linearen Code bescheibt $W_{i}$ gleichzeitig die Anzahl der Codeworte mit der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Hamming–Distanz]] $i$ vom Nullwort.
*Häufig weist man der Zahlenmenge $\{W_i\}$ einer Pseudo–Funktion zu, die man [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]] (englisch: ''Weight Enumerator Function'', WEF) nennt:

:$$\left \{ \hspace{0.05cm} W_i \hspace{0.05cm} \right \} \hspace{0.3cm} \Leftrightarrow \hspace{0.3cm} W(X) = \sum_{i=0 }^{n} W_i \cdot X^{i} = W_0 + W_1 \cdot X + W_2 \cdot X^{2} + ... \hspace{0.05cm} + W_n \cdot X^{n}\hspace{0.05cm}.$$

Bhattacharyya hat die Pseudo–Funktion $W(X;)$ verwendet, um eine kanalunabhängige (obere) Schranke für die Blockfehlerwahrscheinlichkeit anzugeben:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Der so genannte ''Bhattacharyya–Parameter'' ist dabei wie folgt gegeben:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

''Hinweise:''
* Die Aufgabe bezieht sich auf Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]], ebenso wie [[Aufgaben:1.14_Bhattacharyya–Schranke_für_BEC|Aufgabe 1.14]] und [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]].
* Als Kanäle sollen betrachtet werden:
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Modell]] (''Binary Symmetric Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel''),
** das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]].
* Anzumerken ist, dass die Bhattacharyya–Schranke im allgemeinen sehr pessimistisch ist. Die tatsächliche Blockfehlerwahrscheinlichkeit liegt oft deutlich darunter.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Geben Sie das Distanzspektrum des $(7, 4, 3)$–Hamming–Codes an.
|type="{}"}
$( 7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} W_{0} \ = \ ${ 1 3% }
$W_{3} \ = \ ${ 7 3% }
$W_{4} \ = \ ${ 7 3% }
$W_{7} \ = \ ${ 1 3% }

{Wie lautet die Bhattacharyya–Schranke für das BSC–Modell mit $\varepsilon = 0.01?$
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ $ { 0.666 3% }

{Wie lautet bei gleichem Kanal die Schranke des erweiterten Codes?
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} {\rm Pr(Bhattacharyya)} \ = \ ${ 0.022 3% }

{Mit welchem BEC–Parameter $\lambda$ erhält man die genau gleichen Schranken?
|type="{}"}
$\lambda \ = \ $ { 0 3% }

{Betrachten wir nun das AWGN–Modell. Bestimmen Sie $E_{\rm B} / N_{0}$ in $\rm dB$ derart, dass sich für den $(8, 4, 4)$–Code die gleiche Bhattacharyya–Schranke ergibt.
|type="{}"}
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 5 3% }$ \ \rm dB$

{Ermitteln Sie nun den AWGN–Parameter für den (7, 4, 3)–Hamming–Code.
|type="{}"}
$\ (7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} 10 · \lg {E_{\rm B}/N_0} \ = \ $ { 4.417 3% }$ \ \rm dB$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Durch die Analyse aller Codeworte des $(7, 4, 3)$–Hamming–Codes erkennt man, dass

*$W_{0} \ \underline{ = \ 1}$ Codewort keine Eins beinhaltet (das Nullwort),
*$W_{3} \ \underline{ = \ 7}$ Codeworte drei Einsen beinhalten,
*$W_{4} \ \underline{ = \ 7}$ Codeworte vier Einsen beinhalten,
*$W_{7} \ \underline{ = \ 1}$ Codewort nur aus Einsen besteht.

$W_{i}$ gibt gleichzeitig die Anzahl der Codeworte an, die sich vom Nullwort in $i \ \rm Bit$ unterscheiden.

'''(2)'''  Die Bhattacharyya–Schranke lautet:

:$${\rm Pr(Blockfehler)} \le{\rm Pr(Bhattacharyya)} = W(\beta) -1 \hspace{0.05cm}.$$

Die Gewichtsfunktion ist durch die Teilaufgabe (1) festgelegt:

:$$W(X) = 1+ 7 \cdot X^{3} + 7 \cdot X^{4} + X^{7}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot \beta^{3} + 7 \cdot \beta^{4} + \beta^{7} \hspace{0.05cm}.$$

Für den Bhattacharyya–Parameter des BSC–Modells gilt:

:$$\beta = 2 \cdot \sqrt{\varepsilon \cdot (1- \varepsilon)} = 2 \cdot \sqrt{0.01 \cdot 0.99} = 0.199$$

:$$ \Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 7 \cdot 0.199^{3} + 7 \cdot 0.199^{4} + 0.199^{7} \hspace{0.15cm} \underline{ \approx 0.066} \hspace{0.05cm}.$$

Ein Vergleich mit der tatsächlichen Blockfehlerwahrscheinlichkeit, wie in [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$$W(X) = 1+ 14 \cdot X^{4} + X^{8}$$

:$$\Rightarrow \hspace{0.3cm} {\rm Pr(Bhattacharyya)} = 14 \cdot \beta^{4} + \beta^{8} = 14 \cdot 0.199^{4} + 0.199^{8} \hspace{0.15cm} \underline{ \approx 0.022} \hspace{0.05cm}.$$

zeigt, dass Bhattacharyya nur eine äußerst grobe Schranke bereitstellt. Im vorliegenden Fall liegt diese Schranke um mehr als den Faktor $30$ über dem tatsächlichen Wert.

'''(3)'''  Aus der Codetabelle des $(8, 4, 4)$–Codes erhält man folgende Ergebnisse:

:$${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2 = 2.1 \cdot 10^{-3} \hspace{0.05cm},$$

'''(4)'''  Die Gleichung für den Bhattacharyya–Parameter lautet:

:$$\beta = \left\{ \begin{array}{c} \lambda \\ \\ 2 \cdot \sqrt{ \varepsilon \cdot (1- \varepsilon)}\\ \\ {\rm exp}[- R \cdot E_{\rm B}/N_0] \end{array} \right.\quad \begin{array}{*{1}c} {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BEC-Modell},\\ \\ {\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}BSC-Modell}, \\ \\{\rm f\ddot{u}r\hspace{0.15cm} das \hspace{0.15cm}AWGN-Modell}. \end{array}$$

Mit dem BEC–Modell ergibt sich genau die gleiche Schranke, wenn die Auslöschungswahrscheinlichkeit $\lambda = \beta \ \underline{= 0.199}$ beträgt.

'''(5)'''  Entsprechend obiger Gleichung muss gelten:

:$$\beta = {\rm exp}[- R \cdot E_{\rm B}/N_0] = 0.199 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} R \cdot E_{\rm B}/N_0 = 10^{0.199} = 1.58 \hspace{0.05cm}.$$

Die Coderate des $(8, 4, 4)$–Codes ist $R = 0.5$:

:$$E_{\rm B}/N_0 = 3.16 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 5\,{\rm dB}} \hspace{0.05cm}.$$

'''(6)'''  Mit der Coderate $R = 4/7$ erhält man:

:$$E_{\rm B}/N_0 = 7/4 \cdot 1.58 = 2.765 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot {\rm lg} \hspace{0.1cm} E_{\rm B}/N_0 \hspace{0.15cm} \underline{\approx 4.417\,{\rm dB}} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit

^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:21:50Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweise:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, \ 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
* $\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
* $\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [\underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = W(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:17:29Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, \ 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
* $\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
* $\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [\underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = W(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:16:32Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, \ 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
* $\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
* $\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [\underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:04:01Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, \ 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
* $\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
* $\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
* $\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:01:43Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, \ 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
$\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
$\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T22:00:53Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , 3$? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
$\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
$\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T21:59:00Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , \ 3$ ? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
$\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
$\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T21:58:13Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , \ 5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , \ 3$ ? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
$\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
$\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.14: Bhattacharyya Bound for BEC

2017-12-20T21:57:21Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit}}

[[File:P_ID2411__KC_A_1_13.png|right|frame|Mögliche Empfangsvektoren für $(5, 2)$–Code und BEC]]

Wir betrachten in dieser Aufgabe den systematischen $(5, 2)$–Code mit der $2×5$–Generatormatrix

:$${ \boldsymbol{\rm G}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &1 &0\\ 0 &1 &0 &1 &1 \end{pmatrix} \hspace{0.05cm},$$

der $3 × 5$–Prüfmatrix

:$${ \boldsymbol{\rm H}}_{(5, 2)} = \begin{pmatrix} 1 &0 &1 &0 &0\\ 1 &1 &0 &1 &0\\ 0 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm},$$

und den $2^k = 4$ Codeworten

:$$\underline{x}_0 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_1 = (0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x}_2 \hspace{-0.15cm}\ = \ \hspace{-0.15cm} (1, 0, 1, 1, 0) \hspace{0.05cm},\hspace{0.2cm}\underline{x}_3 = (1, 1, 1, 0, 1)\hspace{0.05cm}.$$

Am Ausgang des digitalen Kanals, der durch das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC–Modell]] (''Binary Erasure Channel'') mit der Auslöschungswahrscheinlichkeit $\lambda = 0.001$ festgelegt wird, tritt der Empfangsvektor

:$$\underline{y} = (y_1, \hspace{0.05cm}y_2, \hspace{0.05cm}y_3, \hspace{0.05cm}y_4, \hspace{0.05cm}y_5)$$

auf, wobei für $i = 1, \ ... \ , \5$ gilt: $y_{i} \in \{0, 1, \rm E\}$.
Der BEC–Kanal zeichnet sich dadurch aus, dass
*Verfälschungen $(0 → 1, 1 → 0)$ ausgeschlossen sind,
*es aber zu Auslöschungen $(0 → \rm E, 1 → E)$ kommen kann.

Die Grafik zeigt explizit alle möglichen Empfangsvektoren $\underline{y}$ mit drei oder mehr Auslöschungen (englisch: ''Erasures'', abgekürzt $\rm E$) unter der Voraussetzung, dass der Nullvektor $(0, 0, 0, 0, 0)$ gesendet wurde. Bei weniger als drei Auslöschungen liefert bei dem betrachteten $(5, 2)$–Code der Codewortschätzer immer die richtige Entscheidung: $\underline{z} = \underline{x}$.

Bei drei oder mehr Auslöschungen kann es dagegen zu Fehlentscheidungen kommen. In diesem Fall gilt für die Blockfehlerwahrscheinlichkeit

:$$ {\rm Pr(Blockfehler)}= {\rm Pr} (\underline{z} \ne \underline{x}) = {\rm Pr}\left \{ \hspace{0.1cm} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] \hspace{0.05cm}\cup\hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] \hspace{0.05cm}\cup \hspace{0.05cm}[\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] \hspace{0.1cm}\right \} \hspace{0.05cm}.$$

Das Ereignis $[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht unbedingt aus, dass beim betrachteten Empfangsvektor $\underline{y}$ tatsächlich für das Codewort $\underline{x}_{1}$ entschieden wird, sondern lediglich, dass die Entscheidung für $x_{1}$ aufgrund der Statistik sinnvoller wäre als die Entscheidung für $\underline{x}_{0}$. Es könnte aber auch für $\underline{x}_{2}$ oder $\underline{x}_{3}$ entschieden werden, wenn das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Maximum-a-posteriori.E2.80.93_und_Maximum-Likelihood.E2.80.93Kriterium|Maximum–Likelihood–Kriterium]] hierfür spricht.
Die Berechnung der Blockfehlerwahrscheinlichkeit ist schwierig, da die Ereignisse $[\underline{x}_{0} → \underline{x}_{1}]$ , $[\underline{x}_{0} → \underline{x}_{2}]$ und $[\underline{x}_{0} → \underline{x}_{3}]$ nicht notwendigerweise [[Stochastische_Signaltheorie/Mengentheoretische_Grundlagen#Disjunkte_Mengen|disjunkt]] sind. Eine obere Schranke liefert die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Union_Bound_der_Blockfehlerwahrscheinlichkeit|Union Bound]]:

:$${\rm Pr(Union \hspace{0.15cm}Bound)} = {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] \ge {\rm Pr(Blockfehler)} \hspace{0.05cm}.$$

Eine weitere Schranke wurde von Bhattacharyya angegeben:

:$${\rm Pr(Bhattacharyya)} = W(\beta)-1 \ge {\rm Pr(Union \hspace{0.15cm}Bound)} \ge {\rm Pr(Blockfehler)} \hspace{0.05cm},$$

wobei beim Binary Erasure Channel $\beta = \lambda$ gilt. $W(X)$ ist die [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Distanzspektrum_eines_linearen_Codes|Gewichtsfunktion]], wobei die Pseudo–Variable $X$ hier durch den Bhattacharyya–Parameter $\lambda$ zu ersetzen ist.
Die Bhattacharyya–Schranke liegt je nach Kanal mehr oder weniger weit oberhalb der ''Union Bound.'' Ihre Bedeutung liegt darin, dass die Schranke für unterschiedliche Kanäle in gleicher Weise angebbar ist.

''Hinweis:''
*Die Aufgabe gehört zum Themengebiet von Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]].

===Fragebogen===
<quiz display=simple>
{Wie groß ist die paarweise Fehlerwahrscheinlichkeit zwischen den Codeworten $\underline{x}_{0} = (0, 0, 0, 0, 0)$ und $\underline{x}_{1} = (0, 1, 0, 1, 1)$?
|type="{}"}
${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}] \ = \ $ { 5 3% }$\ \cdot 10^{-4} $

{Welche Aussagen stimmen bezüglich ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ mit Laufindex $i = 1, \ ... \ , \ 3$ ? Hierbei bezeichnet $d_{\rm H}$ die Hamming–Distanz zwischen $x_{0}$ und $x_{i}$.
|type="[]"}

- Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ \lambda ^{d_{\rm H}} \ · \ (1 – \lambda)^{n – d_{\rm H}}$.
+ Es gilt ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}] \ = \ 1/2 · \lambda ^{d_{\rm H}}.$
- ${\rm Pr}[\underline{x}_{0} → \underline{x}_{i}]$ ist die Verfälschungswahrscheinlichkeit von $x_{0}$ nach $x_{i}$.

{Wie groß sind die Wahrscheinlichkeiten
|type="{}"}
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{2}] \ = \ $ { 5 3% } $\ \cdot 10^{-4} $
$\ {\rm Pr}[\underline{x}_{0} → \underline{x}_{3}] \ = \ $ { 5 3% } $\ \cdot 10^{-5} $

{Geben Sie die ''Union Bound'' für die Blockfehlerwahrscheinlichkeit an.
|type="{}"}
$\ {\rm Pr(Union Bound)} \ = \ ${ 1.05 3% } $\ \cdot 10^{-3} $

{Wie lautet im vorliegenden Fall die ''Bhattacharyya–Schranke''?
|type="{}"}
$\ {\rm Pr(Bhattacharyya)} \ = \ ${ 2.1 3% } $\ \cdot 10^{-3} $

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Codeworte $\underline{x}_{0}$ und $\underline{x}_{1}$ unterscheiden sich in $\rm Bit \ 2, 4$ und $5$. Wird nur einer dieser drei Binärwerte richtig übertragen, ist damit das gesamte Codewort eindeutig bestimmt. Keine Information über das Codewort erhält man bei folgenden Empfangsvektoren (siehe Tabelle auf der Angabenseite):
$\underline{y} = (0, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^3 \ · \ (1 – \lambda)^2$,
$\underline{y} = (0, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, 0, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^4 \ · \ (1 – \lambda)$,
$\underline{y} = ({\rm E}, {\rm E}, {\rm E}, {\rm E}, {\rm E})$ mit Wahrscheinlichkeit $\lambda^5$.

Die Wahrscheinlichkeit, dass aufgrund des spezifischen Empfangsvektors $\underline{y}$ das Codewort $\underline{x}_{1}$ genau so wahrscheinlich ist wie $\underline{x}_{0}$, ergibt sich zu

:$$\ {\rm Pr}\ [ \ \ \underline{x}_0 \hspace{0.15cm}{\rm und}\hspace{0.15cm} \underline{x}_1 \hspace{0.15cm}{\rm sind \hspace{0.15cm}gleichwahrscheinlich}] = \lambda^3 \cdot (1- \lambda)^2 + 2 \cdot \lambda^4 \cdot (1- \lambda) + \lambda^5 =$$
:$$ \hspace{-0.35cm}\ = \ \hspace{-0.15cm} \lambda^3 \cdot \left [ (1- \lambda)^2 + 2 \cdot \lambda \cdot (1- \lambda) + \lambda^2 \right ] = \lambda^3 \hspace{0.05cm}.$$

In diesem Fall entscheidet man sich nach dem Zufallsprinzip entweder für $\underline{x}_{0}$ (wäre richtig) oder für $\underline{x}_{1}$ (leider falsch), und zwar mit gleicher Wahrscheinlichkeit. Daraus folgt:

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}1}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm}.$$

'''(2)'''  Nach Teilaufgabe (1) ist die Antwort 2 richtig und nicht die Antwort 1. Auch die Aussage 3 ist falsch: ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ sagt nicht aus, dass mit dieser Wahrscheinlickeit das Codewort $\underline{x}_{0}$ tatsächlich in das falsche Codewort $\underline{x}_{1}$ übergeht, sondern nur, dass es mit dieser Wahrscheinlichkeit zu $\underline{x}_{1}$ übergehen könnte. ${\rm Pr}[\underline{x}_{0} → \underline{x}_{1}]$ beinhaltet auch Konstellationen, bei denen die Entscheidung tatsächlich für $\underline{x}_{2}$ bzw. $\underline{x}_{3}$ fällt.

'''(3)'''  Wegen $d_{\rm H}(\underline{x}_{0}, \underline{x}_{2}) = 3$ und $d_{\rm H}(\underline{x}_{0}, \underline{x}_{3}) = 4$ ergibt sich hierfür

:$${\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}2}] = 1/2 \cdot \lambda^3 \hspace{0.15cm} \underline{= 5 \cdot 10^{-4}} \hspace{0.05cm},\hspace{0.2cm} {\rm Pr} [\underline{x}_{\hspace{0.02cm}0} \mapsto \underline{x}_{\hspace{0.02cm}3}] = 1/2 \cdot \lambda^4 \hspace{0.15cm} \underline{= 5 \cdot 10^{-5}} \hspace{0.05cm}.$$

'''(4)'''  Die Blockfehlerwahrscheinlichkeit ist nie größer (mit einer gewissen Wahrscheinlichkeit eher kleiner) als die so genannte ''Union Bound'':

:$${\rm Pr(Union \hspace{0.15cm}Bound)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} {\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm}\underline{x}_{\hspace{0.02cm}1}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}2}] +{\rm Pr}[\underline{x}_{\hspace{0.02cm}0} \hspace{-0.02cm}\mapsto \hspace{-0.02cm} \underline{x}_{\hspace{0.02cm}3}] =$$
:$$ \hspace{3cm}\ = \ \hspace{-0.15cm} 2 \cdot \lambda^3/2 + \lambda^4/2 = 0.001 + 0.00005 \hspace{0.15cm} \underline{= 1.05 \cdot 10^{-3}} \hspace{0.05cm}.$$

'''(5)'''  Allgemein gilt: ${\rm Pr(Blockfehler) ≤ Pr(Bhattacharyya)} = {\rm W}(\beta) - 1$. Für das Distanzspektrum bzw. die Gewichtsfunktion erhält man im vorliegenden Fall:

:$$W_0 = 1 \hspace{0.05cm}, \hspace{0.2cm} W_3 = 2 \hspace{0.05cm}, \hspace{0.2cm}W_4 = 1 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} W(X) = 1+ 2 \cdot X^{3} +X^{4} \hspace{0.05cm}.$$

Beim BEC–Kanal gilt zudem $\beta = \lambda$. Daraus folgt als Endergebnis für $\lambda = 0.001$:

:$${\rm Pr(Bhattacharyya)} = 2 \cdot \lambda^3 + \lambda^4 \hspace{0.15cm} \underline{= 2.1 \cdot 10^{-3}} \hspace{0.05cm}.$$

Anzumerken ist, dass beim BEC–Modell die ''Bhattacharyya–Schranke'' stets doppelt so groß ist wie die ''Union Bound'', die ja selbst wieder eine obere Schranke für die Blockfehlerwahrscheinlichkeit darstellt.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit^]]

Aufgaben:Exercise 1.13Z: Binary Erasure Channel Decoding again

2017-12-20T21:46:57Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2541__KC_Z_1_13.png|right|frame|Codetabelle des vorgegebenen Hamming–Codes]]

Wir betrachten wieder wie in der vorherigen Aufgabe die Decodierung eines [[Kanalcodierung/Beispiele_binärer_Blockcodes#Hamming.E2.80.93Codes|Hamming–Codes]] nach der Übertragung über einen Auslöschungskanal ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (abgekürzt BEC).
Der $(7, 4, 3)$–Hamming–Code wird durch die nebenstehende Codetabelle $\underline{u}_{i} → \underline{x}_{i}$ vollständig beschrieben, anhand derer alle Lösungen gefunden werden können.

''Hinweise'' :
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Decodierung_linearer_Blockcodes|Decodierung linearer Blockcodes]].
* Im Gegensatz zur [[Aufgaben:1.13_BEC–Decodierung|Aufgabe 1.13]] soll hier die Lösung nicht streng formal, sondern eher intuitiv gefunden werden.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
Wie groß ist die minimale Distanz des vorliegenden Codes?
|type="{}"}
$\ d_{\rm min} \ = \ $ { 3 3% }

{Ist der Code systematisch?
|type="[]"}
+ JA.
- NEIN.

{Bis zu wie vielen ''Erasures'' ist die erfolgreiche Decodierung gewährleistet?
|type="{}"}
$\ e_{\ max} \ = \ $ { 2 3% }

{Wie lautet das gesendete Informationswort $\underline{u}$ für $\underline{y} = (1, 0, {\rm E}, {\rm E}, 0, 1, 0)$?
|type="[]"}
- $\underline{u} = (1, 0, 0, 0),$
+ $\underline{u}= (1, 0, 0, 1),$
- $\underline{u} = (1, 0, 1, 0),$
- $\underline{u} = (1, 0, 1, 1).$

{Welche der nachfolgenden Empfangsworte können decodiert werden?
|type="[]"}
+ $\underline{y}_{\rm A }= (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E}),$
+ $\underline{y}_{\rm B} = ({\rm E}, {\rm E }, 0, {\rm E}, 0, 1, 0),$
- $\underline{y}_{\rm C} = ({\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0),$
- $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0).$

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Betrachtet wird der $(7, 4, 3)$–Hamming–Code. Dementsprechend ist die minimale Distanz $d_{\rm min} \ \underline{= 3}$.

'''(2)'''  Die ersten $k = 4 \ \rm Bit$ eines jeden Codewortes $\underline{x}$ stimmen mit dem Informationswort $\underline{u}$ überein. Richtig ist somit JA.

'''(3)'''  Es können bis zu $e_{\rm max} = d_{\rm min} – 1 \underline{ = 2}$ Bit ausgelöscht sein, damit eine Decodierung mit Sicherheit möglich ist. Jedes Codewort unterscheidet sich von jedem anderen in mindestens drei Bitpositionen. Bei nur zwei Auslöschungen kann deshalb das Codewort in jedem Fall rekonstruiert werden.

'''(4)'''  In der Tabelle auf der Angabenseite findet man ein einziges Codewort, das mit „$10$” beginnt und mit „$010$” endet, nämlich $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$. Da es sich um einen systematischen Code handelt, beschreiben die ersten $k = 4 \ \rm Bit$ das Informationswort $\underline{u} = (1, 0, 0, 1)$  ⇒  Antwort 2.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 2.

* $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0)$ kann nicht decodiert werden, da weniger als $k = 4 \ \rm Bit$ (Anzahl der Informationsbit) ankommen.

*$\underline{y}_{\rm C} = ( {\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0)$ ist ebenfalls nicht decodierbar, da sowohl $\underline{x} = (0, 1, 1, 1, 0, 1, 0)$ als auch $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ als mögliches Ergebnis in Frage kommen.

*$\underline{y}_{\rm B} = ( {\rm E}, {\rm E}, 0, {\rm E}, 0, 1, 0)$ ist dagegen decodierbar, da von allen 16 möglichen Codeworten nur $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ mit $\underline{y}_{\rm B}$ in den (richtigen) Bitpositionen 3, 5, 6 und 7 übereinstimmt.

*$\underline{y}_{\rm A} = (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E})$ ist decodierbar. Es fehlen nur die $m = 3$ Prüfbit. Damit liegt das Informationswort $\underline{u} = (1, 0, 0, 1)$ ebenfalls fest (systematischer Code).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes

^]]

Aufgaben:Exercise 1.13Z: Binary Erasure Channel Decoding again

2017-12-20T21:46:30Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2541__KC_Z_1_13.png|right|frame|Codetabelle des vorgegebenen Hamming–Codes]]

Wir betrachten wieder wie in der vorherigen Aufgabe die Decodierung eines [[Kanalcodierung/Beispiele_binärer_Blockcodes#Hamming.E2.80.93Codes|Hamming–Codes]] nach der Übertragung über einen Auslöschungskanal ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (abgekürzt BEC).
Der $(7, 4, 3)$–Hamming–Code wird durch die nebenstehende Codetabelle $\underline{u}_{i} → \underline{x}_{i}$ vollständig beschrieben, anhand derer alle Lösungen gefunden werden können.

''Hinweise'' :
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Decodierung_linearer_Blockcodes|Decodierung linearer Blockcodes]].
* Im Gegensatz zur [[Aufgaben:1.13_BEC–Decodierung|Aufgabe 1.13]] soll hier die Lösung nicht streng formal, sondern eher intuitiv gefunden werden.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
Wie groß ist die minimale Distanz des vorliegenden Codes?
|type="{}"}
$\ d_{\rm min} \ = \ $ { 3 3% }

{Ist der Code systematisch?
|type="[]"}
+ JA.
- NEIN.

{Bis zu wie vielen ''Erasures'' ist die erfolgreiche Decodierung gewährleistet?
|type="{}"}
$\ e_{\ max} \ = \ $ { 2 3% }

{Wie lautet das gesendete Informationswort $\underline{u}$ für $\underline{y} = (1, 0, {\rm E}, {\rm E}, 0, 1, 0)$?
|type="[]"}
- $\underline{u} = (1, 0, 0, 0),$
+ $\underline{u}= (1, 0, 0, 1),$
- $\underline{u} = (1, 0, 1, 0),$
- $\underline{u} = (1, 0, 1, 1).$

{Welche der nachfolgenden Empfangsworte können decodiert werden?
|type="[]"}
+ $\underline{y}_{\rm A }= (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E}),$
+ $\underline{y}_{\rm B} = ({\rm E}, {\rm E }, 0, {\rm E}, 0, 1, 0),$
- $\underline{y}_{\rm C} = ({\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0),$
- $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0).$

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Betrachtet wird der $(7, 4, 3)$–Hamming–Code. Dementsprechend ist die minimale Distanz $d_{\rm min} \ \underline{= 3}$.

'''(2)'''  Die ersten $k = 4 \ \rm Bit$ eines jeden Codewortes $\underline{x}$ stimmen mit dem Informationswort $\underline{u} überein. Richtig ist somit JA.

'''(3)'''  Es können bis zu $e_{\rm max} = d_{\rm min} – 1 \underline{ = 2}$ Bit ausgelöscht sein, damit eine Decodierung mit Sicherheit möglich ist. Jedes Codewort unterscheidet sich von jedem anderen in mindestens drei Bitpositionen. Bei nur zwei Auslöschungen kann deshalb das Codewort in jedem Fall rekonstruiert werden.

'''(4)'''  In der Tabelle auf der Angabenseite findet man ein einziges Codewort, das mit „$10$” beginnt und mit „$010$” endet, nämlich $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$. Da es sich um einen systematischen Code handelt, beschreiben die ersten $k = 4 \ \rm Bit$ das Informationswort $\underline{u} = (1, 0, 0, 1)$  ⇒  Antwort 2.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 2.

* $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0)$ kann nicht decodiert werden, da weniger als $k = 4 \ \rm Bit$ (Anzahl der Informationsbit) ankommen.

*$\underline{y}_{\rm C} = ( {\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0)$ ist ebenfalls nicht decodierbar, da sowohl $\underline{x} = (0, 1, 1, 1, 0, 1, 0)$ als auch $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ als mögliches Ergebnis in Frage kommen.

*$\underline{y}_{\rm B} = ( {\rm E}, {\rm E}, 0, {\rm E}, 0, 1, 0)$ ist dagegen decodierbar, da von allen 16 möglichen Codeworten nur $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ mit $\underline{y}_{\rm B}$ in den (richtigen) Bitpositionen 3, 5, 6 und 7 übereinstimmt.

*$\underline{y}_{\rm A} = (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E})$ ist decodierbar. Es fehlen nur die $m = 3$ Prüfbit. Damit liegt das Informationswort $\underline{u} = (1, 0, 0, 1)$ ebenfalls fest (systematischer Code).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes

^]]

Aufgaben:Exercise 1.13Z: Binary Erasure Channel Decoding again

2017-12-20T16:53:11Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2541__KC_Z_1_13.png|right|frame|Codetabelle des vorgegebenen Hamming–Codes]]

Wir betrachten wieder wie in der vorherigen Aufgabe die Decodierung eines [[Kanalcodierung/Beispiele_binärer_Blockcodes#Hamming.E2.80.93Codes|Hamming–Codes]] nach der Übertragung über einen Auslöschungskanal ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (abgekürzt BEC).
Der $(7, 4, 3)$–Hamming–Code wird durch die nebenstehende Codetabelle $\underline{u}_{i} → \underline{x}_{i}$ vollständig beschrieben, anhand derer alle Lösungen gefunden werden können.

''Hinweise'' :
* Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Decodierung_linearer_Blockcodes|Decodierung linearer Blockcodes]].
* Im Gegensatz zur [[Aufgaben:1.13_BEC–Decodierung|Aufgabe 1.13]] soll hier die Lösung nicht streng formal, sondern eher intuitiv gefunden werden.
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===

<quiz display=simple>

Wie groß ist die minimale Distanz des vorliegenden Codes?
|type="{}"}
$\ d_{\rm min}$ = { 3 3% }

{Ist der Code systematisch?
|type="[]"}
+ JA.
- NEIN.

{Bis zu wie vielen ''Erasures'' ist die erfolgreiche Decodierung gewährleistet?
|type="{}"}
$\ e_{\ max} \ = \ ${ 2 3% }

{Wie lautet das gesendete Informationswort $\underline{u}$ für $\underline{y} = (1, 0, {\rm E}, {\rm E}, 0, 1, 0)$?
|type="[]"}
- $\underline{u} = (1, 0, 0, 0),$
+ $\underline{u}= (1, 0, 0, 1),$
- $\underline{u} = (1, 0, 1, 0),$
- $\underline{u} = (1, 0, 1, 1).$

{Welche der nachfolgenden Empfangsworte können decodiert werden?
|type="[]"}
+ $\underline{y}_{\rm A }= (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E}),$
+ $\underline{y}_{\rm B} = ({\rm E}, {\rm E }, 0, {\rm E}, 0, 1, 0),$
- $\underline{y}_{\rm C} = ({\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0),$
- $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0).$

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Betrachtet wird der (7, 4, 3)–Hamming–Code. Dementsprechend ist die minimale Distanz $d_{\rm min} \underline{= 3}$.

'''(2)'''  Die ersten $k = 4$ Bit eines jeden Codewortes $\underline{x}$ stimmen mit dem Informationswort u überein. Richtig ist somit JA.

'''(3)'''  Es können bis zu $e_{\rm max} = d_{\rm min} – 1 \underline{ = 2}$ Bit ausgelöscht sein, damit eine Decodierung mit Sicherheit möglich ist. Jedes Codewort unterscheidet sich von jedem anderen in mindestens drei Bitpositionen. Bei nur zwei Auslöschungen kann deshalb das Codewort in jedem Fall rekonstruiert werden.

'''(4)'''  In der Tabelle auf der Angabenseite findet man ein einziges Codewort, das mit „10” beginnt und mit „010” endet, nämlich $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$. Da es sich um einen systematischen Code handelt, beschreiben die ersten $k = 4 \rm Bit$ das Informationswort $\underline{u} = (1, 0, 0, 1)$ ⇒ Antwort 2.

'''(5)'''  Richtig sind die Lösungsvorschläge 1 und 2.

* $\underline{y}_{\rm D} = (1, 0, {\rm E}, {\rm E}, {\rm E}, {\rm E}, 0)$ kann nicht decodiert werden, da weniger als $k = 4$ Bit (Anzahl der Informationsbit) ankommen.

*$\underline{y}_{\rm C} = ( {\rm E}, {\rm E}, {\rm E}, 1, 0, 1, 0)$ ist ebenfalls nicht decodierbar, da sowohl $\underline{x} = (0, 1, 1, 1, 0, 1, 0)$ als auch $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ als mögliches Ergebnis in Frage kommen.

*$\underline{y}_{\rm B} = ( {\rm E}, {\rm E}, 0, {\rm E}, 0, 1, 0)$ ist dagegen decodierbar, da von allen 16 möglichen Codeworten nur $\underline{x} = (1, 0, 0, 1, 0, 1, 0)$ mit $\underline{y}_{\rm B}$ in den (richtigen) Bitpositionen 3, 5, 6 und 7 übereinstimmt.

*$\underline{y}_{\rm A} = (1, 0, 0, 1, {\rm E}, {\rm E}, {\rm E})$ ist decodierbar. Es fehlen nur die $m = 3$ Prüfbit. Damit liegt das Informationswort $\underline{u} = (1, 0, 0, 1)$ ebenfalls fest (systematischer Code).

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes

^]]

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:48:16Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2539__KC_A_1_13.png|right|frame|Zur BEC–Decodierung]]

Wir gehen hier von dem [[Kanalcodierung/Decodierung_linearer_Blockcodes#Decodierung_beim_Binary_Erasure_Channel|Modell]] auf der letzten Theorieseite im Kapitel 1.5 aus (grün hinterlegte BEC–Konfiguration):

*Jedes Informationswort $\underline{u}$ wird blockweise codiert und liefert das Codewort $\underline{x}$. Der Blockcode sei linear und durch seine Prüfmatrix $\boldsymbol{\rm H}$ vollständig gegeben.

*Bei der Übertragung werden $n_{\rm E}$ Bit des Codewortes ausgelöscht ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (BEC). Aus dem Codewort $\underline{x}$ wird somit das Empfangswort $\underline{y}$.

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als die [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|minimale Distanz]] $d_{\rm min}$ des Codes, so gelingt es, aus $\underline{y}$ das Codewort $\underline{z} = \underline{x}$ ohne Fehler zu rekonstruieren, und man erhält so auch das richtige Informationswort $\underline{\upsilon} = \underline{u}$.

*Zur Aufgabenbeschreibung betrachten wir beispielhaft das Hamming–Codewort $\underline{x} = (0, 1, 0, 1, 1, 0, 0)$ und das Empfangswort $\underline{y} = (0, 1, {\rm E} , {\rm E}, 1, 0, 0).$

Ausgelöscht wurden somit durch den Kanal das dritte und vierte Bit. Der Codewortfinder hat somit die Aufgabe, den Vektor $z_{\rm E} = (z_{3}, z_{4})$ mit $z_{3}, \ z_{4} \in \{0, 1\}$ zu bestimmen. Dies geschieht entsprechend der Gleichung

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}\hspace{0.05cm},$$

wobei im vorliegenden Beispiel gilt:

:$$\underline{z}_{\rm K} = (0, 1, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &1 &0 &0\\ 0 &1 &0 &1 &0\\ 1 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm}, \hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &1\\ 0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Diese Gleichung liefert zwei Bestimmungsgleichungen für die zu bestimmenden Bits, deren Lösung zum Ergebnis $z_{3} = 0$ und $z_{4} = 1$ führt.

''Hinweis: ''
* Die Aufgabe gehört zu [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Der Algorithmus zur Zuordnung des Empfangswortes $\underline{y}$ zum richtigen Codewort $\underline{z} = \underline{x}$ ist im [[Aufgaben:1.1_ISDN–Versorgungsleitungen|Theorieteil]] ausführlich beschrieben.
* Wir möchten nochmals daran erinnern, dass wir bei der BEC–Decodierung den ersten Decoderblock $\underline{y} → \underline{z}$ als ''Codewortfinder'' bezeichnen, da hier Fehlentscheidungen ausgeschlossen sind. Jedes Empfangswort wird richtig decodiert, oder es kann gar nicht decodiert werden. Beim BSC–Modell lassen sich dagegen Decodierfehler nicht vermeiden. Dementsprechend heißt der entsprechende Block dort ''Codewortschätzer''.

===Fragebogen===
<quiz display=simple>
{Empfangen wurde $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Für welche Sequenz entscheidet sich der Codewortschätzer?
|type="[]"}
- $\underline{z} = (1, 0, 0, 1, 0, 0, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 0, 0, 1, 0, 0, 1).$

{Welche Konsequenzen ergeben sich aus den roten Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Der Erasure–Vektor lautet $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}).$
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm E}$ ist eine $2 x 3$–Matrix.
+ $\boldsymbol{\rm H}_{\rm E}$ ist eine $3 x 3$–Matrix.

{Nun gelte $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
- Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Konsequenzen ergeben sich aus den grünen Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Zeile.
+ $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Spalte.

{Nun gelte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
- $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
+ Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Aussagen ergeben sich für die Korrekturfähigkeit beim BEC? $n_{\rm E}$ gibt dabei Anzahl der Auslöschungen (''Erasures'') an.
|type="[]"}
+ Für $n_{\rm E} < d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
- Für $n_{\rm E} = d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} = d_{\rm min}$ ist manchmal eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} > d_{\rm min}$ ist eine eindeutige Decodierung nie möglich.
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Der Empfangsvektor lautet $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Ausgelöscht wurden also die Codesymbole an den Positionen 2 und 7. Ausgehend von der vorgegebenen Prüfmatrix

:$${ \boldsymbol{\rm H}} = \begin{pmatrix} 1 &1 &1 &0 &1 &0 &0\\ 0 &1 &1 &1 &0 &1 &0\\ 1 &1 &0 &1 &0 &0 &1 \end{pmatrix}$$

des Hammingcodes erhält man für Vektor und Matrix hinsichtlich

*aller korrekt übertragenen Codesymbole (Index $\rm K$), die dem Codewortfinder bekannt sind:

:$$\underline{z}_{\rm K} = (1, 0, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \hspace{0.05cm},$$

*hinsichtlich der beiden ausgelöschten Codesymbole $z_{2}$ und $z_{7}$ (Index $\rm E$), die zu ermitteln sind:

:$$\underline{z}_{\rm E} = (z_2, z_7)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \hspace{0.05cm}.$$

Die Bestimmungsgleichung lautet somit:

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}$$

:$$\Rightarrow \hspace{0.3cm} \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \cdot \begin{pmatrix} z_2 \\ z_7 \end{pmatrix} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm}.$$

Daraus ergeben sich drei Gleichungen für die beiden Unbekannten $z_{2}$ und $z_{7}$:

# (a) $z_{2} = 1$,
# (b) $z_{2} = 1$,
# (c) $z_{2} + z_{7} = 0 \ \Rightarrow \ z_{7}= 1$.

Somit liefert der Codewortfinder $\underline{z} = (1, 1, 0, 1, 0, 0, 1)$  ⇒  Lösungsvorschlag 2.

'''(2)'''  Betrachtet man die vorgegebene Matrix $\boldsymbol{\rm H}_{\rm K}$, so erkennt man, dass diese mit den ersten vier Spalten der Prüfmatrix $\boldsymbol{\rm H}$ übereinstimmt. Die Auslöschungen betreffen also die letzten 3 Bit des Empfangswortes  ⇒  $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}) ⇒ \underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ und die Erasure–Matrix lautet:

:$${ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Richtig sind demzufolge die Aussagen 1, 2 und 4.

'''(3)'''  Man erhält nach einigen Matrizenmultiplikationen:
:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &0\\ 0 &1 &1 &1\\ 1 &1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} \hspace{0.05cm}.$$

Durch Gleichsetzen folgt $z_{5} = 0, \ z_{6} = 0, \ z_{7} = 1$  ⇒  Lösungsvorschlag 2.

'''(4)'''  Der Matrizenvergleich zeigt, dass die ersten drei Spalten von $\boldsymbol{\rm H}$ und $\boldsymbol{\rm H}_{\rm K}$ identisch sind. Die vierte Spalte von $\boldsymbol{\rm H}_{\rm K}$ ist gleich der fünften Spalte der Prüfmatrix. Daraus folgt für den Vektor $z_{\rm E} = (z_{4}, z_{6}, z_{7})$ und weiter für den Empfangsvektor $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ ⇒ Lösungsvorschlag 1 und 3.

'''(5)'''  Analog zur Teilaufgabe (3) erhält man nun:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &1\\ 0 &1 &1 &0\\ 1 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 0 &0 &0\\ 1 &1 &0\\ 1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_4 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} 0 \\ z_4 + z_6 \\ z_4 + z_7 \end{pmatrix} \hspace{0.05cm}.$$

Setzt man nun die beiden Spaltenvektoren gleich, so erhält man nur mehr zwei Gleichungen für die drei Unbekannten  ⇒  Lösungsvorschlag 4.
Oder anders ausgedrückt: Ist die Anzahl der Auslöschungen des BEC–Kanals größer als der Rang der Matrix $\boldsymbol{\rm H}_{\rm E}$, so ergibt sich keine eindeutige Lösung des resultierenden Gleichungssystems.

'''(6)'''  Zur Lösung dieser Aufgabe beziehen wir uns wieder auf den systematischen Hamming–Code $(7, 4, 3)$ entsprechend der angegebenen Prüfgleichung und der nachfolgenden Codetabelle. Die Informationsbit sind schwarz dargestellt und die Prüfbit rot. Die minimale Distanz dieses Codes beträgt $d_{\rm min} = 3$.

[[File:P_ID2540__KC_A_1_13f.png|center|frame|Codetabelle des systematischen $(7, 4, 3)$–Hamming–Codes]]

Weiter nehmen wir an, dass stets das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$ gesendet wurde:

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als $d_{\rm min} = 3$, so ist eine Decodierung nach der hier beschriebenen Methode immer möglich  ⇒  siehe beispielsweise Teilaufgabe (1) mit $n_{E }= 2$.

*Auch für $n_{\rm E} = d_{\rm min} = 3$ ist manchmal eine Decodierung möglich, wie in Aufgabe (3) gezeigt. In der Codetabelle gibt es nur ein einziges Codewort, das zum Empfangsvektor $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ passen könnte, nämlich das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$.

*Dagegen konnte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ entsprechend Teilaufgabe (4) nicht decodiert werden. In der Codetabelle erkennt man neben $(1, 1, 0, 1, 0, 0, 1)$ mit $(1, 1, 0, 0, 0, 1, 0)$ ein weiteres Codewort (grün hinterlegt), das durch die $n_{\rm E} = 3$ gegebenen Auslöschungen zum Empfangswort $\underline{y}$ wird. Dieser Fall, wenn die $n_{\rm E} = d_{\rm min}$ Auslöschungen genau die $d_{\rm min}$ unterschiedlichen Bit zweier Codeworte betreffen, führt zu einer Matrix $\mathbf{H}_{\rm E}$ mit einem Rang kleiner als $d_{\rm min}$.

*Ist $\boldsymbol{\rm H}_{\rm E} > d_{\rm min}$, so ist die Anzahl $n – n_{\rm E}$ der nicht ausgelöschten Bit kleiner als die Anzahl $k$ der Informationsbit. In diesem Fall kann das Codewort natürlich nicht decodiert werden.

Das heißt: Zutreffend sind die Aussagen 1, 3 und 4.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:47:27Z

Hussain:

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:46:36Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2539__KC_A_1_13.png|right|frame|Zur BEC–Decodierung]]

Wir gehen hier von dem [[Kanalcodierung/Decodierung_linearer_Blockcodes#Decodierung_beim_Binary_Erasure_Channel|Modell]] auf der letzten Theorieseite im Kapitel 1.5 aus (grün hinterlegte BEC–Konfiguration):

*Jedes Informationswort $\underline{u}$ wird blockweise codiert und liefert das Codewort $\underline{x}$. Der Blockcode sei linear und durch seine Prüfmatrix $\boldsymbol{\rm H}$ vollständig gegeben.

*Bei der Übertragung werden $n_{\rm E}$ Bit des Codewortes ausgelöscht ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (BEC). Aus dem Codewort $\underline{x}$ wird somit das Empfangswort $\underline{y}$.

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als die [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|minimale Distanz]] $d_{\rm min}$ des Codes, so gelingt es, aus $\underline{y}$ das Codewort $\underline{z} = \underline{x}$ ohne Fehler zu rekonstruieren, und man erhält so auch das richtige Informationswort $\underline{\upsilon} = \underline{u}$.

*Zur Aufgabenbeschreibung betrachten wir beispielhaft das Hamming–Codewort $\underline{x} = (0, 1, 0, 1, 1, 0, 0)$ und das Empfangswort $\underline{y} = (0, 1, {\rm E} , {\rm E}, 1, 0, 0).$

Ausgelöscht wurden somit durch den Kanal das dritte und vierte Bit. Der Codewortfinder hat somit die Aufgabe, den Vektor $z_{\rm E} = (z_{3}, z_{4})$ mit $z_{3}, \ z_{4} \in \{0, 1\}$ zu bestimmen. Dies geschieht entsprechend der Gleichung

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}\hspace{0.05cm},$$

wobei im vorliegenden Beispiel gilt:

:$$\underline{z}_{\rm K} = (0, 1, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &1 &0 &0\\ 0 &1 &0 &1 &0\\ 1 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm}, \hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &1\\ 0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Diese Gleichung liefert zwei Bestimmungsgleichungen für die zu bestimmenden Bits, deren Lösung zum Ergebnis $z_{3} = 0$ und $z_{4} = 1$ führt.

''Hinweis: ''
* Die Aufgabe gehört zu [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Der Algorithmus zur Zuordnung des Empfangswortes $\underline{y}$ zum richtigen Codewort $\underline{z} = \underline{x}$ ist im [[Aufgaben:1.1_ISDN–Versorgungsleitungen|Theorieteil]] ausführlich beschrieben.
* Wir möchten nochmals daran erinnern, dass wir bei der BEC–Decodierung den ersten Decoderblock $\underline{y} → \underline{z}$ als ''Codewortfinder'' bezeichnen, da hier Fehlentscheidungen ausgeschlossen sind. Jedes Empfangswort wird richtig decodiert, oder es kann gar nicht decodiert werden. Beim BSC–Modell lassen sich dagegen Decodierfehler nicht vermeiden. Dementsprechend heißt der entsprechende Block dort ''Codewortschätzer''.

===Fragebogen===
<quiz display=simple>
{Empfangen wurde $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Für welche Sequenz entscheidet sich der Codewortschätzer?
|type="[]"}
- $\underline{z} = (1, 0, 0, 1, 0, 0, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 0, 0, 1, 0, 0, 1).$

{Welche Konsequenzen ergeben sich aus den roten Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Der Erasure–Vektor lautet $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}).$
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm E}$ ist eine $2 x 3$–Matrix.
+ $\boldsymbol{\rm H}_{\rm E}$ ist eine $3 x 3$–Matrix.

{Nun gelte $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
- Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Konsequenzen ergeben sich aus den grünen Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Zeile.
+ $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Spalte.

{Nun gelte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
- $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
+ Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Aussagen ergeben sich für die Korrekturfähigkeit beim BEC? $n_{\rm E}$ gibt dabei Anzahl der Auslöschungen (''Erasures'') an.
|type="[]"}
+ Für $n_{\rm E} < d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
- Für $n_{\rm E} = d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} = d_{\rm min}$ ist manchmal eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} > d_{\rm min}$ ist eine eindeutige Decodierung nie möglich.
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Der Empfangsvektor lautet $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Ausgelöscht wurden also die Codesymbole an den Positionen 2 und 7. Ausgehend von der vorgegebenen Prüfmatrix

:$${ \boldsymbol{\rm H}} = \begin{pmatrix} 1 &1 &1 &0 &1 &0 &0\\ 0 &1 &1 &1 &0 &1 &0\\ 1 &1 &0 &1 &0 &0 &1 \end{pmatrix}$$

des Hammingcodes erhält man für Vektor und Matrix hinsichtlich

*aller korrekt übertragenen Codesymbole (Index $\rm K$), die dem Codewortfinder bekannt sind:

:$$\underline{z}_{\rm K} = (1, 0, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \hspace{0.05cm},$$

*hinsichtlich der beiden ausgelöschten Codesymbole $z_{2}$ und $z_{7}$ (Index $\rm E$), die zu ermitteln sind:

:$$\underline{z}_{\rm E} = (z_2, z_7)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \hspace{0.05cm}.$$

Die Bestimmungsgleichung lautet somit:

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}$$

:$$\Rightarrow \hspace{0.3cm} \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \cdot \begin{pmatrix} z_2 \\ z_7 \end{pmatrix} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm}.$$

Daraus ergeben sich drei Gleichungen für die beiden Unbekannten $z_{2}$ und $z_{7}$:

# (a) $z_{2} = 1$,
# (b) $z_{2} = 1$,
# (c) $z_{2} + z_{7} = 0 \ \Rightarrow \ z_{7}= 1$.

Somit liefert der Codewortfinder $\underline{z} = (1, 1, 0, 1, 0, 0, 1)$  ⇒  Lösungsvorschlag 2.

'''(2)'''  Betrachtet man die vorgegebene Matrix $\boldsymbol{\rm H}_{\rm K}$, so erkennt man, dass diese mit den ersten vier Spalten der Prüfmatrix $\boldsymbol{\rm H}$ übereinstimmt. Die Auslöschungen betreffen also die letzten 3 Bit des Empfangswortes  ⇒  $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}) ⇒ \underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ und die Erasure–Matrix lautet:

:$${ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Richtig sind demzufolge die Aussagen 1, 2 und 4.

'''(3)'''  Man erhält nach einigen Matrizenmultiplikationen:
:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &0\\ 0 &1 &1 &1\\ 1 &1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} \hspace{0.05cm}.$$

Durch Gleichsetzen folgt $z_{5} = 0, \ z_{6} = 0, \ z_{7} = 1$  ⇒  Lösungsvorschlag 2.

'''(4)'''  Der Matrizenvergleich zeigt, dass die ersten drei Spalten von $\boldsymbol{\rm H}$ und $\boldsymbol{\rm H}_{\rm K}$ identisch sind. Die vierte Spalte von $\boldsymbol{\rm H}_{\rm K}$ ist gleich der fünften Spalte der Prüfmatrix. Daraus folgt für den Vektor $z_{\rm E} = (z_{4}, z_{6}, z_{7})$ und weiter für den Empfangsvektor $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ ⇒ Lösungsvorschlag 1 und 3.

'''(5)'''  Analog zur Teilaufgabe (3) erhält man nun:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &1\\ 0 &1 &1 &0\\ 1 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 0 &0 &0\\ 1 &1 &0\\ 1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_4 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} 0 \\ z_4 + z_6 \\ z_4 + z_7 \end{pmatrix} \hspace{0.05cm}.$$

Setzt man nun die beiden Spaltenvektoren gleich, so erhält man nur mehr zwei Gleichungen für die drei Unbekannten  ⇒  Lösungsvorschlag 4.
Oder anders ausgedrückt: Ist die Anzahl der Auslöschungen des BEC–Kanals größer als der Rang der Matrix $\boldsymbol{\rm H}_{\rm E}$, so ergibt sich keine eindeutige Lösung des resultierenden Gleichungssystems.

'''(6)'''  Zur Lösung dieser Aufgabe beziehen wir uns wieder auf den systematischen Hamming–Code $(7, 4, 3)$ entsprechend der angegebenen Prüfgleichung und der nachfolgenden Codetabelle. Die Informationsbit sind schwarz dargestellt und die Prüfbit rot. Die minimale Distanz dieses Codes beträgt $d_{\rm min} = 3$.

[[File:P_ID2540__KC_A_1_13f.png|center|frame|Codetabelle des systematischen $(7, 4, 3)$–Hamming–Codes]]

Weiter nehmen wir an, dass stets das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$ gesendet wurde:

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als $d_{\rm min} = 3$, so ist eine Decodierung nach der hier beschriebenen Methode immer möglich  ⇒  siehe beispielsweise Teilaufgabe (1) mit $n_{E }= 2$.

*Auch für $n_{\rm E} = d_{\rm min} = 3$ ist manchmal eine Decodierung möglich, wie in Aufgabe (3) gezeigt. In der Codetabelle gibt es nur ein einziges Codewort, das zum Empfangsvektor $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ passen könnte, nämlich das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$.

*Dagegen konnte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ entsprechend Teilaufgabe (4) nicht decodiert werden. In der Codetabelle erkennt man neben $(1, 1, 0, 1, 0, 0, 1)$ mit $(1, 1, 0, 0, 0, 1, 0)$ ein weiteres Codewort (grün hinterlegt), das durch die $n_{\rm E} = 3$ gegebenen Auslöschungen zum Empfangswort $\underline{y}$ wird. Dieser Fall, wenn die $n_{\rm E} = d_{\rm min}$ Auslöschungen genau die $d_{\rm min}$ unterschiedlichen Bit zweier Codeworte betreffen, führt zu einer Matrix $\mathbf{H}_{\rm E}$ mit einem Rang kleiner als dmin.

*Ist $\boldsymbol{\rm H}_{\rm E} > d_{\rm min}$, so ist die Anzahl $n – n_{\rm E}$ der nicht ausgelöschten Bit kleiner als die Anzahl $k$ der Informationsbit. In diesem Fall kann das Codewort natürlich nicht decodiert werden.

Das heißt: Zutreffend sind die Aussagen 1, 3 und 4.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:43:04Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2539__KC_A_1_13.png|right|frame|Zur BEC–Decodierung]]

Wir gehen hier von dem [[Kanalcodierung/Decodierung_linearer_Blockcodes#Decodierung_beim_Binary_Erasure_Channel|Modell]] auf der letzten Theorieseite im Kapitel 1.5 aus (grün hinterlegte BEC–Konfiguration):

*Jedes Informationswort $\underline{u}$ wird blockweise codiert und liefert das Codewort $\underline{x}$. Der Blockcode sei linear und durch seine Prüfmatrix $\boldsymbol{\rm H}$ vollständig gegeben.

*Bei der Übertragung werden $n_{\rm E}$ Bit des Codewortes ausgelöscht ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (BEC). Aus dem Codewort $\underline{x}$ wird somit das Empfangswort $\underline{y}$.

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als die [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|minimale Distanz]] $d_{\rm min}$ des Codes, so gelingt es, aus $\underline{y}$ das Codewort $\underline{z} = \underline{x}$ ohne Fehler zu rekonstruieren, und man erhält so auch das richtige Informationswort $\underline{\upsilon} = \underline{u}$.

*Zur Aufgabenbeschreibung betrachten wir beispielhaft das Hamming–Codewort $\underline{x} = (0, 1, 0, 1, 1, 0, 0)$ und das Empfangswort $\underline{y} = (0, 1, {\rm E} , {\rm E}, 1, 0, 0).$

Ausgelöscht wurden somit durch den Kanal das dritte und vierte Bit. Der Codewortfinder hat somit die Aufgabe, den Vektor $z_{\rm E} = (z_{3}, z_{4})$ mit $z_{3}, \ z_{4} \in \{0, 1\}$ zu bestimmen. Dies geschieht entsprechend der Gleichung

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}\hspace{0.05cm},$$

wobei im vorliegenden Beispiel gilt:

:$$\underline{z}_{\rm K} = (0, 1, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &1 &0 &0\\ 0 &1 &0 &1 &0\\ 1 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm}, \hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &1\\ 0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Diese Gleichung liefert zwei Bestimmungsgleichungen für die zu bestimmenden Bits, deren Lösung zum Ergebnis $z_{3} = 0$ und $z_{4} = 1$ führt.

''Hinweis: ''
* Die Aufgabe gehört zu [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Der Algorithmus zur Zuordnung des Empfangswortes $\underline{y}$ zum richtigen Codewort $\underline{z} = \underline{x}$ ist im [[Aufgaben:1.1_ISDN–Versorgungsleitungen|Theorieteil]] ausführlich beschrieben.
* Wir möchten nochmals daran erinnern, dass wir bei der BEC–Decodierung den ersten Decoderblock $\underline{y} → \underline{z}$ als ''Codewortfinder'' bezeichnen, da hier Fehlentscheidungen ausgeschlossen sind. Jedes Empfangswort wird richtig decodiert, oder es kann gar nicht decodiert werden. Beim BSC–Modell lassen sich dagegen Decodierfehler nicht vermeiden. Dementsprechend heißt der entsprechende Block dort ''Codewortschätzer''.

===Fragebogen===
<quiz display=simple>
{Empfangen wurde $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Für welche Sequenz entscheidet sich der Codewortschätzer?
|type="[]"}
- $\underline{z} = (1, 0, 0, 1, 0, 0, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 0, 0, 1, 0, 0, 1).$

{Welche Konsequenzen ergeben sich aus den roten Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Der Erasure–Vektor lautet $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}).$
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm E}$ ist eine $2 x 3$–Matrix.
+ $\boldsymbol{\rm H}_{\rm E}$ ist eine $3 x 3$–Matrix.

{Nun gelte $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
- Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Konsequenzen ergeben sich aus den grünen Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Zeile.
+ $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Spalte.

{Nun gelte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
- $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
+ Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Aussagen ergeben sich für die Korrekturfähigkeit beim BEC? $n_{\rm E}$ gibt dabei Anzahl der Auslöschungen (''Erasures'') an.
|type="[]"}
+ Für $n_{\rm E} < d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
- Für $n_{\rm E} = d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} = d_{\rm min}$ ist manchmal eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} > d_{\rm min}$ ist eine eindeutige Decodierung nie möglich.
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Der Empfangsvektor lautet $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Ausgelöscht wurden also die Codesymbole an den Positionen 2 und 7. Ausgehend von der vorgegebenen Prüfmatrix

:$${ \boldsymbol{\rm H}} = \begin{pmatrix} 1 &1 &1 &0 &1 &0 &0\\ 0 &1 &1 &1 &0 &1 &0\\ 1 &1 &0 &1 &0 &0 &1 \end{pmatrix}$$

des Hammingcodes erhält man für Vektor und Matrix hinsichtlich

*aller korrekt übertragenen Codesymbole (Index $\rm K$), die dem Codewortfinder bekannt sind:

:$$\underline{z}_{\rm K} = (1, 0, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \hspace{0.05cm},$$

*hinsichtlich der beiden ausgelöschten Codesymbole $z_{2}$ und $z_{7}$ (Index $\rm E$), die zu ermitteln sind:

:$$\underline{z}_{\rm E} = (z_2, z_7)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \hspace{0.05cm}.$$

Die Bestimmungsgleichung lautet somit:

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}$$

:$$\Rightarrow \hspace{0.3cm} \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \cdot \begin{pmatrix} z_2 \\ z_7 \end{pmatrix} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm}.$$

Daraus ergeben sich drei Gleichungen für die beiden Unbekannten $z_{2}$ und $z_{7}$:

# (a) $z_{2} = 1$,
# (b) $z_{2} = 1$,
# (c) $z_{2} + z_{7} = 0 \ \Rightarrow \ z_{7}= 1$.

Somit liefert der Codewortfinder $\underline{z} = (1, 1, 0, 1, 0, 0, 1)$  ⇒  Lösungsvorschlag 2.

'''(2)'''  Betrachtet man die vorgegebene Matrix $\boldsymbol{\rm H}_{\rm K}$, so erkennt man, dass diese mit den ersten vier Spalten der Prüfmatrix $\boldsymbol{\rm H}$ übereinstimmt. Die Auslöschungen betreffen also die letzten 3 Bit des Empfangswortes  ⇒  $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}) ⇒ \underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ und die Erasure–Matrix lautet:

:$${ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Richtig sind demzufolge die Aussagen 1, 2 und 4.

'''(3)'''  Man erhält nach einigen Matrizenmultiplikationen:
:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &0\\ 0 &1 &1 &1\\ 1 &1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} \hspace{0.05cm}.$$

Durch Gleichsetzen folgt $z_{5} = 0, \ z_{6} = 0, \ z_{7} = 1$  ⇒  Lösungsvorschlag 2.

'''(4)'''  Der Matrizenvergleich zeigt, dass die ersten drei Spalten von $\boldsymbol{\rm H}$ und $\boldsymbol{\rm H}_{\rm K}$ identisch sind. Die vierte Spalte von $\boldsymbol{\rm H}_{\rm K}$ ist gleich der fünften Spalte der Prüfmatrix. Daraus folgt für den Vektor $z_{\rm E} = (z_{4}, z_{6}, z_{7})$ und weiter für den Empfangsvektor $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ ⇒ Lösungsvorschlag 1 und 3.

'''(5)'''  Analog zur Teilaufgabe (3) erhält man nun:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &1\\ 0 &1 &1 &0\\ 1 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 0 &0 &0\\ 1 &1 &0\\ 1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_4 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} 0 \\ z_4 + z_6 \\ z_4 + z_7 \end{pmatrix} \hspace{0.05cm}.$$

Setzt man nun die beiden Spaltenvektoren gleich, so erhält man nur mehr zwei Gleichungen für die drei Unbekannten  ⇒  Lösungsvorschlag 4.
Oder anders ausgedrückt: Ist die Anzahl der Auslöschungen des BEC–Kanals größer als der Rang der Matrix $\boldsymbol{\rm H}_{\rm E}$, so ergibt sich keine eindeutige Lösung des resultierenden Gleichungssystems.

'''(6)'''  Zur Lösung dieser Aufgabe beziehen wir uns wieder auf den systematischen Hamming–Code $(7, 4, 3)$ entsprechend der angegebenen Prüfgleichung und der nachfolgenden Codetabelle. Die Informationsbit sind schwarz dargestellt und die Prüfbit rot. Die minimale Distanz dieses Codes beträgt $d_{\rm min} = 3$.

[[File:P_ID2540__KC_A_1_13f.png|center|frame|Codetabelle des systematischen $(7, 4, 3)$–Hamming–Codes]]

Weiter nehmen wir an, dass stets das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$ gesendet wurde:

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als $d_{\rm min} = 3$, so ist eine Decodierung nach der hier beschriebenen Methode immer möglich  ⇒  siehe beispielsweise Teilaufgabe (1) mit $n_{E }= 2$.

*Auch für $n_{\rm E} = d_{\rm min} = 3$ ist manchmal eine Decodierung möglich, wie in Aufgabe (3) gezeigt. In der Codetabelle gibt es nur ein einziges Codewort, das zum Empfangsvektor $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ passen könnte, nämlich das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$.

*Dagegen konnte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ entsprechend Teilaufgabe (4) nicht decodiert werden. In der Codetabelle erkennt man neben $(1, 1, 0, 1, 0, 0, 1)$ mit $(1, 1, 0, 0, 0, 1, 0)$ ein weiteres Codewort (grün hinterlegt), das durch die $n_{\rm E} = 3$ gegebenen Auslöschungen zum Empfangswort $\underline{y}$ wird. Dieser Fall, wenn die $n_{\rm E} = d_{\rm min}$ Auslöschungen genau die dmin unterschiedlichen Bit zweier Codeworte betreffen, führt zu einer Matrix $\mathbf{H}_{\rm E}$ mit einem Rang kleiner als dmin.

*Ist $\boldsymbol{\rm H}_{\rm E} > d_{\rm min}$, so ist die Anzahl $n – n_{\rm E}$ der nicht ausgelöschten Bit kleiner als die Anzahl $k$ der Informationsbit. In diesem Fall kann das Codewort natürlich nicht decodiert werden.

Das heißt: Zutreffend sind die Aussagen 1, 3 und 4.
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:35:17Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2539__KC_A_1_13.png|right|frame|Zur BEC–Decodierung]]

Wir gehen hier von dem [[Kanalcodierung/Decodierung_linearer_Blockcodes#Decodierung_beim_Binary_Erasure_Channel|Modell]] auf der letzten Theorieseite im Kapitel 1.5 aus (grün hinterlegte BEC–Konfiguration):

*Jedes Informationswort $\underline{u}$ wird blockweise codiert und liefert das Codewort $\underline{x}$. Der Blockcode sei linear und durch seine Prüfmatrix $\boldsymbol{\rm H}$ vollständig gegeben.

*Bei der Übertragung werden $n_{\rm E}$ Bit des Codewortes ausgelöscht ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (BEC). Aus dem Codewort $\underline{x}$ wird somit das Empfangswort $\underline{y}$.

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als die [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|minimale Distanz]] $d_{\rm min}$ des Codes, so gelingt es, aus $\underline{y}$ das Codewort $\underline{z} = \underline{x}$ ohne Fehler zu rekonstruieren, und man erhält so auch das richtige Informationswort $\underline{\upsilon} = \underline{u}$.

*Zur Aufgabenbeschreibung betrachten wir beispielhaft das Hamming–Codewort $\underline{x} = (0, 1, 0, 1, 1, 0, 0)$ und das Empfangswort $\underline{y} = (0, 1, {\rm E} , {\rm E}, 1, 0, 0).$

Ausgelöscht wurden somit durch den Kanal das dritte und vierte Bit. Der Codewortfinder hat somit die Aufgabe, den Vektor $z_{\rm E} = (z_{3}, z_{4})$ mit $z_{3}, \ z_{4} \in \{0, 1\}$ zu bestimmen. Dies geschieht entsprechend der Gleichung

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}\hspace{0.05cm},$$

wobei im vorliegenden Beispiel gilt:

:$$\underline{z}_{\rm K} = (0, 1, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &1 &0 &0\\ 0 &1 &0 &1 &0\\ 1 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm}, \hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &1\\ 0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Diese Gleichung liefert zwei Bestimmungsgleichungen für die zu bestimmenden Bits, deren Lösung zum Ergebnis $z_{3} = 0$ und $z_{4} = 1$ führt.

''Hinweis: ''
* Die Aufgabe gehört zu [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Der Algorithmus zur Zuordnung des Empfangswortes $\underline{y}$ zum richtigen Codewort $\underline{z} = \underline{x}$ ist im [[Aufgaben:1.1_ISDN–Versorgungsleitungen|Theorieteil]] ausführlich beschrieben.
* Wir möchten nochmals daran erinnern, dass wir bei der BEC–Decodierung den ersten Decoderblock $\underline{y} → \underline{z}$ als ''Codewortfinder'' bezeichnen, da hier Fehlentscheidungen ausgeschlossen sind. Jedes Empfangswort wird richtig decodiert, oder es kann gar nicht decodiert werden. Beim BSC–Modell lassen sich dagegen Decodierfehler nicht vermeiden. Dementsprechend heißt der entsprechende Block dort ''Codewortschätzer''.

===Fragebogen===
<quiz display=simple>
{Empfangen wurde $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Für welche Sequenz entscheidet sich der Codewortschätzer?
|type="[]"}
- $\underline{z} = (1, 0, 0, 1, 0, 0, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 0, 0, 1, 0, 0, 1).$

{Welche Konsequenzen ergeben sich aus den roten Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Der Erasure–Vektor lautet $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}).$
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm E}$ ist eine $2 x 3$–Matrix.
+ $\boldsymbol{\rm H}_{\rm E}$ ist eine $3 x 3$–Matrix.

{Nun gelte $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
- Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Konsequenzen ergeben sich aus den grünen Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Zeile.
+ $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Spalte.

{Nun gelte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
- $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
+ Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Aussagen ergeben sich für die Korrekturfähigkeit beim BEC? $n_{\rm E}$ gibt dabei Anzahl der Auslöschungen (''Erasures'') an.
|type="[]"}
+ Für $n_{\rm E} < d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
- Für $n_{\rm E} = d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} = d_{\rm min}$ ist manchmal eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} > d_{\rm min}$ ist eine eindeutige Decodierung nie möglich.
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Der Empfangsvektor lautet $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Ausgelöscht wurden also die Codesymbole an den Positionen 2 und 7. Ausgehend von der vorgegebenen Prüfmatrix

:$${ \boldsymbol{\rm H}} = \begin{pmatrix} 1 &1 &1 &0 &1 &0 &0\\ 0 &1 &1 &1 &0 &1 &0\\ 1 &1 &0 &1 &0 &0 &1 \end{pmatrix}$$

des Hammingcodes erhält man für Vektor und Matrix hinsichtlich

*aller $ \color{red}{\boldsymbol{\rm korrekt \ übertragenen \ Codesymbole}}$ (Index K), die dem Codewortfinder bekannt sind:

:$$\underline{z}_{\rm K} = (1, 0, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \hspace{0.05cm},$$

*hinsichtlich der beiden $ \color{red}{\boldsymbol{\rm ausgelöschten \ Codesymbole}}$ $z_{2}$ und $z_{7}$ (Index E), die zu ermitteln sind:

:$$\underline{z}_{\rm E} = (z_2, z_7)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \hspace{0.05cm}.$$

Die Bestimmungsgleichung lautet somit:

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}$$

:$$\Rightarrow \hspace{0.3cm} \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \cdot \begin{pmatrix} z_2 \\ z_7 \end{pmatrix} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm}.$$

Daraus ergeben sich drei Gleichungen für die beiden Unbekannten $z_{2}$ und $z_{7}$:

(a) $z_{2} = 1$,
(b) $z_{2} = 1$,
(c) $z_{2} + z_{7} = 0 ⇒z_{7}= 1$.

Somit liefert der Codewortfinder $\underline{z} = (1, 1, 0, 1, 0, 0, 1)$ ⇒ Lösungsvorschlag 2.

'''(2)'''  Betrachtet man die vorgegebene Matrix $\boldsymbol{\rm H}_{\rm K}$, so erkennt man, dass diese mit dem ersten vier Spalten der Prüfmatrix $\boldsymbol{\rm H}$ übereinstimmt. Die Auslöschungen betreffen also die letzten 3 Bit des Empfangswortes ⇒ $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}) ⇒ \underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ und die Erasure–Matrix lautet:

:$${ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Richtig sind demzufolge die Aussagen 1, 2 und 4.

'''(3)'''  Man erhält nach einigen Matrizenmultiplikationen:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &0\\ 0 &1 &1 &1\\ 1 &1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} \hspace{0.05cm}.$$

Durch Gleichsetzen folgt $z_{5} = 0, z_{6} = 0, z_{7} = 1$ ⇒ Lösungsvorschlag 2.

'''(4)'''  Der Matrizenvergleich zeigt, dass die ersten drei Spalten von $\boldsymbol{\rm H}$ und $\boldsymbol{\rm H}_{\rm K}$ identisch sind. Die vierte Spalte von $\boldsymbol{\rm H}_{\rm K}$ ist gleich der fünften Spalte der Prüfmatrix. Daraus folgt für den Vektor $z_{\rm E} = (z_{4}, z_{6}, z_{7})$ und weiter für den Empfangsvektor $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ ⇒ Lösungsvorschlag 1 und 3.

'''(5)'''  Analog zur Teilaufgabe (3) erhält man nun:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &1\\ 0 &1 &1 &0\\ 1 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 0 &0 &0\\ 1 &1 &0\\ 1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_4 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} 0 \\ z_4 + z_6 \\ z_4 + z_7 \end{pmatrix} \hspace{0.05cm}.$$

Setzt man nun die beiden Spaltenvektoren gleich, so erhält man nur mehr zwei Gleichungen für die drei Unbekannten ⇒ Lösungsvorschlag 4.
Oder anders ausgedrückt: Ist die Anzahl der Auslöschungen des BEC–Kanals größer als der Rang der Matrix $\boldsymbol{\rm H}_{\rm E}$, so ergibt sich keine eindeutige Lösung des resultierenden Gleichungssystems.

'''(6)'''  Zur Lösung dieser Aufgabe beziehen wir uns wieder auf den systematischen Hamming–Code $(7, 4, 3)$ entsprechend der angegebenen Prüfgleichung und der nachfolgenden Codetabelle. Die Informationsbit sind schwarz dargestellt und die Prüfbit rot. Die minimale Distanz dieses Codes beträgt $d_{\rm min} = 3$.

[[File:P_ID2540__KC_A_1_13f.png|center|frame|Codetabelle des systematischen (7, 4, 3)–Hamming–Codes]]

Weiter nehmen wir an, dass stets das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$ gesendet wurde:

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als $d_{\rm min} = 3$, so ist eine Decodierung nach der hier beschriebenen Methode immer möglich ⇒ siehe beispielsweise Teilaufgabe (1) mit $n_{E }= 2$.

*Auch für $n_{\rm E} = d_{\rm min} = 3$ ist manchmal eine Decodierung möglich, wie in Aufgabe (3) gezeigt. In der Codetabelle gibt es nur ein einziges Codewort, das zum Empfangsvektor $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ passen könnte, nämlich das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$.

*Dagegen konnte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ entsprechend Teilaufgabe (4) nicht decodiert werden. In der Codetabelle erkennt man neben (1, 1, 0, 1, 0, 0, 1) mit (1, 1, 0, 0, 0, 1, 0) ein weiteres Codewort (grün hinterlegt), das durch die $n_{\rm E} = 3$ gegebenen Auslöschungen zum Empfangswort $\underline{y}$ wird. Dieser Fall, wenn die $n_{\rm E} = d_{\rm min}$ Auslöschungen genau die dmin unterschiedlichen Bit zweier Codeworte betreffen, führt zu einer Matrix HE mit einem Rang kleiner als dmin.

*Ist $\boldsymbol{\rm H}_{\rm E} > d_{\rm min}$, so ist die Anzahl $n – n_{\rm E}$ der nicht ausgelöschten Bit kleiner als die Anzahl $k$ der Informationsbit. In diesem Fall kann das Codewort natürlich nicht decodiert werden.
Das heißt: Zutreffend sind die Aussagen 1, 3 und 4.

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes

^]]

Aufgaben:Exercise 1.13: Binary Erasure Channel Decoding

2017-12-20T16:32:32Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2539__KC_A_1_13.png|right|frame|Zur BEC–Decodierung]]

Wir gehen hier von dem [[Kanalcodierung/Decodierung_linearer_Blockcodes#Decodierung_beim_Binary_Erasure_Channel|Modell]] auf der letzten Theorieseite im Kapitel 1.5 aus (grün hinterlegte BEC–Konfiguration):

*Jedes Informationswort $\underline{u}$ wird blockweise codiert und liefert das Codewort $\underline{x}$. Der Blockcode sei linear und durch seine Prüfmatrix $\boldsymbol{\rm H}$ vollständig gegeben.

*Bei der Übertragung werden $n_{\rm E}$ Bit des Codewortes ausgelöscht ⇒ [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|Binary Erasure Channel]] (BEC). Aus dem Codewort $\underline{x}$ wird somit das Empfangswort $\underline{y}$.

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als die [[Kanalcodierung/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|minimale Distanz]] $d_{\rm min}$ des Codes, so gelingt es, aus $\underline{y}$ das Codewort $\underline{z} = \underline{x}$ ohne Fehler zu rekonstruieren, und man erhält so auch das richtige Informationswort $\underline{\upsilon} = \underline{u}$.

*Zur Aufgabenbeschreibung betrachten wir beispielhaft das Hamming–Codewort $\underline{x} = (0, 1, 0, 1, 1, 0, 0)$ und das Empfangswort $\underline{y} = (0, 1, {\rm E} , {\rm E}, 1, 0, 0).$

Ausgelöscht wurden somit durch den Kanal das dritte und vierte Bit. Der Codewortfinder hat somit die Aufgabe, den Vektor $z_{\rm E} = (z_{3}, z_{4})$ mit $z_{3}, \ z_{4} \in \{0, 1\}$ zu bestimmen. Dies geschieht entsprechend der Gleichung

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}\hspace{0.05cm},$$

wobei im vorliegenden Beispiel gilt:

:$$\underline{z}_{\rm K} = (0, 1, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &1 &0 &0\\ 0 &1 &0 &1 &0\\ 1 &1 &0 &0 &1 \end{pmatrix} \hspace{0.05cm}, \hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &1\\ 0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Diese Gleichung liefert zwei Bestimmungsgleichungen für die zu bestimmenden Bits, deren Lösung zum Ergebnis $z_{3} = 0$ und $z_{4} = 1$ führt.

''Hinweis: ''
* Die Aufgabe gehört zu [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Der Algorithmus zur Zuordnung des Empfangswortes $\underline{y}$ zum richtigen Codewort $\underline{z} = \underline{x}$ ist im [[Aufgaben:1.1_ISDN–Versorgungsleitungen|Theorieteil]] ausführlich beschrieben.
* Wir möchten nochmals daran erinnern, dass wir bei der BEC–Decodierung den ersten Decoderblock $\underline{y} → \underline{z}$ als ''Codewortfinder'' bezeichnen, da hier Fehlentscheidungen ausgeschlossen sind. Jedes Empfangswort wird richtig decodiert, oder es kann gar nicht decodiert werden. Beim BSC–Modell lassen sich dagegen Decodierfehler nicht vermeiden. Dementsprechend heißt der entsprechende Block dort ''Codewortschätzer''.

===Fragebogen===
<quiz display=simple>
{Empfangen wurde $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Für welche Sequenz entscheidet sich der Codewortschätzer?
|type="[]"}
- $\underline{z} \ = \ (1, 0, 0, 1, 0, 0, 0),$
+ $\underline{z} \ = \ (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} \ = \ (1, 0, 0, 1, 0, 0, 1).$

{Welche Konsequenzen ergeben sich aus den roten Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Der Erasure–Vektor lautet $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}).$
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm E}$ ist eine 2 x 3–Matrix.
+ $\boldsymbol{\rm H}_{\rm E}$ ist eine 3 x 3–Matrix.

{Nun gelte $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
+ $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
- Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Konsequenzen ergeben sich aus den grünen Eintragungen für $\boldsymbol{\rm H}_{\rm K}$ und $z_{\rm K}$ (siehe Grafik auf der Angabenseite)?
|type="[]"}
+ Das Empfangswort lautet $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$
- $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Zeile.
+ $\boldsymbol{\rm H}_{\rm K}$ unterscheidet sich gegenüber Teilfrage (2) in der letzten Spalte.

{Nun gelte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E}).$ Welches Codewort wird ausgewählt?
|type="[]"}
- $\underline{z} = (1, 1, 0, 1, 1, 1, 0),$
- $\underline{z} = (1, 1, 0, 1, 0, 0, 1),$
- $\underline{z} = (1, 1, 0, 0, 0, 1, 0).$
+ Für das vorliegende $\underline{y}$ ist keine eindeutige Decodierung möglich.

{Welche Aussagen ergeben sich für die Korrekturfähigkeit beim BEC? $n_{\rm E}$ gibt dabei Anzahl der Auslöschungen (''Erasures'') an.
|type="[]"}
+ Für $n_{\rm E} \ < \ d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
- Für $n_{\rm E} \ = \ d_{\rm min}$ ist stets eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} \ = \ d_{\rm min}$ ist manchmal eine eindeutige Decodierung möglich.
+ Für $n_{\rm E} \ >\ d_{\rm min}$ ist eine eindeutige Decodierung nie möglich.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Der Empfangsvektor lautet $\underline{y} = (1, {\rm E}, 0, 1, 0, 0, {\rm E})$. Ausgelöscht wurden also die Codesymbole an den Positionen 2 und 7. Ausgehend von der vorgegebenen Prüfmatrix

:$${ \boldsymbol{\rm H}} = \begin{pmatrix} 1 &1 &1 &0 &1 &0 &0\\ 0 &1 &1 &1 &0 &1 &0\\ 1 &1 &0 &1 &0 &0 &1 \end{pmatrix}$$

des Hammingcodes erhält man für Vektor und Matrix hinsichtlich

*aller $ \color{red}{\boldsymbol{\rm korrekt \ übertragenen \ Codesymbole}}$ (Index K), die dem Codewortfinder bekannt sind:

:$$\underline{z}_{\rm K} = (1, 0, 1, 0, 0)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm K} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \hspace{0.05cm},$$

*hinsichtlich der beiden $ \color{red}{\boldsymbol{\rm ausgelöschten \ Codesymbole}}$ $z_{2}$ und $z_{7}$ (Index E), die zu ermitteln sind:

:$$\underline{z}_{\rm E} = (z_2, z_7)\hspace{0.05cm},\hspace{0.3cm}{ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \hspace{0.05cm}.$$

Die Bestimmungsgleichung lautet somit:

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T}= { \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T}$$

:$$\Rightarrow \hspace{0.3cm} \begin{pmatrix} 1 &0\\ 1 &0\\ 1 &1 \end{pmatrix} \cdot \begin{pmatrix} z_2 \\ z_7 \end{pmatrix} = \begin{pmatrix} 1 &1 &0 &1 &0\\ 0 &1 &1 &0 &1\\ 1 &0 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 0 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 1 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm}.$$

Daraus ergeben sich drei Gleichungen für die beiden Unbekannten $z_{2}$ und $z_{7}$:

(a) $z_{2} = 1$,
(b) $z_{2} = 1$,
(c) $z_{2} + z_{7} = 0 ⇒z_{7}= 1$.

Somit liefert der Codewortfinder $\underline{z} = (1, 1, 0, 1, 0, 0, 1)$ ⇒ Lösungsvorschlag 2.

'''(2)'''  Betrachtet man die vorgegebene Matrix $\boldsymbol{\rm H}_{\rm K}$, so erkennt man, dass diese mit dem ersten vier Spalten der Prüfmatrix $\boldsymbol{\rm H}$ übereinstimmt. Die Auslöschungen betreffen also die letzten 3 Bit des Empfangswortes ⇒ $\underline{z}_{\rm E} = (z_{5}, z_{6}, z_{7}) ⇒ \underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ und die Erasure–Matrix lautet:

:$${ \boldsymbol{\rm H}}_{\rm E} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \hspace{0.05cm}.$$

Richtig sind demzufolge die Aussagen 1, 2 und 4.

'''(3)'''  Man erhält nach einigen Matrizenmultiplikationen:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &0\\ 0 &1 &1 &1\\ 1 &1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 1 \end{pmatrix} = \begin{pmatrix} 0 \\ 0 \\ 1 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 1 &0 &0\\ 0 &1 &0\\ 0 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} z_5 \\ z_6 \\ z_7 \end{pmatrix} \hspace{0.05cm}.$$

Durch Gleichsetzen folgt $z_{5} = 0, z_{6} = 0, z_{7} = 1$ ⇒ Lösungsvorschlag 2.

'''(4)'''  Der Matrizenvergleich zeigt, dass die ersten drei Spalten von $\boldsymbol{\rm H}$ und $\boldsymbol{\rm H}_{\rm K}$ identisch sind. Die vierte Spalte von $\boldsymbol{\rm H}_{\rm K}$ ist gleich der fünften Spalte der Prüfmatrix. Daraus folgt für den Vektor $z_{\rm E} = (z_{4}, z_{6}, z_{7})$ und weiter für den Empfangsvektor $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ ⇒ Lösungsvorschlag 1 und 3.

'''(5)'''  Analog zur Teilaufgabe (3) erhält man nun:

:$${ \boldsymbol{\rm H}}_{\rm K} \cdot \underline{z}_{\rm K}^{\rm T} = \begin{pmatrix} 1 &1 &1 &1\\ 0 &1 &1 &0\\ 1 &1 &0 &0 \end{pmatrix} \cdot \begin{pmatrix} 1 \\ 1 \\ 0 \\ 0 \end{pmatrix} = \begin{pmatrix} 0 \\ 1 \\ 0 \end{pmatrix} \hspace{0.05cm},$$

:$${ \boldsymbol{\rm H}}_{\rm E} \cdot \underline{z}_{\rm E}^{\rm T} = \begin{pmatrix} 0 &0 &0\\ 1 &1 &0\\ 1 &0 &1 \end{pmatrix} \cdot \begin{pmatrix} z_4 \\ z_6 \\ z_7 \end{pmatrix} = \begin{pmatrix} 0 \\ z_4 + z_6 \\ z_4 + z_7 \end{pmatrix} \hspace{0.05cm}.$$

Setzt man nun die beiden Spaltenvektoren gleich, so erhält man nur mehr zwei Gleichungen für die drei Unbekannten ⇒ Lösungsvorschlag 4.
Oder anders ausgedrückt: Ist die Anzahl der Auslöschungen des BEC–Kanals größer als der Rang der Matrix $\boldsymbol{\rm H}_{\rm E}$, so ergibt sich keine eindeutige Lösung des resultierenden Gleichungssystems.

'''(6)'''  Zur Lösung dieser Aufgabe beziehen wir uns wieder auf den systematischen Hamming–Code $(7, 4, 3)$ entsprechend der angegebenen Prüfgleichung und der nachfolgenden Codetabelle. Die Informationsbit sind schwarz dargestellt und die Prüfbit rot. Die minimale Distanz dieses Codes beträgt $d_{\rm min} = 3$.

[[File:P_ID2540__KC_A_1_13f.png|center|frame|Codetabelle des systematischen (7, 4, 3)–Hamming–Codes]]

Weiter nehmen wir an, dass stets das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$ gesendet wurde:

*Ist die Anzahl $n_{\rm E}$ der Auslöschungen kleiner als $d_{\rm min} = 3$, so ist eine Decodierung nach der hier beschriebenen Methode immer möglich ⇒ siehe beispielsweise Teilaufgabe (1) mit $n_{E }= 2$.

*Auch für $n_{\rm E} = d_{\rm min} = 3$ ist manchmal eine Decodierung möglich, wie in Aufgabe (3) gezeigt. In der Codetabelle gibt es nur ein einziges Codewort, das zum Empfangsvektor $\underline{y} = (1, 1, 0, 1, {\rm E}, {\rm E}, {\rm E})$ passen könnte, nämlich das gelb hinterlegte Codewort $\underline{x} = (1, 1, 0, 1, 0, 0, 1)$.

*Dagegen konnte $\underline{y} = (1, 1, 0, {\rm E}, 0, {\rm E}, {\rm E})$ entsprechend Teilaufgabe (4) nicht decodiert werden. In der Codetabelle erkennt man neben (1, 1, 0, 1, 0, 0, 1) mit (1, 1, 0, 0, 0, 1, 0) ein weiteres Codewort (grün hinterlegt), das durch die $n_{\rm E} = 3$ gegebenen Auslöschungen zum Empfangswort $\underline{y}$ wird. Dieser Fall, wenn die $n_{\rm E} = d_{\rm min}$ Auslöschungen genau die dmin unterschiedlichen Bit zweier Codeworte betreffen, führt zu einer Matrix HE mit einem Rang kleiner als dmin.

*Ist $\boldsymbol{\rm H}_{\rm E} > d_{\rm min}$, so ist die Anzahl $n – n_{\rm E}$ der nicht ausgelöschten Bit kleiner als die Anzahl $k$ der Informationsbit. In diesem Fall kann das Codewort natürlich nicht decodiert werden.
Das heißt: Zutreffend sind die Aussagen 1, 3 und 4.

{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes

^]]

Aufgaben:Exercise 1.12Z: Comparison of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T16:27:16Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2409__KC_Z_1_12.png|right|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

Nun sollen die Blockfehlerwahrscheinlichkeiten
*des $(7, 4, 3)$–Hamming–Codes und
*des erweiterten $(8, 4, 4)$–Hamming–Codes

miteinander verglichen werden. Zugrunde gelegt werden
*das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanalmodell]] (Parameter $\varepsilon$, insbesondere $\varepsilon = 0.01$ für numerische Ergebnisse),
*die [[Kanalcodierung/Decodierung_linearer_Blockcodes#Prinzip_der_Syndromdecodierung|Syndromdecodierung]], mit der bei beiden Codes eine Maximum–Likelihood–Detektion realisiert wird. Bei richtiger Belegung der Syndromtabelle ergibt sich jeweils die minimale Blockfehlerwahrscheinlichkeit.

Für den $(7, 4, 3)$–Code wurde in der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$${\rm Pr(Blockfehler)} = 1 - (1 - \varepsilon)^7 - 7 \cdot \varepsilon \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Die Zahlenwerte sind in der Spalte 2 der obigen Tabelle angegeben. Es handelt sich um die tatsächlichen Werte, also nicht um die in Aufgabe 1.12 hergeleitete Näherung: ${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2$.

Anzumerken ist, dass aufgrund des BSC–Kanalmodells nur harte Entscheidungen möglich sind. Mit [[Kanalcodierung/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft–Decision]] ergeben sich etwas kleinere Blockfehlerwahrscheinlichkeiten.

Nun soll die Blockfehlerwahrscheinlichkeit für den erweiterten $(8, 4, 4)$–Code ermittelt werden:
*Die Berechnung in Teilaufgabe (4) erfolgt unter der Maßgabe, dass wie beim $(7, 4, 3)$–Code nur die Fehlermuster mit einer einzigen „$1$” korrigiert werden. In der rechten Spalte obiger Tabelle sind die Ergebnisse eingetragen, bis auf den Wert für $\varepsilon = 0.01$, der explizit berechnet werden soll.

*In der Teilaufgabe (5) soll dagegen berücksichtigt werden, dass beim erweitereten $(8, 4, 4)$–Code Teile der Syndromtabelle noch mit Gewicht–2–Fehlermustern aufgefüllt werden können.

''Hinweise:''
* Die Aufgabe bezieht sich auf [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Von Interesse für die Lösung dieser Aufgabe ist insbesondere die Seite [[Kanalcodierung/Decodierung_linearer_Blockcodes#Verallgemeinerung_der_Syndromdecodierung|Verallgemeinerung der Syndromdecodierung (2)]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wieviele Einträge beinhalten die jeweiligen Syndromtabellen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 8 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 16 3% }

{Wieviele Gewicht–2–Fehlermuster gibt es insgesamt?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 21 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 28 3% }

{Wieviele Fehlermuster in den Syndromtabellen beinhalten zwei Einsen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 0 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 7 3% }

{Es gelte nun $\varepsilon = 0.01.$ Welche Blockfehlerwahrscheinlichkeit ergibt sich für den erweiterten $(8, 4, 4)$–Code ohne Gewicht–2–Fehlerkorrektur?
|type="{}"}
${\rm Pr(Blockfehler)} \ = \ $ { 2.69 3% } $\ \cdot 10^{-3}$

{Welches Ergebnis erzielt man demgegenüber mit Gewicht–2–Fehlerkorrektur?
|type="{}"}
$\ {\rm Pr(Blockfehler)} \ = \ $ { 2.03 3% } $\ \cdot 10^{-3}$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Größe der Syndromtabelle ist allgemein $N_{\rm ges} = 2^m; \ m = n - k$ gibt die Anzahl der Prüfbits an.
*Beim $(7, 4, 3)$–Hamming–Code ist $m = n - k = 3$  ⇒  die Länge der Tabelle ist $N_{\rm ges} \ \underline{= 8}.$
*Die Syndromtabelle des $(8, 4, 4)$–Codes ist doppelt so groß: $N_{\rm ges} = 2^4 \ \underline{= 16}$.

'''(2)'''  Allgemein gilt für die Anzahl der Einträge mit Gewicht–2–Fehlermustern: $N_2' = „n {\rm \ über \ } 2”$. Daraus ergeben sich die Zahlenwerte
*$N_2' \ \underline{= 21} \ $ für $n = 7 \ ⇒ \ (7, 4, 3)$–Code,
*$N_2' \ \underline{= 28} \ $ für $n = 8 \ \Rightarrow \ (8, 4, 4)$–Code.

'''(3)'''  Beim $(7, 4, 3)$–Hamming–Code ist die Syndromtabelle gefüllt mit einem Eintrag für den fehlerfreien Fall $(N_{0}= 1)$ und $n = 7$ Einträge mit Gewicht–1–Fehlermustern $(N_{1} = 7)$. Damit ist die Anzahl der Einträge mit Gewicht–2–Fehlermustern gleich

:$$N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 0} \hspace{0.05cm}.$$

Dagegen gilt für den erweiterten $(8, 4, 4)$–Hamming–Code:

:$$N_0 = 1\hspace{0.05cm},\hspace{0.2cm}N_1 = 8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 7} \hspace{0.05cm}.$$

'''(4)'''  Analog zur [[Aufgaben:1.12_Hard_/_Soft_Decision#collapse1|Musterlösung]] der Aufgabe 1.12 (1) und (2) erhält man hier:

:$${\rm Pr(Blockfehler)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - (1 - \varepsilon)^8 - 8 \cdot \varepsilon \cdot (1 - \varepsilon)^7=$$
:$$\hspace{2.875cm}\ = \ \hspace{-0.15cm} 1 - 0.922745 - 0.074655\hspace{0.15cm} \underline{= 2.69 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der Tabelle sind für diesen Fall und für verschiedene BSC–Parameter $ε$ die Ergebnisse in der grün hinterlegten Spalte eingetragen. Gegenüber dem $(7, 4, 3)$–Code ergibt sich stets eine Verschlechterung.

[[File:P_ID2410__KC_Z_1_12d.png|center|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

'''(5)'''  Bei bestmöglicher Korrektur (gefüllte Syndromtabelle) werden auch sieben Gewicht–2–Fehlermuster korrigiert. Damit vermindert sich die Blockfehlerwahrscheinlichkeit um

:$${\rm Pr(Gewicht\hspace{-0.1cm}-\hspace{-0.1cm}2\hspace{-0.1cm}-\hspace{-0.1cm}Fehlermuster\hspace{0.15cm} wird \hspace{0.15cm} korrigiert)} = 7 \cdot \varepsilon^2 \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Für $\varepsilon = 0.01$ macht diese „Verbesserung” etwa $0.66 · 10^{–3}$ aus. Die Blockfehlerwahrscheinlichkeit ergibt sich somit zu

:$${\rm Pr(Blockfehler)} = 2.69 \cdot 10^{-3} - 0.66 \cdot 10^{-3} \underline{= 2.03 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der obigen Tabelle ist diese Rechnung für verschiedene BSC–Parameter $\varepsilon$ durchgeführt. Man erkennt: Die Blockfehlerwahrscheinlichkeit des erweiterten $(8, 4, 4)$–Hamming–Codes (siehe letzte Spalte) stimmt exakt mit der des $(7, 4, 3)$–Hamming–Codes (Spalte 2) überein. Die Korrektur von $25\%$ der Gewicht–2–Fehlermuster gleicht genau die Tatsache aus, dass beim $(8, 4, 4)$–Code Fehlermuster mit mehr als einem Fehler (Spalte 3) wahrscheinlicher sind als beim $(7, 4, 3)$–Code (Spalte 2).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.12Z: Comparison of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T16:23:54Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2409__KC_Z_1_12.png|right|frame|Blockfehlerwahrscheinlichkeit von $(7, \, 4, \, 3)$– und $(8, \, 4, \, 4)$–Code]]

Nun sollen die Blockfehlerwahrscheinlichkeiten
*des $(7, \, 4, \, 3)$–Hamming–Codes und
*des erweiterten $(8, \, 4, \, 4)$–Hamming–Codes

miteinander verglichen werden. Zugrunde gelegt werden
*das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanalmodell]] (Parameter $\varepsilon$, insbesondere $\varepsilon = 0.01$ für numerische Ergebnisse),
*die [[Kanalcodierung/Decodierung_linearer_Blockcodes#Prinzip_der_Syndromdecodierung|Syndromdecodierung]], mit der bei beiden Codes eine Maximum–Likelihood–Detektion realisiert wird. Bei richtiger Belegung der Syndromtabelle ergibt sich jeweils die minimale Blockfehlerwahrscheinlichkeit.

Für den $(7, \, 4, \, 3)$–Code wurde in der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$${\rm Pr(Blockfehler)} = 1 - (1 - \varepsilon)^7 - 7 \cdot \varepsilon \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Die Zahlenwerte sind in der Spalte 2 der obigen Tabelle angegeben. Es handelt sich um die tatsächlichen Werte, also nicht um die in Aufgabe 1.12 hergeleitete Näherung: ${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2$.

Anzumerken ist, dass aufgrund des BSC–Kanalmodells nur harte Entscheidungen möglich sind. Mit [[Kanalcodierung/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft–Decision]] ergeben sich etwas kleinere Blockfehlerwahrscheinlichkeiten.

Nun soll die Blockfehlerwahrscheinlichkeit für den erweiterten $(8, \, 4, \, 4)$–Code ermittelt werden:
*Die Berechnung in Teilaufgabe (4) erfolgt unter der Maßgabe, dass wie beim $(7, \, 4, \,3)$–Code nur die Fehlermuster mit einer einzigen „$1$” korrigiert werden. In der rechten Spalte obiger Tabelle sind die Ergebnisse eingetragen, bis auf den Wert für $\varepsilon = 0.01$, der explizit berechnet werden soll.

*In der Teilaufgabe (5) soll dagegen berücksichtigt werden, dass beim erweitereten $(8, \, 4, \, 4)$–Code Teile der Syndromtabelle noch mit Gewicht–2–Fehlermustern aufgefüllt werden können.

''Hinweise:''
* Die Aufgabe bezieht sich auf [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Von Interesse für die Lösung dieser Aufgabe ist insbesondere die Seite [[Kanalcodierung/Decodierung_linearer_Blockcodes#Verallgemeinerung_der_Syndromdecodierung|Verallgemeinerung der Syndromdecodierung (2)]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wieviele Einträge beinhalten die jeweiligen Syndromtabellen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 8 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ ${ 16 3% }

{Wieviele Gewicht–2–Fehlermuster gibt es insgesamt?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 21 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 28 3% }

{Wieviele Fehlermuster in den Syndromtabellen beinhalten zwei Einsen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 0 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 7 3% }

{Es gelte nun $\varepsilon = 0.01.$ Welche Blockfehlerwahrscheinlichkeit ergibt sich für den erweiterten $(8, 4, 4)$–Code ohne Gewicht–2–Fehlerkorrektur?
|type="{}"}
${\rm Pr(Blockfehler)} \ = \ $ { 2.69 3% } $\ \cdot 10^{-3}$

{Welches Ergebnis erzielt man demgegenüber mit Gewicht–2–Fehlerkorrektur?
|type="{}"}
$\ {\rm Pr(Blockfehler)} \ = \ $ { 2.03 3% } $\ \cdot 10^{-3}$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Größe der Syndromtabelle ist allgemein $N_{\rm ges} = 2^m; \ m = n - k$ gibt die Anzahl der Prüfbits an.
*Beim $(7, 4, 3)$–Hamming–Code ist $m = n - k = 3$  ⇒  die Länge der Tabelle ist $N_{\rm ges} \ \underline{= 8}.$
*Die Syndromtabelle des $(8, 4, 4)$–Codes ist doppelt so groß: $N_{\rm ges} = 2^4 \ \underline{= 16}$.

'''(2)'''  Allgemein gilt für die Anzahl der Einträge mit Gewicht–2–Fehlermustern: $N_2' = „n {\rm \ über \ } 2”$. Daraus ergeben sich die Zahlenwerte
*$N_2' \ \underline{= 21} \ $ für $n = 7 \ ⇒ \ (7, 4, 3)$–Code,
*$N_2' \ \underline{= 28} \ $ für $n = 8 \ \Rightarrow \ (8, 4, 4)$–Code.

'''(3)'''  Beim $(7, 4, 3)$–Hamming–Code ist die Syndromtabelle gefüllt mit einem Eintrag für den fehlerfreien Fall $(N_{0}= 1)$ und $n = 7$ Einträge mit Gewicht–1–Fehlermustern $(N_{1} = 7)$. Damit ist die Anzahl der Einträge mit Gewicht–2–Fehlermustern gleich

:$$N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 0} \hspace{0.05cm}.$$

Dagegen gilt für den erweiterten $(8, 4, 4)$–Hamming–Code:

:$$N_0 = 1\hspace{0.05cm},\hspace{0.2cm}N_1 = 8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 7} \hspace{0.05cm}.$$

'''(4)'''  Analog zur [[Aufgaben:1.12_Hard_/_Soft_Decision#collapse1|Musterlösung]] der Aufgabe 1.12 (1) und (2) erhält man hier:

:$${\rm Pr(Blockfehler)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - (1 - \varepsilon)^8 - 8 \cdot \varepsilon \cdot (1 - \varepsilon)^7=$$
:$$\hspace{2.875cm}\ = \ \hspace{-0.15cm} 1 - 0.922745 - 0.074655\hspace{0.15cm} \underline{= 2.69 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der Tabelle sind für diesen Fall und für verschiedene BSC–Parameter $ε$ die Ergebnisse in der grün hinterlegten Spalte eingetragen. Gegenüber dem $(7, 4, 3)$–Code ergibt sich stets eine Verschlechterung.

[[File:P_ID2410__KC_Z_1_12d.png|center|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

'''(5)'''  Bei bestmöglicher Korrektur (gefüllte Syndromtabelle) werden auch sieben Gewicht–2–Fehlermuster korrigiert. Damit vermindert sich die Blockfehlerwahrscheinlichkeit um

:$${\rm Pr(Gewicht\hspace{-0.1cm}-\hspace{-0.1cm}2\hspace{-0.1cm}-\hspace{-0.1cm}Fehlermuster\hspace{0.15cm} wird \hspace{0.15cm} korrigiert)} = 7 \cdot \varepsilon^2 \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Für $\varepsilon = 0.01$ macht diese „Verbesserung” etwa $0.66 · 10^{–3}$ aus. Die Blockfehlerwahrscheinlichkeit ergibt sich somit zu

:$${\rm Pr(Blockfehler)} = 2.69 \cdot 10^{-3} - 0.66 \cdot 10^{-3} \underline{= 2.03 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der obigen Tabelle ist diese Rechnung für verschiedene BSC–Parameter $\varepsilon$ durchgeführt. Man erkennt: Die Blockfehlerwahrscheinlichkeit des erweiterten $(8, 4, 4)$–Hamming–Codes (siehe letzte Spalte) stimmt exakt mit der des $(7, 4, 3)$–Hamming–Codes (Spalte 2) überein. Die Korrektur von $25\%$ der Gewicht–2–Fehlermuster gleicht genau die Tatsache aus, dass beim $(8, 4, 4)$–Code Fehlermuster mit mehr als einem Fehler (Spalte 3) wahrscheinlicher sind als beim $(7, 4, 3)$–Code (Spalte 2).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.12Z: Comparison of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T16:23:09Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2409__KC_Z_1_12.png|right|frame|Blockfehlerwahrscheinlichkeit von $(7, \, 4, \, 3)$– und $(8, \, 4, \, 4)$–Code]]

Nun sollen die Blockfehlerwahrscheinlichkeiten
*des $(7, \, 4, \, 3)$–Hamming–Codes und
*des erweiterten $(8, \, 4, \, 4)$–Hamming–Codes

miteinander verglichen werden. Zugrunde gelegt werden
*das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanalmodell]] (Parameter $\varepsilon$, insbesondere $\varepsilon = 0.01$ für numerische Ergebnisse),
*die [[Kanalcodierung/Decodierung_linearer_Blockcodes#Prinzip_der_Syndromdecodierung|Syndromdecodierung]], mit der bei beiden Codes eine Maximum–Likelihood–Detektion realisiert wird. Bei richtiger Belegung der Syndromtabelle ergibt sich jeweils die minimale Blockfehlerwahrscheinlichkeit.

Für den $(7, \, 4, \, 3)$–Code wurde in der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$${\rm Pr(Blockfehler)} = 1 - (1 - \varepsilon)^7 - 7 \cdot \varepsilon \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Die Zahlenwerte sind in der Spalte 2 der obigen Tabelle angegeben. Es handelt sich um die tatsächlichen Werte, also nicht um die in Aufgabe 1.12 hergeleitete Näherung: ${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2$.

Anzumerken ist, dass aufgrund des BSC–Kanalmodells nur harte Entscheidungen möglich sind. Mit [[Kanalcodierung/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft–Decision]] ergeben sich etwas kleinere Blockfehlerwahrscheinlichkeiten.

Nun soll die Blockfehlerwahrscheinlichkeit für den erweiterten $(8, \, 4, \, 4)$–Code ermittelt werden:
*Die Berechnung in Teilaufgabe (4) erfolgt unter der Maßgabe, dass wie beim $(7, \, 4, \,3)$–Code nur die Fehlermuster mit einer einzigen „$1$” korrigiert werden. In der rechten Spalte obiger Tabelle sind die Ergebnisse eingetragen, bis auf den Wert für $\varepsilon = 0.01$, der explizit berechnet werden soll.

*In der Teilaufgabe (5) soll dagegen berücksichtigt werden, dass beim erweitereten $(8, \, 4, \, 4)$–Code Teile der Syndromtabelle noch mit Gewicht–2–Fehlermustern aufgefüllt werden können.

''Hinweise:''
* Die Aufgabe bezieht sich auf [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Von Interesse für die Lösung dieser Aufgabe ist insbesondere die Seite [[Kanalcodierung/Decodierung_linearer_Blockcodes#Verallgemeinerung_der_Syndromdecodierung|Verallgemeinerung der Syndromdecodierung (2)]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wieviele Einträge beinhalten die jeweiligen Syndromtabellen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 8 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ ${ 16 3% }

{Wieviele Gewicht–2–Fehlermuster gibt es insgesamt?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 21 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 28 3% }

{Wieviele Fehlermuster in den Syndromtabellen beinhalten zwei Einsen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 0 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 7 3% }

{Es gelte nun $\varepsilon = 0.01.$ Welche Blockfehlerwahrscheinlichkeit ergibt sich für den erweiterten $(8, 4, 4)$–Code ohne Gewicht–2–Fehlerkorrektur?
|type="{}"}
${\rm Pr(Blockfehler)} \ = \ $ { 2.69 3% } $\ \cdot 10^{-3}$

{Welches Ergebnis erzielt man demgegenüber mit Gewicht–2–Fehlerkorrektur?
|type="{}"}
$\ {\rm Pr(Blockfehler)} \ = \ $ { 2.03 3% } $\ \cdot 10^{-3}$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Größe der Syndromtabelle ist allgemein $N_{\rm ges} = 2^m; \ m = n - k$ gibt die Anzahl der Prüfbits an.
*Beim $(7, 4, 3)$–Hamming–Code ist $m = n - k = 3$  ⇒  die Länge der Tabelle ist $N_{\rm ges} \ \underline{= 8}.$
*Die Syndromtabelle des $(8, 4, 4)$–Codes ist doppelt so groß: $N_{\rm ges} = 2^4 \ \underline{= 16}$.

'''(2)'''  Allgemein gilt für die Anzahl der Einträge mit Gewicht–2–Fehlermustern: $N_2' = „n {\rm \ über \ } 2”$. Daraus ergeben sich die Zahlenwerte
*$N_2' \ \underline{= 21} \ $ für $n = 7 \ ⇒ \ (7, 4, 3)$–Code,
*$N_2' \ \underline{= 28} \ $ für $n = 8 \ \Rightarrow \ (8, 4, 4)$–Code.

'''(3)'''  Beim $(7, 4, 3)$–Hamming–Code ist die Syndromtabelle gefüllt mit einem Eintrag für den fehlerfreien Fall $(N_{0}= 1)$ und $n = 7$ Einträge mit Gewicht–1–Fehlermustern $(N_{1} = 7)$. Damit ist die Anzahl der Einträge mit Gewicht–2–Fehlermustern gleich

:$$N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 0} \hspace{0.05cm}.$$

Dagegen gilt für den erweiterten $(8, 4, 4)$–Hamming–Code:

:$$N_0 = 1\hspace{0.05cm},\hspace{0.2cm}N_1 = 8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 7} \hspace{0.05cm}.$$

'''(4)'''  Analog zur [[Aufgaben:1.12_Hard_/_Soft_Decision#collapse1|Musterlösung]] der Aufgabe 1.12 (1) und (2) erhält man hier:

:$$\rm Pr(Blockfehler)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - (1 - \varepsilon)^8 - 8 \cdot \varepsilon \cdot (1 - \varepsilon)^7=$$
:$$\hspace{2.875cm}\ = \ \hspace{-0.15cm} 1 - 0.922745 - 0.074655\hspace{0.15cm} \underline{= 2.69 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der Tabelle sind für diesen Fall und für verschiedene BSC–Parameter $ε$ die Ergebnisse in der grün hinterlegten Spalte eingetragen. Gegenüber dem $(7, 4, 3)$–Code ergibt sich stets eine Verschlechterung.

[[File:P_ID2410__KC_Z_1_12d.png|center|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

'''(5)'''  Bei bestmöglicher Korrektur (gefüllte Syndromtabelle) werden auch sieben Gewicht–2–Fehlermuster korrigiert. Damit vermindert sich die Blockfehlerwahrscheinlichkeit um

:$${\rm Pr(Gewicht\hspace{-0.1cm}-\hspace{-0.1cm}2\hspace{-0.1cm}-\hspace{-0.1cm}Fehlermuster\hspace{0.15cm} wird \hspace{0.15cm} korrigiert)} = 7 \cdot \varepsilon^2 \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Für $\varepsilon = 0.01$ macht diese „Verbesserung” etwa $0.66 · 10^{–3}$ aus. Die Blockfehlerwahrscheinlichkeit ergibt sich somit zu

:$${\rm Pr(Blockfehler)} = 2.69 \cdot 10^{-3} - 0.66 \cdot 10^{-3} \underline{= 2.03 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der obigen Tabelle ist diese Rechnung für verschiedene BSC–Parameter $\varepsilon$ durchgeführt. Man erkennt: Die Blockfehlerwahrscheinlichkeit des erweiterten $(8, 4, 4)$–Hamming–Codes (siehe letzte Spalte) stimmt exakt mit der des $(7, 4, 3)$–Hamming–Codes (Spalte 2) überein. Die Korrektur von $25\%$ der Gewicht–2–Fehlermuster gleicht genau die Tatsache aus, dass beim $(8, 4, 4)$–Code Fehlermuster mit mehr als einem Fehler (Spalte 3) wahrscheinlicher sind als beim $(7, 4, 3)$–Code (Spalte 2).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.12Z: Comparison of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T16:22:44Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2409__KC_Z_1_12.png|right|frame|Blockfehlerwahrscheinlichkeit von $(7, \, 4, \, 3)$– und $(8, \, 4, \, 4)$–Code]]

Nun sollen die Blockfehlerwahrscheinlichkeiten
*des $(7, \, 4, \, 3)$–Hamming–Codes und
*des erweiterten $(8, \, 4, \, 4)$–Hamming–Codes

miteinander verglichen werden. Zugrunde gelegt werden
*das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanalmodell]] (Parameter $\varepsilon$, insbesondere $\varepsilon = 0.01$ für numerische Ergebnisse),
*die [[Kanalcodierung/Decodierung_linearer_Blockcodes#Prinzip_der_Syndromdecodierung|Syndromdecodierung]], mit der bei beiden Codes eine Maximum–Likelihood–Detektion realisiert wird. Bei richtiger Belegung der Syndromtabelle ergibt sich jeweils die minimale Blockfehlerwahrscheinlichkeit.

Für den $(7, \, 4, \, 3)$–Code wurde in der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$${\rm Pr(Blockfehler)} = 1 - (1 - \varepsilon)^7 - 7 \cdot \varepsilon \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Die Zahlenwerte sind in der Spalte 2 der obigen Tabelle angegeben. Es handelt sich um die tatsächlichen Werte, also nicht um die in Aufgabe 1.12 hergeleitete Näherung: ${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2$.

Anzumerken ist, dass aufgrund des BSC–Kanalmodells nur harte Entscheidungen möglich sind. Mit [[Kanalcodierung/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft–Decision]] ergeben sich etwas kleinere Blockfehlerwahrscheinlichkeiten.

Nun soll die Blockfehlerwahrscheinlichkeit für den erweiterten $(8, \, 4, \, 4)$–Code ermittelt werden:
*Die Berechnung in Teilaufgabe (4) erfolgt unter der Maßgabe, dass wie beim $(7, \, 4, \,3)$–Code nur die Fehlermuster mit einer einzigen „$1$” korrigiert werden. In der rechten Spalte obiger Tabelle sind die Ergebnisse eingetragen, bis auf den Wert für $\varepsilon = 0.01$, der explizit berechnet werden soll.

*In der Teilaufgabe (5) soll dagegen berücksichtigt werden, dass beim erweitereten $(8, \, 4, \, 4)$–Code Teile der Syndromtabelle noch mit Gewicht–2–Fehlermustern aufgefüllt werden können.

''Hinweise:''
* Die Aufgabe bezieht sich auf [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Von Interesse für die Lösung dieser Aufgabe ist insbesondere die Seite [[Kanalcodierung/Decodierung_linearer_Blockcodes#Verallgemeinerung_der_Syndromdecodierung|Verallgemeinerung der Syndromdecodierung (2)]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wieviele Einträge beinhalten die jeweiligen Syndromtabellen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 8 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ ${ 16 3% }

{Wieviele Gewicht–2–Fehlermuster gibt es insgesamt?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 21 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 28 3% }

{Wieviele Fehlermuster in den Syndromtabellen beinhalten zwei Einsen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 0 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 7 3% }

{Es gelte nun $\varepsilon = 0.01.$ Welche Blockfehlerwahrscheinlichkeit ergibt sich für den erweiterten $(8, 4, 4)$–Code ohne Gewicht–2–Fehlerkorrektur?
|type="{}"}
${\rm Pr(Blockfehler)} \ = \ $ { 2.69 3% } $\ \cdot 10^{-3}$

{Welches Ergebnis erzielt man demgegenüber mit Gewicht–2–Fehlerkorrektur?
|type="{}"}
$\ {\rm Pr(Blockfehler)} \ = \ $ { 2.03 3% } $\ \cdot 10^{-3}$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Größe der Syndromtabelle ist allgemein $N_{\rm ges} = 2^m; \ m = n - k$ gibt die Anzahl der Prüfbits an.
*Beim $(7, 4, 3)$–Hamming–Code ist $m = n - k = 3$  ⇒  die Länge der Tabelle ist $N_{\rm ges} \ \underline{= 8}.$
*Die Syndromtabelle des $(8, 4, 4)$–Codes ist doppelt so groß: $N_{\rm ges} = 2^4 \ \underline{= 16}$.

'''(2)'''  Allgemein gilt für die Anzahl der Einträge mit Gewicht–2–Fehlermustern: $N_2' = „n {\rm \ über \ } 2”$. Daraus ergeben sich die Zahlenwerte
*$N_2' \ \underline{= 21} \ $ für $n = 7 \ ⇒ \ (7, 4, 3)$–Code,
*$N_2' \ \underline{= 28} \ $ für $n = 8 \ \Rightarrow \ (8, 4, 4)$–Code.

'''(3)'''  Beim $(7, 4, 3)$–Hamming–Code ist die Syndromtabelle gefüllt mit einem Eintrag für den fehlerfreien Fall $(N_{0}= 1)$ und $n = 7$ Einträge mit Gewicht–1–Fehlermustern $(N_{1} = 7)$. Damit ist die Anzahl der Einträge mit Gewicht–2–Fehlermustern gleich

:$$N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 0} \hspace{0.05cm}.$$

Dagegen gilt für den erweiterten $(8, 4, 4)$–Hamming–Code:

:$$N_0 = 1\hspace{0.05cm},\hspace{0.2cm}N_1 = 8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 7} \hspace{0.05cm}.$$

'''(4)'''  Analog zur [[Aufgaben:1.12_Hard_/_Soft_Decision#collapse1|Musterlösung]] der Aufgabe 1.12 (1) und (2) erhält man hier:

:$${\hspace{-0.15cm}\rm Pr(Blockfehler)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - (1 - \varepsilon)^8 - 8 \cdot \varepsilon \cdot (1 - \varepsilon)^7=$$
:$$\hspace{2.875cm}\ = \ \hspace{-0.15cm} 1 - 0.922745 - 0.074655\hspace{0.15cm} \underline{= 2.69 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der Tabelle sind für diesen Fall und für verschiedene BSC–Parameter $ε$ die Ergebnisse in der grün hinterlegten Spalte eingetragen. Gegenüber dem $(7, 4, 3)$–Code ergibt sich stets eine Verschlechterung.

[[File:P_ID2410__KC_Z_1_12d.png|center|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

'''(5)'''  Bei bestmöglicher Korrektur (gefüllte Syndromtabelle) werden auch sieben Gewicht–2–Fehlermuster korrigiert. Damit vermindert sich die Blockfehlerwahrscheinlichkeit um

:$${\rm Pr(Gewicht\hspace{-0.1cm}-\hspace{-0.1cm}2\hspace{-0.1cm}-\hspace{-0.1cm}Fehlermuster\hspace{0.15cm} wird \hspace{0.15cm} korrigiert)} = 7 \cdot \varepsilon^2 \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Für $\varepsilon = 0.01$ macht diese „Verbesserung” etwa $0.66 · 10^{–3}$ aus. Die Blockfehlerwahrscheinlichkeit ergibt sich somit zu

:$${\rm Pr(Blockfehler)} = 2.69 \cdot 10^{-3} - 0.66 \cdot 10^{-3} \underline{= 2.03 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der obigen Tabelle ist diese Rechnung für verschiedene BSC–Parameter $\varepsilon$ durchgeführt. Man erkennt: Die Blockfehlerwahrscheinlichkeit des erweiterten $(8, 4, 4)$–Hamming–Codes (siehe letzte Spalte) stimmt exakt mit der des $(7, 4, 3)$–Hamming–Codes (Spalte 2) überein. Die Korrektur von $25\%$ der Gewicht–2–Fehlermuster gleicht genau die Tatsache aus, dass beim $(8, 4, 4)$–Code Fehlermuster mit mehr als einem Fehler (Spalte 3) wahrscheinlicher sind als beim $(7, 4, 3)$–Code (Spalte 2).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]

Aufgaben:Exercise 1.12Z: Comparison of HC (7, 4, 3) and HC (8, 4, 4)

2017-12-20T16:21:50Z

Hussain:

{{quiz-Header|Buchseite=Kanalcodierung/Decodierung linearer Blockcodes}}

[[File:P_ID2409__KC_Z_1_12.png|right|frame|Blockfehlerwahrscheinlichkeit von $(7, \, 4, \, 3)$– und $(8, \, 4, \, 4)$–Code]]

Nun sollen die Blockfehlerwahrscheinlichkeiten
*des $(7, \, 4, \, 3)$–Hamming–Codes und
*des erweiterten $(8, \, 4, \, 4)$–Hamming–Codes

miteinander verglichen werden. Zugrunde gelegt werden
*das [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanalmodell]] (Parameter $\varepsilon$, insbesondere $\varepsilon = 0.01$ für numerische Ergebnisse),
*die [[Kanalcodierung/Decodierung_linearer_Blockcodes#Prinzip_der_Syndromdecodierung|Syndromdecodierung]], mit der bei beiden Codes eine Maximum–Likelihood–Detektion realisiert wird. Bei richtiger Belegung der Syndromtabelle ergibt sich jeweils die minimale Blockfehlerwahrscheinlichkeit.

Für den $(7, \, 4, \, 3)$–Code wurde in der [[Aufgaben:1.12_Hard_/_Soft_Decision|Aufgabe 1.12]] berechnet:

:$${\rm Pr(Blockfehler)} = 1 - (1 - \varepsilon)^7 - 7 \cdot \varepsilon \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Die Zahlenwerte sind in der Spalte 2 der obigen Tabelle angegeben. Es handelt sich um die tatsächlichen Werte, also nicht um die in Aufgabe 1.12 hergeleitete Näherung: ${\rm Pr(Blockfehler)} \approx 21 \cdot \varepsilon^2$.

Anzumerken ist, dass aufgrund des BSC–Kanalmodells nur harte Entscheidungen möglich sind. Mit [[Kanalcodierung/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft–Decision]] ergeben sich etwas kleinere Blockfehlerwahrscheinlichkeiten.

Nun soll die Blockfehlerwahrscheinlichkeit für den erweiterten $(8, \, 4, \, 4)$–Code ermittelt werden:
*Die Berechnung in Teilaufgabe (4) erfolgt unter der Maßgabe, dass wie beim $(7, \, 4, \,3)$–Code nur die Fehlermuster mit einer einzigen „$1$” korrigiert werden. In der rechten Spalte obiger Tabelle sind die Ergebnisse eingetragen, bis auf den Wert für $\varepsilon = 0.01$, der explizit berechnet werden soll.

*In der Teilaufgabe (5) soll dagegen berücksichtigt werden, dass beim erweitereten $(8, \, 4, \, 4)$–Code Teile der Syndromtabelle noch mit Gewicht–2–Fehlermustern aufgefüllt werden können.

''Hinweise:''
* Die Aufgabe bezieht sich auf [[Kanalcodierung/Decodierung_linearer_Blockcodes|Kapitel Decodierung linearer Blockcodes]].
* Von Interesse für die Lösung dieser Aufgabe ist insbesondere die Seite [[Kanalcodierung/Decodierung_linearer_Blockcodes#Verallgemeinerung_der_Syndromdecodierung|Verallgemeinerung der Syndromdecodierung (2)]].
* Sollte die Eingabe des Zahlenwertes &bdquo;0” erforderlich sein, so geben Sie bitte &bdquo;0.” ein.

===Fragebogen===
<quiz display=simple>
{Wieviele Einträge beinhalten die jeweiligen Syndromtabellen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ $ { 8 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_{\rm ges} \ = \ ${ 16 3% }

{Wieviele Gewicht–2–Fehlermuster gibt es insgesamt?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 21 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2' \ = \ $ { 28 3% }

{Wieviele Fehlermuster in den Syndromtabellen beinhalten zwei Einsen?
|type="{}"}
$(7, 4, 3)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 0 3% }
$(8, 4, 4)–{\rm Code} \text{:} \hspace{0.2cm} N_2 \ = \ $ { 7 3% }

{Es gelte nun $\varepsilon = 0.01.$ Welche Blockfehlerwahrscheinlichkeit ergibt sich für den erweiterten $(8, 4, 4)$–Code ohne Gewicht–2–Fehlerkorrektur?
|type="{}"}
${\rm Pr(Blockfehler)} \ = \ $ { 2.69 3% } $\ \cdot 10^{-3}$

{Welches Ergebnis erzielt man demgegenüber mit Gewicht–2–Fehlerkorrektur?
|type="{}"}
$\ {\rm Pr(Blockfehler)} \ = \ $ { 2.03 3% } $\ \cdot 10^{-3}$
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Die Größe der Syndromtabelle ist allgemein $N_{\rm ges} = 2^m; \ m = n - k$ gibt die Anzahl der Prüfbits an.
*Beim $(7, 4, 3)$–Hamming–Code ist $m = n - k = 3$  ⇒  die Länge der Tabelle ist $N_{\rm ges} \ \underline{= 8}.$
*Die Syndromtabelle des $(8, 4, 4)$–Codes ist doppelt so groß: $N_{\rm ges} = 2^4 \ \underline{= 16}$.

'''(2)'''  Allgemein gilt für die Anzahl der Einträge mit Gewicht–2–Fehlermustern: $N_2' = „n {\rm \ über \ } 2”$. Daraus ergeben sich die Zahlenwerte
*$N_2' \ \underline{= 21} \ $ für $n = 7 \ ⇒ \ (7, 4, 3)$–Code,
*$N_2' \ \underline{= 28} \ $ für $n = 8 \ \Rightarrow \ (8, 4, 4)$–Code.

'''(3)'''  Beim $(7, 4, 3)$–Hamming–Code ist die Syndromtabelle gefüllt mit einem Eintrag für den fehlerfreien Fall $(N_{0}= 1)$ und $n = 7$ Einträge mit Gewicht–1–Fehlermustern $(N_{1} = 7)$. Damit ist die Anzahl der Einträge mit Gewicht–2–Fehlermustern gleich

:$$N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 0} \hspace{0.05cm}.$$

Dagegen gilt für den erweiterten $(8, 4, 4)$–Hamming–Code:

:$$N_0 = 1\hspace{0.05cm},\hspace{0.2cm}N_1 = 8 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} N_2 = N_{\rm ges} - N_0 - N_1 \hspace{0.15cm} \underline{= 7} \hspace{0.05cm}.$$

'''(4)'''  Analog zur [[Aufgaben:1.12_Hard_/_Soft_Decision#collapse1|Musterlösung]] der Aufgabe 1.12 (1) und (2) erhält man hier:

:$${\hspace{-4.3cm}\rm Pr(Blockfehler)} \hspace{-0.15cm}\ = \ \hspace{-0.15cm} 1 - (1 - \varepsilon)^8 - 8 \cdot \varepsilon \cdot (1 - \varepsilon)^7=$$
:$$\hspace{2.875cm}\ = \ \hspace{-0.15cm} 1 - 0.922745 - 0.074655\hspace{0.15cm} \underline{= 2.69 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der Tabelle sind für diesen Fall und für verschiedene BSC–Parameter $ε$ die Ergebnisse in der grün hinterlegten Spalte eingetragen. Gegenüber dem $(7, 4, 3)$–Code ergibt sich stets eine Verschlechterung.

[[File:P_ID2410__KC_Z_1_12d.png|center|frame|Blockfehlerwahrscheinlichkeit von $(7, 4, 3)$– und $(8, 4, 4)$–Code]]

'''(5)'''  Bei bestmöglicher Korrektur (gefüllte Syndromtabelle) werden auch sieben Gewicht–2–Fehlermuster korrigiert. Damit vermindert sich die Blockfehlerwahrscheinlichkeit um

:$${\rm Pr(Gewicht\hspace{-0.1cm}-\hspace{-0.1cm}2\hspace{-0.1cm}-\hspace{-0.1cm}Fehlermuster\hspace{0.15cm} wird \hspace{0.15cm} korrigiert)} = 7 \cdot \varepsilon^2 \cdot (1 - \varepsilon)^6 \hspace{0.05cm}.$$

Für $\varepsilon = 0.01$ macht diese „Verbesserung” etwa $0.66 · 10^{–3}$ aus. Die Blockfehlerwahrscheinlichkeit ergibt sich somit zu

:$${\rm Pr(Blockfehler)} = 2.69 \cdot 10^{-3} - 0.66 \cdot 10^{-3} \underline{= 2.03 \cdot 10^{-3}} \hspace{0.05cm}.$$

In der obigen Tabelle ist diese Rechnung für verschiedene BSC–Parameter $\varepsilon$ durchgeführt. Man erkennt: Die Blockfehlerwahrscheinlichkeit des erweiterten $(8, 4, 4)$–Hamming–Codes (siehe letzte Spalte) stimmt exakt mit der des $(7, 4, 3)$–Hamming–Codes (Spalte 2) überein. Die Korrektur von $25\%$ der Gewicht–2–Fehlermuster gleicht genau die Tatsache aus, dass beim $(8, 4, 4)$–Code Fehlermuster mit mehr als einem Fehler (Spalte 3) wahrscheinlicher sind als beim $(7, 4, 3)$–Code (Spalte 2).
{{ML-Fuß}}

[[Category:Aufgaben zu Kanalcodierung|^1.5 Decodierung linearer Blockcodes^]]