Difference between revisions of "Aufgaben:Exercise 4.1Z: Log Likelihood Ratio at the BEC Model"

From LNTwww
m (Text replacement - "Category:Aufgaben zu Kanalcodierung" to "Category:Channel Coding: Exercises")
(5 intermediate revisions by 3 users not shown)
Line 2: Line 2:
  
 
[[File:P_ID2978__KC_Z_4_1.png|right|frame|BEC–Kanalmodell]]
 
[[File:P_ID2978__KC_Z_4_1.png|right|frame|BEC–Kanalmodell]]
Wir betrachten das so genannte [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC| BEC&ndash;Kanalmodell]] (<i>Binary Erasure Channel</i>) mit
+
Wir betrachten das so genannte&nbsp; [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC| BEC&ndash;Kanalmodell]]&nbsp; (<i>Binary Erasure Channel</i>) mit
* der Eingangsgröße $x &#8712; \{+1, \, -1\}$,
+
* der Eingangsgröße&nbsp; $x &#8712; \{+1, \, -1\}$,
* der Ausgangsgröße $y &#8712; \{+1, \, -1, \, {\rm E}\}$, und
+
* der Ausgangsgröße&nbsp; $y &#8712; \{+1, \, -1, \, {\rm E}\}$, und
* der Auslöschungswahrscheinlichket $\lambda$.
+
* der Auslöschungswahrscheinlichkeit&nbsp; $\lambda$.
  
  
Hierbei bedeutet $y = {\rm E}$ (<i>Erasure</i>), dass der Ausgangswert $y$ weder als &bdquo;$+1$&rdquo; noch als &bdquo;$-1$&rdquo; entschieden werden konnte.
+
Hierbei bedeutet&nbsp; $y = {\rm E}$&nbsp; (<i>Erasure</i>), dass der Ausgangswert&nbsp; $y$&nbsp; weder als &nbsp;$+1$&nbsp; noch als &nbsp;$-1$&nbsp; entschieden werden konnte.
  
 
Bekannt sind zudem die Eingangswahrscheinlichkeiten
 
Bekannt sind zudem die Eingangswahrscheinlichkeiten
:$${\rm Pr}(x = +1) = 3/4\hspace{0.05cm}, \hspace{0.2cm}{\rm Pr}(x = -1) = 1/4\hspace{0.05cm}.$$
+
:$${\rm Pr}(x = +1) = 3/4\hspace{0.05cm}, \hspace{0.5cm}{\rm Pr}(x = -1) = 1/4\hspace{0.05cm}.$$
  
Das '''Log&ndash;Likelihood&ndash;Verhältnis''' (kurz: $L$&ndash;Wert, englisch: <i>Log Likelihood Ratio</i>, LLR) der binären Zufallsgröße $x$ ist bei bipolarer Betrachtungsweise wie folgt gegeben:
+
Das&nbsp; '''Log&ndash;Likelihood&ndash;Verhältnis'''&nbsp; (kurz: &nbsp;$L$&ndash;Wert, englisch:&nbsp; <i>Log Likelihood Ratio</i>, LLR) der binären Zufallsgröße&nbsp; $x$&nbsp; ist bei bipolarer Betrachtungsweise wie folgt gegeben:
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}\hspace{0.05cm}.$$
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}\hspace{0.05cm}.$$
  
Entsprechend gilt für den bedingten $L$&ndash;Wert in Vorwärtsrichtung für alle $y &#8712; \{+1, \, -1, \, {\rm E}\}$:
+
Entsprechend gilt für den bedingten&nbsp; $L$&ndash;Wert in Vorwärtsrichtung für alle&nbsp; $y &#8712; \{+1, \, -1, \, {\rm E}\}$:
 
:$$L(y\hspace{0.05cm}|\hspace{0.05cm}x) =
 
:$$L(y\hspace{0.05cm}|\hspace{0.05cm}x) =
 
{\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = -1)} \hspace{0.05cm}. $$
 
{\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = -1)} \hspace{0.05cm}. $$
 +
 +
 +
  
  
Line 25: Line 28:
  
 
''Hinweise:''
 
''Hinweise:''
* Die Aufgabe gehört zum Kapitel [[Kanalcodierung/Soft%E2%80%93in_Soft%E2%80%93out_Decoder| Soft&ndash;in Soft&ndash;out Decoder]].
+
* Die Aufgabe gehört zum Kapitel&nbsp; [[Channel_Coding/Soft%E2%80%93in_Soft%E2%80%93out_Decoder| Soft&ndash;in Soft&ndash;out Decoder]].
* Bezug genommen wird insbesondere auf die Seite [[Kanalcodierung/Soft–in_Soft–out_Decoder#Zuverl.C3.A4ssigkeitsinformation_.E2.80.93_Log_Likelihood_Ratio| Zuverlässigkeitsinformation &ndash; Log Likelihood Ratio]] sowie  auf die Seite [[Kanalcodierung/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|''Binary Erasure Channel'']].
+
* Bezug genommen wird insbesondere auf die Seite&nbsp; [[Channel_Coding/Soft–in_Soft–out_Decoder#Zuverl.C3.A4ssigkeitsinformation_.E2.80.93_Log_Likelihood_Ratio| Zuverlässigkeitsinformation &ndash; Log Likelihood Ratio]]&nbsp; sowie  auf die Seite&nbsp; [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|''Binary Erasure Channel'']].
* Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
+
 
  
  
Line 34: Line 37:
 
===Fragebogen===
 
===Fragebogen===
 
<quiz display=simple>
 
<quiz display=simple>
{Wie lautet der $L$&ndash;Wert der Eingangsgröße $x$?
+
{Wie lautet der&nbsp; $L$&ndash;Wert der Eingangsgröße&nbsp; $x$?
 
|type="{}"}
 
|type="{}"}
 
$L(x) \ = \ ${ 1.099 3% }  
 
$L(x) \ = \ ${ 1.099 3% }  
  
{Welcher Wahrscheinlichkeit ${\rm Pr}(x = \, -1)$ entspricht $L(x) = \, -2$?
+
{Welcher Wahrscheinlichkeit&nbsp; ${\rm Pr}(x = \, -1)$&nbsp; entspricht&nbsp; $L(x) = \, -2$?
 
|type="{}"}
 
|type="{}"}
 
${\rm Pr}(x = \, -1) \ = \ ${ 0.881 3% }
 
${\rm Pr}(x = \, -1) \ = \ ${ 0.881 3% }
  
{Berechnen Sie den bedingten $L$&ndash;Wert $L(y = {\rm E} | x)$ in Vorwärtsrichtung.
+
{Berechnen Sie den bedingten&nbsp; $L$&ndash;Wert&nbsp; $L(y = {\rm E}\hspace{0.05cm} |\hspace{0.05cm} x)$&nbsp; in Vorwärtsrichtung.
 
|type="{}"}
 
|type="{}"}
$L(y = {\rm E} | x) \ = \ ${ 0. }
+
$L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x) \ = \ ${ 0. }
  
{Welche Aussagen gelten für die beiden anderen bedingten $L$&ndash;Wert?
+
{Welche Aussagen gelten für die beiden anderen bedingten&nbsp; $L$&ndash;Wert?
 
|type="[]"}
 
|type="[]"}
+ $L(y = +1 | x)$ ist positiv unendlich.
+
+ $L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x)$&nbsp; ist positiv unendlich.
+ $L(y = \, -1 | x)$ ist negativ und betragsmäßig unendlich groß.
+
+ $L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x)$&nbsp; ist negativ und betragsmäßig unendlich groß.
- Es gilt $L(y = +1 | x) = L(y = \, -1 | x) = 0$.
+
- Es gilt&nbsp; $L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x) = L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x) = 0$.
  
{Unter welchen Voraussetzungen gelten die Ergebnisse aus (3) und (4)?
+
{Unter welchen Voraussetzungen gelten die Ergebnisse aus '''(3)''' und '''(4)'''?
|type="[]"}
+
|type="()"}
- Für $0 &#8804; \lambda &#8804; 1$.
+
- Für&nbsp; $0 &#8804; \lambda &#8804; 1$.
- Für $0 < \lambda &#8804; 1$.
+
- Für&nbsp; $0 < \lambda &#8804; 1$.
- Für $0 &#8804; \lambda < 1$.
+
- Für&nbsp; $0 &#8804; \lambda < 1$.
+ Für $0 < \lambda < 1$.
+
+ Für&nbsp; $0 < \lambda < 1$.
 
</quiz>
 
</quiz>
  
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''(1)'''&nbsp; Mit den gegebenen Symbolwahrscheinlichkeiten ${\rm Pr}(x = +1) = 3/4$ und ${\rm Pr}(x = \, &ndash;1) = 1/4$ erhält man:
+
'''(1)'''&nbsp; Mit den gegebenen Symbolwahrscheinlichkeiten ${\rm Pr}(x = +1) = 3/4$ und ${\rm Pr}(x = -1) = 1/4$ erhält man:
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}
 
={\rm ln} \hspace{0.15cm} \frac{3/4}{1/4}\hspace{0.15cm}\underline{= 1.099}\hspace{0.05cm}.$$
 
={\rm ln} \hspace{0.15cm} \frac{3/4}{1/4}\hspace{0.15cm}\underline{= 1.099}\hspace{0.05cm}.$$
Line 70: Line 73:
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}$$
 
:$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}$$
  
ergibt sich für $L(x) = \, &ndash;2$ die folgende Bestimmungsgleichung:
+
ergibt sich für $L(x) = \, -2$ die folgende Bestimmungsgleichung:
 
:$$\hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{1-{\rm Pr}(x = +1)} \stackrel{!}{=}{\rm e}^{-2} \approx 0.135 \hspace{0.25cm}\Rightarrow \hspace{0.25cm}
 
:$$\hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{1-{\rm Pr}(x = +1)} \stackrel{!}{=}{\rm e}^{-2} \approx 0.135 \hspace{0.25cm}\Rightarrow \hspace{0.25cm}
1.135 \cdot {\rm Pr}(x = +1)\stackrel{!}{=}0.135$$
+
1.135 \cdot {\rm Pr}(x = +1)\stackrel{!}{=}0.135\hspace{0.3cm}
:$$\Rightarrow \hspace{0.25cm}
+
\Rightarrow \hspace{0.3cm}
 
{\rm Pr}(x = +1) = 0.119\hspace{0.05cm},\hspace{0.4cm}{\rm Pr}(x = -1)
 
{\rm Pr}(x = +1) = 0.119\hspace{0.05cm},\hspace{0.4cm}{\rm Pr}(x = -1)
 
\hspace{0.15cm}\underline{= 0.881}\hspace{0.05cm}. $$
 
\hspace{0.15cm}\underline{= 0.881}\hspace{0.05cm}. $$
  
  
'''(3)'''&nbsp; Für den bedingten $L$&ndash;Wert $L(y = {\rm E} | x)$ in Vorwärtsrichtung gilt beim vorgegebenen BEC&ndash;Modell:
+
'''(3)'''&nbsp; Für den bedingten $L$&ndash;Wert $L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x)$ in Vorwärtsrichtung gilt beim vorgegebenen BEC&ndash;Modell:
 
:$$L(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x) =
 
:$$L(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x) =
 
{\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = -1)}  
 
{\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = -1)}  
Line 96: Line 99:
  
 
'''(5)'''&nbsp; Richtig ist der <u>letzte Lösungsvorschlag</u>:
 
'''(5)'''&nbsp; Richtig ist der <u>letzte Lösungsvorschlag</u>:
* Für $\lambda = 0$ (idealer Kanal) ergibt sich $L(y = {\rm E} | x) = \ln {(0/0)}$ &nbsp;&#8658;&nbsp; unbestimmtes Ergebnis.
+
* Für $\lambda = 0$ (idealer Kanal) ergibt sich $L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x) = \ln {(0/0)}$ &nbsp; &#8658; &nbsp; unbestimmtes Ergebnis.
* Für $\lambda = 1$ (vollständige Auslöschung, $y &equiv; {\rm E}$) sind $L(y = +1 | x)$ und $L(y = \, &ndash;1 | x)$ unbestimmt.
+
* Für $\lambda = 1$ (vollständige Auslöschung, $y &equiv; {\rm E}$) sind $L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x)$ und $L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x)$ unbestimmt.
 
{{ML-Fuß}}
 
{{ML-Fuß}}
  
  
  
[[Category:Aufgaben zu  Kanalcodierung|^4.1 Soft–in Soft–out Decoder^]]
+
[[Category:Channel Coding: Exercises|^4.1 Soft–in Soft–out Decoder^]]

Revision as of 13:49, 23 March 2021

BEC–Kanalmodell

Wir betrachten das so genannte  BEC–Kanalmodell  (Binary Erasure Channel) mit

  • der Eingangsgröße  $x ∈ \{+1, \, -1\}$,
  • der Ausgangsgröße  $y ∈ \{+1, \, -1, \, {\rm E}\}$, und
  • der Auslöschungswahrscheinlichkeit  $\lambda$.


Hierbei bedeutet  $y = {\rm E}$  (Erasure), dass der Ausgangswert  $y$  weder als  $+1$  noch als  $-1$  entschieden werden konnte.

Bekannt sind zudem die Eingangswahrscheinlichkeiten

$${\rm Pr}(x = +1) = 3/4\hspace{0.05cm}, \hspace{0.5cm}{\rm Pr}(x = -1) = 1/4\hspace{0.05cm}.$$

Das  Log–Likelihood–Verhältnis  (kurz:  $L$–Wert, englisch:  Log Likelihood Ratio, LLR) der binären Zufallsgröße  $x$  ist bei bipolarer Betrachtungsweise wie folgt gegeben:

$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}\hspace{0.05cm}.$$

Entsprechend gilt für den bedingten  $L$–Wert in Vorwärtsrichtung für alle  $y ∈ \{+1, \, -1, \, {\rm E}\}$:

$$L(y\hspace{0.05cm}|\hspace{0.05cm}x) = {\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y\hspace{0.05cm}|\hspace{0.05cm}x = -1)} \hspace{0.05cm}. $$





Hinweise:



Fragebogen

1

Wie lautet der  $L$–Wert der Eingangsgröße  $x$?

$L(x) \ = \ $

2

Welcher Wahrscheinlichkeit  ${\rm Pr}(x = \, -1)$  entspricht  $L(x) = \, -2$?

${\rm Pr}(x = \, -1) \ = \ $

3

Berechnen Sie den bedingten  $L$–Wert  $L(y = {\rm E}\hspace{0.05cm} |\hspace{0.05cm} x)$  in Vorwärtsrichtung.

$L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x) \ = \ $

4

Welche Aussagen gelten für die beiden anderen bedingten  $L$–Wert?

$L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x)$  ist positiv unendlich.
$L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x)$  ist negativ und betragsmäßig unendlich groß.
Es gilt  $L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x) = L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x) = 0$.

5

Unter welchen Voraussetzungen gelten die Ergebnisse aus (3) und (4)?

Für  $0 ≤ \lambda ≤ 1$.
Für  $0 < \lambda ≤ 1$.
Für  $0 ≤ \lambda < 1$.
Für  $0 < \lambda < 1$.


Musterlösung

(1)  Mit den gegebenen Symbolwahrscheinlichkeiten ${\rm Pr}(x = +1) = 3/4$ und ${\rm Pr}(x = -1) = 1/4$ erhält man:

$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)} ={\rm ln} \hspace{0.15cm} \frac{3/4}{1/4}\hspace{0.15cm}\underline{= 1.099}\hspace{0.05cm}.$$


(2)  Entsprechend der Definition

$$L(x)={\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{{\rm Pr}(x = -1)}$$

ergibt sich für $L(x) = \, -2$ die folgende Bestimmungsgleichung:

$$\hspace{0.15cm} \frac{{\rm Pr}(x = +1)}{1-{\rm Pr}(x = +1)} \stackrel{!}{=}{\rm e}^{-2} \approx 0.135 \hspace{0.25cm}\Rightarrow \hspace{0.25cm} 1.135 \cdot {\rm Pr}(x = +1)\stackrel{!}{=}0.135\hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm Pr}(x = +1) = 0.119\hspace{0.05cm},\hspace{0.4cm}{\rm Pr}(x = -1) \hspace{0.15cm}\underline{= 0.881}\hspace{0.05cm}. $$


(3)  Für den bedingten $L$–Wert $L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x)$ in Vorwärtsrichtung gilt beim vorgegebenen BEC–Modell:

$$L(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x) = {\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y= {\rm E}\hspace{0.05cm}|\hspace{0.05cm}x = -1)} = {\rm ln} \hspace{0.15cm} \frac{\lambda}{\lambda}\hspace{0.15cm}\underline{= 0}\hspace{0.05cm}.$$


(4)  Analog zur Musterlösung der Teilaufgabe (3) erhält man für $y = ±1$:

$$L(y = +1\hspace{0.05cm}|\hspace{0.05cm}x) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} {\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y= +1\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y= +1\hspace{0.05cm}|\hspace{0.05cm}x = -1)} = {\rm ln} \hspace{0.15cm} \frac{1-\lambda}{0}\hspace{0.15cm}\underline{ \hspace{0.05cm}\Rightarrow \hspace{0.15cm}+\infty }\hspace{0.05cm},$$
$$L(y = -1\hspace{0.05cm}|\hspace{0.05cm}x) \hspace{-0.15cm} \ = \ \hspace{-0.15cm} {\rm ln} \hspace{0.15cm} \frac{{\rm Pr}(y= -1\hspace{0.05cm}|\hspace{0.05cm}x = +1)}{{\rm Pr}(y= -1\hspace{0.05cm}|\hspace{0.05cm}x = -1)} = {\rm ln} \hspace{0.15cm} \frac{0}{1-\lambda}\hspace{0.15cm}\underline{ \hspace{0.05cm}\Rightarrow \hspace{0.15cm}-\infty }\hspace{0.05cm}. $$

Richtig sind demnach die Lösungsvorschläge 1 und 2.


(5)  Richtig ist der letzte Lösungsvorschlag:

  • Für $\lambda = 0$ (idealer Kanal) ergibt sich $L(y = {\rm E} \hspace{0.05cm} |\hspace{0.05cm} x) = \ln {(0/0)}$   ⇒   unbestimmtes Ergebnis.
  • Für $\lambda = 1$ (vollständige Auslöschung, $y ≡ {\rm E}$) sind $L(y = +1 \hspace{0.05cm} |\hspace{0.05cm} x)$ und $L(y = \, -1 \hspace{0.05cm} |\hspace{0.05cm} x)$ unbestimmt.