Difference between revisions of "Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?"

From LNTwww
m (Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises")
(17 intermediate revisions by 4 users not shown)
Line 3: Line 3:
 
}}
 
}}
  
[[File:P_ID2947__Inf_Z_4_9.png|right|]]
+
[[File:P_ID2947__Inf_Z_4_9.png|right|frame|Zwei unterschiedliche <br>Dichtefunktionen&nbsp; $f_N(n)$]]
  
Wir gehen hier von einem binären bipolaren Quellensignal &#8658;&nbsp;<i>X</i> = (+1, &ndash;1)</nobr> aus. Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
+
Wir gehen hier von einem binären bipolaren Quellensignal aus &nbsp;  &#8658; &nbsp; $ x \in X = \{+1, -1\}$.  
$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}.  $$
+
 
Die Transinformation zwischen der Quelle <i>X</i> und der Sinke <i>Y</i> kann gemäß der folgenden Gleichung berechnet werden:
+
Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
$$I(X;Y) = h(Y) - h(N)\hspace{0.05cm},  $$
+
:$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}.  $$
wobei gilt:
+
Die Transinformation zwischen der Quelle&nbsp; $X$&nbsp; und der Sinke&nbsp; $Y$&nbsp; kann gemäß der Gleichung  
:* '''h(Y)''' bezeichnet die '''differentille Sinkenentropie''' :
+
:$$I(X;Y) = h(Y) - h(N)$$
$$h(Y) =  
+
berechnet werden, wobei gilt:
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm}  f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_Y(y) ] \hspace{0.1cm}{\rm d}y  
+
* $h(Y)$&nbsp; bezeichnet die&nbsp; '''differentielle Sinkenentropie'''
 +
:$$h(Y) =  
 +
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm}  f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_Y(y) \big] \hspace{0.1cm}{\rm d}y  
 
\hspace{0.05cm},$$
 
\hspace{0.05cm},$$
$${\rm mit}\hspace{0.5cm}
+
:$${\rm mit}\hspace{0.5cm}
f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y|{X}=-1) + f_{Y|{X}}(y|{X}=+1) \right  ]\hspace{0.05cm}.$$
+
f_Y(y) = {1}/{2} \cdot \big[ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.05cm}.$$
:* '''h(N)''' gibt die '''differentielle Störentropie''' an, berechenbar aus der WDF ''$$f_N(n)$$''
+
* $h(N)$&nbsp;  gibt die&nbsp; '''differentielle Störentropie'''&nbsp; an, allein berechenbar aus der WDF&nbsp; $f_N(n)$:
$$h(N) =  
+
:$$h(N) =  
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm}  f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} [ f_N(n) ] \hspace{0.1cm}{\rm d}n  
+
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm}  f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_N(n) \big] \hspace{0.1cm}{\rm d}n  
 
\hspace{0.05cm}.$$
 
\hspace{0.05cm}.$$
Nimmt man für die Störung <i>N</i> eine Gaußverteilung <i>f<sub>N</sub></i>(<i>n</i>) entsprechend der oberen Skizze an, so ergibt sich die gewünschte Kanalkapazität <i>C</i><sub>BPSK</sub> = <i>I</i>(<i>X</i>; <i>Y</i>), die [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''im Theorieteil''']] abhängig von 10&nbsp;&middot;&nbsp;lg (<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) dargestellt ist.
 
  
Beantwortet werden soll in dieser Aufgabe die Frage, ob es einen endlichen <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>&ndash;Wert  gibt, für den '''C<sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) &equiv; 1 bit/Kanalzugriff möglich ist''' &nbsp;&#8658;&nbsp; Teilaufgabe (e).
+
Nimmt man für die Störung &nbsp;$N$&nbsp; eine Gaußverteilung &nbsp;$f_N(n)$&nbsp; entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität &nbsp;$C_\text{BPSK} = I(X;Y)$, die&nbsp; [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|im Theorieteil]]&nbsp; abhängig von &nbsp;$10 \cdot \lg (E_{\rm B}/{N_0})$&nbsp; dargestellt ist.
 +
 
 +
Beantwortet werden soll die Frage, ob es einen endlichen &nbsp;$E_{\rm B}/{N_0}$&ndash;Wert  gibt, für den&nbsp; $C_\text{BPSK}(E_{\rm B}/{N_0}) &equiv; 1 \ \rm bit/Kanalzugriff $&nbsp; möglich ist &nbsp; &#8658; &nbsp; Teilaufgabe&nbsp; '''(5)'''.
 +
 
 +
In den Teilaufgaben&nbsp; '''(1)'''&nbsp; bis&nbsp; '''(4)'''&nbsp; werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör&ndash;WDF&nbsp; $f_N(n)$&nbsp; ausgegangen (siehe untere Skizze):
 +
:$$f_N(n) =
 +
\left\{ \begin{array}{c} 1/(2A) \\  0 \\  \end{array} \right. \begin{array}{*{20}c}  {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| < A, \\    {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| > A. \\ \end{array} $$
  
In den Teilaufgaben (a), ... , (d) werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von einer gleichverteilten Stör&ndash;WDF <i>f<sub>N</sub></i>(<i>n</i>)  ausgegangen (siehe untere Skizze):
 
$$f_N(n) =
 
\left\{ \begin{array}{c} 1/(2A) \\  0 \\  \end{array} \right. \begin{array}{*{20}c}  {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| < A, \\    {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| > A. \\ \end{array} $$
 
  
'''Hinweis'''
 
  
:* Die Aufgabe bezieht sich auf [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''Seite 5b''']] im [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]
+
 
 +
 
 +
 
 +
 
 +
 
 +
''Hinweise:''
 +
*Die Aufgabe gehört zum  Kapitel&nbsp; [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|AWGN–Kanalkapazität bei wertdiskretem Eingang]].
 +
*Bezug genommen wird insbesondere auf die Seite&nbsp; [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|AWGN-Kanalkapazität für binäre Eingangssignale]].  
 +
 +
 
 
    
 
    
  
Line 37: Line 49:
 
<quiz display=simple>
 
<quiz display=simple>
  
{ Wie groß ist die differentielle Entropie <i>h</i>(<i>N</i>) bei gleichverteilter Störung?
+
{ Wie groß ist die differentielle Störentropie bei gleichverteilter Störung mit&nbsp; $\underline{A = 1/8}$?
 
|type="{}"}
 
|type="{}"}
$Gleichverteilung, A = 1/8:  h(N)$ = { 2 3% }
+
$h(N) \ = \ $ { -2.06--1.94 } $\ \rm bit/Symbol$
  
{Wie groß ist die differentielle Entropie der Sinke?
+
{Wie groß ist die differentielle Sinkenentropie bei gleichverteilter Störung mit&nbsp; $\underline{A = 1/8}$?
 
|type="{}"}
 
|type="{}"}
$Gleichverteilung, A = 1/8:  h(Y)$ = { 1 3% }
+
$h(Y) \ = \ $ { -1.03--0.97 } $\ \rm bit/Symbol$
  
{Wie groß ist die Transinformation zwischen Quelle und Sinke?
+
{Wie groß ist die Transinformation zwischen Quelle und Sinke?&nbsp; Gehen Sie weiterhin von einer gleichverteilten Störung mit&nbsp; $\underline{A = 1/8}$&nbsp; aus.
 
|type="{}"}
 
|type="{}"}
$I(X;Y))$ = { 1 3% }
+
$I(X;Y) \ = \ $ { 1 3% } $\ \rm bit/Symbol$
  
  
{Unter welchen Bedingungen ändert sich am Ergebnis (c) nichts?
+
{Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe&nbsp; '''(3)'''&nbsp; nichts?
 
|type="[]"}
 
|type="[]"}
+ Für jedes <i>A</i> &#8804; 1 bei der vorgegebenen Gleichverteilung.
+
+ Für jedes&nbsp; $A &#8804; 1$&nbsp; bei der vorgegebenen Gleichverteilung.
+ Für jede andere WDF <i>f<sub>N</sub></i>(<i>n</i>), wenn |<i>N</i>| &#8804; 1 gilt.
+
+ Für jede andere WDF&nbsp; $f_N(n)$, die auf den Bereich&nbsp; $|\hspace{0.05cm}n\hspace{0.05cm}| < 1$&nbsp; begrenzt ist.
+ Wenn sich <i>f<sub>Y</sub></i>|<sub><i>X</i></sub>(<i>y</i>|&ndash;1) und <i>f<sub>Y</sub></i>|<sub><i>X</i></sub>(<i>y</i>|+1) nicht überlappen.
+
+ Wenn sich &nbsp;$f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=-1)$&nbsp; und &nbsp;$f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=+1)$&nbsp; nicht überlappen.
 
 
 
 
  
  
{Beantworten Sie nun die entscheidende Frage.
+
{Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung, <br>dass eine Gaußsche Störung vorliegt und der Quotient &nbsp;$E_{\rm B}/{N_0}$&nbsp;  endlich ist.
<i>Hinweis</i>: Der Quotient <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> wird als endlich vorausgesetzt.
+
|type="()"}
|type="[]"}
+
- $C_\text{BPSK}(E_{\rm B}/{N_0}) &equiv; 1 \ \rm bit/Kanalzugriff $&nbsp; ist mit einer Gauß&ndash;WDF möglich.
- <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) &equiv; 1 bit/Symbol ist mit Gauß&ndash;WDF möglich.
+
+ Bei Gaußscher Störung mit endlichem &nbsp;$E_{\rm B}/{N_0}$&nbsp; gilt stets&nbsp; $C_\text{BPSK}(E_{\rm B}/{N_0}) < 1 \ \rm bit/Kanalzugriff $.
+ Bei endlichem <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> gilt stets <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) < 1 bit/Symbol.
 
  
  
Line 70: Line 79:
 
===Musterlösung===
 
===Musterlösung===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''1.'''
+
'''(1)'''&nbsp; Die differentielle Entropie einer Gleichverteilung der absoluten Breite&nbsp; $2A$&nbsp; ist gleich
'''2.'''
+
:$$ h(N) =  {\rm log}_2 \hspace{0.1cm} (2A)
'''3.'''
+
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}:
'''4.'''
+
\hspace{0.15cm}h(N) =  {\rm log}_2 \hspace{0.1cm} (1/4)
'''5.'''
+
\hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
'''6.'''
+
 
'''7.'''
+
 
 +
 
 +
[[File:Inf_Z_4_9b_neu.png|right|frame|WDF der Ausgangsgröße &nbsp;$Y$&nbsp;  <br>bei gleichverteilter Störung  &nbsp;$N$]]
 +
'''(2)'''&nbsp; Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich gemäß der Gleichung:
 +
:$$f_Y(y) = {1}/{2} \cdot \big [ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1) \big  ]\hspace{0.05cm}.$$
 +
Die Grafik zeigt das Ergebnis für unser Beispiel&nbsp; $(A = 1/8)$:
 +
* Rot gezeichnet ist der erste Term&nbsp; ${1}/{2} \cdot  f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1)$, wobei das Rechteck&nbsp; $f_N(n)$&nbsp; an die Stelle&nbsp; $y = -1$&nbsp; verschoben und mit&nbsp; $1/2$&nbsp; multipliziert wird.&nbsp; Es ergibt sich ein Rechteck der Breite&nbsp; $2A = 1/4$&nbsp; und der Höhe&nbsp; $1/(4A) = 2$.     
 +
* Blau dargestellt ist der zweite Term&nbsp; ${1}/{2} \cdot  f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1)$&nbsp; mit der Mitte bei&nbsp; $y = +1$.
 +
* Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF&nbsp; $f_Y(y)$.
 +
 
 +
*Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt.&nbsp;
 +
*Somit ergibt sich für die gesuchte differentielle Sinkenentropie:
 +
:$$h(Y) =  {\rm log}_2 \hspace{0.1cm} (4A)
 +
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}:
 +
\hspace{0.15cm}h(Y) =  {\rm log}_2 \hspace{0.1cm} (1/2)
 +
\hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
 +
 
 +
 
 +
 +
'''(3)'''&nbsp; Damit erhält man für die Transinformation zwischen Quelle und Sinke:
 +
:$$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol})
 +
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
 +
 
 +
 
 +
 
 +
'''(4)'''&nbsp; <u>Alle Lösungsvorschläge</u> sind zutreffend:
 +
* Für jedes&nbsp; $A &#8804; 1$&nbsp; gilt
 +
:$$ h(Y)  =    {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm}, \hspace{0.5cm}
 +
h(N)  =    {\rm log}_2 \hspace{0.1cm} (2A)$$
 +
:$$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2)
 +
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
 +
* An diesem Prinzip ändert sich auch bei anderer WDF&nbsp; $f_N(n)$&nbsp; nichts, solange die Störung auf den Bereich&nbsp; $|\hspace{0.05cm}n\hspace{0.05cm}| &#8804; 1$&nbsp; begrenzt ist.
 +
* Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für&nbsp; $h(Y)$&nbsp; ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation.
 +
 
 +
 
 +
 
 +
 
 +
[[File:P_ID2951__Inf_Z_4_9e.png|right|frame|WDF der Ausgangsgröße &nbsp;$Y$&nbsp;  <br>bei gaußverteilter Störung  &nbsp;$N$]]
 +
'''(5)'''&nbsp; Richtig ist der <u>Lösungsvorschlag 2</u>:
 +
* Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich Null.
 +
* Es kommt hier immer zu einer Überlappung der bedingten Dichtefunktionen&nbsp; $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}-1)$&nbsp; und&nbsp;  $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}+1)$.
 +
* Entsprechend der Teilaufgabe&nbsp; '''(4)'''&nbsp; ist deshalb&nbsp; $C_\text{BPSK}(E_{\rm B}/{N_0})  &equiv; 1 \ \rm bit/Kanalzugriff $&nbsp; nicht möglich.
 +
 
 
{{ML-Fuß}}
 
{{ML-Fuß}}
  
  
  
[[Category:Aufgaben zu Informationstheorie|^4.3 AWGN–Kanalkapazität bei wertdiskretem Eingang^]]
+
[[Category:Information Theory: Exercises|^4.3 AWGN & wertdiskreter Eingang^]]

Revision as of 13:48, 23 March 2021

Zwei unterschiedliche
Dichtefunktionen  $f_N(n)$

Wir gehen hier von einem binären bipolaren Quellensignal aus   ⇒   $ x \in X = \{+1, -1\}$.

Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:

$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$

Die Transinformation zwischen der Quelle  $X$  und der Sinke  $Y$  kann gemäß der Gleichung

$$I(X;Y) = h(Y) - h(N)$$

berechnet werden, wobei gilt:

  • $h(Y)$  bezeichnet die  differentielle Sinkenentropie
$$h(Y) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_Y(y) \big] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$
$${\rm mit}\hspace{0.5cm} f_Y(y) = {1}/{2} \cdot \big[ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.05cm}.$$
  • $h(N)$  gibt die  differentielle Störentropie  an, allein berechenbar aus der WDF  $f_N(n)$:
$$h(N) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_N(n) \big] \hspace{0.1cm}{\rm d}n \hspace{0.05cm}.$$

Nimmt man für die Störung  $N$  eine Gaußverteilung  $f_N(n)$  entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität  $C_\text{BPSK} = I(X;Y)$, die  im Theorieteil  abhängig von  $10 \cdot \lg (E_{\rm B}/{N_0})$  dargestellt ist.

Beantwortet werden soll die Frage, ob es einen endlichen  $E_{\rm B}/{N_0}$–Wert gibt, für den  $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $  möglich ist   ⇒   Teilaufgabe  (5).

In den Teilaufgaben  (1)  bis  (4)  werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör–WDF  $f_N(n)$  ausgegangen (siehe untere Skizze):

$$f_N(n) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| > A. \\ \end{array} $$





Hinweise:



Fragebogen

1

Wie groß ist die differentielle Störentropie bei gleichverteilter Störung mit  $\underline{A = 1/8}$?

$h(N) \ = \ $

$\ \rm bit/Symbol$

2

Wie groß ist die differentielle Sinkenentropie bei gleichverteilter Störung mit  $\underline{A = 1/8}$?

$h(Y) \ = \ $

$\ \rm bit/Symbol$

3

Wie groß ist die Transinformation zwischen Quelle und Sinke?  Gehen Sie weiterhin von einer gleichverteilten Störung mit  $\underline{A = 1/8}$  aus.

$I(X;Y) \ = \ $

$\ \rm bit/Symbol$

4

Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe  (3)  nichts?

Für jedes  $A ≤ 1$  bei der vorgegebenen Gleichverteilung.
Für jede andere WDF  $f_N(n)$, die auf den Bereich  $|\hspace{0.05cm}n\hspace{0.05cm}| < 1$  begrenzt ist.
Wenn sich  $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=-1)$  und  $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=+1)$  nicht überlappen.

5

Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung,
dass eine Gaußsche Störung vorliegt und der Quotient  $E_{\rm B}/{N_0}$  endlich ist.

$C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $  ist mit einer Gauß–WDF möglich.
Bei Gaußscher Störung mit endlichem  $E_{\rm B}/{N_0}$  gilt stets  $C_\text{BPSK}(E_{\rm B}/{N_0}) < 1 \ \rm bit/Kanalzugriff $.


Musterlösung

(1)  Die differentielle Entropie einer Gleichverteilung der absoluten Breite  $2A$  ist gleich

$$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(N) = {\rm log}_2 \hspace{0.1cm} (1/4) \hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$


WDF der Ausgangsgröße  $Y$ 
bei gleichverteilter Störung  $N$

(2)  Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich gemäß der Gleichung:

$$f_Y(y) = {1}/{2} \cdot \big [ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1) \big ]\hspace{0.05cm}.$$

Die Grafik zeigt das Ergebnis für unser Beispiel  $(A = 1/8)$:

  • Rot gezeichnet ist der erste Term  ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1)$, wobei das Rechteck  $f_N(n)$  an die Stelle  $y = -1$  verschoben und mit  $1/2$  multipliziert wird.  Es ergibt sich ein Rechteck der Breite  $2A = 1/4$  und der Höhe  $1/(4A) = 2$.
  • Blau dargestellt ist der zweite Term  ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1)$  mit der Mitte bei  $y = +1$.
  • Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF  $f_Y(y)$.
  • Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt. 
  • Somit ergibt sich für die gesuchte differentielle Sinkenentropie:
$$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2) \hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$


(3)  Damit erhält man für die Transinformation zwischen Quelle und Sinke:

$$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol}) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$


(4)  Alle Lösungsvorschläge sind zutreffend:

  • Für jedes  $A ≤ 1$  gilt
$$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm}, \hspace{0.5cm} h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$
$$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
  • An diesem Prinzip ändert sich auch bei anderer WDF  $f_N(n)$  nichts, solange die Störung auf den Bereich  $|\hspace{0.05cm}n\hspace{0.05cm}| ≤ 1$  begrenzt ist.
  • Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für  $h(Y)$  ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation.



WDF der Ausgangsgröße  $Y$ 
bei gaußverteilter Störung  $N$

(5)  Richtig ist der Lösungsvorschlag 2:

  • Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich Null.
  • Es kommt hier immer zu einer Überlappung der bedingten Dichtefunktionen  $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}-1)$  und  $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}+1)$.
  • Entsprechend der Teilaufgabe  (4)  ist deshalb  $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $  nicht möglich.