Difference between revisions of "Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?"

From LNTwww
Line 7: Line 7:
 
Wir gehen hier von einem binären bipolaren Quellensignal aus &nbsp;  &#8658; &nbsp; <i>X</i> = (+1, &ndash;1). Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
 
Wir gehen hier von einem binären bipolaren Quellensignal aus &nbsp;  &#8658; &nbsp; <i>X</i> = (+1, &ndash;1). Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
 
:$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}.  $$
 
:$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}.  $$
Die Transinformation zwischen der Quelle <i>X</i> und der Sinke <i>Y</i> kann gemäß der folgenden Gleichung berechnet werden:
+
Die Transinformation zwischen der Quelle <i>X</i> und der Sinke <i>Y</i> kann gemäß der Gleichung  
:$$I(X;Y) = h(Y) - h(N)\hspace{0.05cm},  $$
+
:$$I(X;Y) = h(Y) - h(N)$$
wobei gilt:
+
berechnet werden, wobei gilt:
* $h(Y)$ bezeichnet die ''differentille Sinkenentropie''
+
* $h(Y)$ bezeichnet die '''differentielle Sinkenentropie'''
 
:$$h(Y) =  
 
:$$h(Y) =  
 
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm}  f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_Y(y) ] \hspace{0.1cm}{\rm d}y  
 
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm}  f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_Y(y) ] \hspace{0.1cm}{\rm d}y  
Line 32: Line 32:
 
''Hinweise:''  
 
''Hinweise:''  
 
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
 
*Die Aufgabe gehört zum  Kapitel [[Informationstheorie/AWGN–Kanalkapazität_bei_wertkontinuierlichem_Eingang|AWGN–Kanalkapazität bei wertkontinuierlichem Eingang]].
*Bezug genommen wird insbesondere auf die Seiten [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#Die_Kanalkapazit.C3.A4t_.7FUNIQ-MathJax74-QINU.7F_als_Funktion_von_.7FUNIQ-MathJax75-QINU.7F|Die Kanalkapazität <i>C</i> als Funktion von <i>E</i><sub>S</sub>/<i>N</i><sub>0</sub>]] sowie [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#Die_Kanalkapazit.C3.A4t_.7FUNIQ-MathJax112-QINU.7F_als_Funktion_von_.7FUNIQ-MathJax113-QINU.7F|Die Kanalkapazität <i>C</i> als Funktion von <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>]]  
+
*Bezug genommen wird insbesondere auf die Seite [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|AWGN-Kanalkapazität für binäre Eingangssignale]].  
*Da die Ergebnisse in &bdquo;bit&rdquo; angegeben werden sollen, wird in den Gleichungen  &bdquo;log&rdquo; &nbsp;&#8658;&nbsp; &bdquo;log<sub>2</sub>&rdquo; verwendet.  
 
 
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
 
*Sollte die Eingabe des Zahlenwertes &bdquo;0&rdquo; erforderlich sein, so geben Sie bitte &bdquo;0.&rdquo; ein.
  
 
'''Hinweis'''
 
 
:* Die Aufgabe bezieht sich auf [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|'''Seite 5b''']] im [[Informationstheorie/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|'''Kapitel 4.3.''']]
 
 
    
 
    
  
Line 46: Line 41:
 
<quiz display=simple>
 
<quiz display=simple>
  
{ Wie groß ist die differentielle Entropie <i>h</i>(<i>N</i>) bei gleichverteilter Störung?
+
{ Wie groß ist die differentielle Störentropie bei ''gleichverteilter Störung'' mit <i>A</i> = 1/8?
 
|type="{}"}
 
|type="{}"}
$Gleichverteilung, A = 1/8:  h(N)$ = { 2 3% }
+
$h(N) \ = \ $ { -2.06--1.94 } $\ \rm bit/Symbol$
  
{Wie groß ist die differentielle Entropie der Sinke?
+
{Wie groß ist die differentielle Sinkenentropie bei ''gleichverteilter Störung'' mit <i>A</i> = 1/8?
 
|type="{}"}
 
|type="{}"}
$Gleichverteilung, A = 1/8:  h(Y)$ = { 1 3% }
+
$h(Y) \ = \ $ { -1.03--0.97 } $\ \rm bit/Symbol$
  
{Wie groß ist die Transinformation zwischen Quelle und Sinke?
+
{Wie groß ist die Transinformation zwischen Quelle und Sinke? Gehen Sie weiterhin von einer ''gleichverteilten Störung'' mit <i>A</i> = 1/8 aus.
 
|type="{}"}
 
|type="{}"}
$I(X;Y))$ = { 1 3% }
+
$I(X;Y) \ = \ $ { 1 3% } $\ \rm bit/Symbol$
  
  
{Unter welchen Bedingungen ändert sich am Ergebnis (c) nichts?
+
{Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe (3) nichts?
 
|type="[]"}
 
|type="[]"}
 
+ Für jedes <i>A</i> &#8804; 1 bei der vorgegebenen Gleichverteilung.
 
+ Für jedes <i>A</i> &#8804; 1 bei der vorgegebenen Gleichverteilung.
Line 66: Line 61:
  
  
 
+
{Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung, dass eine Gaußsche Störung vorliegt und der Quotient <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> endlich ist.
 
 
{Beantworten Sie nun die entscheidende Frage.
 
<i>Hinweis</i>: Der Quotient <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> wird als endlich vorausgesetzt.
 
 
|type="[]"}
 
|type="[]"}
- <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) &equiv; 1 bit/Symbol ist mit Gauß&ndash;WDF möglich.
+
- <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) &equiv; 1 bit/Symbol ist mit einer Gauß&ndash;WDF möglich.
+ Bei endlichem <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> gilt stets <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) < 1 bit/Symbol.
+
+ Bei Gaußscher Störung mit endlichem <i>E</i><sub>B</sub>/<i>N</i><sub>0</sub> gilt stets <i>C</i><sub>BPSK</sub>(<i>E</i><sub>B</sub>/<i>N</i><sub>0</sub>) < 1 bit/Symbol.
  
  

Revision as of 15:00, 14 June 2017

WDF fN(n) für zwei unterschiedliche Störkomponenten

Wir gehen hier von einem binären bipolaren Quellensignal aus   ⇒   X = (+1, –1). Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:

$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$

Die Transinformation zwischen der Quelle X und der Sinke Y kann gemäß der Gleichung

$$I(X;Y) = h(Y) - h(N)$$

berechnet werden, wobei gilt:

  • $h(Y)$ bezeichnet die differentielle Sinkenentropie
$$h(Y) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [ f_Y(y) ] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$
$${\rm mit}\hspace{0.5cm} f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y|{X}=-1) + f_{Y|{X}}(y|{X}=+1) \right ]\hspace{0.05cm}.$$
  • $h(N)$ gibt die differentielle Störentropie an, allein berechenbar aus der WDF $f_N(n)$:
$$h(N) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} [ f_N(n) ] \hspace{0.1cm}{\rm d}n \hspace{0.05cm}.$$

Nimmt man für die Störung N eine Gaußverteilung fN(n) entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität CBPSK = I(X; Y), die im Theorieteil abhängig von 10 · lg (EB/N0) dargestellt ist.

Beantwortet werden soll in dieser Aufgabe die Frage, ob es einen endlichen EB/N0–Wert gibt, für den CBPSK(EB/N0) ≡ 1 bit/Kanalzugriff möglich ist  ⇒  Teilaufgabe (5).

In den Teilaufgaben (1) bis (4) werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör–WDF fN(n) ausgegangen (siehe untere Skizze):

$$f_N(n) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| > A. \\ \end{array} $$


Hinweise:


Fragebogen

1

Wie groß ist die differentielle Störentropie bei gleichverteilter Störung mit A = 1/8?

$h(N) \ = \ $

$\ \rm bit/Symbol$

2

Wie groß ist die differentielle Sinkenentropie bei gleichverteilter Störung mit A = 1/8?

$h(Y) \ = \ $

$\ \rm bit/Symbol$

3

Wie groß ist die Transinformation zwischen Quelle und Sinke? Gehen Sie weiterhin von einer gleichverteilten Störung mit A = 1/8 aus.

$I(X;Y) \ = \ $

$\ \rm bit/Symbol$

4

Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe (3) nichts?

Für jedes A ≤ 1 bei der vorgegebenen Gleichverteilung.
Für jede andere WDF fN(n), wenn |N| ≤ 1 gilt.
Wenn sich fY|X(y|–1) und fY|X(y|+1) nicht überlappen.

5

Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung, dass eine Gaußsche Störung vorliegt und der Quotient EB/N0 endlich ist.

CBPSK(EB/N0) ≡ 1 bit/Symbol ist mit einer Gauß–WDF möglich.
Bei Gaußscher Störung mit endlichem EB/N0 gilt stets CBPSK(EB/N0) < 1 bit/Symbol.


Musterlösung

(1)  Die differentielle Entropie einer Gleichverteilung der absoluten Breite 2A ist gleich $$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(N) = {\rm log}_2 \hspace{0.1cm} (1/4) \hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ (2)  Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich entsprechend der Gleichung:

P ID2948 Inf Z 4 9b.png

$$f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y|-1) + f_{Y|{X}}(y|+1) \right ]\hspace{0.05cm}.$$ Die Grafik zeigt das Ergebnis für unser Beispiel (A = 1/8):

  • Rot gezeichnet ist der erste Term 1/2 · fY|X(y|–1), wobei das Rechteck fN(n) an die Stelle Y = –1 verschoben und mit 1/2 multipliziert wird. Es ergibt sich ein Rechteck der Breite 2A = 1/4 und der Höhe 1/(4A) = 2.
  • Blau dargestellt ist der zweite Term 1/2 · fY|X(y|+1) mit der Mitte bei Y = +1.
  • Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF fY(y).

Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt. Somit ergibt sich für die gesuchte differentielle Sinkenentropie: $$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2) \hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ (3)  Damit erhält man für die Transinformation zwischen Quelle und Sinke: $$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol}) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$ (4)  Alle Lösungsvorschläge sind zutreffend:

  • Für jedes A ≤ 1 gilt

$$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm},$$ $$h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$ $$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$

  • An diesem Prinzip ändert sich auch bei anderer WDF fN(n) nichts, solange die Störung auf den Bereich |N| ≤ 1 begrenzt ist.
  • Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für h(Y) ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation.
P ID2951 Inf Z 4 9e.png

(5)  Richtig ist der Lösungsvorschlag 2:

  • Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich 0.
  • Deshalb kommt es hier immer zu einer Überlappung der bedingten Wahrscheinlichkeitsdichtefunktionen fY|X(y|–1) und fY|X(y|+1.)
  • Entsprechend der Teilaufgabe (d) ist deshalb CBPSK(EB/N0) ≡ 1 bit/Symbol nicht möglich.