Difference between revisions of "Aufgaben:Exercise 4.9Z: Is Channel Capacity C ≡ 1 possible with BPSK?"
(9 intermediate revisions by 2 users not shown) | |||
Line 1: | Line 1: | ||
− | {{quiz-Header|Buchseite= | + | {{quiz-Header|Buchseite=Information_Theory/AWGN_Channel_Capacity_for_Discrete_Input |
}} | }} | ||
− | [[File: | + | [[File:EN_Inf_Z_4_9.png|right|frame|Zwei unterschiedliche <br>Dichtefunktionen $f_N(n)$]] |
Wir gehen hier von einem binären bipolaren Quellensignal aus ⇒ $ x \in X = \{+1, -1\}$. | Wir gehen hier von einem binären bipolaren Quellensignal aus ⇒ $ x \in X = \{+1, -1\}$. | ||
Line 9: | Line 9: | ||
Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit: | Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit: | ||
:$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$ | :$$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$ | ||
− | Die Transinformation zwischen der Quelle $X$ und der Sinke $Y$ kann gemäß der Gleichung | + | Die Transinformation zwischen der Quelle $X$ und der Sinke $Y$ kann gemäß der Gleichung |
:$$I(X;Y) = h(Y) - h(N)$$ | :$$I(X;Y) = h(Y) - h(N)$$ | ||
berechnet werden, wobei gilt: | berechnet werden, wobei gilt: | ||
− | * $h(Y)$ bezeichnet die '''differentielle Sinkenentropie''' | + | * $h(Y)$ bezeichnet die '''differentielle Sinkenentropie''' |
:$$h(Y) = | :$$h(Y) = | ||
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_Y(y) \big] \hspace{0.1cm}{\rm d}y | \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_Y(y) \big] \hspace{0.1cm}{\rm d}y | ||
Line 18: | Line 18: | ||
:$${\rm mit}\hspace{0.5cm} | :$${\rm mit}\hspace{0.5cm} | ||
f_Y(y) = {1}/{2} \cdot \big[ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.05cm}.$$ | f_Y(y) = {1}/{2} \cdot \big[ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.05cm}.$$ | ||
− | * $h(N)$ gibt die '''differentielle Störentropie''' an, allein berechenbar aus der WDF $f_N(n)$: | + | * $h(N)$ gibt die '''differentielle Störentropie''' an, allein berechenbar aus der WDF $f_N(n)$: |
:$$h(N) = | :$$h(N) = | ||
\hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_N(n) \big] \hspace{0.1cm}{\rm d}n | \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_N(n) \big] \hspace{0.1cm}{\rm d}n | ||
\hspace{0.05cm}.$$ | \hspace{0.05cm}.$$ | ||
− | Nimmt man für die Störung $N$ eine Gaußverteilung $f_N(n)$ entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität $C_\text{BPSK} = I(X;Y)$, die [[ | + | Nimmt man für die Störung $N$ eine Gaußverteilung $f_N(n)$ entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität $C_\text{BPSK} = I(X;Y)$, die [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|im Theorieteil]] abhängig von $10 \cdot \lg (E_{\rm B}/{N_0})$ dargestellt ist. |
− | Beantwortet werden soll die Frage, ob es einen endlichen $E_{\rm B}/{N_0}$–Wert gibt, für den $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ möglich ist ⇒ Teilaufgabe '''(5)'''. | + | Beantwortet werden soll die Frage, ob es einen endlichen $E_{\rm B}/{N_0}$–Wert gibt, für den $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ möglich ist ⇒ Teilaufgabe '''(5)'''. |
− | In den Teilaufgaben '''(1)''' bis '''(4)''' werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör–WDF $f_N(n)$ ausgegangen (siehe untere Skizze): | + | In den Teilaufgaben '''(1)''' bis '''(4)''' werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör–WDF $f_N(n)$ ausgegangen (siehe untere Skizze): |
:$$f_N(n) = | :$$f_N(n) = | ||
− | \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |n| > A. \\ \end{array} $$ | + | \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| > A. \\ \end{array} $$ |
+ | |||
+ | |||
+ | |||
Line 36: | Line 39: | ||
''Hinweise:'' | ''Hinweise:'' | ||
− | *Die Aufgabe gehört zum Kapitel [[ | + | *Die Aufgabe gehört zum Kapitel [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang|AWGN–Kanalkapazität bei wertdiskretem Eingang]]. |
− | *Bezug genommen wird insbesondere auf die Seite [[ | + | *Bezug genommen wird insbesondere auf die Seite [[Information_Theory/AWGN–Kanalkapazität_bei_wertdiskretem_Eingang#AWGN.E2.80.93Kanalkapazit.C3.A4t_f.C3.BCr_bin.C3.A4re_Eingangssignale|AWGN-Kanalkapazität für binäre Eingangssignale]]. |
Line 46: | Line 49: | ||
<quiz display=simple> | <quiz display=simple> | ||
− | { Wie groß ist die differentielle Störentropie bei gleichverteilter Störung mit $\underline{A = 1/8}$? | + | { Wie groß ist die differentielle Störentropie bei gleichverteilter Störung mit $\underline{A = 1/8}$? |
|type="{}"} | |type="{}"} | ||
$h(N) \ = \ $ { -2.06--1.94 } $\ \rm bit/Symbol$ | $h(N) \ = \ $ { -2.06--1.94 } $\ \rm bit/Symbol$ | ||
− | {Wie groß ist die differentielle Sinkenentropie bei gleichverteilter Störung mit $\underline{A = 1/8}$? | + | {Wie groß ist die differentielle Sinkenentropie bei gleichverteilter Störung mit $\underline{A = 1/8}$? |
|type="{}"} | |type="{}"} | ||
$h(Y) \ = \ $ { -1.03--0.97 } $\ \rm bit/Symbol$ | $h(Y) \ = \ $ { -1.03--0.97 } $\ \rm bit/Symbol$ | ||
− | {Wie groß ist die Transinformation zwischen Quelle und Sinke? Gehen Sie weiterhin von einer gleichverteilten Störung mit $\underline{A = 1/8}$ aus. | + | {Wie groß ist die Transinformation zwischen Quelle und Sinke? Gehen Sie weiterhin von einer gleichverteilten Störung mit $\underline{A = 1/8}$ aus. |
|type="{}"} | |type="{}"} | ||
$I(X;Y) \ = \ $ { 1 3% } $\ \rm bit/Symbol$ | $I(X;Y) \ = \ $ { 1 3% } $\ \rm bit/Symbol$ | ||
− | {Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe '''(3)''' nichts? | + | {Unter welchen Bedingungen ändert sich am Ergebnis der Teilaufgabe '''(3)''' nichts? |
|type="[]"} | |type="[]"} | ||
− | + Für jedes $A ≤ 1$ bei der vorgegebenen Gleichverteilung. | + | + Für jedes $A ≤ 1$ bei der vorgegebenen Gleichverteilung. |
− | + Für jede andere WDF $f_N(n)$, die auf den Bereich $|n| < 1$ begrenzt ist. | + | + Für jede andere WDF $f_N(n)$, die auf den Bereich $|\hspace{0.05cm}n\hspace{0.05cm}| < 1$ begrenzt ist. |
− | + Wenn sich $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0. | + | + Wenn sich $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=-1)$ und $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}{X}=+1)$ nicht überlappen. |
{Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung, <br>dass eine Gaußsche Störung vorliegt und der Quotient $E_{\rm B}/{N_0}$ endlich ist. | {Beantworten Sie nun die entscheidende Frage, unter der Voraussetzung, <br>dass eine Gaußsche Störung vorliegt und der Quotient $E_{\rm B}/{N_0}$ endlich ist. | ||
− | |type=" | + | |type="()"} |
− | - $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ ist mit einer Gauß–WDF möglich. | + | - $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ ist mit einer Gauß–WDF möglich. |
− | + Bei Gaußscher Störung mit endlichem $E_{\rm B}/{N_0}$ gilt stets $C_\text{BPSK}(E_{\rm B}/{N_0}) < 1 \ \rm bit/Kanalzugriff $. | + | + Bei Gaußscher Störung mit endlichem $E_{\rm B}/{N_0}$ gilt stets $C_\text{BPSK}(E_{\rm B}/{N_0}) < 1 \ \rm bit/Kanalzugriff $. |
Line 76: | Line 79: | ||
===Musterlösung=== | ===Musterlösung=== | ||
{{ML-Kopf}} | {{ML-Kopf}} | ||
− | '''(1)''' Die differentielle Entropie einer Gleichverteilung der absoluten Breite | + | '''(1)''' Die differentielle Entropie einer Gleichverteilung der absoluten Breite $2A$ ist gleich |
:$$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A) | :$$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A) | ||
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: | \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: | ||
Line 82: | Line 85: | ||
\hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ | \hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ | ||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | |||
− | Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt. Somit ergibt sich für die gesuchte differentielle Sinkenentropie: | + | |
+ | [[File:EN_Inf_Z_4_9b.png|right|frame|WDF der Ausgangsgröße $Y$ <br>bei gleichverteilter Störung $N$]] | ||
+ | '''(2)''' Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich gemäß der Gleichung: | ||
+ | :$$f_Y(y) = {1}/{2} \cdot \big [ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1) \big ]\hspace{0.05cm}.$$ | ||
+ | Die Grafik zeigt das Ergebnis für unser Beispiel $(A = 1/8)$: | ||
+ | * Rot gezeichnet ist der erste Term ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1)$, wobei das Rechteck $f_N(n)$ an die Stelle $y = -1$ verschoben und mit $1/2$ multipliziert wird. Es ergibt sich ein Rechteck der Breite $2A = 1/4$ und der Höhe $1/(4A) = 2$. | ||
+ | * Blau dargestellt ist der zweite Term ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1)$ mit der Mitte bei $y = +1$. | ||
+ | * Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF $f_Y(y)$. | ||
+ | |||
+ | *Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt. | ||
+ | *Somit ergibt sich für die gesuchte differentielle Sinkenentropie: | ||
:$$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) | :$$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) | ||
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: | \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: | ||
\hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2) | \hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2) | ||
\hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ | \hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$ | ||
+ | |||
+ | |||
'''(3)''' Damit erhält man für die Transinformation zwischen Quelle und Sinke: | '''(3)''' Damit erhält man für die Transinformation zwischen Quelle und Sinke: | ||
:$$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol}) | :$$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol}) | ||
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$ | \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$ | ||
+ | |||
+ | |||
'''(4)''' <u>Alle Lösungsvorschläge</u> sind zutreffend: | '''(4)''' <u>Alle Lösungsvorschläge</u> sind zutreffend: | ||
− | * Für jedes | + | * Für jedes $A ≤ 1$ gilt |
:$$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm}, \hspace{0.5cm} | :$$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm}, \hspace{0.5cm} | ||
h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$ | h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$ | ||
:$$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2) | :$$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2) | ||
\hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$ | \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$ | ||
− | * An diesem Prinzip ändert sich auch bei anderer WDF | + | * An diesem Prinzip ändert sich auch bei anderer WDF $f_N(n)$ nichts, solange die Störung auf den Bereich $|\hspace{0.05cm}n\hspace{0.05cm}| ≤ 1$ begrenzt ist. |
− | * Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für | + | * Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für $h(Y)$ ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation. |
+ | |||
+ | |||
− | [[File: | + | [[File:EN_Inf_Z_4_9e.png|right|frame|WDF der Ausgangsgröße $Y$ <br>bei gaußverteilter Störung $N$]] |
'''(5)''' Richtig ist der <u>Lösungsvorschlag 2</u>: | '''(5)''' Richtig ist der <u>Lösungsvorschlag 2</u>: | ||
− | * Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich | + | * Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich Null. |
− | * | + | * Es kommt hier immer zu einer Überlappung der bedingten Dichtefunktionen $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}-1)$ und $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}+1)$. |
− | * Entsprechend der Teilaufgabe (4) ist deshalb | + | * Entsprechend der Teilaufgabe '''(4)''' ist deshalb $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ nicht möglich. |
{{ML-Fuß}} | {{ML-Fuß}} | ||
Line 120: | Line 132: | ||
− | [[Category: | + | [[Category:Information Theory: Exercises|^4.3 AWGN and Value-Discrete Input^]] |
Revision as of 13:59, 4 October 2021
Wir gehen hier von einem binären bipolaren Quellensignal aus ⇒ $ x \in X = \{+1, -1\}$.
Die Wahrscheinlichkeitsdichtefunktion (WDF) der Quelle lautet somit:
- $$f_X(x) = {1}/{2} \cdot \delta (x-1) + {1}/{2} \cdot \delta (x+1)\hspace{0.05cm}. $$
Die Transinformation zwischen der Quelle $X$ und der Sinke $Y$ kann gemäß der Gleichung
- $$I(X;Y) = h(Y) - h(N)$$
berechnet werden, wobei gilt:
- $h(Y)$ bezeichnet die differentielle Sinkenentropie
- $$h(Y) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_Y)} \hspace{-0.35cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_Y(y) \big] \hspace{0.1cm}{\rm d}y \hspace{0.05cm},$$
- $${\rm mit}\hspace{0.5cm} f_Y(y) = {1}/{2} \cdot \big[ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}{X}=+1) \big ]\hspace{0.05cm}.$$
- $h(N)$ gibt die differentielle Störentropie an, allein berechenbar aus der WDF $f_N(n)$:
- $$h(N) = \hspace{0.1cm} - \hspace{-0.45cm} \int\limits_{{\rm supp}(f_N)} \hspace{-0.35cm} f_N(n) \cdot {\rm log}_2 \hspace{0.1cm} \big[ f_N(n) \big] \hspace{0.1cm}{\rm d}n \hspace{0.05cm}.$$
Nimmt man für die Störung $N$ eine Gaußverteilung $f_N(n)$ entsprechend der oberen Skizze an, so ergibt sich die Kanalkapazität $C_\text{BPSK} = I(X;Y)$, die im Theorieteil abhängig von $10 \cdot \lg (E_{\rm B}/{N_0})$ dargestellt ist.
Beantwortet werden soll die Frage, ob es einen endlichen $E_{\rm B}/{N_0}$–Wert gibt, für den $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ möglich ist ⇒ Teilaufgabe (5).
In den Teilaufgaben (1) bis (4) werden Vorarbeiten zur Beantwortung dieser Frage geleistet. Dabei wird stets von der gleichverteilten Stör–WDF $f_N(n)$ ausgegangen (siehe untere Skizze):
- $$f_N(n) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| < A, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |\hspace{0.05cm}n\hspace{0.05cm}| > A. \\ \end{array} $$
Hinweise:
- Die Aufgabe gehört zum Kapitel AWGN–Kanalkapazität bei wertdiskretem Eingang.
- Bezug genommen wird insbesondere auf die Seite AWGN-Kanalkapazität für binäre Eingangssignale.
Fragebogen
Musterlösung
- $$ h(N) = {\rm log}_2 \hspace{0.1cm} (2A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(N) = {\rm log}_2 \hspace{0.1cm} (1/4) \hspace{0.15cm}\underline{= -2\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
(2) Die Wahrscheinlichkeitsdichtefunktion am Ausgang ergibt sich gemäß der Gleichung:
- $$f_Y(y) = {1}/{2} \cdot \big [ f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1) + f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1) \big ]\hspace{0.05cm}.$$
Die Grafik zeigt das Ergebnis für unser Beispiel $(A = 1/8)$:
- Rot gezeichnet ist der erste Term ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}-1)$, wobei das Rechteck $f_N(n)$ an die Stelle $y = -1$ verschoben und mit $1/2$ multipliziert wird. Es ergibt sich ein Rechteck der Breite $2A = 1/4$ und der Höhe $1/(4A) = 2$.
- Blau dargestellt ist der zweite Term ${1}/{2} \cdot f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.05cm}|\hspace{0.05cm}+1)$ mit der Mitte bei $y = +1$.
- Lässt man die Farben außer Betracht, so ergibt sich die gesamte WDF $f_Y(y)$.
- Die differentiellen Entropie wird nicht verändert wird, wenn man nicht überlappende WDF–Abschnitte verschiebt.
- Somit ergibt sich für die gesuchte differentielle Sinkenentropie:
- $$h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) \hspace{0.3cm}\Rightarrow \hspace{0.3cm} A=1/8\hspace{-0.05cm}: \hspace{0.15cm}h(Y) = {\rm log}_2 \hspace{0.1cm} (1/2) \hspace{0.15cm}\underline{= -1\,{\rm bit(/Symbol)}}\hspace{0.05cm}.$$
(3) Damit erhält man für die Transinformation zwischen Quelle und Sinke:
- $$I(X; Y) = h(Y) \hspace{-0.05cm}-\hspace{-0.05cm} h(N) = (-1\,{\rm bit/Symbol})\hspace{-0.05cm} -\hspace{-0.05cm}(-2\,{\rm bit/Symbol}) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
(4) Alle Lösungsvorschläge sind zutreffend:
- Für jedes $A ≤ 1$ gilt
- $$ h(Y) = {\rm log}_2 \hspace{0.1cm} (4A) = {\rm log}_2 \hspace{0.1cm} (2A) + {\rm log}_2 \hspace{0.1cm} (2)\hspace{0.05cm}, \hspace{0.5cm} h(N) = {\rm log}_2 \hspace{0.1cm} (2A)$$
- $$\Rightarrow \hspace{0.3cm} I(X; Y) = h(Y) \hspace{-0.05cm}- \hspace{-0.05cm}h(N) = {\rm log}_2 \hspace{0.1cm} (2) \hspace{0.15cm}\underline{= +1\,{\rm bit/Symbol}}\hspace{0.05cm}.$$
- An diesem Prinzip ändert sich auch bei anderer WDF $f_N(n)$ nichts, solange die Störung auf den Bereich $|\hspace{0.05cm}n\hspace{0.05cm}| ≤ 1$ begrenzt ist.
- Überlappen sich jedoch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen, so ergibt sich für $h(Y)$ ein kleinerer Wert als oben berechnet und damit auch eine kleinere Transinformation.
(5) Richtig ist der Lösungsvorschlag 2:
- Die Gaußfunktion klingt zwar sehr schnell ab, sie wird aber nie exakt gleich Null.
- Es kommt hier immer zu einer Überlappung der bedingten Dichtefunktionen $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}-1)$ und $f_{Y\hspace{0.05cm}|\hspace{0.05cm}{X}}(y\hspace{0.08cm}|\hspace{0.05cm}+1)$.
- Entsprechend der Teilaufgabe (4) ist deshalb $C_\text{BPSK}(E_{\rm B}/{N_0}) ≡ 1 \ \rm bit/Kanalzugriff $ nicht möglich.