AWGN Channel Capacity for Discrete-Valued Input

1. Information Theory
2. Wertkontinuierliche Informationstheorie
3. AWGN Channel Capacity for Discrete-Valued Input

• Previous page
• Next page

• Previous page
• Next page

AWGN–Modell für zeitdiskrete bandbegrenzte Signale

Am Ende des letzten Kapitels wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen $X$ und $Y$ am Eingang und Ausgang sowie die stochastische Störung $N$ als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses   ⇒   „Weißes Rauschen” mit der Varianz $σ_N^2$. Die Störleistung $P_N$ ist ebenfalls gleich $σ_N^2$.

Zwei weitgehend äquivalente Modelle für den AWGN–Kanal

Die maximale Transinformation $I(X; Y)$ zwischen Eingang und Ausgang ⇒ Kanalkapazität $C$ ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$ vorliegt. Mit der Sendeleistung $P_X = σ_X^2$   ⇒   Varianz der Zufallsgröße $X$ lautet die Kanalkapazitätsgleichung:

$$C = 1/2 \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + {P_X}/{P_N}) \hspace{0.05cm}.$$

Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge $〈X_ν〉$ anliegt, wobei der Abstand zwischen aufeinander folgenden Werten $T_{\rm A}$ beträgt. Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals $X(t)$ nach Bandbegrenzung und Abtastung. Der Zusammenhang zwischen beiden Modellen kann anhand der folgenden Grafik hergestellt werden, die nachfolgend genauer beschrieben wird.

AWGN–Modell unter Berücksichtigung von Zeitdiskretisierung und Bandbegrenzung

  Die wesentlichen Erkenntnisse vorneweg:

• Beim rechten Modell gilt zu den Abtastzeitpunkten $ν·T_{\rm A}$ genau der gleiche Zusammenhang $Y_ν = X_ν + N_ν$ wie beim bisherigen (linken) Modell.
• Die Störkomponente $N_ν$ ist nun durch (auf $±B$) bandbegrenztes Weißes Rauschen mit zweiseitiger Leistungsdichte ${\it Φ}_N(f) = N_0/2$ zu modellieren, wobei $B = 1/(2T_{\rm A})$ gelten muss ⇒ siehe Abtasttheorem.

Interpretation: Beim Modell gemäß der oberen Grafik gehen wir von einer unendlichen Folge $〈X_ν〉$ von Gaußschen Zufallsgrößen aus, die einem Diracpuls $p_δ(t)$ eingeprägt werden. Das resultierende zeitdiskrete Signal lautet somit:

$$X_{\delta}(t) = T_{\rm A} \cdot \hspace{-0.1cm} \sum_{\nu = - \infty }^{+\infty} X_{\nu} \cdot \delta(t- \nu \cdot T_{\rm A} )\hspace{0.05cm}.$$

Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich $T_{\rm A}$.

Durch das Interpolationsfilter mit der Impulsantwort $h(t)$ sowie dem Frequenzgang $H(f)$, wobei

$$h(t) = 1/T_{\rm A} \cdot {\rm si}(\pi \cdot t/T_{\rm A}) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B, \\ {\rm{f\ddot{u}r}} \hspace{0.3cm} |f| > B, \\ \end{array} \hspace{0.5cm} B = \frac{1}{T_{\rm A}}$$

gelten muss, entsteht das zeitkontinuierliche Signal $X(t)$ mit folgenden Eigenschaften:

• Die Abtastwerte $X(ν·T_{\rm A})$ sind für alle ganzzahligen $ν$ identisch mit den Eingangswerten $X_ν$, was mit den äquidistanten Nullstellen der Spaltfunktion   ⇒   $\text{si}(x) = \sin(x)/x$ begründet werden kann.
• Gemäß dem Abtasttheorem ist $X(t)$ auf den Spektralbereich $±B$ ideal bandbegrenzt, wie die obige Rechnung gezeigt hat   ⇒   rechteckförmiger Frequenzgang $H(f)$ der einseitigen Bandbreite $B$.

  Nach der Addition der Störung $N(t)$ mit der (zweiseitigen) Leistungsdichte ${\it Φ}_N(t) = N_0/2$ folgt das Matched–Filter (MF) mit si–förmiger Impulsantwort. Für die Störleistung am MF–Ausgang erhält man:

$$P_N = {\rm E}[N_\nu^2] = \frac{N_0}{2T_{\rm A} } = N_0 \cdot B\hspace{0.05cm}.$$

Beweis: Mit $B = 1/(2T_{\rm A} )$ erhält man für die Impulsantwort $h_E(t)$ und die Spektralfunktion $H_E(f)$:

$$h_{\rm E}(t) = 2B \cdot {\rm si}(2\pi \cdot B \cdot t) \quad \circ\!\!\!-\!\!\!-\!\!\!-\!\!\bullet \quad H_{\rm E}(f) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} \text{für} \hspace{0.3cm} \vert f \vert \le B, \\ \text{für} \hspace{0.3cm} \vert f \vert > B. \\ \end{array}$$

Daraus folgt entsprechend den Erkenntnissen der Stochastischen Systemtheorie:

$$P_N = \int_{-\infty}^{+\infty} \hspace{-0.3cm} {\it \Phi}_N (f) \cdot \vert H_{\rm E}(f)\vert^2 \hspace{0.15cm}{\rm d}f = \int_{-B}^{+B} \hspace{-0.3cm} {\it \Phi}_N (f) \hspace{0.15cm}{\rm d}f = \frac{N_0}{2} \cdot 2B = N_0 \cdot B \hspace{0.05cm}.$$

Weiter gilt:

• Tastet man das MF–Ausgangssignal in äquidistanten Abständen $T_{\rm A}$ ab, so ergibt sich für die Zeitpunkte $ν ·T_{\rm A}$ die gleiche Konstellation wie bisher:   $Y_ν = X_ν + N_ν$.
• Der Störanteil $N_ν$ im zeitdiskreten Ausgangssignal $Y_ν$ ist somit „bandbegrenzt” und „weiß”. Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden.
• Mit der Energie pro Symbol $E_S = P_X \cdot T_{\rm A}$   ⇒   Sende–Energie innerhalb einer Symboldauer $T_{\rm A}$;   gilt dann:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {P_X}{N_0 \cdot B}) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot P_X \cdot T_{\rm A}}{N_0}) = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac {2 \cdot E_{\rm S}}{N_0}) \hspace{0.05cm}.$$

Die Kanalkapazität $C$ als Funktion von $E_{\rm S}/N_0$

Die obere Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten $E_S/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel\hspace{0.05cm}use)} \hspace{0.05cm}.$$

Die Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet.

Kanalkapazitäten C und C ^∗ über E_S/N₀

Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung $B = 1/(2T_{\rm A})$ und liefert somit eine obere Schranke für die Bitrate $R$ eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist.

$$C^{\hspace{0.05cm}*} = \frac{C}{T_{\rm A}} = B \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{1.0cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Sekunde} \hspace{0.05cm}.$$

Meist gibt man den Quotienten aus Symbolenergie $(E_{\rm S})$ und AWGN–Rauschleistungsdichte $(N_0)$ in logarithmischer Form an. Die untere Grafik zeigt die Kanalkapazitäten $C$ bzw. $C*$ als Funktion von $10 · \lg (E_{\rm S}/N_0)$ im Bereich von –20 dB bis +30 dB. Ab etwa 10 dB ergibt sich ein (nahezu) linearer Verlauf.

AWGN–Kanalkapazitäten C und C ^∗ als Funktion von 10 · lg(E_S/N₀)

Systemmodell zur Interpretation der AWGN–Kanalkapazität

Um das Kanalcodierungstheorem im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine „Codiervorrichtung”, die allerdings informationstheoretisch vollständig durch die Coderate $R$ gekennzeichnet wird.

Modell zur Interpretation der AWGN–Kanalkapazität

Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Shannon–Aufsatz zu diesem Thema. Rot eingezeichnet sind einige Bezeichnungen und Erläuterungen für den folgenden Text:

• Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden.
• Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt. Für $R = 1$ gilt somit $n = k$.
• Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$.

Das Kanalcodierungstheorem besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_S = \text{Pr}(V ≠ U) \equiv 0$ führt, falls folgende Bedingungen erfüllt sind:

• Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$.
• Ein solcher geeigneter Code ist unendlich lang: $n → ∞$, das heißt, dass die Zufallsgröße $X$ am Kanaleingang wertkontinuierlich ist. Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$ und $V$ nach dem AWGN–Kanal.
• Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung $f_X(x)$ am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.05cm}use)} \hspace{0.05cm}.$$

• Für einen Systemvergleich ist die Energie pro Symbol $(E_S)$ ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_{\rm B}$ pro Informationsbit   ⇒   kurz: Energie pro Bit; basieren. Mit $E_{\rm B} = E_{\rm S}/R$ gilt somit auch:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (englisch\hspace{-0.15cm}: \hspace{0.05cm}bit/channel \hspace{0.05cm}use)} \hspace{0.05cm}.$$

Diese beiden Gleichungen werden auf der nächsten Seite diskutiert.

Die Kanalkapazität $C$ als Funktion von $E_{\rm B}/N_0$

Die folgende Grafik zeigt die AWGN–Kanalkapazität $C$ als Funktion

• von $10 · \lg (E_{\rm S}/N_0)$ ⇒ roter Kurvenverlauf:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot E_{\rm S}}{N_0}) \hspace{0.5cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.15cm} (oder\hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

Rote Zahlen: Kapazität $C$ in „bit/Symbol” für $10 · \lg (E_{\rm S}/N_0) = –20 \ \rm dB, –15 \ \rm dB$, ... , $+30\ \rm dB$.

• von $10 · \lg (E_{\rm B}/N_0)$ ⇒ grüner Kurvenverlauf:

$$C = {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} ( 1 + \frac { 2 \cdot R \cdot E_{\rm B}}{N_0}) \hspace{0.2cm}{\rm Einheit\hspace{-0.15cm}: \hspace{0.05cm}bit/Kanalzugriff\hspace{0.1cm} (oder \hspace{-0.15cm}: \hspace{0.05cm}bit/Symbol)} \hspace{0.05cm}.$$

Grüne Zahlen: Erforderliches $10 · \lg (E_{\rm B}/N_0)$ in „dB” für $C = 0, 1$, ... , $5$ in „bit/Symbol”.

Die AWGN–Kanalkapazität in zwei unterschiedlichen Darstellungen

Die $C(E_{\rm B}/N_0)$–Berechnung finden Sie in der Aufgabe 4.8 und der zugehörigen Musterlösung. Im Folgenden interpretieren wir das Ergebnis im Vergleich zur $C(E_{\rm S}/N_0)$–Kurve:

• Wegen $E_{\rm S} = R · E_{\rm B}$ liegt der Schnittpunkt beider Kurven bei $C (= R) = 1$ (bit/Symbol). Erforderlich sind dazu $10 · \lg (E_{\rm S}/N_0) = 1.76$ dB bzw. $10 · \lg (E_{\rm B}/N_0) = 1.76$ dB.
• Im Bereich $C > 1$ liegt die grüne Kurve stets über der roten. Beispielsweise ergibt sich für $10 · \lg (E_{\rm B}/N_0) = 20$ dB die Kanalkapazität $C ≈ 5$, für $10 · \lg (E_{\rm S}/N_0) = 20$dB nur $C = 3.83$.
• Ein Vergleich in horizontaler Richtung zeigt, dass die Kanalkapazität $C = 3$ bit/Symbol schon mit $10 · \lg (E_{\rm B}/N_0) \approx 10$ dB erreichbar ist, man aber $10 · \lg (E_{\rm S}/N_0) \approx 15$ dB benötigt.
• Im Bereich $C < 1$ liegt die rote Kurve stets über der grünen. Für $E_{\rm S}/N_0 > 0$ gilt auch $C > 0$. Bei logarithmischer Abszisse wie im obigen Bild reicht somit die rote Kurve bis ins „Minus–Unendliche”.
• Dagegen endet die grüne Kurve bei $E_{\rm B}/N_0 = \ln (2) = 0.693$   ⇒   $10 · \lg (E_{\rm B}/N_0)= -1.59$ dB   ⇒   absolute Grenze für die (fehlerfreie) Übertragung über den AWGN–Kanal.

AWGN–Kanalkapazität für binäre Eingangssignale

Auf den bisherigen Seiten dieses Kapitels wurde stets entsprechend der Shannon–Theorie von einem gaußverteilten und damit wertkontinuierlichem AWGN–Eingang $X$ ausgegangen. Nun betrachten wir den binären Fall und werden somit der Kapitel–Überschrift „AWGN–Kanalkapazität bei wertdiskretem Eingang” gerecht.

Zur Berechnung der AWGN–Kanalkapazität für BPSK

Die Grafik zeigt das zugrundeliegende Blockschaltbild für Binary Phase Shift Keying (BPSK) mit binärem Eingang $U$ und ebenfalls binärem Ausgang $V$. Durch eine bestmögliche Codierung soll erreicht werden, dass die Fehlerwahrscheinlichkeit $\text{Pr}(V ≠ U)$ verschwindend klein wird.

• Der Coderausgang ist gekennzeichnet durch die binäre Zufallsgröße $X ' = \{0, 1\}$   ⇒   $M_{X'} = 2$, während der Ausgang $Y$ des AWGN–Kanals weiterhin wertkontinuierlich ist:   $M_Y → ∞$.
• Durch das Mapping $X = 1 – 2X '$ kommt man von der unipolaren Darstellung zu der für BPSK besser geeigneten bipolaren (antipodalen) Beschreibung:   $X ' = 0 → \ X = +1; X ' = 1 → X = –1$.

Bedingte WDF für „-1” undfür „+1”

• Der AWGN–Kanal ist hier durch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen charakterisiert:

$$f_{Y|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}{X}=+1) =\frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y - 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm}\hspace{0.05cm},$$

$$f_{Y|\hspace{0.03cm}{X}}(y|\hspace{0.03cm}{X}=-1) = \frac{1}{\sqrt{2\pi\sigma^2}} \cdot {\rm exp}\left [-\frac{(y + 1)^2} { 2 \sigma^2})\right ] \hspace{0.05cm}$$

In Kurzform: $f_{Y | X} (y | +1)$ bzw. $f_{Y | X} (y | –1)$.

• Da hier das Nutzsignal $X$ auf $±1$ normiert ist   ⇒   Leistung 1 anstelle von $P_X$, muss die Varianz des AWGN–Rauschens $N$ in gleicher Weise normiert werden: $σ^2 = P_N/P_X$.
• Der Empfänger trifft aus der reellwertigen Zufallsgröße $Y$ (am AWGN–Kanalausgang) eine Maximum–Likelihood–Entscheidung. Der Empfängerausgang $V$ ist binär (0 oder 1).

Ausgehend von diesem Modell wird nun die Kanalkapazität des AWGN–Kanals berechnet. Diese lautet bei einer binären Eingangsgröße $X$ allgemein unter Berücksichtigung von $\text{Pr}(X = -1) = 1 - \text{Pr}(X = +1)$:

$$C_{\rm BPSK} = \max_{ {\rm Pr}({X} =+1)} \hspace{-0.15cm} I(X;Y) \hspace{0.05cm}.$$

Aufgrund des symmetrischen Kanals ist offensichtlich, dass die Eingangswahrscheinlichkeiten

$${\rm Pr}(X =+1) = {\rm Pr}(X =-1) = 0.5$$

zum Optimum führen werden. Gemäß der Seite Transinformationsberechnung bei additiver Störung gibt es mehrere Berechnungsmöglichkeiten:

$$\begin{align*}C_{\rm BPSK} & = h(X) + h(Y) - h(XY)\hspace{0.05cm},\\ C_{\rm BPSK} & = h(Y) - h(Y|X)\hspace{0.05cm},\\ C_{\rm BPSK} & = h(X) - h(X|Y)\hspace{0.05cm}. \end{align*}$$

Alle Ergebnisse sind noch um die Pseudo–Einheit „bit” zu ergänzen. Wir wählen hier die mittlere Gleichung:

• Die hierfür benötigte bedingte differentielle Entropie ist gleich

$$h(Y|X) = h(N) = 1/2 \cdot {\rm log}_2 \hspace{0.1cm}(2\pi{\rm e}\cdot \sigma^2) \hspace{0.05cm}.$$

• Die differentielle Entropie $h(Y)$ ist vollständig durch die WDF $f_Y(y)$ gegeben. Mit den vorne definierten und skizzierten bedingten Wahrscheinlichkeitsdichtefunktionen erhält man:

$$f_Y(y) = {1}/{2} \cdot \left [ f_{Y|{X}}(y\hspace{0.05cm}|{X}=-1) + f_{Y|{X}}(y\hspace{0.05cm}|{X}=+1) \right ]\hspace{0.3cm} \Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.01cm}=\hspace{0.05cm} -\hspace{-0.7cm} \int\limits_{y \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp}(f_Y)} \hspace{-0.65cm} f_Y(y) \cdot {\rm log}_2 \hspace{0.1cm} [f_Y(y)] \hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$$

Es ist offensichtlich, dass $h(Y)$ nur durch numerische Integration ermittelt werden kann, insbesondere, wenn man berücksichtigt, dass sich im Überlappungsbereich $f_Y(y)$ aus der Summe der beiden bedingten Gauß–Funktionen ergibt.

In der folgenden Grafik sind über der Abszisse $10 · \lg (E_{\rm B}/N_0)$ drei Kurven dargestellt:

• die blau gezeichnete Kanalkapazität $C_{\rm Gauß}$, gültig für eine Gaußsche Eingangsgröße $X$   ⇒   $M_X → ∞$,
• die grün gezeichnete Kanalkapazität $C_{\rm BPSK}$ für die Zufallsgröße $X = (+1, –1)$, sowie
• die mit „BPSK ohne Codierung” bezeichnete rote Horizontale.

Die Kanalkapazitätsgrenzen C_BPSK und C_Gauß im Vergleich

Diese Kurvenverläufe sind wie folgt zu interpretieren:

• Die grüne Kurve $C_{\rm BPSK}$ gibt die maximal zulässige Coderate $R$ einer BPSK an, bei der für das gegebene $E_{\rm B}/N_0$ durch bestmögliche Codierung die Bitfehlerwahrscheinlichkeit $p_{\rm B} \equiv 0$ möglich ist.
• Für alle BPSK–Systeme mit den Koordinaten ($10 · \lg (E_{\rm B}/N_0)$, $R$) im „grünen Bereich” ist $p_{\rm B} \equiv 0$ prinzipiell erreichbar. Aufgabe der Nachrichtentechniker ist es, hierfür geeignete Codes zu finden.
• Die BPSK–Kurve liegt stets unter der absoluten Shannon–Grenzkurve $C_{\rm Gauß}$ für $M_X → ∞$. Im unteren Bereich gilt $C_{\rm BPSK} ≈ C_{\rm Gauß}$. Zum Beispiel muss ein BPSK–System mit $R = 1/2$ nur ein um $0.1$ dB größeres $E_{\rm B}/N_0$ bereitstellen, als es die (absolute) Kanalkapazität $C_{\rm Gauß}$ fordert.
• Ist $E_{\rm B}/N_0$ endlich, so gilt stets $C_{\rm BPSK} < 1$   ⇒   sieheZusatzaufgabe 4.9Z. Eine BPSK mit $R = 1$ (und somit ohne Codierung) wird also stets eine Bitfehlerwahrscheinlichkeit $p_{\rm B} > 0$ zur Folge haben.
• Die Fehlerwahrscheinlichkeiten eines solchen BPSK–Systems ohne Codierung (mit $R = 1$) sind auf der roten Horizontalen angegeben. Um $p_{\rm B} ≤ 10^{–5}$ zu erreichen, benötigt man mindestens $10 · \lg (E_{\rm B}/N_0) = 9.6$ dB.

Die Wahrscheinlichkeiten ergeben sich gemäß Kapitel Fehlerwahrscheinlichkeit des optimalen BPSK-Systems im Buch „Digitalsignalübertragung” zu

$$p_{\rm B} = {\rm Q} \left ( \sqrt{S \hspace{-0.06cm}N\hspace{-0.06cm}R}\right ) \hspace{0.45cm} {\rm mit } \hspace{0.45cm} S\hspace{-0.06cm}N\hspace{-0.06cm}R = 2\cdot E_{\rm B}/{N_0} \hspace{0.05cm}.$$

Hinweis: In obiger Grafik ist als zweite, zusätzliche Abszissenachse $10 · \lg (SNR)$ eingezeichnet. Die Funktion${\rm Q}(x)$ bezeichnet man als die komplementäre Gaußsche Fehlerfunktion.

Vergleich zwischen Theorie und Praxis

Anhand zweier Grafiken soll gezeigt werden, in wie weit sich etablierte Kanalcodes der BPSK–Kanalkapazität (grüne Kurve) annähern. Als Ordinate aufgetragen ist die Rate $R = k/n$ dieser Codes bzw. die Kapazität $C$ (wenn noch die Pseudo–Einheit „bit/Kanalzugriff” hinzugefügt wird). Vorausgesetzt ist:

• der AWGN–Kanal, gekennzeichnet durch $10 · \lg (E_{\rm B}/N_0)$ in dB, und
• für die durch Kreuze markierten realisierten Codes eine Bitfehlerrate (BER) von $10^{–5}$.

Zu beachten ist, dass die Kanalkapazitätskurven stets für $n → ∞$ und $\rm BER \equiv 0$ gelten. Würde man diese strenge Forderung „feherfrei” auch an die betrachteten Kanalcodes endlicher Codelänge $n$ anlegen, so wäre hierfür stets $10 · \lg (E_{\rm B}/N_0) \to \infty$ erforderlich. Dies ist aber ein eher akademisches Problem, das für die Praxis weniger Bedeutung hat. Für $\text{BER} = 10^{–10}$ ergäbe sich eine qualitativ ähnliche Grafik.

Raten und erforderliches E_B/N₀ verschiedener Kanalcodes

Es folgen einige Erläuterungen zu den Daten, die der Vorlesung [Liv10] entnommen wurden. Die folgenden Links beziehen sich oft auf das LNTwww–Buch Kanalcodierung.

• Die Punkte A, B und C markieren Hamming–Codes der Raten $R = 4/7 ≈ 0.57$, $R ≈ 0.73$ bzw. $R ≈ 0.84$. Für $\text{BER} = 10^{–5}$ benötigen diese sehr frühen Codes (aus dem Jahr 1950) alle $10 · \lg (E_{\rm B}/N_0) > 8$ dB.
• Die Markierung D kennzeichnet den binären Golay–Code mit der Rate $R = 1/2$ und der Punkt E einen Reed–Muller–Code. Dieser sehr niederratige Code kam bereits 1971 bei der Raumsonde Mariner 9 zum Einsatz.
• Die Reed–Solomon–Codes (RS–Codes, ca. 1960) sind eine Klasse zyklischer Blockcodes. F markiert einen RS–Code der Rate $223/255 > 0.9$ und einem erforderlichen $E_{\rm B}/N_0 < 6 dB$.
• Die Punkte G und H bezeichnen zwei Faltungscodes (englisch: Convolutional Codes, CC) mittlerer Rate. Der Code G wurde schon 1972 bei der Pioneer10–Mission eingesetzt.
• Die Kanalcodierung der Voyager–Mission Ende der 1970er Jahre ist mit I markiert. Es handelt sich um die Verkettung eines (2, 1, 7)–Faltungscodes mit einem RS–Code.

Anzumerken ist, dass bei den Faltungscodes der dritte Kennungsparameter eine andere Bedeutung hat als bei den Blockcodes. Die Kennung (2, 1, 32) weist beispielsweise auf das Memory $m = 32$ hin.

Kenndaten von neueren Systemen mit iterativer Decodierung

Die gerade genannten frühen Kanalcodes liegen noch relativ weit von der Kanalkapazitätskurve entfernt. Dies war wahrscheinlich auch ein Grund, warum dem Autor dieses Lerntutorials die auch große praktische Bedeutung der Informationstheorie verschlossen blieb, als er diese Anfang der 1970er Jahre im Studium kennenlernte.

Diese Sichtweise hat sich deutlich verändert, als in den 1990er Jahren sehr lange Kanalcodes zusammen mit iterativer Decodierung aufkamen. Die neuen Markierungspunkte liegen näher an der Kapazitätsgrenz kurve.

Raten und erforderliches E_B/N₀ für iterative Codierverfahren

Hier noch einige Erläuterungen zu dieser Grafik:

• Rote Kreuze markieren sog. Turbo–Codes nach CCSDS (Consultative Committee for Space Data Systems) mit jeweils $k = 6920$ Informationsbits und unterschiedlichen Codelängen $n = k/R$. Diese von Claude Berrou um 1990 erfundenen Codes können iterativ decodiert werden. Die (roten) Markierungen liegen jeweils weniger als 1 dB von der Shannon–Grenze entfernt.
• Ähnlich verhalten sich die LDPC–Codes (Low Density Parity–check Codes) mit konstanter Codelänge $n = 64800$   ⇒   weiße Rechtecke). Sie werden seit 2006 bei DVB–S2 (Digital Video Broadcast over Satellite) eingesetzt und eignen sich aufgrund der spärlichen Einsen–Belegung der Prüfmatrix sehr gut für die iterative Decodierung mittels Faktor–Graphen und Exit Charts.
• Schwarze Punkte markieren die von CCSDS spezifizierten LDPC–Codes mit konstanter Anzahl an Informationsbits ($k = 16384$) und variabler Codewortlänge $n = k/R$. Diese Codeklasse erfordert ein ähnliches $E_{\rm B}/N_0$ wie die roten Kreuze und die weißen Rechtecke.

Um die Jahrhundertwende hatten viele Forscher den Ehrgeiz, sich der Shannon–Grenze bis auf Bruchteile von einem dB anzunähern. Das gelbe Kreuz markiert ein derartiges Ergebnis (0.0045 dB) von Chung et al. aus dem Jahr 2001. Verwendet wurde ein irregulärer LDPC–Code mit Rate $1/2$ und Codelänge $10^7$.

An dieser Stelle soll nochmals die Brillianz und der Weitblick von Claude E. Shannon hervorgehoben werden:

• Er hat 1948 eine bis dahin nicht bekannte Theorie entwickelt, mit der die Möglichkeiten, aber auch die Grenzen der Digitalsignalübertragung aufgezeigt werden.
• Zu dieser Zeit waren die ersten Überlegungen zur digitalen Nachrichtenübertragung gerade mal zehn Jahre alt   ⇒   Pulscodemodulation (Alec Reeves, 1938) und selbst der Taschenrechner kam erst mehr als zwanzig Jahre später.
• Shannon's Arbeiten zeigen uns, dass man auch ohne gigantische Computer Großes leisten kann.

Kanalkapazität des komplexen AWGN–Kanals

Höherstufige Modulationsverfahren können jeweils durch eine Inphase– und eine Quadraturkomponente dargestellt werden. Hierzu gehören zum Beispiel

• die M–QAM   ⇒   Quadraturamplitudenmodulation; $M ≥ 4$ quadratisch angeordnete e Signalraumpunkte,
• die M–PSK   ⇒   $M ≥ 4$ Signalraumpunkte in kreisförmiger Anordnung

Die beiden Komponenten lassen sich im äquivalenten Tiefpassbereich auch als Realteil bzw. Imaginärteil eines komplexen Rauschterms $N$ beschreiben. Alle oben genannten Verfahren sind zweidimensional. Der (komplexe) AWGN–Kanal stellt somit $K = 2$ voneinander unabhängige Gaußkanäle zur Verfügung. Entsprechend der Seite Parallele Gaußsche Kanäle ergibt sich deshalb für die Kapazität eines solchen Kanals:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= C_{\rm Gesamt} ( K=2) = {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X/2}{\sigma^2}) \hspace{0.05cm}.$$

• Hierbei wird die gesamte Nutzleistung von Inphase– und Quadraturkomponente mit $P_X$ bezeichnet.
• Dagegen bezieht sich die Varianz $σ^2$ der Störung nur auf eine Dimension:   $σ^2 = σ_I^2 = σ_Q^2$.

2D–WDF des Komplexen Gaußschen Rauschens

Die Abbildung zeigt die 2D–WDF $f_N(n)$ des Gaußschen Rauschprozesses $N$ über den beiden Achsen

• $N_{\rm I}$ (Inphase–Anteil, Realteil) und
• $N_{\rm Q}$ (Quadraturanteil, Imaginärteil).

Dunklere Bereiche der rotationssymmetrischen WDF $f_N(n)$ um den Nullpunkt weisen auf mehr Störanteile hin. Für die Varianz des komplexen Gaußschen Rauschens $N$ gilt aufgrund der Rotationsinvarianz $(σ_{\rm I} = σ_{\rm Q})$ folgender Zusammenhang:

$$\sigma_N^2 = \sigma_{\rm I}^2 + \sigma_{\rm Q}^2 = 2\cdot \sigma^2 \hspace{0.05cm}.$$

Damit lässt sich die Kanalkapazität auch wie folgt ausdrücken:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= {\rm log}_2 \hspace{0.1cm} ( 1 + \frac{P_X}{\sigma_N^2}) = {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

Diese Gleichung wird auf der nächsten Seite numerisch ausgewertet. Bereits aus dieser Gleichung ist aber zu ersehen, dass für das Signal–zu–Störleistungsverhältnis gelen wird:   $SNR = {P_X}/{\sigma_N^2} \hspace{0.05cm}.$

Maximale Coderate für QAM–Strukturen

Kanalkapazität von BPSK und M–QAM

Die Grafik zeigt die Kanalkapazität des komplexen AWGN–Kanals als rote Kurve:

$$C_{\rm Gauss, \hspace{0.1cm}komplex}= {\rm log}_2 \hspace{0.1cm} ( 1 + SNR) \hspace{0.05cm}.$$

• Die Einheit dieser Kanalkapazität ist „bit/Kanalzugriff” oder „bit/Quellensymbol”.
• Als Abszisse ist der Signal–zu–Störleistungsverhältnis $10 · \lg (SNR)$ mit ${SNR} = P_X/σ_N^2$ aufgetragen.
• Die Grafik wurde [Göb10] entnommen. Wir danken Bernhard Göbel, unserem ehemaligen Kollegen am LNT, für sein Einverständnis, diese Abbildung verwenden zu dürfen, sowie für seine Unterstützung unseres Lerntutorials.

Die rote Kurve basiert entsprechend der Shannon–Theorie wieder auf einer Gaußverteilung $f_X(x)$ am Eingang. Zusätzlich eingezeichnet sind zehn weitere Kapazitätskurven für wertdiskreten Eingang:

• die Kurve für Binary Phase Shift Keying (BPSK, mit „1” markiert   ⇒  $K = 1$),
• die M–stufige Quadratur–Amplitudenmodulation (mit $M = 2^K, K = 2$, ... , $10$).

Man erkennt aus dieser Darstellung:

• Alle Kurven (BPSK undM–QAM liegen rechts von der roten Shannon–Grenzkurve. Bei kleinem SNR sind allerdings alle Kurven von der roten Kurve fast nicht mehr zu unterscheiden.
• Der Endwert aller Kurven für wertdiskrete Eingangssignale ist $K = \log_2 (M)$. Für $SNR \to ∞$ erhält man beispielsweise $C_{\rm BPSK} = 1$ bit/Symbol sowie $C_{\rm 4-QAM} = C_{\rm QPSK} = 2$ bit/Symbol.
• Die blauen Markierungen zeigen, dass eine $2^{10}$–QAM mit $10 · \lg (SNR) ≈ 27$ dB eine Coderate von $R ≈ 8.2$ ermöglicht. Der Abstand zur Shannon–Kurve beträgt hier $1.53$ dB.
• Man spricht hier von einem Shaping Gain von $10 · \lg (π{\rm e}e/6) = 1.53$ dB. Diese Verbesserung lässt sich erzielen, wenn man die Lage der $2^{10} = 32^2$ quadratisch angeordneten Signalraumpunkte so ändern würde, dass sich eine gaußähnliche Eingangs–WDF ergibt   ⇒  Signal Shaping.

In der Aufgabe 4.10 werden die AWGN–Kapazitätskurven von BPSK und QPSK diskutiert:

• Ausgehend von der Abszisse $10 · \lg (E_{\rm B}/N_0)$ mit der Energie $E_{\rm B}$ pro Informationsbit kommt man zur QPSK–Kurve durch Verdopplung der BPSK–Kurve:

$$C_{\rm QPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0})] = 2 \cdot C_{\rm BPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm B}/{N_0}) ] .$$

• Vergleicht man aber BPSK und QPSK bei gleicher Energie $E_{\rm S}$ pro Informationssymbol , so gilt:

$$C_{\rm QPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm S}/{N_0})] = 2 \cdot C_{\rm BPSK}[10 \cdot {\rm lg} \hspace{0.1cm}(E_{\rm S}/{N_0}) - 3\,{\rm dB}] .$$

Hierbei ist berücksichtigt, dass bei QPSK die Energie in einer Dimension nur $E_{\rm S}$/2 beträgt.

Aufgaben zum Kapitel

Aufgabe 4.8:   Numerische Auswertung der AWGN-Kanalkapazität

Zusatzaufgabe 4.8Z:   Was sagt die AWGN-Kanalkapazitätskurve aus?

Aufgabe 4.9:   Höherstufige Modulation

Zusatzaufgabe 4.9Z:   4.9Z Ist bei BPSK die Kanalkapazität C ≡ 1 möglich?

Aufgabe 4.10:   QPSK–Kanalkapazität

Quellenverzeichnis

4.3 AWGN & wertdiskreter Eingang

   4.8 Numerische Auswertung der AWGN-Kanalkapazität
   4.8Z Was sagt die AWGN-Kanalkapazitätskurve aus?
   4.9 Höherstufige Modulation
   4.9Z Ist bei BPSK die Kanalkapazität C ≡ 1 möglich?
   4.Zehn QPSK–Kanalkapazität