Information Theory/AWGN Channel Capacity for Discrete-Valued Input

1. Information Theory
2. Wertkontinuierliche Informationstheorie
3. AWGN Channel Capacity for Discrete-Valued Input

• Previous page
• Next page

• Previous page
• Next page

AWGN–Modell für zeitdiskrete bandbegrenzte Signale

Am Ende von Kapitel 4.2 wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen $X$ und $Y$ am Eingang und Ausgang sowie die stochastische Störung $N$ als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses ⇒ „Weißes Rauschen” mit der Varianz $σ_N^2$. Die Störleistung $P_N$ ist ebenfalls gleich $σ_N^2$.

Die maximale Transinformation $I(X; Y)$ zwischen Eingang und Ausgang ⇒ Kanalkapazität $C$ ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$ vorliegt. Mit der Sendeleistung $P_X = σ_X^2$ (Varianz der Zufallsgröße $X$) lautet die Kanalkapazitätsgleichung:

Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge $〈X_ν〉$ anliegt, wobei der Abstand zwischen aufeinander folgenden Werten $T_A$ beträgt. Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals X(t) nach Bandbegrenzung und Abtastung. Der Zusammenhang zwischen beiden Modellen kann anhand der folgenden Grafik hergestellt werden, die auf der nächsten Seite noch genauer beschrieben wird.

Die wesentlichen Erkenntnisse vorneweg:

• Beim rechten Modell gilt zu den Abtastzeitpunkten $ν·T_A$ genau der gleiche Zusammenhang $Y_ν = X_ν + N_ν$ wie beim bisherigen (linken) Modell.
• Die Störkomponente $N_ν$ ist nun durch (auf $±B$) bandbegrenztes Weißes Rauschen mit zweiseitiger Leistungsdichte $Φ_N(f) = N_0/2$ zu modellieren, wobei $B = 1/(2T_A)$ gelten muss ⇒ „Abtasttheorem”.

Beim Modell gemäß der unteren Grafik auf der letzten Seite gehen wir von einer unendlichen Folge $〈X_ν〉$ von Gaußschen Zufallsgrößen aus, die einem Diracpuls $p_δ(t)$ eingeprägt werden. Das resultierende zeitdiskrete Signal lautet somit:

Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich $T_A$. Durch das Interpolationsfilter mit der Impulsantwort $h(t)$ sowie dem Frequenzgang $H(f)$, wobei

gelten muss, entsteht das zeitkontinuierliche Signal $X(t)$ mit folgenden Eigenschaften:

• Die Abtastwerte $X(ν·T_A)$ sind für alle ganzzahligen $ν$ identisch mit den Eingangswerten $X_ν$, was mit den äquidistanten Nullstellen der Spaltfunktion ⇒ $\text{si}(x) = \sin(x)/x$ begründet werden kann.
• Gemäß dem Abtasttheorem ist $X(t)$ auf den Spektralbereich $±B$ ideal bandbegrenzt, wie die obige Rechnung gezeigt hat ⇒ rechteckförmiger Frequenzgang $H(f)$ der einseitigen Bandbreite $B$.

Nach der Addition der Störung $N(t)$ mit der (zweiseitigen) Leistungsdichte $Φ_N(t) = N_0/2$ folgt das Matched–Filter mit si–förmiger Impulsantwort. Für die Störleistung am MF–Ausgang erhält man:

Beweis: Mit $B = 1/(2T_A)$ erhält man für die Impulsantwort $h_E(t)$ und die Spektralfunktion $H_E(f)$:

Daraus folgt entsprechend den Erkenntnissen der Stochastischen Systemtheorie:

• Tastet man das MF–Ausgangssignal in äquidistanten Abständen $T_A$ ab, so ergibt sich für die Zeitpunkte $ν·T_A$ die gleiche Konstellation wie bisher: $Y_ν = X_ν + N_ν$.
• Der Störanteil $N_ν$ im zeitdiskreten Ausgangssignal $Y_ν$ ist somit „bandbegrenzt” und „weiß”. Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden;

$E_S$ ist die Sende–Energie innerhalb einer Symboldauer $T_A$ ⇒ Energie pro Symbol.

Die Kanalkapazität $C$ als Funktion von $E_S/N_0$

Die obere Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten $E_S/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind:

Die Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet.

Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung $B = 1/(2T_A)$ und liefert somit eine obere Schranke für die Bitrate eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist.

Meist gibt man den Quotienten aus Symbolenergie $(E_S)$ und AWGN–Rauschleistungsdichte $(N_0)$ in logarithmischer Form an. Die untere Grafik zeigt die Kanalkapazitäten $C$ bzw. $C*$ als Funktion von 10 · lg $(E_S/N_0)$ im Bereich von –20 dB bis +30 dB. Ab etwa 10 dB ergibt sich ein (nahezu) linearer Verlauf.

Systemmodell zur Interpretation der AWGN–Kanalkapazität

Um das Kanalcodierungstheorem im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine Codiervorrichtung, die informationstheoretisch vollständig durch die Coderate $R$ gekennzeichnet wird.

Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Shannon–Aufsatz zu diesem Thema. Rot eingezeichnet sind einige Bezeichnungen und Erläuterungen für den folgenden Text:

• Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden.
• Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt. Für $R = 1$ gilt somit $n = k$.
• Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$.

Das Kanalcodierungstheorem besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_S = \text{Pr}(V ≠ U) = 0$ führt, falls folgende Bedingungen erfüllt sind:

• Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$.
• Ein solcher geeigneter Code ist unendlich lang: $n → ∞$, das heißt, dass die Zufallsgröße $X$ am Kanaleingang wertkontinuierlich ist. Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$ und $V$ nach dem AWGN–Kanal.
• Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung $f_X(x)$ am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde:

• Für einen Systemvergleich ist die Energie pro Symbol $(E_S)$ ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_B$ pro Informationsbit basieren. Mit $E_B = E_S/R$ gilt somit auch:

Diese beiden Gleichungen werden auf der nächsten Seite diskutiert.

Die Kanalkapazität $C$ als Funktion von $E_B/N_0$

Die folgende Grafik zeigt die AWGN–Kanalkapazität $C$ als Funktion von

• 10 · lg $(E_S/N_0)$ ⇒ roter Kurvenverlauf:

Rote Zahlen: Kapazität $C$ in „bit/Symbol” für 10 · lg $(E_S/N_0)$ = –20 dB, –15 dB, ... , +30dB.

• 10 · lg $(E_B/N_0)$ ⇒ grüner Kurvenverlauf:

Grüne Zahlen: Erforderliches 10 · lg $(E_B/N_0)$ in „dB” für $C$ = 0, 1, ... , 5 in „bit/Symbol”.

Die $C(E_B/N_0)$–Berechnung finden Sie in der Aufgabe A4.8 und der zugehörigen Musterlösung. Im Folgenden interpretieren wir das Ergebnis im Vergleich zur $C(E_S/N_0)$–Kurve:

• Wegen $E_S = R · E_B$ liegt der Schnittpunkt beider Kurven bei $C$ (= $R$) = 1 [bit/Symbol]. Erforderlich sind dazu 10 · lg $(E_S/N_0)$ = 1.76 dB bzw. 10 · lg $(E_B/N_0)$ = 1.76 dB.
• Im Bereich $C$ > 1 liegt die grüne Kurve stets über der roten. Beispielsweise ergibt sich für 10 · lg $(E_B/N_0)$ = 20 dB die Kanalkapazität $C$ ≈ 5, für 10 · lg $(E_S/N_0)$ = 20 dB nur $C$ = 3.83.
• Ein Vergleich in horizontaler Richtung zeigt, dass die Kanalkapazität $C$ = 3 bit/Symbol schon mit 10 · lg $(E_B/N_0)$ ≈ 10 dB erreichbar ist, man aber 10 · lg $(E_S/N_0)$ ≈ 15 dB benötigt.
• Im Bereich $C$ < 1 liegt die rote Kurve stets über der grünen. Für $E_S/N_0$ > 0 gilt auch $C$ > 0. Bei logarithmischer Abszisse reicht somit die rote Kurve bis ins „Minus–Unendliche”.
• Dagegen endet die grüne Kurve bei $E_B/N_0$ = ln (2) = 0.693 ⇒ 10 · lg $(E_B/N_0)$ = –1.59 dB ⇒ absolute Grenze für die (fehlerfreie) Übertragung über den AWGN–Kanal.

AWGN–Kanalkapazität für binäre Eingangssignale

Auf den bisherigen Seiten des Kapitels 4.3 wurde stets entsprechend der Shannon–Theorie von einem gaußverteilten und damit wertkontinuierlichem AWGN–Eingang $X$ ausgegangen. Nun betrachten wir den binären Fall und werden somit der Überschrift „AWGN–Kanalkapazität bei wertdiskretem Eingang” dieses Kapitels gerecht.

Die Grafik zeigt das zugrundeliegende Blockschaltbild für Binary Phase Shift Keying (BPSK) mit binärem Eingang $U$ und ebenfalls binärem Ausgang $V$. Durch eine bestmögliche Codierung soll erreicht werden, dass die Fehlerwahrscheinlichkeit $\text{Pr}(V ≠ U)$ verschwindend klein wird.

• Der Coderausgang ist gekennzeichnet durch die binäre Zufallsgröße $X ' = \{0, 1\} ⇒ M_{X'} = 2$, während der Ausgang $Y$ des AWGN–Kanals weiterhin wertkontinuierlich ist: $M_Y → ∞$.
• Durch das Mapping $X = 1 – 2X '$ kommt man von der unipolaren Darstellung zu der für BPSK besser geeigneten bipolaren (antipodalen) Beschreibung: $X ' = 0 → X = +1; X ' = 1 → X = –1$.

• Der AWGN–Kanal ist hier durch die beiden bedingten Wahrscheinlichkeitsdichtefunktionen charakterisiert:

In Kurzform: $f_{Y | X} (y | +1) bzw. f_{Y | X} (y | –1). *Da hier das Nutzsignal $X$ auf ±1 normiert ist ⇒ Leistung 1 anstelle von $P_X$, muss die Varianz des AWGN–Rauschens $N$ in gleicher Weise normiert werden: $σ^2 = P_N/P_X$. *Der Empfänger trifft aus der reellwertigen Zufallsgröße $Y$ (am AWGN–Kanalausgang) eine Maximum–Likelihood–Entscheidung. Der Empfängerausgang $V$ ist binär (0 oder 1). Ausgehend von diesem Modell wird auf der nächsten Seite die Kanalkapazität berechnet. Die Kanalkapazität des AWGN–Kanals unter der Nebenbedingung einer binären Eingangsgröße $X$ lautet allgemein unter Berücksichtigung von $\text{Pr}(X = –1) = 1 – \text{Pr}(X = +1)$: Aufgrund des symmetrischen Kanals ist offensichtlich, dass die Eingangswahrscheinlichkeiten zum Optimum führen werden. Gemäß Kapitel 4.2 gibt es mehrere Berechnungsmöglichkeiten: Alle Ergebnisse sind noch um die Pseudo–Einheit „bit” zu ergänzen. Wir wählen hier die mittlere Gleichung: *Die hierfür benötigte bedingte differentielle Entropie ist gleich *Die differentielle Entropie $h(Y)$ ist vollständig durch die WDF $f_Y(y)$ gegeben. Mit den vorne definierten und skizzierten bedingten Wahrscheinlichkeitsdichtefunktionen erhält man: Es ist offensichtlich, dass $h(Y)$ nur durch numerische Integration ermittelt werden kann, insbesondere, wenn man berücksichtigt, dass sich im Überlappungsbereich $f_Y(y)$ aus der Summe der beiden bedingten Gauß–Funktionen ergibt. Das skizzierte Ergebnis wird auf der nächsten Seite diskutiert. In der folgenden Grafik sind über der Abszisse 10 · lg $(E_B/N_0)$ drei Kurven dargestellt: *die Kanalkapazität $C_{\rm Gauß}$, gültig für eine Gaußsche Eingangsgröße $X ⇒ M_X → ∞$, *die Kanalkapazität $C_{\rm BPSK}$ für die Zufallsgröße $X = (+1, –1)$, sowie *die mit „BPSK ohne Codierung” bezeichnete Horizontale. Diese Kurvenverläufe sind wie folgt zu interpretieren: *Die grüne Kurve $C_{\rm BPSK}$ gibt die maximal zulässige Coderate $R$ einer BPSK an, bei der für das gegebene $E_B/N_0$ durch bestmögliche Codierung die Bitfehlerwahrscheinlichkeit $p_B$ = 0 möglich ist. *Für alle BPSK–Systeme mit den Koordinaten (10 · lg $E_B/N_0$, $R$) im „grünen Bereich” ist $p_B$ = 0 prinzipiell erreichbar. Aufgabe der Nachrichtentechniker ist es, hierfür geeignete Codes zu finden. *Die BPSK–Kurve liegt stets unter der absoluten Shannon–Grenzkurve $C_{\rm Gauß}$ für $M_X → ∞$. Im unteren Bereich gilt $C_{\rm BPSK} ≈ C_{\rm Gauß}$. Zum Beispiel muss ein BPSK–System mit $R$ = 1/2 nur ein um 0.1 dB größeres $E_B/N_0$ bereitstellen, als es die (absolute) Kanalkapazität $C_{\rm Gauß}$ fordert. *Ist $E_B/N_0$ endlich, so gilt stets $C_{\rm BPSK}$ < 1 ⇒ siehe Aufgabe Z4.9. Eine BPSK mit $R$ = 1 (und somit ohne Codierung) wird stets eine Bitfehlerwahrscheinlichkeit $p_B$ > 0 zur Folge haben. *Die Fehlerwahrscheinlichkeiten eines solchen BPSK–Systems ohne Codierung ( $R$ = 1 ) sind auf der roten Horizontalen angegeben. Um $p_B ≤ 10^{–5}$ zu erreichen, benötigt man mindestens 10 · lg $(E_B/N_0)$ = 9.6 dB.

Die Wahrscheinlichkeiten ergeben sich gemäß Kapitel 1.5 im Buch „Digitalsignalübertragung” zu

Hinweis: In obiger Grafik ist 10 · lg (SNR) als zweite, zusätzliche Abszissenachse eingezeichnet. Die Funktion Q(x) bezeichnet man als die komplementäre Gaußsche Fehlerfunktion.