Difference between revisions of "Information Theory/AWGN Channel Capacity for Discrete-Valued Input"
(Die Seite wurde neu angelegt: „{{LastPage}} {{Header |Untermenü=Wertkontinuierliche Informationstheorie |Vorherige Seite=AWGN–Kanalkapazität bei wertkontinuierlichem Eingang |Nächste S…“) |
|||
| Line 6: | Line 6: | ||
}} | }} | ||
| − | ==AWGN–Modell für zeitdiskrete bandbegrenzte Signale== | + | ==AWGN–Modell für zeitdiskrete bandbegrenzte Signale== |
| − | ==Die Kanalkapazität C als Funktion von | + | |
| − | ==Systemmodell zur Interpretation der AWGN–Kanalkapazität== | + | Am Ende von Kapitel 4.2 wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen $X$ und $Y$ am Eingang und Ausgang sowie die stochastische Störung $N$ als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses ⇒ „Weißes Rauschen” mit der Varianz $σ_N^2$. Die Störleistung $P_N$ ist ebenfalls gleich $σ_N^2$. |
| + | |||
| + | Die maximale Transinformation $I(X; Y)$ zwischen Eingang und Ausgang ⇒ Kanalkapazität $C$ ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$ vorliegt. Mit der Sendeleistung $P_X = σ_X^2$ (Varianz der Zufallsgröße $X$) lautet die Kanalkapazitätsgleichung: | ||
| + | |||
| + | Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge $〈X_ν〉$ anliegt, wobei der Abstand zwischen aufeinander folgenden Werten $T_A$ beträgt. Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals X(t) nach Bandbegrenzung und Abtastung. | ||
| + | Der Zusammenhang zwischen beiden Modellen kann anhand der folgenden Grafik hergestellt werden, die auf der nächsten Seite noch genauer beschrieben wird. | ||
| + | |||
| + | Die wesentlichen Erkenntnisse vorneweg: | ||
| + | *Beim rechten Modell gilt zu den Abtastzeitpunkten $ν·T_A$ genau der gleiche Zusammenhang $Y_ν = X_ν + N_ν$ wie beim bisherigen (linken) Modell. | ||
| + | *Die Störkomponente $N_ν$ ist nun durch (auf $±B$) bandbegrenztes Weißes Rauschen mit zweiseitiger Leistungsdichte $Φ_N(f) = N_0/2$ zu modellieren, wobei $B = 1/(2T_A)$ gelten muss ⇒ „Abtasttheorem”. | ||
| + | |||
| + | |||
| + | Beim Modell gemäß der unteren Grafik auf der letzten Seite gehen wir von einer unendlichen Folge $〈X_ν〉$ von Gaußschen Zufallsgrößen aus, die einem Diracpuls $p_δ(t)$ eingeprägt werden. Das resultierende zeitdiskrete Signal lautet somit: | ||
| + | |||
| + | Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich $T_A$. | ||
| + | Durch das Interpolationsfilter mit der Impulsantwort $h(t)$ sowie dem Frequenzgang $H(f)$, wobei | ||
| + | |||
| + | gelten muss, entsteht das zeitkontinuierliche Signal $X(t)$ mit folgenden Eigenschaften: | ||
| + | *Die Abtastwerte $X(ν·T_A)$ sind für alle ganzzahligen $ν$ identisch mit den Eingangswerten $X_ν$, was mit den äquidistanten Nullstellen der Spaltfunktion ⇒ $\text{si}(x) = \sin(x)/x$ begründet werden kann. | ||
| + | *Gemäß dem Abtasttheorem ist $X(t)$ auf den Spektralbereich $±B$ ideal bandbegrenzt, wie die obige Rechnung gezeigt hat ⇒ rechteckförmiger Frequenzgang $H(f)$ der einseitigen Bandbreite $B$. | ||
| + | |||
| + | Nach der Addition der Störung $N(t)$ mit der (zweiseitigen) Leistungsdichte $Φ_N(t) = N_0/2$ folgt das Matched–Filter mit si–förmiger Impulsantwort. Für die Störleistung am MF–Ausgang erhält man: | ||
| + | |||
| + | {{Box}} | ||
| + | '''Beweis''': Mit $B = 1/(2T_A)$ erhält man für die Impulsantwort $h_E(t)$ und die Spektralfunktion $H_E(f)$: | ||
| + | |||
| + | Daraus folgt entsprechend den Erkenntnissen der Stochastischen Systemtheorie: | ||
| + | |||
| + | |||
| + | {{end}} | ||
| + | |||
| + | *Tastet man das MF–Ausgangssignal in äquidistanten Abständen $T_A$ ab, so ergibt sich für die Zeitpunkte $ν·T_A$ die gleiche Konstellation wie bisher: $Y_ν = X_ν + N_ν$. | ||
| + | *Der Störanteil $N_ν$ im zeitdiskreten Ausgangssignal $Y_ν$ ist somit „bandbegrenzt” und „weiß”. Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden; | ||
| + | |||
| + | $E_S$ ist die Sende–Energie innerhalb einer Symboldauer $T_A$ ⇒ '''Energie pro Symbol'''. | ||
| + | |||
| + | |||
| + | ==Die Kanalkapazität $C$ als Funktion von $E_S/N_0$ == | ||
| + | |||
| + | Die obere Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten $E_S/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind: | ||
| + | |||
| + | Die Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet. | ||
| + | |||
| + | Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung $B = 1/(2T_A)$ und liefert somit eine obere Schranke für die Bitrate eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist. | ||
| + | |||
| + | Meist gibt man den Quotienten aus Symbolenergie $(E_S)$ und AWGN–Rauschleistungsdichte $(N_0)$ in logarithmischer Form an. Die untere Grafik zeigt die Kanalkapazitäten $C$ bzw. $C*$ als Funktion von 10 · lg $(E_S/N_0)$ im Bereich von –20 dB bis +30 dB. Ab etwa 10 dB ergibt sich ein (nahezu) linearer Verlauf. | ||
| + | |||
| + | |||
| + | ==Systemmodell zur Interpretation der AWGN–Kanalkapazität== | ||
| + | |||
| + | Um das Kanalcodierungstheorem im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine Codiervorrichtung, die informationstheoretisch vollständig durch die Coderate $R$ gekennzeichnet wird. | ||
| + | |||
| + | Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Shannon–Aufsatz zu diesem Thema. Rot eingezeichnet sind einige Bezeichnungen und Erläuterungen für den folgenden Text: | ||
| + | *Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden. | ||
| + | *Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt. Für $R = 1$ gilt somit $n = k$. | ||
| + | *Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$. | ||
| + | |||
| + | Das '''Kanalcodierungstheorem''' besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_S = \text{Pr}(V ≠ U) = 0$ führt, falls folgende Bedingungen erfüllt sind: | ||
| + | *Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$. | ||
| + | *Ein solcher geeigneter Code ist unendlich lang: $n → ∞$, das heißt, dass die Zufallsgröße $X$ am Kanaleingang wertkontinuierlich ist. Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$ und $V$ nach dem AWGN–Kanal. | ||
| + | *Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung $f_X(x)$ am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde: | ||
| + | |||
| + | *Für einen Systemvergleich ist die Energie pro Symbol $(E_S)$ ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_B$ pro Informationsbit basieren. Mit $E_B = E_S/R$ gilt somit auch: | ||
| + | |||
| + | Diese beiden Gleichungen werden auf der nächsten Seite diskutiert. | ||
==Die Kanalkapazität C als Funktion von EB/N0== | ==Die Kanalkapazität C als Funktion von EB/N0== | ||
==AWGN–Kanalkapazität für binäre Eingangssignale == | ==AWGN–Kanalkapazität für binäre Eingangssignale == | ||
Revision as of 14:41, 1 June 2016
Contents
- 1 AWGN–Modell für zeitdiskrete bandbegrenzte Signale
- 2 Die Kanalkapazität $C$ als Funktion von $E_S/N_0$
- 3 Systemmodell zur Interpretation der AWGN–Kanalkapazität
- 4 Die Kanalkapazität C als Funktion von EB/N0
- 5 AWGN–Kanalkapazität für binäre Eingangssignale
- 6 Vergleich zwischen Theorie und Praxis
- 7 Kanalkapazität des komplexen AWGN–Kanals
- 8 Maximale Coderate für QAM–Strukturen
- 9 Aufgaben zu Kapitel 4.3
AWGN–Modell für zeitdiskrete bandbegrenzte Signale
Am Ende von Kapitel 4.2 wurde das AWGN–Modell entsprechend der linken Grafik verwendet, gekennzeichnet durch die beiden Zufallsgrößen $X$ und $Y$ am Eingang und Ausgang sowie die stochastische Störung $N$ als das Ergebnis eines mittelwertfreien Gaußschen Zufallsprozesses ⇒ „Weißes Rauschen” mit der Varianz $σ_N^2$. Die Störleistung $P_N$ ist ebenfalls gleich $σ_N^2$.
Die maximale Transinformation $I(X; Y)$ zwischen Eingang und Ausgang ⇒ Kanalkapazität $C$ ergibt sich dann, wenn eine Gaußsche Eingangs–WDF $f_X(x)$ vorliegt. Mit der Sendeleistung $P_X = σ_X^2$ (Varianz der Zufallsgröße $X$) lautet die Kanalkapazitätsgleichung:
Nun beschreiben wir das AWGN–Kanalmodell gemäß dem rechts skizzierten Fall, dass am Kanaleingang die Folge $〈X_ν〉$ anliegt, wobei der Abstand zwischen aufeinander folgenden Werten $T_A$ beträgt. Diese Folge ist das zeitdiskrete Äquivalent des zeitkontinuierlichen Signals X(t) nach Bandbegrenzung und Abtastung. Der Zusammenhang zwischen beiden Modellen kann anhand der folgenden Grafik hergestellt werden, die auf der nächsten Seite noch genauer beschrieben wird.
Die wesentlichen Erkenntnisse vorneweg:
- Beim rechten Modell gilt zu den Abtastzeitpunkten $ν·T_A$ genau der gleiche Zusammenhang $Y_ν = X_ν + N_ν$ wie beim bisherigen (linken) Modell.
- Die Störkomponente $N_ν$ ist nun durch (auf $±B$) bandbegrenztes Weißes Rauschen mit zweiseitiger Leistungsdichte $Φ_N(f) = N_0/2$ zu modellieren, wobei $B = 1/(2T_A)$ gelten muss ⇒ „Abtasttheorem”.
Beim Modell gemäß der unteren Grafik auf der letzten Seite gehen wir von einer unendlichen Folge $〈X_ν〉$ von Gaußschen Zufallsgrößen aus, die einem Diracpuls $p_δ(t)$ eingeprägt werden. Das resultierende zeitdiskrete Signal lautet somit:
Der Abstand aller (gewichteten) Diracfunktionen ist einheitlich $T_A$. Durch das Interpolationsfilter mit der Impulsantwort $h(t)$ sowie dem Frequenzgang $H(f)$, wobei
gelten muss, entsteht das zeitkontinuierliche Signal $X(t)$ mit folgenden Eigenschaften:
- Die Abtastwerte $X(ν·T_A)$ sind für alle ganzzahligen $ν$ identisch mit den Eingangswerten $X_ν$, was mit den äquidistanten Nullstellen der Spaltfunktion ⇒ $\text{si}(x) = \sin(x)/x$ begründet werden kann.
- Gemäß dem Abtasttheorem ist $X(t)$ auf den Spektralbereich $±B$ ideal bandbegrenzt, wie die obige Rechnung gezeigt hat ⇒ rechteckförmiger Frequenzgang $H(f)$ der einseitigen Bandbreite $B$.
Nach der Addition der Störung $N(t)$ mit der (zweiseitigen) Leistungsdichte $Φ_N(t) = N_0/2$ folgt das Matched–Filter mit si–förmiger Impulsantwort. Für die Störleistung am MF–Ausgang erhält man:
Beweis: Mit $B = 1/(2T_A)$ erhält man für die Impulsantwort $h_E(t)$ und die Spektralfunktion $H_E(f)$:
Daraus folgt entsprechend den Erkenntnissen der Stochastischen Systemtheorie:
- Tastet man das MF–Ausgangssignal in äquidistanten Abständen $T_A$ ab, so ergibt sich für die Zeitpunkte $ν·T_A$ die gleiche Konstellation wie bisher: $Y_ν = X_ν + N_ν$.
- Der Störanteil $N_ν$ im zeitdiskreten Ausgangssignal $Y_ν$ ist somit „bandbegrenzt” und „weiß”. Die Kanalkapazitätsgleichung muss somit nur geringfügig angepasst werden;
$E_S$ ist die Sende–Energie innerhalb einer Symboldauer $T_A$ ⇒ Energie pro Symbol.
Die Kanalkapazität $C$ als Funktion von $E_S/N_0$
Die obere Grafik zeigt den Verlauf der AWGN–Kanalkapazität in Abhängigkeit des Quotienten $E_S/N_0$, wobei die linke Koordinatenachse und die roten Beschriftungen gültig sind:
Die Einheit wird manchmal auch mit „bit/Quellensymbol” oder kurz „bit/Symbol” bezeichnet.
Die rechte (blaue) Achsenbeschriftung berücksichtigt die Beziehung $B = 1/(2T_A)$ und liefert somit eine obere Schranke für die Bitrate eines Digitalsystems, die bei diesem AWGN–Kanal noch möglich ist.
Meist gibt man den Quotienten aus Symbolenergie $(E_S)$ und AWGN–Rauschleistungsdichte $(N_0)$ in logarithmischer Form an. Die untere Grafik zeigt die Kanalkapazitäten $C$ bzw. $C*$ als Funktion von 10 · lg $(E_S/N_0)$ im Bereich von –20 dB bis +30 dB. Ab etwa 10 dB ergibt sich ein (nahezu) linearer Verlauf.
Systemmodell zur Interpretation der AWGN–Kanalkapazität
Um das Kanalcodierungstheorem im Zusammenhang mit dem AWGN–Kanal besprechen zu können, benötigen wir noch eine Codiervorrichtung, die informationstheoretisch vollständig durch die Coderate $R$ gekennzeichnet wird.
Die Grafik beschreibt das von Shannon betrachtete Nachrichtensystem mit den Blöcken Quelle, Coder, (AWGN–)Kanal, Decoder und Empfänger. Im Hintergrund erkennt man ein Originalbild aus einem Shannon–Aufsatz zu diesem Thema. Rot eingezeichnet sind einige Bezeichnungen und Erläuterungen für den folgenden Text:
- Das Quellensymbol $U$ entstammt einem Alphabet mit $M_U = |U| = 2^k$ Symbolen und kann durch $k$ gleichwahrscheinliche statistisch unabhängige Binärsymbole repräsentiert werden.
- Das Alphabet des Codesymbols $X$ hat den Symbolumfang $M_X = |X| = 2^n$, wobei sich $n$ aus der Coderate $R = k/n$ ergibt. Für $R = 1$ gilt somit $n = k$.
- Der Fall $n > k$ führt zu einer Coderate $R < 1$ und aus $n < k$ folgt für die Coderate $R > 1$.
Das Kanalcodierungstheorem besagt, dass es (mindestens) einen Code der Rate $R$ gibt, der zur Symbolfehlerwahrscheinlichkeit $p_S = \text{Pr}(V ≠ U) = 0$ führt, falls folgende Bedingungen erfüllt sind:
- Die Coderate $R$ ist nicht größer als die Kanalkapazität $C$.
- Ein solcher geeigneter Code ist unendlich lang: $n → ∞$, das heißt, dass die Zufallsgröße $X$ am Kanaleingang wertkontinuierlich ist. Gleiches gilt für $U$ sowie für die Zufallsgrößen $Y$ und $V$ nach dem AWGN–Kanal.
- Wegen $n → ∞$ ist auch tatsächlich eine Gaußverteilung $f_X(x)$ am Kanaleingang möglich, die der bisherigen Berechnung der AWGN–Kanalkapazität stets zugrunde gelegt wurde:
- Für einen Systemvergleich ist die Energie pro Symbol $(E_S)$ ungeeignet. Ein Vergleich sollte vielmehr auf der Energie $E_B$ pro Informationsbit basieren. Mit $E_B = E_S/R$ gilt somit auch:
Diese beiden Gleichungen werden auf der nächsten Seite diskutiert.
