# Information Theoretical Limits of Channel Coding

## Channel coding theorem and channel capacity

We further consider a binary block code with  $k$  information bits per block and codewords of length  $n$, resulting in the code rate  $R=k/n$  with the unit "information bit/code symbol".

The ingenious information theorist  Claude E. Shannon  has dealt very intensively with the correctability of such codes already in 1948 and has given for this a limit for each channel which results from information-theoretical considerations alone. Up to this day, no code has been found which exceeds this limit, and this will remain so.

$\text{Shannon's channel coding theorem:}$  For each channel with channel capacity  $C > 0$  there always exists (at least) one code whose error probability approaches zero as long as the code rate  $R$  is smaller than the channel capacity  $C$. The prerequisite for this is that the following holds for the block length of this code:   $n \to \infty$.

Notes:

• The statement "The error probability approaches zero" is not identical with the statement "The transmission is error-free". Example:   For an infinitely long sequence, finitely many symbols are corrupted.
• For some channels, even with  $R=C$  the error probability still goes towards zero (but not for all).

The inverse of the channel coding theorem is also true and states:

$\text{Inverse:}$  If the code rate  $R$  is larger than the channel capacity  $C$, then an arbitrarily small error probability cannot be achieved in any case

.

To derive and calculate the channel capacity, we first assume a digital channel with  $M_x$  possible input values  $x$  and  $M_y$  possible output values  $y$ . Then, for the mean mutual information– briefly, the  mutual information  – between the random variable  $x$  at the channel input and the random variable  $y$  at its output:

$I(x; y) =\sum_{i= 1 }^{M_X} \hspace{0.15cm}\sum_{j= 1 }^{M_Y} \hspace{0.15cm}{\rm Pr}(x_i, y_j) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(y_j \hspace{0.05cm}| \hspace{0.05cm}x_i)}{{\rm Pr}(y_j)} = \sum_{i= 1 }^{M_X} \hspace{0.15cm}\sum_{j= 1 }^{M_Y}\hspace{0.15cm}{\rm Pr}(y_j \hspace{0.05cm}| \hspace{0.05cm}x_i) \cdot {\rm Pr}(x_i) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(y_j \hspace{0.05cm}| \hspace{0.05cm}x_i)}{\sum_{k= 1}^{M_X} {\rm Pr}(y_j \hspace{0.05cm}| \hspace{0.05cm}x_k) \cdot {\rm Pr}(x_k)} \hspace{0.05cm}.$

In the transition from the first to the second equation, the  Theorem of Bayes  and the  Theorem of Total Probability  were considered.

Further, it should be noted:

• Der Logarithmus dualis  ist hier mit "log2" bezeichnet ist. Teilweise verwenden wir in unserem Lerntutorial hierfür auch "ld".
• Im Gegensatz zum Buch  Informationstheorie  unterscheiden wir im Folgenden nicht zwischen der Zufallsgröße $($Großbuchstaben  $X$  bzw.  $Y)$  und den Realisierungen $($Kleinbuchstaben  $x$  bzw.  $y)$.

$\text{Definition:}$  Die von Shannon eingeführte  Kanalkapazität  gibt die maximale Transinformation  $I(x; y)$  zwischen der Eingangsgröße  $x$  und der Ausgangsgröße  $y$  an:

$C = \max_{{{\rm Pr}(x_i)}} \hspace{0.1cm} I(X; Y) \hspace{0.05cm}.$

Hinzugefügt werden muss die Pseudo–Einheit "bit/Kanalzugriff".

Da die Maximierung der Transinformation über alle möglichen (diskreten) Eingangsverteilungen  ${\rm Pr}(x_i)$  erfolgen muss, ist die Kanalkapazität unabhängig vom Eingang und damit eine reine Kanalkenngröße.

## Kanalkapazität des BSC–Modells

Wir wenden nun diese Definitionen auf das  BSC–Modell  (Binary Symmetric Channel ) an:

$I(x; y) = {\rm Pr}(y = 0 \hspace{0.03cm}| \hspace{0.03cm}x = 0) \cdot {\rm Pr}(x = 0) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(y = 0 \hspace{0.03cm}| \hspace{0.03cm}x = 0)}{{\rm Pr}(y = 0)} + {\rm Pr}(y = 1 \hspace{0.03cm}| \hspace{0.03cm}x = 0) \cdot {\rm Pr}(x = 0) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(Y = 1 \hspace{0.03cm}| \hspace{0.03cm}x = 0)}{{\rm Pr}(y = 1)} +$
$\hspace{1.45cm} + \hspace{0.15cm}{\rm Pr}(y = 0 \hspace{0.05cm}| \hspace{0.05cm}x = 1) \cdot {\rm Pr}(x = 1) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(Y = 0 \hspace{0.05cm}| \hspace{0.05cm}x = 1)}{{\rm Pr}(y = 0)} + {\rm Pr}(y = 1 \hspace{0.05cm}| \hspace{0.05cm}x = 1) \cdot {\rm Pr}(x = 1) \cdot {\rm log_2 } \hspace{0.15cm}\frac{{\rm Pr}(y = 1 \hspace{0.05cm}| \hspace{0.05cm}x = 1)}{{\rm Pr}(y = 1)} \hspace{0.05cm}.$
BSC–Kanalmodell

Zur Kanalkapazität gelangt man durch folgende Überlegungen:

• Die Maximierung bezüglich der Eingangsverteilung führt auf gleichwahrscheinliche Symbole:
${\rm Pr}(x = 0) = {\rm Pr}(x = 1) = 1/2 \hspace{0.05cm}.$
• Aufgrund der aus dem Modell erkennbaren Symmetrie gilt dann gleichzeitig:
${\rm Pr}(y = 0) = {\rm Pr}(y = 1) = 1/2 \hspace{0.05cm}.$
• Wir berücksichtigen zudem die BSC–Übergangswahrscheinlichkeiten:
${\rm Pr}(y = 1 \hspace{0.05cm}| \hspace{0.05cm}x = 0) = {\rm Pr}(y = 0 \hspace{0.05cm}| \hspace{0.05cm}x = 1) = \varepsilon \hspace{0.05cm},$
${\rm Pr}(y = 0 \hspace{0.05cm}| \hspace{0.05cm}x = 0) = {\rm Pr}(y = 1 \hspace{0.05cm}| \hspace{0.05cm}x = 1) = 1-\varepsilon \hspace{0.05cm}.$
• Nach Zusammenfassen je zweier Terme erhält man somit:
$C \hspace{0.15cm} = \hspace{0.15cm} 2 \cdot 1/2 \cdot \varepsilon \cdot {\rm log_2 } \hspace{0.15cm}\frac{\varepsilon}{1/2 }+ 2 \cdot 1/2 \cdot (1- \varepsilon) \cdot {\rm log_2 } \hspace{0.15cm}\frac{1- \varepsilon}{1/2 } \varepsilon \cdot {\rm ld } \hspace{0.15cm}2 - \varepsilon \cdot {\rm log_2 } \hspace{0.15cm} \frac{1}{\varepsilon }+ (1- \varepsilon) \cdot {\rm log_2 } \hspace{0.15cm} 2 - (1- \varepsilon) \cdot {\rm log_2 } \hspace{0.15cm}\frac{1}{1- \varepsilon}$
$\Rightarrow \hspace{0.3cm} C \hspace{0.15cm} = \hspace{0.15cm} 1 - H_{\rm bin}(\varepsilon).$
• Verwendet ist hier die binäre Entropiefunktion:
$H_{\rm bin}(\varepsilon) = \varepsilon \cdot {\rm log_2 } \hspace{0.15cm}\frac{1}{\varepsilon}+ (1- \varepsilon) \cdot {\rm log_2 } \hspace{0.15cm}\frac{1}{1- \varepsilon}\hspace{0.05cm}.$

Die folgende rechte Grafik zeigt die BSC–Kanalkapazität abhängig von der Verfälschungswahrscheinlichkeit  $\varepsilon$. Links ist zum Vergleich die binäre Entropiefunktion dargestellt, die bereits im Kapitel  Gedächtnislose Nachrichtenquellen  des Buches "Informationstheorie" definiert wurde.

Kanalkapazität des BSC–Modells

Man erkennt aus dieser Darstellung:

• Die Verfälschungswahrscheinlichkeit  $\varepsilon$  führt zur Kanalkapazität $C(\varepsilon)$. Eine fehlerfreie Decodierung nach bestmöglicher Codierung ist nach dem  Kanalcodierungstheorem  nur dann möglich, wenn die Coderate $R$ nicht größer ist als  $C(\varepsilon)$.
• Mit  $\varepsilon = 10\%$  ist wegen  $C(0.1) = 0.531$  eine fehlerfreie Decodierung nicht möglich, wenn die Coderate  $R > 0.531$  beträgt. Bei 50–prozentiger Verfälschung ist eine fehlerfreie Decodierung auch bei beliebig kleiner Coderate unmöglich:   $C(0.5) = 0$ .
• Aus informationstheoretischer Sicht ist  $\varepsilon = 1$  (Invertierung aller Bits) gleich gut wie  $\varepsilon = 0$  (fehlerfreie Übertragung). Ebenso ist  $\varepsilon = 0.9$  äquivalent zu  $\varepsilon = 0.1$. Eine fehlerfreie Decodierung erzielt man hier durch Vertauschen der Nullen und Einsen, also durch ein so genanntes Mapping.

## Kanalkapazität des AWGN–Modells

AWGN–Kanalmodell

Wir betrachten nun den  AWGN–Kanal  (Additive White Gaussian Noise ). Hier gilt für das Ausgangssignal  $y = x + n$, wobei  $n$  eine  gaußverteilte Zufallsgröße  beschreibt, und es gilt für deren Erwartungswerte (Momente):

$${\rm E}[n] = 0,\hspace{1cm} {\rm E}[n^2] = P_n.$$

Damit ergibt sich unabhängig vom Eingangssignal  $x$  (analog oder digital) stets ein wertkontinuierliches Ausgangssignal  $y$, und in der  Gleichung für die Transinformation  ist  $M_y \to\infty$  einzusetzen.

Die Berechnung der Kanalkapazität für den AWGN–Kanal wird hier nur in Stichworten angegeben. Die genaue Herleitung finden Sie im vierten Hauptkapitel "Wertdiskrete Informationstheorie" des Buches  Informationstheorie.

• Die im Hinblick auf maximale Transinformation optimierte Eingangsgröße  $x$  wird mit Sicherheit wertkontinuierlich sein, das heißt, beim AWGN–Kanal gilt außer  $M_y \to\infty$  auch  $M_x \to\infty$.
• Während bei wertdiskretem Eingang über alle  ${\rm Pr}(x_i)$  zu optimieren ist, erfolgt nun die Optimierung anhand der  WDF  $f_x(x)$ des Eingangssignals unter der Nebenbedingung  Leistungsbegrenzung:
$C = \max_{f_x(x)} \hspace{0.1cm} I(x; y)\hspace{0.05cm},\hspace{0.3cm}{\rm wobei \hspace{0.15cm} gelten \hspace{0.15cm} muss} \text{:}\hspace{0.15cm} {\rm E} \left [ x^2 \right ] \le P_x \hspace{0.05cm}.$
• Die Optimierung liefert für die Eingangs–WDF ebenfalls eine Gaußverteilung   ⇒   $x$,  $n$  und  $y$  sind gaußverteilt gemäß den Dichtefunktionen  $f_x(x)$,  $f_n(n)$  und  $f_y(y)$. Die entsprechenden Leistungen benennen wir  $P_x$,  $P_n$  und  $P_y$.
• Nach längerer Rechnung erhält man für die Kanalkapazität unter Verwendung des Logarithmus dualis  $\log_2(\cdot)$ – wiederum mit der Pseudo–Einheit "bit/Kanalzugriff":
$C = {\rm log_2 } \hspace{0.15cm} \sqrt{\frac{P_y}{P_n }} = {\rm log_2 } \hspace{0.15cm} \sqrt{\frac{P_x + P_n}{P_n }} = {1}/{2 } \cdot {\rm log_2 } \hspace{0.05cm}\left ( 1 + \frac{P_x}{P_n } \right )\hspace{0.05cm}.$
• Beschreibt  $x$ ein  zeitdiskretes Signal mit der Symbolrate  $1/T_{\rm S}$, so muss dieses auf  $B = 1/(2T_{\rm S})$  bandbegrenzt sein, und die gleiche Bandbreite  $B$  muss man auch für das Rauschsignal  $n$  ansetzen   ⇒   "Rauschbandbreite":
$P_X = \frac{E_{\rm S}}{T_{\rm S} } \hspace{0.05cm}, \hspace{0.4cm} P_N = \frac{N_0}{2T_{\rm S} }\hspace{0.05cm}.$
• Somit lässt sich die AWGN–Kanalkapazität auch durch die  Sendeenergie pro Symbol $(E_{\rm S})$  und die  Rauschleistungsdichte  $(N_0)$ ausdrücken:
$C = {1}/{2 } \cdot {\rm log_2 } \hspace{0.05cm}\left ( 1 + {2 E_{\rm S}}/{N_0 } \right )\hspace{0.05cm}, \hspace{1.9cm} \text {Einheit:}\hspace{0.3cm} \frac{\rm bit}{\rm Kanalzugriff}\hspace{0.05cm}.$
• Mit der folgenden Gleichung erhält man die Kanalkapazität pro Zeiteinheit (Kennzeichnung durch $^{\star})$:
$C^{\star} = \frac{C}{T_{\rm S} } = B \cdot {\rm log_2 } \hspace{0.05cm}\left ( 1 + {2 E_{\rm S}}/{N_0 } \right )\hspace{0.05cm}, \hspace{0.8cm} \text {Einheit:} \hspace{0.3cm} \frac{\rm bit}{\rm Zeiteinheit}\hspace{0.05cm}.$

$\text{Beispiel 1:}$

• Für  $E_{\rm S}/N_0 = 7.5$   ⇒   $10 \cdot \lg \, E_{\rm S}/N_0 = 8.75 \, \rm dB$  erhält man die Kanalkapazität  $C = {1}/{2 } \cdot {\rm log_2 } \hspace{0.05cm} (16) = 2 \, \rm bit/Kanalzugriff$.
• Bei einem Kanal mit der (physikalischen) Bandbreite  $B = 4 \, \rm kHz$, was der Abtastrate  $f_{\rm A} = 8\, \rm kHz$  entspricht, gilt zudem  $C^\star = 16 \, \rm kbit/s$.

Ein Vergleich verschiedener Codierverfahren bei konstantem  $E_{\rm S}$  (Energie pro übertragenem Symbol ) ist allerdings nicht fair. Vielmehr sollte man für diesen Vergleich die Energie  $E_{\rm B}$  pro Nutzbit  fest vorgeben. Dabei gelten folgende Zusammenhänge:

$E_{\rm S} = R \cdot E_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} E_{\rm B} = E_{\rm S} / R \hspace{0.05cm}.$

$\text{Kanalcodierungstheorem für den AWGN–Kanal:}$

Eine fehlerfreie Decodierung $($bei unendlich langen Blöcken   ⇒   $n \to \infty)$  ist immer dann möglich, falls die Coderate  $R$  kleiner ist als die Kanalkapazität  $C$:

$R < C = {1}/{2 } \cdot {\rm log_2 } \hspace{0.05cm}\left ( 1 +2 \cdot R\cdot E_{\rm B}/{N_0 } \right )\hspace{0.05cm}.$

Für jede Coderate&nbsp $R$  lässt sich damit das erforderliche  $E_{\rm B}/N_0$  des AWGN–Kanals ermitteln, damit eine fehlerfreie Decodierung gerade noch möglich ist. Man erhält für den Grenzfall  $R = C$:

${E_{\rm B} }/{N_0} > \frac{2^{2R}-1}{2R } \hspace{0.05cm}.$

Die Grafik fasst das Ergebnis zusammen, wobei die Ordinate  $R$  im linearen Maßstab und die Abszisse  $E_{\rm B}/{N_0 }$  logarithmisch aufgetragen ist.

Kanalkapazität des AWGN–Kanals
• Außerhalb der blauen Fläche ist eine fehlerfreie Codierung nicht möglich.
• Die blaue Grenzkurve gibt die Kanalkapazität  $C$  des AWGN–Kanals an.

Aus dieser Grafik und obiger Gleichung lässt sich Folgendes ableiten:

• Die Kanalkapazität  $C$  steigt etwas weniger als linear mit  $10 \cdot \lg \, E_{\rm B}/N_0$  an. In der Grafik sind einige ausgewählte Funktionswerte als blaue Kreuze angegeben.
• Ist  $10 \cdot \lg \, E_{\rm B}/N_0 < -1.59 \, \rm dB$, so ist eine fehlerfreie Decodierung prinzipiell unmöglich. Beträgt die Coderate  $R = 0.5$, so muss  $10 \cdot \lg \, E_{\rm B}/N_0 > 0 \, \rm dB$  sein   ⇒   $E_{\rm B} > N_0$.
• Für alle binären Codes gilt per se  $0 < R ≤ 1$. Nur mit nichtbinären Codes sind Coderaten  $R > 1$  möglich. Beispielsweise beträgt die maximal mögliche Coderate eines quaternären Codes  $R = \log_2 \, M_y = \log_2 \, 4 = 2$.
• Alle eindimensionalen Modulationsarten – also solche Verfahren, die nur die Inphase– oder nur die Quadraturkomponente nutzen wie  2–ASKBPSK  und  2–FSK  – müssen im blauen Bereich der vorliegenden Grafik liegen.
• Wie im Kapitel  Maximale Coderate für QAM–Strukturen  des Buches "Informationstheorie" gezeigt wird, gibt es für zweidimensionale Modulationsarten wie zum Beispiel die  Quadratur–Amplitudenmodulation  eine "freundlichere" Grenzkurve.

## AWGN–Kanalkapazität für binäre Eingangssignale

In diesem Buch beschränken wir uns vorwiegend auf binäre Codes, also auf das Galoisfeld  ${\rm GF}(2^n)$. Damit ist

Bedingte Dichtefunktionen bei AWGN–Kanal und binärem Eingang
• zum einen die Coderate auf den Bereich  $R ≤ 1$  begrenzt,
• zum zweiten auch für  $R ≤ 1$  nicht die gesamte blaue Region verfügbar (siehe vorherige Seite).

Die nun gültige Region ergibt sich aus der  allgemeinen Gleichung  der Transinformation durch

• die Parameter  $M_x = 2$  und  $M_y \to \infty$,
• bipolare Signalisierung   ⇒   $x=0$   →   $\tilde{x} = +1$  und  $x=1$   →   $\tilde{x} = -1$,
• den Übergang von bedingten Wahrscheinlichkeiten  ${\rm Pr}(\tilde{x}_i)$  zu bedingten Wahrscheinlichkeitsdichtefunktionen,
• Ersetzen der Summe durch eine Integration.

Die Optimierung der Quelle führt auf gleichwahrscheinliche Symbole:

${\rm Pr}(\tilde{x} = +1) = {\rm Pr}(\tilde{x} = -1) = 1/2 \hspace{0.05cm}.$

Damit erhält man für das Maximum der Transinformation, also für die Kanalkapazität:

$C \hspace{-0.15cm} = {1}/{2} \cdot \int_{-\infty }^{+ \infty} \left [ f_{y\hspace{0.05cm} |\hspace{0.05cm}\tilde{x} = +1}(y)\cdot {\rm log_2 } \hspace{0.15cm}\frac {f_{y\hspace{0.05cm} |\hspace{0.05cm}\tilde{x} = +1}(y)}{f_y(y)} + f_{y\hspace{0.05cm} |\hspace{0.05cm}\tilde{x} = -1}(y)\cdot {\rm log_2 } \hspace{0.15cm}\frac {f_{y\hspace{0.05cm} |\hspace{0.05cm}\tilde{x} = -1}(y)}{f_y(y)} \right ]\hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$

Das Integral lässt sich nicht in mathematisch–geschlossener Form lösen, sondern kann nur numerisch ausgewertet werden.

• Die grüne Kurve zeigt das Ergebnis.
• Die blaue Kurve gibt zum Vergleich die auf der letzten Seite hergeleitete Kanalkapazität für gaußverteilte Eingangssignale an.
AWGN–Kanalkapazität für binäre Eingangssignale

Man erkennt:

• Für  $10 \cdot \lg \, E_{\rm B}/N_0 < 0 \, \rm dB$  unterscheiden sich die beiden Kapazitätskurven nur geringfügig.
• So muss man bei binärem bipolaren Eingang gegenüber dem Optimum (Gaußscher Eingang) die Kenngröße  $10 \cdot \lg \, E_{\rm B}/N_0$  nur etwa um  $0.1 \, \rm dB$  erhöhen, um ebenfalls die Coderate  $R = 0.5$  zu ermöglichen.
• Ab  $10 \cdot \lg \, E_{\rm B}/N_0 \approx6 \, \rm dB$  ist die Kapazität  $C = 1 \, \rm bit/Kanalzugriff$  des AWGN–Kanals für binären Eingang (fast) erreicht.
• Dazwischen verläuft die Grenzkurve annähernd exponentiell ansteigend.

## Gebräuchliche Kanalcodes im Vergleich zur Kanalkapazität

Nun soll gezeigt werden, in wie weit sich etablierte Kanalcodes der BPSK–Kanalkapazität (grüne Kurve) annähern. In der folgenden Grafik ist als Ordinate die Rate  $R=k/n$  dieser Codes bzw. die Kapazität  $C$  (mit der zusätzlichen Pseudo–Einheit "bit/Kanalzugriff") aufgetragen. Weiter ist vorausgesetzt:

• der AWGN–Kanal, gekennzeichnet durch  $10 \cdot \lg \, E_{\rm B}/N_0$  in dB, und
• für die durch Kreuze markierten Codes eine Bitfehlerrate (BER) von  $10^{-5}$.

Rates and required  $E_{\rm B}/{N_0}$  of different channel codes

$\text{Bitte beachten Sie:}$

• Die Kanalkapazitätskurven gelten stets für  $n \to \infty$  und  $\rm BER \to 0$  gelten.
• Würde man diese strenge Forderung "fehlerfrei" auch an die betrachteten Kanalcodes endlicher Codelänge  $n$  anlegen, so wäre hierfür stets  $10 \cdot \lg \, E_{\rm B}/N_0 \to \infty$  erforderlich.
• Dies ist aber ein akademisches Problem, das für die Praxis wenig Bedeutung hat. Für  $\rm BER = 10^{-10}$  ergäbe sich eine qualitativ und auch quantitativ ähnliche Grafik.

Es folgen einige Erläuterungen zu den Daten, die der Vorlesung [Liv10][1] entnommen wurden:

• Die Punkte  $\rm A$,  $\rm B$  und  $\rm C$  markieren  Hamming–Codes  unterschiedlicher Rate. Sie alle benötigen für  $\rm BER = 10^{-5}$  mehr alss  $10 \cdot \lg \, E_{\rm B}/N_0 = 8 \, \rm dB$.
• Die Markierung  $\rm D$  kennzeichnet den binären  Golay–Code  mit der Rate  $1/2$  und die Markierung  $\rm E$  einen  Reed–Muller–Code. Dieser sehr niederratige Code kam bereits 1971 bei der Raumsonde Mariner 9 zum Einsatz.
• Die  Reed–Solomon–Codes  (RS–Codes) werden im zweiten Hauptkapitel ausführlich behandelt. Mit  $\rm F$  markiert ist ein hochratiger RS–Code  $(R = 223/255 > 0.9)$  und einem erforderlichen  $10 \cdot \lg \, E_{\rm B}/N_0 < 6 \, \rm dB$.
• Die Markierungen  $\rm G$  und  $\rm H$  bezeichnen beispielhafte  Faltungscodes  (englisch:   Convolutional Codes, CC) mittlerer Rate. Der Code  $\rm G$  wurde schon 1972 bei der Pioneer10–Mission eingesetzt.
• Die Kanalcodierung der Voyager–Mission Ende der 1970er Jahre ist mit  $\rm I$  markiert. Es handelt sich um die Verkettung eines  $\text{(2, 1, 7)}$–Faltungscodes mit einem Reed–Solomon–Code, wie im vierten Hauptkapitel beschrieben.

Anmerkung:   Bei den Faltungscodes hat insbesondere der dritte Kennungsparameter eine andere Bedeutung als bei den Blockcodes. $\text{CC (2, 1, 32)}$  weist beispielsweise auf das Memory  $m = 32$  hin.

Raten und erforderliches  $E_{\rm B}/N_0$  für iterative Codierverfahren

Mit iterativer Decodierung lassen sich deutlich bessere Ergebnisse erzielen, wie die zweite Grafik zeigt.

• Das heißt:  Die einzelnen Markierungspunkte liegen sehr viel näher an der Kapazitätskurve.
• Die bisher mit "Gauß–Kapazität" beschriftete durchgezogene blaue Kurve wird hier "Gauß (reell)" genannt.

Hier noch einige weitere Erläuterungen zu dieser Grafik:

• Rote Kreuze markieren sogenannte  Turbocodes  nach  CCSDS  (Consultative Committee for Space Data Systems ) mit jeweils  $k = 6920$  Informationsbits und unterschiedlichen Codelängen  $n$. Diese von  Claude Berrou  um 1990 erfundenen Codes können iterativ decodiert werden. Die (roten) Markierungen liegen jeweils weniger als  $1 \, \rm dB$  von der Shannon–Grenze entfernt.
• Ähnliches Verhalten zeigen die durch weiße Rechtecke gekennzeichneten  LDPC–Codes  (Low Density Parity–check Codes ), die seit 2006 bei  DVB–S(2)  (Digital Video Broadcast over Satellite ) eingesetzt werden. Diese eignen sich aufgrund der spärlichen Belegung der Prüfmatrix  $\boldsymbol {\rm H}$  (mit Einsen) sehr gut für die iterative Decodierung mittels Faktor–Graphen   und   Exit Charts. Siehe [Hag02][2]
• Die schwarzen Punkte markieren die von CCSDS spezifizierten  LDPC–Codes, die alle von einer konstanten Anzahl von Informationsbits ausgehen  $(k = 16384)$. Dagegen ist bei allen weißen Rechtecken die Codelänge  $n = 64800$  konstant, während sich die Anzahl  $k$  der Informationsbits entsprechend der Rate  $R = k/n$  ändert.
• Um das Jahr 2000 hatten viele Forscher den Ehrgeiz, sich der Shannon–Grenze bis auf Bruchteile von einem  $\rm dB$  anzunähern. Das gelbe Kreuz markiert ein solches Ergebnis aus [CFRU01][3]. Verwendet wurde ein irregulärer Rate–1/2–LDPC–Code der Codelänge  $n = 2 \cdot10^6$.

$\text{Fazit:}$  Festzuhalten ist, dass Shannon bereits 1948 erkannt und nachgewiesen hat, dass kein eindimensionales Modulationsverfahren links von der durchgehend eingezeichneten AWGN–Grenzkurve "Gauß (reell)" liegen kann.

• Für zweidimensionale Verfahren wie QAM und mehrstufige PSK gilt dagegen die Grenzkurve "Gauß (komplex)", die hier gestrichelt gezeichnet ist und stets links von der durchgezogenen Kurve liegt.
• Näheres hierzu finden Sie im Abschnitt  Maximale Coderate für QAM–Strukturen  des Buches "Informationstheorie".
• Auch diese Grenzkurve wurde mit QAM–Verfahren und sehr langen Kanalcodes inzwischen nahezu erreicht, ohne dass sie jemals überschritten werden wird.

## Quellenverzeichnis

1. Liva, G.: Channel Coding. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010.
2. Hagenauer, J.: The Turbo Principle in Mobile Communications. In: Int. Symp. on Information Theory and Its Applications, Oct.2010, PDF–Dokument.
3. Chung S.Y; Forney Jr., G.D.; Richardson, T.J.; Urbanke, R.: On the Design of Low-Density Parity- Check Codes within 0.0045 dB of the Shannon Limit. – In: IEEE Communications Letters, vol. 5, no. 2 (2001), pp. 58–60.