Difference between revisions of "Digital Signal Transmission/Basics of Coded Transmission"

From LNTwww
Line 1: Line 1:
 
   
 
   
 
{{Header
 
{{Header
|Untermenü=Codierte und mehrstufige Übertragung
+
|Untermenü=Coded and Multilevel Transmission
 
|Vorherige Seite=Lineare digitale Modulation – Kohärente Demodulation
 
|Vorherige Seite=Lineare digitale Modulation – Kohärente Demodulation
 
|Nächste Seite=Redundanzfreie Codierung
 
|Nächste Seite=Redundanzfreie Codierung
 
}}
 
}}
  
== # ÜBERBLICK ZUM ZWEITEN HAUPTKAPITEL # ==
+
== # OVERVIEW OF THE SECOND MAIN CHAPTER # ==
 
<br>
 
<br>
Das zweite Hauptkapitel behandelt die so genannte '''Übertragungscodierung''', die in der Literatur manchmal auch als „Leitungscodierung” bezeichnet wird. Dabei wird durch gezieltes Hinzufügen von Redundanz eine Anpassung des digitalen Sendesignals an die Eigenschaften des Übertragungskanals erreicht. Im Einzelnen werden behandelt:
+
The second main chapter deals with so-called '''transmission coding''', which is sometimes also referred to as "line coding" in the literature. In this process, an adaptation of the digital transmission signal to the characteristics of the transmission channel is achieved through the targeted addition of redundancy. In detail, the following are dealt with:
  
*einige grundlegende Begriffe der Informationstheorie wie ''Informationsgehalt''&nbsp; und ''Entropie'',
+
*some basic concepts of information theory such as ''information content''&nbsp; and ''entropy'',
*die AKF&ndash;Berechnung und die Leistungsdichtespektren von Digitalsignalen,
+
*the ACF calculation and the power-spectral densities of digital signals,
*die redundanzfreie Codierung, die zu einem nichtbinären Sendesignal führt,
+
*the redundancy-free coding, which leads to a non-binary transmitted signal,
*die Berechnung von Symbol&ndash; und Bitfehlerwahrscheinlichkeit bei mehrstufigen Systemen,
+
*the calculation of symbol and bit error probability for multilevel systems,
*die so genannten 4B3T&ndash;Codes als ein wichtiges Beispiel von blockweiser Codierung, und
+
*the so-called 4B3T codes as an important example of blockwise coding, and
*die Pseudoternärcodes, die jeweils eine symbolweise Codierung realisieren.
+
*the pseudo-ternary codes, each of which realizes symbol-wise coding.
  
  
Die Beschreibung erfolgt durchgehend im Basisband und es werden weiterhin einige vereinfachende Annahmen (unter Anderem: &nbsp;keine Impulsinterferenzen) getroffen.
+
The description is in baseband throughout and some simplifying assumptions (among others: &nbsp;no intersymbol interfering) are still made.
  
Weitere Informationen zum Thema sowie Aufgaben, Simulationen und Programmierübungen finden Sie im
+
Further information on the topic as well as exercises, simulations and programming exercises can be found in
  
*Kapitel 15: &nbsp; Codierte und mehrstufige Übertragung, Programm cod
+
*chapter 15: &nbsp; Coded and multilevel transmission, program cod
  
  
des Praktikums „Simulationsmethoden in der Nachrichtentechnik”. Diese (ehemalige) LNT-Lehrveranstaltung an der TU München basiert auf
+
of the practical course "Simulation Methods in Communications Engineering". This (former) LNT course at the TU Munich is based on
  
*dem Lehrsoftwarepaket &nbsp;[http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim] &nbsp;&rArr;&nbsp; Link verweist auf die ZIP-Version des Programms und
+
*the teaching software package &nbsp;[http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim] &nbsp;&rArr;&nbsp; link refers to the ZIP version of the program and
*dieser &nbsp;[http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Praktikumsanleitung]  &nbsp;&rArr;&nbsp; Link verweist auf die PDF-Version; Kapitel 15: &nbsp; Seite 337-362.
+
*this &nbsp;[http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf lab manual]  &nbsp;&rArr;&nbsp; link refers to the PDF version; chapter 15: &nbsp; pages 337-362.
  
  
== Informationsgehalt Entropie Redundanz ==
+
== Information content Entropy Redundancy ==
 
<br>
 
<br>
Wir gehen von einer &nbsp;$M$&ndash;stufigen digitalen Nachrichtenquelle aus, die folgendes Quellensignal abgibt:
+
We assume an &nbsp;$M$&ndash;stage digital message source that outputs the following source signal:
:$$q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, \text{...} \ , a_\mu , \text{...} \ , a_{ M}\}.$$
+
:$$q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm with}\hspace{0.3cm}a_\nu \in \{ a_1, \text{...} \ , a_\mu , \text{...} \ , a_{ M}\}.$$
*Die Quellensymbolfolge &nbsp;$\langle q_\nu \rangle$&nbsp;  ist also auf die Folge &nbsp;$\langle a_\nu \rangle$&nbsp; der dimensionslosen Amplitudenkoeffizienten abgebildet.  
+
*The source symbol sequence &nbsp;$\langle q_\nu \rangle$&nbsp;  is thus mapped to the sequence &nbsp;$\langle a_\nu \rangle$&nbsp; of the dimensionless amplitude coefficients.
*Vereinfachend wird zunächst für die Zeitlaufvariable &nbsp;$\nu = 1$, ... , $N$&nbsp; gesetzt, während der Vorratsindex &nbsp;$\mu$&nbsp; stets Werte zwischen &nbsp;$1$&nbsp; und $M$&nbsp; annehmen kann.
+
*Simplifying, first for the time indexing variable &nbsp;$\nu = 1$, ... , $N$&nbsp; is set, while the index &nbsp;$\mu$&nbsp; can always assume values between &nbsp;$1$&nbsp; and $M$.&nbsp;
  
  
Ist das &nbsp;$\nu$&ndash;te Folgenelement gleich &nbsp;$a_\mu$, so kann dessen ''Informationsgehalt''&nbsp; mit der Wahrscheinlichkeit &nbsp;$p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$&nbsp; wie folgt berechnet werden:
+
If the &nbsp;$\nu$&ndash;th sequence element is equal to &nbsp;$a_\mu$, its ''information content''&nbsp; can be calculated with probability &nbsp;$p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$&nbsp; as follows:
:$$I_\nu  = \log_2 \ (1/p_{\nu \mu})= {\rm ld} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(Einheit:  bit)}\hspace{0.05cm}.$$
+
:$$I_\nu  = \log_2 \ (1/p_{\nu \mu})= {\rm ld} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(unit:  bit)}\hspace{0.05cm}.$$
Der Logarithmus zur Basis 2 &nbsp; &#8658; &nbsp; $\log_2(x)$ wird oft auch mit &nbsp;${\rm ld}(x)$ &nbsp; &#8658; &nbsp; <i>Logarithmus dualis</i>&nbsp; bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit "bit" (von: &nbsp;''binary digit''&nbsp;) hinzugefügt. Mit dem Zehner&ndash;Logarithmus &nbsp;$\lg(x)$&nbsp; bzw. dem natürlichen Logarithmus &nbsp;$\ln(x)$&nbsp; gilt:
+
The logarithm to the base 2 &nbsp; &#8658; &nbsp; $\log_2(x)$ is often also called &nbsp;${\rm ld}(x)$ &nbsp; &#8658; &nbsp; <i>logarithm dualis</i>.&nbsp; With the numerical evaluation the reference unit "bit" (from: &nbsp;''binary digit''&nbsp;) is added. With the tens logarithm &nbsp;$\lg(x)$&nbsp; and the natural logarithm &nbsp;$\ln(x)$&nbsp; applies:
 
:$${\rm log_2}(x) =  \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.$$
 
:$${\rm log_2}(x) =  \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.$$
Nach dieser auf &nbsp;[https://de.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon]&nbsp; zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.
+
According to this definition of information, which goes back to &nbsp;[https://en.wikipedia.org/wiki/Claude_Shannon Claude E. Shannon],&nbsp; the smaller the probability of occurrence of a symbol, the greater its information content.
  
 
{{BlaueBox|TEXT=   
 
{{BlaueBox|TEXT=   
$\text{Definition:}$&nbsp; Die '''Entropie''' ist der mittlere Informationsgehalt eines Folgenelements (Symbols). Diese wichtige informationstheoretische Größe lässt sich als Zeitmittelwert wie folgt ermitteln:
+
$\text{Definition:}$&nbsp; '''Entropy''' is the average information content of a sequence element (symbol). This important information-theoretical quantity can be determined as a time average as follows:
 
:$$H =  \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N  I_\nu  =
 
:$$H =  \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N  I_\nu  =
   \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N  \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(Einheit:  bit)}\hspace{0.05cm}.$$
+
   \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N  \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(unit:  bit)}\hspace{0.05cm}.$$
Natürlich kann die Entropie auch durch Scharmittelung (über den Symbolvorrat) berechnet werden.}}
+
Of course, entropy can also be calculated by ensemble averaging (over the symbol set).}}
  
  
Sind die Folgenelemente &nbsp;$a_\nu$&nbsp; statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten &nbsp;$p_{\nu\mu} = p_{\mu}$&nbsp; unabhängig von &nbsp;$\nu$&nbsp; und man erhält in diesem Sonderfall für die Entropie:
+
If the sequence elements &nbsp;$a_\nu$&nbsp; are statistically independent of each other, the probabilities of occurrence &nbsp;$p_{\nu\mu} = p_{\mu}$&nbsp; are independent of &nbsp;$\nu$&nbsp; and we obtain in this special case for the entropy:
 
:$$H =    \sum_{\mu = 1}^M  p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \ (1/p_{\mu})\hspace{0.05cm}.$$
 
:$$H =    \sum_{\mu = 1}^M  p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \ (1/p_{\mu})\hspace{0.05cm}.$$
Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten &nbsp;$a_\nu$, so muss zur Entropieberechnung die kompliziertere Gleichung entsprechend obiger Definition herangezogen werden.<br>
+
If, on the other hand, there are statistical bonds between neighboring amplitude coefficients &nbsp;$a_\nu$, the more complicated equation according to the above definition must be used for entropy calculation.<br>
  
Der Maximalwert der Entropie ergibt sich immer dann, wenn die &nbsp;$M$&nbsp; Auftrittswahrscheinlichkeiten (der statistisch unabhängigen Symbole) alle gleich sind &nbsp;$(p_{\mu} = 1/M)$:
+
The maximum value of entropy is obtained whenever the &nbsp;$M$&nbsp; occurrence probabilities (of the statistically independent symbols) are all equal &nbsp;$(p_{\mu} = 1/M)$:
 
:$$H_{\rm max} = \sum_{\mu = 1}^M  \hspace{0.1cm}\frac{1}{M} \cdot {\rm log_2} (M) = {\rm log_2} (M) \cdot \sum_{\mu = 1}^M  \hspace{0.1cm} \frac{1}{M} = {\rm log_2} (M)
 
:$$H_{\rm max} = \sum_{\mu = 1}^M  \hspace{0.1cm}\frac{1}{M} \cdot {\rm log_2} (M) = {\rm log_2} (M) \cdot \sum_{\mu = 1}^M  \hspace{0.1cm} \frac{1}{M} = {\rm log_2} (M)
  \hspace{1cm}\text{(Einheit:  bit)}\hspace{0.05cm}.$$
+
  \hspace{1cm}\text{(unit:  bit)}\hspace{0.05cm}.$$
  
 
{{BlaueBox|TEXT=   
 
{{BlaueBox|TEXT=   
$\text{Definition:}$&nbsp; Man bezeichnet &nbsp;$H_{\rm max}$&nbsp; als den '''Entscheidungsgehalt''' (bzw. als ''Nachrichtengehalt''&nbsp;) der Quelle und den Quotienten
+
$\text{Definition:}$&nbsp; Let &nbsp;$H_{\rm max}$&nbsp; be the '''decision content''' (or ''message content''&nbsp;) of the source and the quotient
 
:$$r = \frac{H_{\rm max}-H}{H_{\rm max} }$$
 
:$$r = \frac{H_{\rm max}-H}{H_{\rm max} }$$
als die '''relative Redundanz'''. Da stets &nbsp;$0 \le H \le  H_{\rm max}$&nbsp; gilt, kann die relative Redundanz Werte zwischen &nbsp;$0$&nbsp; und &nbsp;$1$&nbsp; (einschließlich dieser Grenzwerte) annehmen.}}
+
as the '''relative redundancy'''. Since &nbsp;$0 \le H \le  H_{\rm max}$&nbsp; always holds, the relative redundancy can take values between &nbsp;$0$&nbsp; and &nbsp;$1$&nbsp; (including these limits).}}
  
  
Aus der Herleitung dieser Beschreibungsgrößen ist offensichtlich, dass ein redundanzfreies Digitalsignal &nbsp;$(r=0)$&nbsp; folgende Eigenschaften erfüllen muss:
+
From the derivation of these descriptive quantities, it is obvious that a redundancy-free digital signal &nbsp;$(r=0)$&nbsp; must satisfy the following properties:
*Die Amplitudenkoeffizienten &nbsp;$a_\nu$&nbsp; sind statistisch unabhängig &nbsp; &rArr; &nbsp;  $p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$&nbsp; ist für alle &nbsp;$\nu$&nbsp; identisch.<br>
+
*The amplitude coefficients &nbsp;$a_\nu$&nbsp; are statistically independent &nbsp; &rArr; &nbsp;  $p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$&nbsp; is identical for all &nbsp;$\nu$.&nbsp; <br>
*Die &nbsp;$M$&nbsp; möglichen Koeffizienten &nbsp;$a_\mu$&nbsp; treten mit gleicher Wahrscheinlichkeit &nbsp;$p_\mu = 1/M$&nbsp; auf.
+
*The &nbsp;$M$&nbsp; possible coefficients &nbsp;$a_\mu$&nbsp; occur with equal probability &nbsp;$p_\mu = 1/M$.&nbsp;  
  
  
 
{{GraueBox|TEXT=   
 
{{GraueBox|TEXT=   
$\text{Beispiel 1:}$&nbsp; Analysiert man einen zur Übertragung anstehenden deutschen Text auf der Basis von &nbsp;$M = 32$&nbsp; Zeichen
+
$\text{Example 1:}$&nbsp; If one analyzes a German text waiting for transmission on the basis of &nbsp;$M = 32$&nbsp; characters
:$$\text{(a, ... , z, ä, ö, ü, ß, Leerzeichen, Interpunktion, keine Unterscheidung zwischen Groß&ndash; und Kleinschreibung)},$$  
+
:$$\text{(a, ... , z, ä, ö, ü, ß, spaces, punctuation, no distinction between upper and lower case)},$$  
so ergibt sich der Entscheidungsgehalt &nbsp;$H_{\rm max} = 5 \ \rm bit/Symbol$. Aufgrund
+
the result is the decision content &nbsp;$H_{\rm max} = 5 \ \rm bit/symbol$. Due to
*der unterschiedlichen Häufigkeiten (beispielsweise tritt "e" deutlich häufiger auf als "u") und<br>
+
*the different frequencies (for example, "e" occurs significantly more often than "u") and<br>
*von statistischen Bindungen (zum Beispiel folgt auf "q" der Buchstabe "u" viel öfters als "e")
+
*of statistical bindings (for example "q" is followed by the letter "u" much more often than "e")
  
  
beträgt nach &nbsp;[https://de.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]&nbsp; die Entropie der deutschen Sprache nur &nbsp;$H = 1.3 \ \rm bit/Zeichen$. Daraus ergibt sich die relative Redundanz zu &nbsp;$r \approx (5 - 1.3)/5 = 74\%$.  
+
according to &nbsp;[https://en.wikipedia.org/wiki/Karl_K%C3%BCpfm%C3%BCller Karl Küpfmüller]&nbsp; the entropy of the German language is only &nbsp;$H = 1.3 \ \rm bit/character$. This results in a relative redundancy of &nbsp;$r \approx (5 - 1.3)/5 = 74\%$.  
  
Für englische Texte hat &nbsp;[https://de.wikipedia.org/wiki/Claude_Shannon Claude Shannon]  die Entropie mit &nbsp;$H = 1 \ \rm bit/Zeichen$&nbsp; und die relative Redundanz mit &nbsp;$r \approx 80\%$ angegeben.}}
+
For English texts &nbsp;[https://en.wikipedia.org/wiki/Claude_Shannon Claude Shannon]  has given the entropy as &nbsp;$H = 1 \ \rm bit/character$&nbsp; and the relative redundancy as &nbsp;$r \approx 80\%$.}}
  
  
== Quellencodierung &ndash; Kanalcodierung &ndash;  Übertragungscodierung ==
+
== Source coding &ndash; Channel coding &ndash;  Transmission coding ==
 
<br>
 
<br>
Unter ''Codierung''&nbsp; versteht man die Umsetzung der Quellensymbolfolge &nbsp;$\langle q_\nu \rangle$&nbsp; mit dem Symbolumfang &nbsp;$M_q$&nbsp; in eine Codesymbolfolge &nbsp;$\langle c_\nu \rangle$&nbsp; mit dem Symbolumfang &nbsp;$M_c$. Meist wird durch die Codierung die in einem Digitalsignal enthaltene Redundanz manipuliert. Oft &ndash; aber nicht immer &ndash; sind &nbsp;$M_q$&nbsp; und &nbsp;$M_c$&nbsp; verschieden.<br>
+
''Coding''&nbsp; is the conversion of the source symbol sequence &nbsp;$\langle q_\nu \rangle$&nbsp; with symbol range &nbsp;$M_q$&nbsp; into a code symbol sequence &nbsp;$\langle c_\nu \rangle$&nbsp; with symbol range &nbsp;$M_c$. Usually, coding manipulates the redundancy contained in a digital signal. Often &ndash; but not always &ndash; &nbsp;$M_q$&nbsp; and &nbsp;$M_c$&nbsp; are different.<br>
  
Man unterscheidet je nach Zielrichtung zwischen verschiedenen Arten von Codierung:
+
A distinction is made between different types of coding depending on the target direction:
*Die Aufgabe der '''Quellencodierung''' ist die Redundanzreduktion zur Datenkomprimierung, wie sie beispielsweise in der Bildcodierung Anwendung findet. Durch Ausnutzung statistischer Bindungen zwischen den einzelnen Punkten eines Bildes bzw. zwischen den Helligkeitswerten eines Punktes zu verschiedenen Zeiten (bei Bewegtbildsequenzen) können Verfahren entwickelt werden, die bei nahezu gleicher (subjektiver) Bildqualität zu einer merklichen Verminderung der Datenmenge (gemessen in "bit" oder "byte") führen. Ein einfaches Beispiel hierfür ist die ''differentielle Pulscodemodulation''&nbsp; (DPCM).<br>
+
*The task of '''source coding''' is redundancy reduction for data compression, as applied for example in image coding. By exploiting statistical bonds between the individual points of an image or between the brightness values of a point at different times (in the case of moving image sequences), methods can be developed that lead to a noticeable reduction in the amount of data (measured in "bit" or "byte") while maintaining virtually the same (subjective) image quality. A simple example of this is ''differential pulse code modulation''&nbsp; (DPCM).<br>
  
  
*Bei der '''Kanalcodierung''' erzielt man demgegenüber dadurch eine merkliche Verbesserung des Übertragungsverhaltens, dass eine beim Sender gezielt hinzugefügte Redundanz empfangsseitig zur Erkennung und Korrektur von Übertragungsfehlern genutzt wird. Solche Codes, deren wichtigste Vertreter Blockcodes, Faltungscodes und Turbo-Codes sind, haben besonders bei stark gestörten Kanälen eine große Bedeutung. Je größer die relative Redundanz des codierten Signals ist, desto besser sind die Korrektureigenschaften des Codes, allerdings bei verringerter Nutzdatenrate.
+
*With '''channel coding''', on the other hand, a noticeable improvement in the transmission behavior is achieved by using a redundancy specifically added at the transmitter to detect and correct transmission errors at the receiver end. Such codes, the most important of which are block codes, convolutional codes and turbo codes, are particularly important in the case of heavily disturbed channels. The greater the relative redundancy of the coded signal, the better the correction properties of the code, albeit at a reduced user data rate.
  
  
*Eine '''Übertragungscodierung''' &ndash; häufig auch als ''Leitungscodierung''&nbsp; bezeichnet &ndash; verwendet man, um das Sendesignal durch eine Umcodierung der Quellensymbole an die spektralen Eigenschaften von Übertragungskanal und Empfangseinrichtungen anzupassen. Beispielsweise muss bei einem Kanal mit der Frequenzgangseigenschaft &nbsp;$H_{\rm K}(f=0) = 0$, über den demzufolge kein Gleichsignal übertragen werden kann, durch Übertragungscodierung sichergestellt werden, dass die Codesymbolfolge weder eine lange &nbsp;$\rm L$&ndash; noch eine lange &nbsp;$\rm H$&ndash;Folge beinhaltet.<br>
+
*'''Transmission coding''' &ndash; often referred to as ''line coding''&nbsp; &ndash; is used to adapt the transmitted signal to the spectral characteristics of the transmission channel and receiving equipment by recoding the source symbols. For example, in the case of a channel with the frequency response characteristic &nbsp;$H_{\rm K}(f=0) = 0$, over which consequently no DC signal can be transmitted, transmission coding must ensure that the code symbol sequence contains neither a long &nbsp;$\rm L$ sequence nor a long &nbsp;$\rm H$ sequence.<br>
  
  
Im vorliegenden Buch "Digitalsignalübertragung" beschäftigen wir uns ausschließlich mit diesem letzten, übertragungstechnischen Aspekt.  
+
In the current book "Digital Signal Transmission" we deal exclusively with this last, transmission-technical aspect.
*Der &nbsp;[[Channel_Coding]]&nbsp; ist in unserem Lerntutorial ein eigenes Buch gewidmet.  
+
*&nbsp;[[Channel_Coding]]&nbsp; has its own book dedicated to it in our learning tutorial.
*Die Quellencodierung wird im Buch [[Informationstheorie]] (Hauptkapitel 2) ausführlich behandelt.  
+
*Source coding is covered in detail in the book [[Information_Theory]] (main chapter 2).
*Auch die im Buch "Beispiele von Nachrichtensystemen"  beschriebene &nbsp;[[Examples_of_Communication_Systems/Sprachcodierung|Sprachcodierung]]&nbsp; ist eine spezielle Form der Quellencodierung.<br>
+
*Also &nbsp;[[Examples_of_Communication_Systems/Sprachcodierung|voice coding]]&nbsp; described in the book "Examples of Communication Systems" is a special form of source coding.<br>
  
  
== Systemmodell und Beschreibungsgrößen ==
+
== System model and description variables ==
 
<br>
 
<br>
Im Folgenden gehen wir stets von dem unten skizzierten Blockschaltbild und folgenden Vereinbarungen aus:  
+
In the following we always assume the block diagram sketched below and the following agreements:
  
*Das digitale Quellensignal &nbsp;$q(t)$&nbsp; sei binär &nbsp;$(M_q = 2)$&nbsp; und redundanzfrei &nbsp;$(H_q = 1 \ \rm bit/Symbol)$.
+
*Let the digital source signal &nbsp;$q(t)$&nbsp; be binary &nbsp;$(M_q = 2)$&nbsp; and redundancy-free &nbsp;$(H_q = 1 \ \rm bit/symbol)$.
*Mit der Symboldauer &nbsp;$T_q$&nbsp; ergibt sich für die Symbolrate der Quelle:
+
*With the symbol duration &nbsp;$T_q$&nbsp; results for the symbol rate of the source:
 
:$$R_q = {H_{q}}/{T_q}=  {1}/{T_q}\hspace{0.05cm}.$$
 
:$$R_q = {H_{q}}/{T_q}=  {1}/{T_q}\hspace{0.05cm}.$$
*Wegen &nbsp;$M_q = 2$&nbsp; bezeichnen wir im Folgenden &nbsp;$T_q$&nbsp; auch als die Bitdauer und &nbsp;$R_q$&nbsp; als die Bitrate.  
+
*Because of &nbsp;$M_q = 2$,&nbsp; in the following we also refer to &nbsp;$T_q$&nbsp; as the bit duration and &nbsp;$R_q$&nbsp; as the bit rate.
*Für den Vergleich von Übertragungssystemen mit unterschiedlicher Codierung werden &nbsp;$T_q$&nbsp; und &nbsp;$R_q$&nbsp; stets als konstant angenommen. <br>''Hinweis:'' In späteren Kapiteln verwenden wir hierfür &nbsp;$T_{\rm B}$&nbsp; und &nbsp;$R_{\rm B}$.<br>
+
*For the comparison of transmission systems with different coding, &nbsp;$T_q$&nbsp; and &nbsp;$R_q$&nbsp; are always assumed to be constant. <br>''Note:'' In later chapters we use &nbsp;$T_{\rm B}$&nbsp; and &nbsp;$R_{\rm B}$ for this purpose.<br>
*Das Codersignal &nbsp;$c(t)$&nbsp; und auch das Sendesignal &nbsp;$s(t)$&nbsp; nach der Impulsformung mit &nbsp;$g_s(t)$&nbsp; besitzen die Stufenzahl &nbsp;$M_c$, die Symboldauer &nbsp;$T_c$&nbsp; und die Symbolrate &nbsp;$1/T_c$. Die äquivalente Bitrate beträgt
+
*The encoder signal &nbsp;$c(t)$&nbsp; and also the transmitted signal &nbsp;$s(t)$&nbsp; after pulse shaping with &nbsp;$g_s(t)$&nbsp; have the step number &nbsp;$M_c$, the symbol duration &nbsp;$T_c$&nbsp; and the symbol rate &nbsp;$1/T_c$. The equivalent bit rate is
 
:$$R_c = {{\rm log_2} (M_c)}/{T_c} \hspace{0.05cm}.$$
 
:$$R_c = {{\rm log_2} (M_c)}/{T_c} \hspace{0.05cm}.$$
*Es gilt stets &nbsp;$R_c \ge R_q$, wobei das Gleichheitszeichen nur bei den &nbsp;[[Digitalsignal%C3%BCbertragung/Redundanzfreie_Codierung#Blockweise_und_symbolweise_Codierung|redundanzfreien Codes]]&nbsp; $(r_c = 0)$&nbsp; gültig ist. Andernfalls erhält man für die relative Coderedundanz:
+
*It is always &nbsp;$R_c \ge R_q$, where the equal sign is valid only for the &nbsp;[[Digital_Signal_Transmission/Redundancy-Free_Coding#Blockwise_coding_vs._symbolwise_coding|redundancy-free codes]]&nbsp; $(r_c = 0)$.&nbsp; Otherwise, we obtain for the relative code redundancy:
 
:$$r_c =({R_c - R_q})/{R_c} = 1 - R_q/{R_c} \hspace{0.05cm}.$$
 
:$$r_c =({R_c - R_q})/{R_c} = 1 - R_q/{R_c} \hspace{0.05cm}.$$
  
[[File:EN_Dig_T_2_1_S3.png|center|frame|Blockschaltbild zur Beschreibung mehrstufiger und codierter Übertragungssysteme|class=fit]]
+
[[File:EN_Dig_T_2_1_S3.png|center|frame|Block diagram for the description of multilevel and coded transmission systems|class=fit]]
  
<i>Hinweise zur Nomenklatur:</i>  
+
<i>Notes on nomenclature:</i>  
*Im Zusammenhang mit den Übertragungscodes gibt &nbsp;$R_c$&nbsp; in unserem Lerntutorial stets die äquivalente Bitrate des Codersignals hat ebenso wie die Quellenbitrate &nbsp;$R_q$&nbsp; die Einheit "bit/s".
+
*In the context of transmission codes, &nbsp;$R_c$&nbsp; in our learning tutorial always indicates the equivalent bit rate of the encoder signal has the unit "bit/s", as does the source bit rate &nbsp;$R_q$.&nbsp;  
*Insbesondere in der Literatur zur Kanalcodierung bezeichnet man dagegen mit &nbsp;$R_c$&nbsp; oft die dimensionslose Coderate &nbsp;$1 - r_c$&nbsp;. $R_c = 1 $&nbsp; gibt dann einen redundanzfreien Code an, während &nbsp;$R_c = 1/3 $&nbsp; einen Code mit der relativen Redundanz &nbsp;$r_c = 2/3 $&nbsp; kennzeichnet.
+
*In the literature on channel coding, in particular, &nbsp;$R_c$&nbsp; is often used to denote the dimensionless code rate &nbsp;$1 - r_c$&nbsp;. $R_c = 1 $&nbsp; then indicates a redundancy-free code, while &nbsp;$R_c = 1/3 $&nbsp; indicates a code with the relative redundancy &nbsp;$r_c = 2/3 $.&nbsp;
  
  
 
{{GraueBox|TEXT=   
 
{{GraueBox|TEXT=   
$\text{Beispiel 2:}$&nbsp; Bei den so genannten 4B3T&ndash;Codes werden jeweils vier Binärsymbole &nbsp;$(m_q = 4, \ M_q= 2)$&nbsp; durch drei Ternärsymbole &nbsp;$(m_c = 3, \ M_c= 3)$&nbsp; dargestellt. Wegen &nbsp;$4 \cdot T_q = 3 \cdot T_c$&nbsp; gilt:
+
$\text{Example 2:}$&nbsp; In the so-called 4B3T codes, four binary symbols &nbsp;$(m_q = 4, \ M_q= 2)$&nbsp; are each represented by three ternary symbols &nbsp;$(m_c = 3, \ M_c= 3)$.&nbsp; Because of &nbsp;$4 \cdot T_q = 3 \cdot T_c$&nbsp; holds:
 
:$$R_q = {1}/{T_q}, \hspace{0.1cm} R_c = { {\rm log_2} (3)} \hspace{-0.05cm} /{T_c}
 
:$$R_q = {1}/{T_q}, \hspace{0.1cm} R_c = { {\rm log_2} (3)} \hspace{-0.05cm} /{T_c}
 
  = {3/4 \cdot {\rm log_2} (3)} \hspace{-0.05cm}/{T_q}\hspace{0.3cm}\Rightarrow
 
  = {3/4 \cdot {\rm log_2} (3)} \hspace{-0.05cm}/{T_q}\hspace{0.3cm}\Rightarrow
 
  \hspace{0.3cm}r_c =3/4\cdot {\rm log_2} (3) \hspace{-0.05cm}- \hspace{-0.05cm}1 \approx 15.9\, \%
 
  \hspace{0.3cm}r_c =3/4\cdot {\rm log_2} (3) \hspace{-0.05cm}- \hspace{-0.05cm}1 \approx 15.9\, \%
 
  \hspace{0.05cm}.$$
 
  \hspace{0.05cm}.$$
Genauere Informationen zu den 4B3T-Codes finden Sie im &nbsp;[[Digital_Signal_Transmission/Blockweise_Codierung_mit_4B3T-Codes|gleichnamigen Kapitel ]].}}<br>
+
More detailed information about the 4B3T codes can be found in the &nbsp;[[Digital_Signal_Transmission/Blockweise_Codierung_mit_4B3T-Codes|chapter of the same name ]].}}<br>
  
  
== AKF–Berechnung eines Digitalsignals ==
+
== ACF calculation of a digital signal ==
 
<br>
 
<br>
Zur Vereinfachung der Schreibweise wird im Folgenden &nbsp;$M_c = M$&nbsp; und &nbsp;$T_c = T$&nbsp; gesetzt. Damit kann für das Sendesignal &nbsp;$s(t)$&nbsp; bei einer zeitlich unbegrenzten Nachrichtenfolge mit &nbsp;$a_\nu \in \{ a_1,$ ... , $a_M\}$&nbsp; geschrieben werden:
+
To simplify the notation, &nbsp;$M_c = M$&nbsp; and &nbsp;$T_c = T$&nbsp; is set in the following. Thus, for the transmitted signal &nbsp;$s(t)$&nbsp; in the case of an unlimited-time message sequence with &nbsp;$a_\nu \in \{ a_1,$ ... , $a_M\}$&nbsp; can be written:
 
:$$s(t) = \sum_{\nu = -\infty}^{+\infty} a_\nu \cdot g_s ( t - \nu \cdot T) \hspace{0.05cm}.$$
 
:$$s(t) = \sum_{\nu = -\infty}^{+\infty} a_\nu \cdot g_s ( t - \nu \cdot T) \hspace{0.05cm}.$$
Diese Signaldarstellung  beinhaltet sowohl die Quellenstatistik $($Amplitudenkoeffizienten &nbsp;$a_\nu$)&nbsp; als auch die Sendeimpulsform &nbsp;$g_s(t)$. Die Grafik zeigt zwei binäre bipolare Sendesignale &nbsp;$s_{\rm G}(t)$&nbsp; und &nbsp;$s_{\rm R}(t)$&nbsp; mit gleichen Amplitudenkoeffizienten &nbsp;$a_\nu$, die sich somit  lediglich durch den Sendegrundimpuls &nbsp;$g_s(t)$&nbsp; unterscheiden.
+
This signal representation includes both the source statistics $($amplitude coefficients &nbsp;$a_\nu$)&nbsp; and the transmitted pulse shape &nbsp;$g_s(t)$. The diagram shows two binary bipolar transmitted signals &nbsp;$s_{\rm G}(t)$&nbsp; and &nbsp;$s_{\rm R}(t)$&nbsp; with the same amplitude coefficients &nbsp;$a_\nu$, which thus differ only by the basic transmission pulse &nbsp;$g_s(t)$.&nbsp;
  
[[File:P_ID1305__Dig_T_2_1_S4_v2.png|right|frame|Zwei verschiedene binäre bipolare Sendesignale|class=fit]]
+
[[File:P_ID1305__Dig_T_2_1_S4_v2.png|right|frame|Two different binary bipolar transmitted signals|class=fit]]
  
Man erkennt aus dieser Darstellung, dass ein Digitalsignal im Allgemeinen nichtstationär ist:
+
It can be seen from this representation that a digital signal is generally nonstationary:
*Beim Sendesignal &nbsp;$s_{\rm G}(t)$&nbsp; mit schmalen Gaußimpulsen ist die &nbsp;[[Theory_of_Stochastic_Signals/Autokorrelationsfunktion_(AKF)#Station.C3.A4re_Zufallsprozesse|Nichtstationarität]]&nbsp; offensichtlich, da zum Beispiel bei Vielfachen von &nbsp;$T$&nbsp; die Varianz &nbsp;$\sigma_s^2 = s_0^2$&nbsp; ist, während genau dazwischen &nbsp; $\sigma_s^2 \approx 0$&nbsp; gilt.<br>
+
*For the transmitted signal &nbsp;$s_{\rm G}(t)$&nbsp; with narrow Gaussian pulses, the &nbsp;[[Theory_of_Stochastic_Signals/Auto-Correlation_Function#Stationary_random_processes|non-stationarity]]&nbsp; is obvious, since, for example, at multiples of &nbsp;$T$&nbsp; the variance is &nbsp;$\sigma_s^2 = s_0^2$,&nbsp; while exactly in between &nbsp; $\sigma_s^2 \approx 0$&nbsp; holds.<br>
  
  

Revision as of 19:59, 29 March 2022

# OVERVIEW OF THE SECOND MAIN CHAPTER #


The second main chapter deals with so-called transmission coding, which is sometimes also referred to as "line coding" in the literature. In this process, an adaptation of the digital transmission signal to the characteristics of the transmission channel is achieved through the targeted addition of redundancy. In detail, the following are dealt with:

  • some basic concepts of information theory such as information content  and entropy,
  • the ACF calculation and the power-spectral densities of digital signals,
  • the redundancy-free coding, which leads to a non-binary transmitted signal,
  • the calculation of symbol and bit error probability for multilevel systems,
  • the so-called 4B3T codes as an important example of blockwise coding, and
  • the pseudo-ternary codes, each of which realizes symbol-wise coding.


The description is in baseband throughout and some simplifying assumptions (among others:  no intersymbol interfering) are still made.

Further information on the topic as well as exercises, simulations and programming exercises can be found in

  • chapter 15:   Coded and multilevel transmission, program cod


of the practical course "Simulation Methods in Communications Engineering". This (former) LNT course at the TU Munich is based on

  • the teaching software package  LNTsim  ⇒  link refers to the ZIP version of the program and
  • this  lab manual  ⇒  link refers to the PDF version; chapter 15:   pages 337-362.


Information content – Entropy – Redundancy


We assume an  $M$–stage digital message source that outputs the following source signal:

$$q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm with}\hspace{0.3cm}a_\nu \in \{ a_1, \text{...} \ , a_\mu , \text{...} \ , a_{ M}\}.$$
  • The source symbol sequence  $\langle q_\nu \rangle$  is thus mapped to the sequence  $\langle a_\nu \rangle$  of the dimensionless amplitude coefficients.
  • Simplifying, first for the time indexing variable  $\nu = 1$, ... , $N$  is set, while the index  $\mu$  can always assume values between  $1$  and $M$. 


If the  $\nu$–th sequence element is equal to  $a_\mu$, its information content  can be calculated with probability  $p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$  as follows:

$$I_\nu = \log_2 \ (1/p_{\nu \mu})= {\rm ld} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(unit: bit)}\hspace{0.05cm}.$$

The logarithm to the base 2   ⇒   $\log_2(x)$ is often also called  ${\rm ld}(x)$   ⇒   logarithm dualis.  With the numerical evaluation the reference unit "bit" (from:  binary digit ) is added. With the tens logarithm  $\lg(x)$  and the natural logarithm  $\ln(x)$  applies:

$${\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.$$

According to this definition of information, which goes back to  Claude E. Shannon,  the smaller the probability of occurrence of a symbol, the greater its information content.

$\text{Definition:}$  Entropy is the average information content of a sequence element (symbol). This important information-theoretical quantity can be determined as a time average as follows:

$$H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \ (1/p_{\nu \mu}) \hspace{1cm}\text{(unit: bit)}\hspace{0.05cm}.$$

Of course, entropy can also be calculated by ensemble averaging (over the symbol set).


If the sequence elements  $a_\nu$  are statistically independent of each other, the probabilities of occurrence  $p_{\nu\mu} = p_{\mu}$  are independent of  $\nu$  and we obtain in this special case for the entropy:

$$H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \ (1/p_{\mu})\hspace{0.05cm}.$$

If, on the other hand, there are statistical bonds between neighboring amplitude coefficients  $a_\nu$, the more complicated equation according to the above definition must be used for entropy calculation.

The maximum value of entropy is obtained whenever the  $M$  occurrence probabilities (of the statistically independent symbols) are all equal  $(p_{\mu} = 1/M)$:

$$H_{\rm max} = \sum_{\mu = 1}^M \hspace{0.1cm}\frac{1}{M} \cdot {\rm log_2} (M) = {\rm log_2} (M) \cdot \sum_{\mu = 1}^M \hspace{0.1cm} \frac{1}{M} = {\rm log_2} (M) \hspace{1cm}\text{(unit: bit)}\hspace{0.05cm}.$$

$\text{Definition:}$  Let  $H_{\rm max}$  be the decision content (or message content ) of the source and the quotient

$$r = \frac{H_{\rm max}-H}{H_{\rm max} }$$

as the relative redundancy. Since  $0 \le H \le H_{\rm max}$  always holds, the relative redundancy can take values between  $0$  and  $1$  (including these limits).


From the derivation of these descriptive quantities, it is obvious that a redundancy-free digital signal  $(r=0)$  must satisfy the following properties:

  • The amplitude coefficients  $a_\nu$  are statistically independent   ⇒   $p_{\nu\mu} = {\rm Pr}(a_\nu = a_\mu)$  is identical for all  $\nu$. 
  • The  $M$  possible coefficients  $a_\mu$  occur with equal probability  $p_\mu = 1/M$. 


$\text{Example 1:}$  If one analyzes a German text waiting for transmission on the basis of  $M = 32$  characters

$$\text{(a, ... , z, ä, ö, ü, ß, spaces, punctuation, no distinction between upper and lower case)},$$

the result is the decision content  $H_{\rm max} = 5 \ \rm bit/symbol$. Due to

  • the different frequencies (for example, "e" occurs significantly more often than "u") and
  • of statistical bindings (for example "q" is followed by the letter "u" much more often than "e")


according to  Karl Küpfmüller  the entropy of the German language is only  $H = 1.3 \ \rm bit/character$. This results in a relative redundancy of  $r \approx (5 - 1.3)/5 = 74\%$.

For English texts  Claude Shannon has given the entropy as  $H = 1 \ \rm bit/character$  and the relative redundancy as  $r \approx 80\%$.


Source coding – Channel coding – Transmission coding


Coding  is the conversion of the source symbol sequence  $\langle q_\nu \rangle$  with symbol range  $M_q$  into a code symbol sequence  $\langle c_\nu \rangle$  with symbol range  $M_c$. Usually, coding manipulates the redundancy contained in a digital signal. Often – but not always –  $M_q$  and  $M_c$  are different.

A distinction is made between different types of coding depending on the target direction:

  • The task of source coding is redundancy reduction for data compression, as applied for example in image coding. By exploiting statistical bonds between the individual points of an image or between the brightness values of a point at different times (in the case of moving image sequences), methods can be developed that lead to a noticeable reduction in the amount of data (measured in "bit" or "byte") while maintaining virtually the same (subjective) image quality. A simple example of this is differential pulse code modulation  (DPCM).


  • With channel coding, on the other hand, a noticeable improvement in the transmission behavior is achieved by using a redundancy specifically added at the transmitter to detect and correct transmission errors at the receiver end. Such codes, the most important of which are block codes, convolutional codes and turbo codes, are particularly important in the case of heavily disturbed channels. The greater the relative redundancy of the coded signal, the better the correction properties of the code, albeit at a reduced user data rate.


  • Transmission coding – often referred to as line coding  – is used to adapt the transmitted signal to the spectral characteristics of the transmission channel and receiving equipment by recoding the source symbols. For example, in the case of a channel with the frequency response characteristic  $H_{\rm K}(f=0) = 0$, over which consequently no DC signal can be transmitted, transmission coding must ensure that the code symbol sequence contains neither a long  $\rm L$ sequence nor a long  $\rm H$ sequence.


In the current book "Digital Signal Transmission" we deal exclusively with this last, transmission-technical aspect.

  •  Channel Coding  has its own book dedicated to it in our learning tutorial.
  • Source coding is covered in detail in the book Information Theory (main chapter 2).
  • Also  voice coding  described in the book "Examples of Communication Systems" is a special form of source coding.


System model and description variables


In the following we always assume the block diagram sketched below and the following agreements:

  • Let the digital source signal  $q(t)$  be binary  $(M_q = 2)$  and redundancy-free  $(H_q = 1 \ \rm bit/symbol)$.
  • With the symbol duration  $T_q$  results for the symbol rate of the source:
$$R_q = {H_{q}}/{T_q}= {1}/{T_q}\hspace{0.05cm}.$$
  • Because of  $M_q = 2$,  in the following we also refer to  $T_q$  as the bit duration and  $R_q$  as the bit rate.
  • For the comparison of transmission systems with different coding,  $T_q$  and  $R_q$  are always assumed to be constant.
    Note: In later chapters we use  $T_{\rm B}$  and  $R_{\rm B}$ for this purpose.
  • The encoder signal  $c(t)$  and also the transmitted signal  $s(t)$  after pulse shaping with  $g_s(t)$  have the step number  $M_c$, the symbol duration  $T_c$  and the symbol rate  $1/T_c$. The equivalent bit rate is
$$R_c = {{\rm log_2} (M_c)}/{T_c} \hspace{0.05cm}.$$
  • It is always  $R_c \ge R_q$, where the equal sign is valid only for the  redundancy-free codes  $(r_c = 0)$.  Otherwise, we obtain for the relative code redundancy:
$$r_c =({R_c - R_q})/{R_c} = 1 - R_q/{R_c} \hspace{0.05cm}.$$
Block diagram for the description of multilevel and coded transmission systems

Notes on nomenclature:

  • In the context of transmission codes,  $R_c$  in our learning tutorial always indicates the equivalent bit rate of the encoder signal has the unit "bit/s", as does the source bit rate  $R_q$. 
  • In the literature on channel coding, in particular,  $R_c$  is often used to denote the dimensionless code rate  $1 - r_c$ . $R_c = 1 $  then indicates a redundancy-free code, while  $R_c = 1/3 $  indicates a code with the relative redundancy  $r_c = 2/3 $. 


$\text{Example 2:}$  In the so-called 4B3T codes, four binary symbols  $(m_q = 4, \ M_q= 2)$  are each represented by three ternary symbols  $(m_c = 3, \ M_c= 3)$.  Because of  $4 \cdot T_q = 3 \cdot T_c$  holds:

$$R_q = {1}/{T_q}, \hspace{0.1cm} R_c = { {\rm log_2} (3)} \hspace{-0.05cm} /{T_c} = {3/4 \cdot {\rm log_2} (3)} \hspace{-0.05cm}/{T_q}\hspace{0.3cm}\Rightarrow \hspace{0.3cm}r_c =3/4\cdot {\rm log_2} (3) \hspace{-0.05cm}- \hspace{-0.05cm}1 \approx 15.9\, \% \hspace{0.05cm}.$$

More detailed information about the 4B3T codes can be found in the  chapter of the same name .



ACF calculation of a digital signal


To simplify the notation,  $M_c = M$  and  $T_c = T$  is set in the following. Thus, for the transmitted signal  $s(t)$  in the case of an unlimited-time message sequence with  $a_\nu \in \{ a_1,$ ... , $a_M\}$  can be written:

$$s(t) = \sum_{\nu = -\infty}^{+\infty} a_\nu \cdot g_s ( t - \nu \cdot T) \hspace{0.05cm}.$$

This signal representation includes both the source statistics $($amplitude coefficients  $a_\nu$)  and the transmitted pulse shape  $g_s(t)$. The diagram shows two binary bipolar transmitted signals  $s_{\rm G}(t)$  and  $s_{\rm R}(t)$  with the same amplitude coefficients  $a_\nu$, which thus differ only by the basic transmission pulse  $g_s(t)$. 

Two different binary bipolar transmitted signals

It can be seen from this representation that a digital signal is generally nonstationary:

  • For the transmitted signal  $s_{\rm G}(t)$  with narrow Gaussian pulses, the  non-stationarity  is obvious, since, for example, at multiples of  $T$  the variance is  $\sigma_s^2 = s_0^2$,  while exactly in between   $\sigma_s^2 \approx 0$  holds.


  • Auch das Signal  $s_{\rm R}(t)$  mit NRZ–rechteckförmigen Impulsen ist im strengen Sinne nichtstationär, da sich hier die Momente an den Bitgrenzen gegenüber allen anderen Zeitpunkten unterscheiden. Beispielsweise gilt  $s_{\rm R}(t = \pm T/2)=0$.


$\text{Definition:}$  Einen Zufallsprozess, dessen Momente  $m_k(t) = m_k(t+ \nu \cdot T)$  sich periodisch mit  $T$  wiederholen, bezeichnet man als zyklostationär;  $k$  und  $\nu$  besitzen bei dieser impliziten Definition ganzzahlige Zahlenwerte.


Viele der für  ergodische Prozesse  gültigen Regeln kann man mit nur geringen Einschränkungen auch auf zykloergodische  (und damit auf zyklostationäre ) Prozesse anwenden.

Insbesondere gilt für die  Autokorrelationsfunktion  (AKF) solcher Zufallsprozesse mit Mustersignal  $s(t)$:

$$\varphi_s(\tau) = {\rm E}\big [s(t) \cdot s(t + \tau)\big ] \hspace{0.05cm}.$$

Mit obiger Gleichung des Sendesignals kann die AKF als Zeitmittelwert auch wie folgt geschrieben werden:

$$\varphi_s(\tau) = \sum_{\lambda = -\infty}^{+\infty}\frac{1}{T} \cdot \lim_{N \to \infty} \frac{1}{2N +1} \cdot \sum_{\nu = -N}^{+N} a_\nu \cdot a_{\nu + \lambda} \cdot \int_{-\infty}^{+\infty} g_s ( t ) \cdot g_s ( t + \tau - \lambda \cdot T)\,{\rm d} t \hspace{0.05cm}.$$

Da die Grenzwert–, Integral– und Summenbildung miteinander vertauscht werden darf, kann mit den Substitutionen  $N = T_{\rm M}/(2T)$,  $\lambda = \kappa- \nu$  und  $t - \nu \cdot T \to T$  hierfür auch geschrieben werden:

$$\varphi_s(\tau) = \lim_{T_{\rm M} \to \infty}\frac{1}{T_{\rm M}} \cdot \int_{-T_{\rm M}/2}^{+T_{\rm M}/2} \sum_{\nu = -\infty}^{+\infty} \sum_{\kappa = -\infty}^{+\infty} a_\nu \cdot g_s ( t - \nu \cdot T ) \cdot a_\kappa \cdot g_s ( t + \tau - \kappa \cdot T ) \,{\rm d} t \hspace{0.05cm}.$$

Nun werden zur Abkürzung folgende Größen eingeführt:

$\text{Definition:}$  Die diskrete AKF der Amplitudenkoeffizienten liefert Aussagen über die linearen statistischen Bindungen der Amplitudenkoeffizienten  $a_{\nu}$  und  $a_{\nu + \lambda}$  und besitzt keine Einheit:

$$\varphi_a(\lambda) = \lim_{N \to \infty} \frac{1}{2N +1} \cdot \sum_{\nu = -\infty}^{+\infty} a_\nu \cdot a_{\nu + \lambda} \hspace{0.05cm}.$$


$\text{Definition:}$  Die Energie–AKF des Grundimpulses ist ähnlich definiert wie die allgemeine (Leistungs–)AKF. Sie wird mit einem Punkt gekennzeichnet. Da  $g_s(t)$  energiebegrenzt  ist, kann auf die Division durch  $T_{\rm M}$  und den Grenzübergang verzichtet werden:

$$\varphi^{^{\bullet} }_{gs}(\tau) = \int_{-\infty}^{+\infty} g_s ( t ) \cdot g_s ( t + \tau)\,{\rm d} t \hspace{0.05cm}.$$


$\text{Definition:}$  Für die Autokorrelationsfunktion eines Digitalsignals  $s(t)$  gilt allgemein:

$$\varphi_s(\tau) = \sum_{\lambda = -\infty}^{+\infty}{1}/{T} \cdot \varphi_a(\lambda)\cdot\varphi^{^{\bullet} }_{gs}(\tau - \lambda \cdot T)\hspace{0.05cm}.$$

Das Signal  $s(t)$  kann dabei binär oder mehrstufig, unipolar oder bipolar sowie redundanzfrei oder redundant (leitungscodiert) sein. Die Impulsform wird durch die Energie–AKF berücksichtigt.


Beschreibt das Digitalsignal  $s(t)$  einen Spannungsverlauf, so hat die Energie–AKF des Grundimpulses  $g_s(t)$  die Einheit  $\rm V^2s$  und  $\varphi_s(\tau)$  die Einheit  $\rm V^2$, jeweils bezogen auf den Widerstand  $1 \ \rm \Omega$.


Anmerkung:   Im strengen Sinne der Systemtheorie müsste man die AKF der Amplitudenkoeffizienten wie folgt definieren:

$$\varphi_{a , \hspace{0.08cm}\delta}(\tau) = \sum_{\lambda = -\infty}^{+\infty} \varphi_a(\lambda)\cdot \delta(\tau - \lambda \cdot T)\hspace{0.05cm}.$$

Damit würde sich die obige Gleichung wie folgt darstellen:

$$\varphi_s(\tau) ={1}/{T} \cdot \varphi_{a , \hspace{0.08cm} \delta}(\tau)\star \varphi^{^{\bullet}}_{gs}(\tau - \lambda \cdot T) = \sum_{\lambda = -\infty}^{+\infty}{1}/{T} \cdot \varphi_a(\lambda)\cdot \varphi^{^{\bullet}}_{gs}(\tau - \lambda \cdot T)\hspace{0.05cm}.$$

Zur einfacheren Darstellung wird im Folgenden die diskrete AKF der Amplitudenkoeffizienten   ⇒   $\varphi_a(\lambda)$  ohne diese Diracfunktionen geschrieben.


LDS–Berechnung eines Digitalsignals


Die Entsprechungsgröße zur Autokorrelationsfunktion (AKF) eines Zufallssignals   ⇒   $\varphi_s(\tau)$  ist im Frequenzbereich das Leistungsdichtespektrum  (LDS)   ⇒   ${\it \Phi}_s(f)$, das mit der AKF über das Fourierintegral in einem festen Bezug steht:

$$\varphi_s(\tau) \hspace{0.4cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet \hspace{0.4cm} {\it \Phi}_s(f) = \int_{-\infty}^{+\infty} \varphi_s(\tau) \cdot {\rm e}^{- {\rm j}\hspace{0.05cm} 2 \pi f \hspace{0.02cm} \tau} \,{\rm d} \tau \hspace{0.05cm}.$$

Berücksichtigt man den Zusammenhang zwischen Energie–AKF und Energiespektrum,

$$\varphi^{^{\hspace{0.05cm}\bullet}}_{gs}(\tau) \hspace{0.4cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet \hspace{0.4cm} {\it \Phi}^{^{\hspace{0.08cm}\bullet}}_{gs}(f) = |G_s(f)|^2 \hspace{0.05cm},$$

sowie den  Verschiebungssatz, so kann das Leistungsdichtespektrum des Digitalsignals  $s(t)$  in folgender Weise dargestellt werden:

$${\it \Phi}_s(f) = \sum_{\lambda = -\infty}^{+\infty}{1}/{T} \cdot \varphi_a(\lambda)\cdot {\it \Phi}^{^{\hspace{0.05cm}\bullet}}_{gs}(f) \cdot {\rm e}^{- {\rm j}\hspace{0.05cm} 2 \pi f \hspace{0.02cm} \lambda T} = {1}/{T} \cdot |G_s(f)|^2 \cdot \sum_{\lambda = -\infty}^{+\infty}\varphi_a(\lambda)\cdot \cos ( 2 \pi f \lambda T)\hspace{0.05cm}.$$

Hierbei ist berücksichtigt, dass  ${\it \Phi}_s(f)$  und  $|G_s(f)|^2$  reellwertig sind und gleichzeitig  $\varphi_a(-\lambda) =\varphi_a(+\lambda)$  gilt.

Definiert man nun die spektrale Leistungsdichte der Amplitudenkoeffizienten zu

$${\it \Phi}_a(f) = \sum_{\lambda = -\infty}^{+\infty}\varphi_a(\lambda)\cdot {\rm e}^{- {\rm j}\hspace{0.05cm} 2 \pi f \hspace{0.02cm} \lambda \hspace{0.02cm}T} = \varphi_a(0) + 2 \cdot \sum_{\lambda = 1}^{\infty}\varphi_a(\lambda)\cdot\cos ( 2 \pi f \lambda T) \hspace{0.05cm},$$

so erhält man den folgenden Ausdruck:

$${\it \Phi}_s(f) = {\it \Phi}_a(f) \cdot {1}/{T} \cdot |G_s(f)|^2 \hspace{0.05cm}.$$

$\text{Fazit:}$  Das Leistungsdichtespektrum  ${\it \Phi}_s(f)$  eines Digitalsignals  $s(t)$  kann als Produkt zweier Funktionen dargestellt werden::

  • Der erste Term  ${\it \Phi}_a(f)$  ist dimensionslos und beschreibt die spektrale Formung des Sendesignals durch die statistischen Bindungen der Quelle.
  • Dagegen berücksichtigt  $\vert G_s(f) \vert^2$  die spektrale Formung durch den Sendegrundimpuls  $g_s(t)$. Je schmaler dieser ist, desto breiter ist  $\vert G_s(f) \vert^2$  und um so größer ist damit der Bandbreitenbedarf.
  • Das Energiespektrum hat die Einheit  $\rm V^2s/Hz$  und das Leistungsdichtespektrum – aufgrund der Division durch den Symbolabstand  $T$  – die Einheit  $\rm V^2/Hz$. Beide Angaben gelten wieder nur für den Widerstand  $1 \ \rm \Omega$.


AKF und LDS bei bipolaren Binärsignalen


Die bisherigen Ergebnisse werden nun an Beispielen verdeutlicht. Ausgehend von binären bipolaren Amplitudenkoeffizienten  $a_\nu \in \{-1, +1\}$  erhält man, falls keine Bindungen zwischen den einzelnen Amplitudenkoeffizienten  $a_\nu$  bestehen:

$$\varphi_a(\lambda) = \left\{ \begin{array}{c} 1 \\ 0 \\ \end{array} \right.\quad \begin{array}{*{1}c} {\rm{f\ddot{u}r}}\\ {\rm{f\ddot{u}r}} \\ \end{array} \begin{array}{*{20}c}\lambda = 0, \\ \lambda \ne 0 \\ \end{array} \hspace{0.5cm}\Rightarrow \hspace{0.5cm}\varphi_s(\tau)= {1}/{T} \cdot \varphi^{^{\bullet}}_{gs}(\tau)\hspace{0.05cm}.$$

Die Grafik zeigt zwei Signalausschnitte jeweils mit Rechteckimpulsen  $g_s(t)$, die dementsprechend zu einer dreieckförmigen AKF und zu einem  $\rm si^2$–förmigen Leistungsdichtespektrum (LDS) führen.

Signalausschnitt, AKF und LDS bei binärer bipolarer Signalisierung
  • Die linken Bilder beschreiben eine NRZ–Signalisierung. Das heißt:   Die Breite  $T_{\rm S}$  des Grundimpulses ist gleich dem Abstand  $T$  zweier Sendeimpulse (Quellensymbole).
  • Dagegen gelten die rechten Bilder für einen RZ–Impuls mit dem Tastverhältnis  $T_{\rm S}/T = 0.5$.


Man erkennt aus diesen Darstellungen:

  • Bei NRZ–Rechteckimpulsen ergibt sich für die (auf den Widerstand  $1 \ \rm \Omega$  bezogene) Sendeleistung  $P_{\rm S} = \varphi_s(\tau = 0) = s_0^2$  und die dreieckförmige AKF ist auf den Bereich  $|\tau| \le T_{\rm S}= T$  beschränkt.


  • Das LDS  ${\it \Phi}_s(f)$  als die Fouriertransformierte von  $\varphi_s(\tau)$  ist  $\rm si^2$–förmig mit äquidistanten Nullstellen im Abstand  $1/T$. Die Fläche unter der LDS–Kurve ergibt wiederum die Sendeleistung  $P_{\rm S} = s_0^2$.


  • Im Fall der RZ–Signalisierung (rechte Rubrik) ist die dreieckförmige AKF gegenüber dem linken Bild in Höhe und Breite jeweils um den Faktor  $T_{\rm S}/T = 0.5$  kleiner.


$\text{Fazit:}$  Vergleicht man die beiden Leistungsdichtespektren (untere Bilder), so erkennt man für  $T_{\rm S}/T = 0.5$  (RZ–Impuls) gegenüber  $T_{\rm S}/T = 1$  (NRZ–Impuls) eine Verkleinerung in der Höhe um den Faktor  $4$  und eine Verbreiterung um den Faktor  $2$. Die Fläche (Leistung) ist somit halb so groß, da in der Hälfte der Zeit  $s(t) = 0$  gilt.


AKF und LDS bei unipolaren Binärsignalen


Wir gehen weiterhin von NRZ– bzw. RZ–Rechteckimpulsen aus. Die binären Amplitudenkoeffizienten seien aber nun unipolar:   $a_\nu \in \{0, 1\}$.
Dann gilt für die diskrete AKF der Amplitudenkoeffizienten:

$$\varphi_a(\lambda) = \left\{ \begin{array}{c} m_2 = 0.5 \\ \\ m_1^2 = 0.25 \\ \end{array} \right.\quad \begin{array}{*{1}c} {\rm{f\ddot{u}r}}\\ \\ {\rm{f\ddot{u}r}} \\ \end{array} \begin{array}{*{20}c}\lambda = 0, \\ \\ \lambda \ne 0 \hspace{0.05cm}.\\ \end{array}$$

Vorausgesetzt sind hier gleichwahrscheinliche Amplitudenkoeffizienten   ⇒   ${\rm Pr}(a_\nu =0) = {\rm Pr}(a_\nu =1) = 0.5$  ohne statistische Bindungen, so dass sowohl der  quadratische Mittelwert  $m_2$ (Leistung) als auch der  lineare Mittelwert  $m_1$  (Gleichanteil) jeweils  $0.5$  sind.

Die Grafik zeigt einen Signalausschnitt, die AKF und das LDS mit unipolaren Amplitudenkoeffizienten,

Signalausschnitt, AKF und LDS bei binärer unipolarer Signalisierung
  • links für rechteckförmige NRZ–Impulse  $(T_{\rm S}/T = 1)$ , und
  • rechts für RZ–Impulse mit dem Tastverhältnis  $T_{\rm S}/T = 0.5$.


Es gibt folgende Unterschiede gegenüber  bipolarer Signalisierung:

  • Durch die Addition der unendlich vielen Dreieckfunktionen im Abstand  $T$, alle mit gleicher Höhe, ergibt sich für die AKF in der linken Grafik (NRZ) ein konstanter Gleichanteil  $s_0^2/4$.
  • Daneben verbleibt im Bereich  $|\tau| \le T_{\rm S}$  ein einzelnes Dreieck ebenfalls mit Höhe  $s_0^2/4$, das im Leistungsdichtespektrum (LDS) zum  $\rm si^2$–förmigen Verlauf führt (blaue Kurve).
  • Der Gleichanteil in der AKF hat im LDS eine Diracfunktion bei der Frequenz  $f = 0$  mit dem Gewicht  $s_0^2/4$ zur Folge. Dadurch wird der LDS–Wert  ${\it \Phi}_s(f=0)$  unendlich groß.


Aus der rechten Grafik – gültig für  $T_{\rm S}/T = 0.5$ – erkennt man, dass sich nun die AKF aus einem periodischen Dreiecksverlauf (im mittleren Bereich gestrichelt eingezeichnet) und zusätzlich noch aus einem einmaligen Dreieck im Bereich  $|\tau| \le T_{\rm S} = T/2$  mit Höhe  $s_0^2/8$  zusammensetzt.

  • Diese einmalige Dreieckfunktion führt zum kontinuierlichen,  $\rm si^2$–förmigen Anteil (blaue Kurve) von  ${\it \Phi}_s(f)$  mit der ersten Nullstelle bei  $1/T_{\rm S} = 2/T$.
  • Dagegen führt die periodische Dreieckfunktion nach den Gesetzmäßigkeiten der   Fourierreihe  zu einer unendlichen Summe von Diracfunktionen mit unterschiedlichen Gewichten im Abstand  $1/T$  (rot gezeichnet).
  • Die Gewichte der Diracfunktionen sind proportional zum kontinuierlichen (blauen) LDS–Anteil. Das maximale Gewicht  $s_0^2/8$  besitzt die Diraclinie bei  $f = 0$. Dagegen sind die Diraclinien bei  $\pm 2/T$  und Vielfachen davon nicht vorhanden bzw. besitzen jeweils das Gewicht  $0$, da hier auch der kontinuierliche LDS–Anteil Nullstellen besitzt.


$\text{Hinweis:}$ 

  • Unipolare Amplitudenkoeffizienten treten zum Beispiel bei optischen Übertragungssystemen  auf.
  • In späteren Kapiteln beschränken wir uns aber meist auf die bipolare Signalisierung.


Aufgaben zum Kapitel


Aufgabe 2.1: AKF und LDS nach Codierung

Aufgabe 2.1Z: Zur äquivalenten Bitrate

Aufgabe: 2.2 Binäre bipolare Rechtecke