LNTwww - User contributions [en]

Channel Coding/Channel Models and Decision Structures

2021-02-22T12:14:19Z

Oezdemir:

{{Header
|Untermenü=Binäre Blockcodes zur Kanalcodierung
|Vorherige Seite=Zielsetzung der Kanalcodierung
|Nächste Seite=Beispiele binärer Blockcodes
}}

== AWGN–Channel At Binary Input ==
 
We consider the well-known time-discrete  [[Modulationsverfahren/Qualit%C3%A4tskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell| AWGN Channel model]]  according to the lower left graph:
*The binary and discrete-time message signal  $x$  takes the values  $0$  and  $1$  with equal probability; that is, it is  ${\rm Pr}(x = 0) = {\rm Pr}(\tilde{x} =+1) = 1/2$  and  ${\rm Pr}(x = 1) = {\rm Pr}(\tilde{x} =-1) = 1/2$. 

*Transmission is affected by  [[Digitalsignalübertragung/Systemkomponenten_eines_Basisbandübertragungssystems#.C3.9Cbertragungskanal_und_St.C3.B6rungen| additive white gaussian noise]]  (AWGN)  $n$  with the (normalised) noise power  $\sigma^2 = N_0/E_{\rm B}$ . The dispersion of the Gaussian–WDF is  $\sigma$. 

*Because of the Gaussian WDF, the output signal  $y = \tilde{x} +n$  can take on any real value in the range  $-\infty$  to  $+\infty$ . The signal value  $y$  is therefore discrete in time like  $x$   $($bzw. $\tilde{x})$  but in contrast to the latter it is continuous in value. 

[[File:P ID2340 KC T 1 2 S1 v2.png|right|frame|PDF of the AWGN Channel|class=fit]]

The graph on the right shows (in blue and red respectively) the conditional probability density functions:

::<math>f_{y \hspace{0.03cm}| \hspace{0.03cm}x=0 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=0 )\hspace{-0.1cm} = \hspace{-0.1cm}
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot {\rm e}^{ - (y-1)^2/(2\sigma^2) }\hspace{0.05cm},</math>
::<math>f_{y \hspace{0.03cm}| \hspace{0.03cm}x=1 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=1 )\hspace{-0.1cm} = \hspace{-0.1cm}
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot {\rm e}^{ - (y+1)^2/(2\sigma^2) }\hspace{0.05cm}.</math>

Not shown is the total (unconditional) WDF, for which applies in the case of equally probable symbols:

::<math>f_y(y) = {1}/{2} \cdot \left [ f_{y \hspace{0.03cm}| \hspace{0.03cm}x=0 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=0 ) +
f_{y \hspace{0.03cm}| \hspace{0.03cm}x=1 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=1 )\right ]\hspace{0.05cm}.</math>

The two shaded areas  $($each  $\varepsilon)$  mark decision errors under the condition  $x=0$   ⇒   $\tilde{x} = +1$  (blue)   and respectively $x=1$   ⇒   $\tilde{x} = -1$  (red) when hard decisions are made:

::<math>z = \left\{ \begin{array}{c} 0\\
1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm if} \hspace{0.15cm} y > 0\hspace{0.05cm},\\
{\rm if} \hspace{0.15cm}y < 0\hspace{0.05cm}.\\ \end{array}</math>

For equally probable input symbols, the mean bit error probability  ${\rm Pr}(z \ne x)$  is then also equal  $\varepsilon$. With the  [[Theory_of_Stochastic_Signals/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|complementary gaussian error integral]]  ${\rm Q}(x)$ the following holds:

::<math>\varepsilon = {\rm Q}(1/\sigma) = {\rm Q}(\sqrt{\rho}) =
\frac {1}{\sqrt{2\pi} } \cdot \int_{\sqrt{\rho}}^{\infty}{\rm e}^{- \alpha^2/2} \hspace{0.1cm}{\rm d}\alpha
\hspace{0.05cm}.</math>

where  $\rho = 1/\sigma^2 = 2 \cdot E_{\rm S}/N_0$  denotes the signal–to–noise ratio (SNR) before the decision maker, using the following system quantities:
*$E_{\rm S}$  is the signal energy per symbol (without coding equal  $E_{\rm B}$, thus equal to the signal energy per bit), 

*$N_0$  denotes the constant (one-sided) noise power density of the AWGN–channel. 

''Notes'': The presented facts are clarified with the interactive applet  [[Applets:FehlerwahrscheinlichkeitS|Symbol error probability of digital systems]]
== Binary Symmetric Channel – BSC ==
 
The AWGN–channel model is not a digital channel model as we have presupposed in the paragraph  [[Channel_Coding/Zielsetzung_der_Kanalcodierung#Blockschaltbild_und_Voraussetzungen|block diagram and prerequisities]]  for the introductory description of channel coding methods. However, if we take into account a hard decision, we arrive at the digital model  Binary Symmetric Channel  (BSC): 

[[File:P ID2341 KC T 1 2 S2 v2.png|center|frame|BSC–Model und Relation with The AWGN Model|class=fit]]

Choosing the falsification probabilities  ${\rm Pr}(y = 1\hspace{0.05cm}|\hspace{0.05cm} x=0)$  respectively,  ${\rm Pr}(y = 0\hspace{0.05cm}|\hspace{0.05cm} x=1)$  respectively to be

::<math>\varepsilon = {\rm Q}(\sqrt{\rho})\hspace{0.05cm},</math>

then the connection to the  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang |AWGN–Kanalmodell]]    is established. The decision boundary is at  $G = 0$, which also gives rise to the property &bdquo;symmetrical”. 

Hinweis:  Beim AWGN–Modell haben wir die binäre Ausgangsgröße (nach Schwellenwertentscheidung) mit  $z \in \{0, \hspace{0.05cm}1\}$  bezeichnet. Bei den digitalen Kanalmodellen (BSC, BEC, BSEC) bezeichnen wir nun den wertdiskreten Ausgang wieder mit  $y$. Um Verwechslungen zu vermeiden, nennen wir das Ausgangssignal des AWGN–Modells nun  $y_{\rm A}$. Für das analoge Empfangssignal gilt dann  $y_{\rm A} = \tilde{x} +n$. 

Das BSC–Modell liefert eine statistisch unabhängige Fehlerfolge und eignet sich somit zur Modellierung gedächtnisloser rückkopplungsfreier Kanäle, die in diesem Buch ausnahmslos betrachtet werden. 

Zur Beschreibung gedächtnisbehafteter Kanäle müssen andere Modelle herangezogen werden, die im fünften Hauptkapitel des Buches &bdquo;Digitalsignalübertragung” behandelt werden, zum Beispiel Bündelfehlerkanäle nach
*dem  [[Digitalsignalübertragung/Bündelfehlerkanäle#Kanalmodell_nach_Gilbert.E2.80.93Elliott| Gilbert–Elliott–Modell]], 

*dem  [[Digitalsignalübertragung/Bündelfehlerkanäle#Kanalmodell_nach_McCullough| McCullough–Modell]]. 

[[File:P ID2342 KC T 1 2 S2b.png|right|frame|Statistisch unabhängige Fehler (links) und Bündelfehler (rechts) |class=fit]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$  Die Abbildung zeigt
*statistisch unabhängige Fehler nach dem BSC–Modell (links), und
*so genannte Bündelfehler gemäß Gilbert–Elliott (rechts).

Die Bitfehlerrate beträgt in beiden Fällen  $10\%$. Aus der rechten Grafik ist anhand der Bündelstörungen zu erkennen, dass das Bild zeilenweise übertragen wurde.}} 

== Binary Erasure Channel – BEC ==
 
Das BSC–Modell liefert nur die Aussagen &bdquo;richtig” und &bdquo;falsch”. Manche Empfänger – so zum Beispiel die so genannten  [[Channel_Coding/Soft%E2%80%93in_Soft%E2%80%93out_Decoder#Hard_Decision_vs._Soft_Decision|Soft–in Soft–out Decoder]]  – können jedoch auch gewisse Informationen über die Sicherheit der Entscheidung liefern, wobei sie natürlich darüber informiert werden müssen, welche ihrer Eingangswerte sicher sind und welche eher unsicher. 

[[File:P ID2343 KC T 1 2 S3 v2.png|center|frame|Binary Erasure Channel (BEC) und Zusammenhang mit dem AWGN–Modell|class=fit]]
Der  Binary Erasure Channel  (BEC) liefert eine solche Information. Anhand der Grafik erkennt man:
*Das Eingangsalphabet des BEC–Kanalmodells ist binär   ⇒   $x ∈ \{0, \hspace{0.05cm}1\}$ und das Ausgangsalphabet ternär   ⇒   $y ∈ \{0, \hspace{0.05cm}1, \hspace{0.05cm}\rm E\}$. Ein  $\rm E$  kennzeichnet eine unsichere Entscheidung. Dieses neue &bdquo;Symbol” steht für Erasure, zu deutsch:  Auslöschung.

*Bitfehler werden durch das BEC–Modell per se ausgeschlossen. Eine unsichere Entscheidung  $\rm (E)$  wird mit der Wahrscheinlichkeit $\lambda$ getroffen, während die Wahrscheinlichkeit für eine richtige (und gleichzeitig sichere) Entscheidung  $1-\lambda$  beträgt.

*Rechts oben ist der Zusammenhang zwischen BEC– und AWGN–Kanalmodell dargestellt, wobei das Erasure–Entscheidungsgebiet  $\rm (E)$  grau hinterlegt ist. Im Gegensatz zum BSC–Modell gibt es nun zwei Entscheidungsgrenzen  $G_0 = G$  und  $G_1 = -G$. Es gilt:

::<math>\lambda = {\rm Q}\big[\sqrt{\rho} \cdot (1 - G)\big]\hspace{0.05cm}.</math>

Wir weisen hier nochmals auf die folgenden Applets hin:
*[[Applets:Fehlerwahrscheinlichkeit|Symbolfehlerwahrscheinlichkeit von Digitalsystemen]],
*[[Applets:Komplementäre_Gaußsche_Fehlerfunktionen|Komplementäre Gaußsche Fehlerfunktion]].

== Binary Symmetric Error & Erasure Channel – BSEC ==
 
Das BEC–Modell  $($Fehlerwahrscheinlichkeit $0)$  ist eher unrealistisch und nur eine Näherung für ein extrem großes Signal–zu–Rausch–Leistungsverhältnis (kurz SNR)  $\rho$.

Stärkere Störungen   ⇒   ein kleineres  $\rho$  sollten besser durch den  Binary Symmetric Error & Erasure Channel  (BSEC) mit den zwei Parametern
*Verfälschungswahrscheinlichkeit   $\varepsilon = {\rm Pr}(y = 1\hspace{0.05cm}|\hspace{0.05cm} x=0)= {\rm Pr}(y = 0\hspace{0.05cm}|\hspace{0.05cm} x=1)$, 

*Erasure–Wahrscheinlichkeit   $\lambda = {\rm Pr}(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm} x=0)= {\rm Pr}(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm} x=1)$

modelliert werden. Wie beim BEC–Modell gilt auch hier  $x ∈ \{0, \hspace{0.05cm}1\}$  und  $y ∈ \{0, \hspace{0.05cm}1, \hspace{0.05cm}\rm E\}$. 

[[File:KC_T_1_2_S4_version2.png|center|frame|Binary Symmetric Error & Erasure Channel (BSEC) & Zusammenhang mit dem AWGN–Modell|class=fit]]

{{GraueBox|TEXT=
$\text{Beispiel 2:}$  Wir betrachten das BSEC–Modell mit den beiden Entscheidungsgeraden  $G_0 = G = 0.5$  und  $G_1 = -G = -0.5$, dessen Parameter  $\varepsilon$  und  $\lambda$  durch das SNR  $\rho=1/\sigma^2$  des vergleichbaren AWGN–Kanals festgelegt sind. Dann gilt
*für  $\sigma = 0.5$   ⇒   $\rho = 4$:
::<math>\varepsilon = {\rm Q}\big[\sqrt{\rho} \cdot (1 + G)\big] = {\rm Q}(3) \approx 0.14\%\hspace{0.05cm},\hspace{0.6cm}
{\it \lambda} = {\rm Q}\big[\sqrt{\rho} \cdot (1 - G)\big] - \varepsilon = {\rm Q}(1) - {\rm Q}(3) \approx 15.87\% - 0.14\% = 15.73\%\hspace{0.05cm},</math>

*für  $\sigma = 0.25$   ⇒   $\rho = 16$:

::<math>\varepsilon = {\rm Q}(6) \approx 10^{-10}\hspace{0.05cm},\hspace{0.6cm}
{\it \lambda} = {\rm Q}(2) \approx 2.27\%\hspace{0.05cm}.</math>

Für die rechts dargestellte WDF wurde  $\rho = 4$  vorausgesetzt. Für  $\rho = 16$  könnte das BSEC–Modell durch die einfachere BEC–Variante ersetzt werden, ohne dass es zu gravierenden Unterschieden kommt.}} 

== Maximum-a-posteriori– und Maximum-Likelihood–Kriterium ==
 
Wir gehen nun von dem nachfolgend skizzierten Modell aus und wenden die bereits im Kapitel  [[Digitalsignal%C3%BCbertragung/Struktur_des_optimalen_Empf%C3%A4ngers| Struktur des optimalen Empfängers]]  des Buches &bdquo;Digitalsignalübertragung” genannten Entscheidungskriterien auf den Decodiervorgang an. 

[[File:P ID2345 KC T 1 2 S5 v2.png|center|frame|Modell zur Beschreibung von MAP– und ML–Decodierung|class=fit]]

Aufgabe des Kanaldecodierers  (oder Kanaldecoders) ist es, den Vektor  $\underline{v}$  so zu bestimmen, dass dieser &bdquo;möglichst gut” mit dem Informationswort  $\underline{u}$  übereinstimmt.

{{BlaueBox|TEXT=
$\text{Etwas genauer formuliert:}$ 
*Es soll die  '''Blockfehlerwahrscheinlichkeit'''  ${\rm Pr(Blockfehler)} = {\rm Pr}(\underline{v} \ne \underline{u}) $  bezogen auf die Vektoren  $\underline{u}$  und  $\underline{v}$  der Länge  $k$  möglichst gering sein.

*Aufgrund der eindeutigen Zuordnung  $\underline{x} = {\rm enc}(\underline{u})$  durch den Kanalcoder bzw. empfängerseitig  $\underline{v} = {\rm enc}^{-1}(\underline{z})$  gilt in gleicher Weise:

::<math>{\rm Pr(Blockfehler)} = {\rm Pr}(\underline{z} \ne \underline{x})\hspace{0.05cm}. </math>}}

Der Kanaldecoder in obigem Modell besteht aus zwei Teilen:
*Der  Codewortschätzer  ermittelt aus dem Empfangsvektor  $\underline{y}$  einen Schätzwert  $\underline{z} \in \mathcal{C}$  gemäß einem vorgegebenen Kriterium. 

*Aus dem (empfangenen) Codewort  $\underline{z}$  wird das Informationswort  $\underline{v}$  durch  einfaches Mapping  ermittelt. Dieses sollte mit  $\underline{u}$  übereinstimmen. 

Für den Codewortschätzer gibt es insgesamt vier unterschiedliche Varianten, nämlich
*den Maximum–a–posteriori–Empfänger (MAP–Empfänger) für das gesamte Codewort  $\underline{x}$, 

*den Maximum–a–posteriori–Empfänger (MAP–Empfänger) für die einzelnen Codebits  $x_i$, 

*den Maximum–Likelihood–Empfänger (ML–Empfänger) für das gesamte Codewort  $\underline{x}$, 

*den Maximum–Likelihood–Empfänger (ML–Empfänger) für die einzelnen Codebits  $x_i$. 

Deren Definitionen folgen auf der nächsten Seite. Vorab aber gleich das wesentliche Unterscheidungsmerkmal zwischen MAP und ML:

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Ein MAP–Empfänger berücksichtigt im Gegensatz zum ML–Empfänger auch unterschiedliche Auftrittswahrscheinlichkeiten für das gesamte Codewort bzw. für deren einzelne Bits. 

*Sind alle Codeworte  $\underline{x}$  und damit auch alle Bits  $x_i$  der Codeworte gleichwahrscheinlich, so ist der einfachere ML–Empfänger äquivalent zum entsprechenden MAP–Empfänger.}} 

== Definitionen der verschiedenen Optimalempfänger ==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–a–posteriori–Empfänger auf Blockebene'''  – kurz:  block–wise MAP – entscheidet sich unter den  $2^k$  Codeworten  $\underline{x}_i \in \mathcal{C}$  für das Codewort mit der größten Rückschlusswahrscheinlichkeit (englisch:   a–posteriori probability, APP):

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.03cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm} {\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \vert\hspace{0.05cm} \underline{y} ) \hspace{0.05cm}.</math>

${\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm}\vert \hspace{0.05cm} \underline{y} )$  ist die  [[Theory_of_Stochastic_Signals/Statistische_Abh%C3%A4ngigkeit_und_Unabh%C3%A4ngigkeit#Bedingte_Wahrscheinlichkeit| bedingte Wahrscheinlichkeit]], dass  $\underline{x}_i$  gesendet wurde, wenn  $\underline{y}$  empfangen wird.}} 

Wir versuchen nun, diese Entscheidungsregel schrittweise zu vereinfachen. Die Rückschlusswahrscheinlichkeit kann nach dem &bdquo;Satz von Bayes” wie folgt umgeformt werden:

::<math>{\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm}\vert \hspace{0.05cm} \underline{y} ) =
\frac{{\rm Pr}( \underline{y} \hspace{0.08cm} |\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) \cdot {\rm Pr}( \underline{x}_{\hspace{0.03cm}i} )}{{\rm Pr}( \underline{y} )} \hspace{0.05cm}.</math>

Die Wahrscheinlichkeit  ${\rm Pr}( \underline{y}) $  ist unabhängig von  $\underline{x}_i$  und muss bei der Maximierung nicht berücksichtigt werden. Sind zudem alle  $2^k$  Informationsworte  $\underline{u}_i$  gleichwahrscheinlich, so kann man bei der Maximierung auch auf den Beitrag  ${\rm Pr}( \underline{x}_{\hspace{0.03cm}i} ) = 2^{-k}$  im Zähler verzichten. 

{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–Likelihood–Empfänger auf Blockebene'''  – kurz:  '''block–wise ML'''  – entscheidet sich unter den  $2^k$  zulässigen Codeworten  $\underline{x}_i \in \mathcal{C}$  für das Codewort mit der größten Übergangswahrscheinlichkeit:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm} {\rm Pr}( \underline{y} \hspace{0.05cm}\vert\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) \hspace{0.05cm}.</math>

Die bedingte Wahrscheinlichkeit  ${\rm Pr}( \underline{y} \hspace{0.05cm}\vert\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} )$  ist nun in Vorwärtsrichtung zu verstehen, nämlich als die Wahrscheinlichkeit, dass der Vektor  $\underline{y}$  empfangen wird, wenn das Codewort  $\underline{x}_i$  gesendet wurde. 

Im Folgenden verwenden wir auf Blockebene stets den Maximum–Likelihood–Empfänger. Aufgrund der vorausgesetzten gleichwahrscheinlichen Informationsworte liefert auch dieser stets die bestmögliche Entscheidung.}} 

Anders sieht es jedoch auf Bitebene aus. Ziel einer iterativen Decodierung ist es gerade, für alle Codebits  $x_i \in \{0, 1\}$  Wahrscheinlichkeiten zu schätzen und diese an die nächste Stufe weiterzugeben. Hierzu benötigt man einen MAP–Empfänger. 

{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–a–posteriori–Empfänger auf Bitebene'''  (kurz:  '''bit–wise MAP''') wählt für jedes einzelne Codebit  $x_i$  den Wert  $(0$ oder $1)$  mit der größten Rückschlusswahrscheinlichkeit  ${\rm Pr}( {x}_{\hspace{0.03cm}i}\vert \hspace{0.05cm} \underline{y} )$  aus:

::<math>\underline{z} = {\rm arg}\hspace{-0.1cm}{ \max_{ {x}_{\hspace{0.03cm}i} \hspace{0.03cm} \in \hspace{0.05cm} \{0, 1\} } \hspace{0.03cm} {\rm Pr}( {x}_{\hspace{0.03cm}i}\vert \hspace{0.05cm} \underline{y} ) \hspace{0.05cm} }.</math>}} 

== Maximum-Likelihood–Entscheidung beim BSC–Kanal ==
 
Wir wenden nun das Maximum–Likelihood–Kriterium auf den gedächtnislosen  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanal]]  an. Dann gilt:
::<math>{\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) =
\prod\limits_{l=1}^{n} {\rm Pr}( y_l \hspace{0.05cm}|\hspace{0.05cm} x_l ) \hspace{0.2cm}{\rm mit}\hspace{0.2cm}
{\rm Pr}( y_l \hspace{0.05cm}|\hspace{0.05cm} x_l ) =
\left\{ \begin{array}{c} 1 - \varepsilon\\
\varepsilon \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} y_l = x_l \hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}y_l \ne x_l\hspace{0.05cm}.\\ \end{array}
\hspace{0.05cm}.</math>
::<math>\Rightarrow \hspace{0.3cm} {\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) =
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Beweis:}$  Dieses Ergebnis lässt sich wie folgt begründen:
*Die  [[Channel_Coding/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Distanz]]  $d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  gibt die Anzahl der Bitpositionen an, in denen sich die Worte  $\underline{y}$  und  $\underline{x}_{\hspace{0.03cm}i}$  mit jeweils  $n$  binären Elementen unterscheiden. Beispiel:   Die Hamming–Distanz zwischen  $\underline{y}= (0, 1, 0, 1, 0, 1, 1)$  und  $\underline{x}_{\hspace{0.03cm}i} = (0, 1, 0, 0, 1, 1, 1)$  ist  $2$. 

*In  $n - d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  Positionen unterscheiden sich demnach die beiden Vektoren  $\underline{y}$  und  $\underline{x}_{\hspace{0.03cm}i}$  nicht. Im obigen Beispiel sind fünf der  $n = 7$  Bit identisch.
*Zu obiger Gleichung kommt man schließlich durch Einsetzen der Verfälschungswahrscheinlichkeit  $\varepsilon$  bzw. deren Ergänzung  $1-\varepsilon$.}} 

Die Vorgehensweise bei der Maximum–Likelihood–Detektion ist, dasjenige Codewort  $\underline{x}_{\hspace{0.03cm}i}$  zu finden, das die Übergangswahrscheinlichkeit  ${\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} )$  maximiert:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
\left [
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\right ] \hspace{0.05cm}.</math>

Da der Logarithmus eine monoton steigende Funktion ist, erhält man das gleiche Ergebnis nach folgender Maximierung:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
L(\underline{x}_{\hspace{0.03cm}i})\hspace{0.5cm} {\rm mit}\hspace{0.5cm} L(\underline{x}_{\hspace{0.03cm}i}) = \ln \left [
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\right ] </math>
::<math> \Rightarrow \hspace{0.3cm} L(\underline{x}_{\hspace{0.03cm}i}) = d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i}) \cdot \ln
\hspace{0.05cm} \varepsilon + \big [n -d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\big ] \cdot \ln
\hspace{0.05cm} (1- \varepsilon) = \ln \frac{\varepsilon}{1-\varepsilon} \cdot d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i}) + n \cdot \ln
\hspace{0.05cm} (1- \varepsilon)
\hspace{0.05cm}.</math>

Hierbei ist zu berücksichtigen:
*Der zweite Term dieser Gleichung ist unabhängig von  $\underline{x}_{\hspace{0.03cm}i}$  und muss für die Maximierung nicht weiter betrachtet werden.
*Auch der Faktor vor der Hamming–Distanz ist für alle  $\underline{x}_{\hspace{0.03cm}i}$  gleich.
*Da  $\ln \, {\varepsilon}/(1-\varepsilon)$  negativ ist (zumindest für  $\varepsilon <0.5$, was ohne große Einschränkung vorausgestzt werden kann), wird aus der Maximierung eine Minimierung, und man erhält folgendes Endergebnis: 

{{BlaueBox|TEXT=
$\text{Maximum–Likelihood-Entscheidung beim BSC-Kanal:}$ 

Wähle von den  $2^k$  zulässigen Codeworten  $\underline{x}_{\hspace{0.03cm}i}$  dasjenige mit der geringsten Hamming–Distanz  $d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  zum Empfangsvektor  $\underline{y}$  aus:

::<math>\underline{z} = {\rm arg} \min_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm}
d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\hspace{0.05cm}, \hspace{0.2cm}
\underline{y} \in {\rm GF}(2^n) \hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>}}

Anwendungen der ML/BSC–Entscheidung finden Sie auf den folgenden Seiten:
*[[Channel_Coding/Beispiele_bin%C3%A4rer_Blockcodes#Single_Parity.E2.80.93check_Codes|Single Parity–check Code]]  (SPC) 

*[[Channel_Coding/Beispiele_binärer_Blockcodes#Wiederholungscodes|Wiederholungscode]]  (englisch:   Repetition Code, RC). 

== Maximum-Likelihood–Entscheidung beim AWGN–Kanal ==
 
Das AWGN–Modell für einen  $(n, k)$–Blockcode unterscheidet sich vom  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| Modell]]  auf der ersten Kapitelseite dadurch, dass für  $x$,  $\tilde{x}$  und  $y$  nun die entsprechenden Vektoren  $\underline{x}$,  $\underline{\tilde{x}}$  und  $\underline{y}$  verwendet werden müssen, jeweils bestehend aus  $n$  Elementen.

Die Schritte zur Herleitung des Maximum–Likelihood–Entscheiders bei AWGN werden nachfolgend nur stichpunktartig angegeben:
*Der AWGN–Kanal ist per se gedächtnislos (hierfür steht das &bdquo;White” im Namen). Für die bedingte Wahrscheinlichkeitsdichtefunktion kann somit geschrieben werden:

::<math>f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}} ) =
\prod\limits_{l=1}^{n} f( y_l \hspace{0.05cm}|\hspace{0.05cm} \tilde{x}_l )
\hspace{0.05cm}.</math>

*Die bedingte WDF ist für jedes einzelne Codeelement  $(l = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, n)$  ''gaußisch''. Damit genügt auch die gesamte WDF einer (eindimensionalen) Gaußverteilung:

::<math>f({y_l \hspace{0.03cm}| \hspace{0.03cm}\tilde{x}_l }) =
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot \exp \left [ - \frac {(y_l - \tilde{x}_l)^2}{2\sigma^2} \right ]\hspace{0.3cm}
\Rightarrow \hspace{0.3cm} f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}} ) =
\frac {1}{(2\pi)^{n/2} \cdot \sigma^n } \cdot \exp \left [ - \frac {1}{2\sigma^2} \cdot
\sum_{l=1}^{n} \hspace{0.2cm}(y_l - \tilde{x}_l)^2
\right ] \hspace{0.05cm}.</math>

*Da  $\underline{y}$  nun nicht mehr wie beim BSC–Modell wertdiskret ist, sondern wertkontinuierlich, müssen jetzt nach der ML–Entscheidungsregel  Wahrscheinlichkeitsdichten  untersucht werden und nicht mehr Wahrscheinlichkeiten. Das optimale Ergebnis lautet:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}}_i )\hspace{0.05cm}, \hspace{0.5cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>

*In der Algebra bezeichnet man den Abstand zweier Punkte  $\underline{y}$  und  $\underline{\tilde{x}}$  im  $n$–dimensionalen Raum als die  [https://de.wikipedia.org/wiki/Euklidischer_Abstand Euklidische Distanz], benannt nach dem griechischen Mathematiker  [https://de.wikipedia.org/wiki/Euklid Euklid], der im dritten Jahrhundert vor Christus lebte:

::<math>d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{\tilde{x}}) =
\sqrt{\sum_{l=1}^{n} \hspace{0.2cm}(y_l - \tilde{x}_l)^2}\hspace{0.05cm},\hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in \mathcal{C}
\hspace{0.05cm}.</math>

*Damit lautet die ML–Entscheidungsregel beim AWGN–Kanal für einen jeden Blockcode unter Berücksichtigung der Tatsache, dass der erste Faktor der WDF  $f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}_i} )$  konstant ist:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
\exp \left [ - \frac {d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{\tilde{x}}_i)}{2\sigma^2}
\right ]\hspace{0.05cm}, \hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>

Nach einigen weiteren Zwischenschritten kommt man zum Ergebnis: 

{{BlaueBox|TEXT=
$\text{Maximum–Likelihood-Entscheidung beim AWGN-Kanal:}$ 

Wähle von den  $2^k$  zulässigen Codeworten  $\underline{x}_{\hspace{0.03cm}i}$  dasjenige mit der kleinsten Euklidischen Distanz  $d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  zum Empfangsvektor  $\underline{y}$  aus:

::<math>\underline{z} = {\rm arg} \min_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm}
d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\hspace{0.05cm}, \hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Aufgabe_1.3:_Kanalmodelle_BSC–BEC–BSEC–AWGN|Aufgabe 1.3: Kanalmodelle BSC–BEC–BSEC–AWGN]]

[[Aufgaben:1.4 Maximum–Likelihood–Entscheidung|Aufgabe 1.4: Maximum–Likelihood–Entscheidung]]

{{Display}}

Channel Coding/Channel Models and Decision Structures

2021-02-22T12:08:53Z

Oezdemir:

{{Header
|Untermenü=Binäre Blockcodes zur Kanalcodierung
|Vorherige Seite=Zielsetzung der Kanalcodierung
|Nächste Seite=Beispiele binärer Blockcodes
}}

== AWGN–Channel At Binary Input ==
 
We consider the well-known time-discrete  [[Modulationsverfahren/Qualit%C3%A4tskriterien#Einige_Anmerkungen_zum_AWGN.E2.80.93Kanalmodell| AWGN Channel model]]  according to the lower left graph:
*The binary and discrete-time message signal  $x$  takes the values  $0$  and  $1$  with equal probability; that is, it is  ${\rm Pr}(x = 0) = {\rm Pr}(\tilde{x} =+1) = 1/2$  and  ${\rm Pr}(x = 1) = {\rm Pr}(\tilde{x} =-1) = 1/2$. 

*Transmission is affected by  [[Digitalsignalübertragung/Systemkomponenten_eines_Basisbandübertragungssystems#.C3.9Cbertragungskanal_und_St.C3.B6rungen| additive white gaussian noise]]  (AWGN)  $n$  with the (normalised) noise power  $\sigma^2 = N_0/E_{\rm B}$ . The dispersion of the Gaussian–WDF is  $\sigma$. 

*Because of the Gaussian WDF, the output signal  $y = \tilde{x} +n$  can take on any real value in the range  $-\infty$  to  $+\infty$ . The signal value  $y$  is therefore discrete in time like  $x$   $($bzw. $\tilde{x})$  but in contrast to the latter it is continuous in value. 

[[File:P ID2340 KC T 1 2 S1 v2.png|right|frame|PDF of the AWGN Channel|class=fit]]

The graph on the right shows (in blue and red respectively) the conditional probability density functions:

::<math>f_{y \hspace{0.03cm}| \hspace{0.03cm}x=0 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=0 )\hspace{-0.1cm} = \hspace{-0.1cm}
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot {\rm e}^{ - (y-1)^2/(2\sigma^2) }\hspace{0.05cm},</math>
::<math>f_{y \hspace{0.03cm}| \hspace{0.03cm}x=1 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=1 )\hspace{-0.1cm} = \hspace{-0.1cm}
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot {\rm e}^{ - (y+1)^2/(2\sigma^2) }\hspace{0.05cm}.</math>

Not shown is the total (unconditional) WDF, for which applies in the case of equally probable symbols:

::<math>f_y(y) = {1}/{2} \cdot \left [ f_{y \hspace{0.03cm}| \hspace{0.03cm}x=0 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=0 ) +
f_{y \hspace{0.03cm}| \hspace{0.03cm}x=1 } \hspace{0.05cm} (y \hspace{0.05cm}| \hspace{0.05cm}x=1 )\right ]\hspace{0.05cm}.</math>

The two shaded areas  $($each  $\varepsilon)$  mark decision errors under the condition  $x=0$   ⇒   $\tilde{x} = +1$  (blue)   respectively. $x=1$   ⇒   $\tilde{x} = -1$  (red) when hard decisions are made:

::<math>z = \left\{ \begin{array}{c} 0\\
1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} y > 0\hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}y < 0\hspace{0.05cm}.\\ \end{array}</math>

Bei gleichwahrscheinlichen Eingangssymbolen ist dann die mittlere Bitfehlerwahrscheinlichkeit  ${\rm Pr}(z \ne x)$  ebenfalls gleich  $\varepsilon$. Mit dem  [[Theory_of_Stochastic_Signals/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|komplementären Gaußschen Fehlerintergral]]  ${\rm Q}(x)$ gilt dabei:

::<math>\varepsilon = {\rm Q}(1/\sigma) = {\rm Q}(\sqrt{\rho}) =
\frac {1}{\sqrt{2\pi} } \cdot \int_{\sqrt{\rho}}^{\infty}{\rm e}^{- \alpha^2/2} \hspace{0.1cm}{\rm d}\alpha
\hspace{0.05cm}.</math>

Hierbei bezeichnet  $\rho = 1/\sigma^2 = 2 \cdot E_{\rm S}/N_0$  das Signal–zu–Rauschverhältnis (SNR) vor dem Entscheider, wobei folgende Systemgrößen verwendet werden:
*$E_{\rm S}$  ist die Signalenergie pro Symbol (ohne Codierung gleich  $E_{\rm B}$, also gleich der Signalenergie pro Bit), 

*$N_0$  bezeichnet die konstante (einseitige) Rauschleistungsdichte des AWGN–Kanals. 

''Hinweis'':  Der dargelegte Sachverhalt wird mit dem interaktiven Applet  [[Applets:Fehlerwahrscheinlichkeit|Symbolfehlerwahrscheinlichkeit von Digitalsystemen]]  verdeutlicht.

== Binary Symmetric Channel – BSC ==
 
Das AWGN–Kanalmodell ist kein digitales Kanalmodell, wie wir es im Abscnitt  [[Channel_Coding/Zielsetzung_der_Kanalcodierung#Blockschaltbild_und_Voraussetzungen|Blockschaltbild und Voraussetzungen]]  zur einführenden Beschreibung der Kanalcodierverfahren vorausgesetzt haben. Berücksichtigen wir aber eine harte Entscheidung, so kommen wir zum digitalen Modell  Binary Symmetric Channel  (BSC): 

[[File:P ID2341 KC T 1 2 S2 v2.png|center|frame|BSC–Modell und Zusammenhang mit dem AWGN–Modell|class=fit]]

Wählt man die Verfälschungswahrscheinlichkeiten  ${\rm Pr}(y = 1\hspace{0.05cm}|\hspace{0.05cm} x=0)$  bzw.  ${\rm Pr}(y = 0\hspace{0.05cm}|\hspace{0.05cm} x=1)$  jeweils zu

::<math>\varepsilon = {\rm Q}(\sqrt{\rho})\hspace{0.05cm},</math>

so ist der Zusammenhang zum  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang |AWGN–Kanalmodell]]  hergestellt. Die Entscheidungsgrenze liegt bei  $G = 0$, wodurch auch die Eigenschaft &bdquo;symmetrisch” begründet ist. 

Hinweis:  Beim AWGN–Modell haben wir die binäre Ausgangsgröße (nach Schwellenwertentscheidung) mit  $z \in \{0, \hspace{0.05cm}1\}$  bezeichnet. Bei den digitalen Kanalmodellen (BSC, BEC, BSEC) bezeichnen wir nun den wertdiskreten Ausgang wieder mit  $y$. Um Verwechslungen zu vermeiden, nennen wir das Ausgangssignal des AWGN–Modells nun  $y_{\rm A}$. Für das analoge Empfangssignal gilt dann  $y_{\rm A} = \tilde{x} +n$. 

Das BSC–Modell liefert eine statistisch unabhängige Fehlerfolge und eignet sich somit zur Modellierung gedächtnisloser rückkopplungsfreier Kanäle, die in diesem Buch ausnahmslos betrachtet werden. 

Zur Beschreibung gedächtnisbehafteter Kanäle müssen andere Modelle herangezogen werden, die im fünften Hauptkapitel des Buches &bdquo;Digitalsignalübertragung” behandelt werden, zum Beispiel Bündelfehlerkanäle nach
*dem  [[Digitalsignalübertragung/Bündelfehlerkanäle#Kanalmodell_nach_Gilbert.E2.80.93Elliott| Gilbert–Elliott–Modell]], 

*dem  [[Digitalsignalübertragung/Bündelfehlerkanäle#Kanalmodell_nach_McCullough| McCullough–Modell]]. 

[[File:P ID2342 KC T 1 2 S2b.png|right|frame|Statistisch unabhängige Fehler (links) und Bündelfehler (rechts) |class=fit]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$  Die Abbildung zeigt
*statistisch unabhängige Fehler nach dem BSC–Modell (links), und
*so genannte Bündelfehler gemäß Gilbert–Elliott (rechts).

Die Bitfehlerrate beträgt in beiden Fällen  $10\%$. Aus der rechten Grafik ist anhand der Bündelstörungen zu erkennen, dass das Bild zeilenweise übertragen wurde.}} 

== Binary Erasure Channel – BEC ==
 
Das BSC–Modell liefert nur die Aussagen &bdquo;richtig” und &bdquo;falsch”. Manche Empfänger – so zum Beispiel die so genannten  [[Channel_Coding/Soft%E2%80%93in_Soft%E2%80%93out_Decoder#Hard_Decision_vs._Soft_Decision|Soft–in Soft–out Decoder]]  – können jedoch auch gewisse Informationen über die Sicherheit der Entscheidung liefern, wobei sie natürlich darüber informiert werden müssen, welche ihrer Eingangswerte sicher sind und welche eher unsicher. 

[[File:P ID2343 KC T 1 2 S3 v2.png|center|frame|Binary Erasure Channel (BEC) und Zusammenhang mit dem AWGN–Modell|class=fit]]
Der  Binary Erasure Channel  (BEC) liefert eine solche Information. Anhand der Grafik erkennt man:
*Das Eingangsalphabet des BEC–Kanalmodells ist binär   ⇒   $x ∈ \{0, \hspace{0.05cm}1\}$ und das Ausgangsalphabet ternär   ⇒   $y ∈ \{0, \hspace{0.05cm}1, \hspace{0.05cm}\rm E\}$. Ein  $\rm E$  kennzeichnet eine unsichere Entscheidung. Dieses neue &bdquo;Symbol” steht für Erasure, zu deutsch:  Auslöschung.

*Bitfehler werden durch das BEC–Modell per se ausgeschlossen. Eine unsichere Entscheidung  $\rm (E)$  wird mit der Wahrscheinlichkeit $\lambda$ getroffen, während die Wahrscheinlichkeit für eine richtige (und gleichzeitig sichere) Entscheidung  $1-\lambda$  beträgt.

*Rechts oben ist der Zusammenhang zwischen BEC– und AWGN–Kanalmodell dargestellt, wobei das Erasure–Entscheidungsgebiet  $\rm (E)$  grau hinterlegt ist. Im Gegensatz zum BSC–Modell gibt es nun zwei Entscheidungsgrenzen  $G_0 = G$  und  $G_1 = -G$. Es gilt:

::<math>\lambda = {\rm Q}\big[\sqrt{\rho} \cdot (1 - G)\big]\hspace{0.05cm}.</math>

Wir weisen hier nochmals auf die folgenden Applets hin:
*[[Applets:Fehlerwahrscheinlichkeit|Symbolfehlerwahrscheinlichkeit von Digitalsystemen]],
*[[Applets:Komplementäre_Gaußsche_Fehlerfunktionen|Komplementäre Gaußsche Fehlerfunktion]].

== Binary Symmetric Error & Erasure Channel – BSEC ==
 
Das BEC–Modell  $($Fehlerwahrscheinlichkeit $0)$  ist eher unrealistisch und nur eine Näherung für ein extrem großes Signal–zu–Rausch–Leistungsverhältnis (kurz SNR)  $\rho$.

Stärkere Störungen   ⇒   ein kleineres  $\rho$  sollten besser durch den  Binary Symmetric Error & Erasure Channel  (BSEC) mit den zwei Parametern
*Verfälschungswahrscheinlichkeit   $\varepsilon = {\rm Pr}(y = 1\hspace{0.05cm}|\hspace{0.05cm} x=0)= {\rm Pr}(y = 0\hspace{0.05cm}|\hspace{0.05cm} x=1)$, 

*Erasure–Wahrscheinlichkeit   $\lambda = {\rm Pr}(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm} x=0)= {\rm Pr}(y = {\rm E}\hspace{0.05cm}|\hspace{0.05cm} x=1)$

modelliert werden. Wie beim BEC–Modell gilt auch hier  $x ∈ \{0, \hspace{0.05cm}1\}$  und  $y ∈ \{0, \hspace{0.05cm}1, \hspace{0.05cm}\rm E\}$. 

[[File:KC_T_1_2_S4_version2.png|center|frame|Binary Symmetric Error & Erasure Channel (BSEC) & Zusammenhang mit dem AWGN–Modell|class=fit]]

{{GraueBox|TEXT=
$\text{Beispiel 2:}$  Wir betrachten das BSEC–Modell mit den beiden Entscheidungsgeraden  $G_0 = G = 0.5$  und  $G_1 = -G = -0.5$, dessen Parameter  $\varepsilon$  und  $\lambda$  durch das SNR  $\rho=1/\sigma^2$  des vergleichbaren AWGN–Kanals festgelegt sind. Dann gilt
*für  $\sigma = 0.5$   ⇒   $\rho = 4$:
::<math>\varepsilon = {\rm Q}\big[\sqrt{\rho} \cdot (1 + G)\big] = {\rm Q}(3) \approx 0.14\%\hspace{0.05cm},\hspace{0.6cm}
{\it \lambda} = {\rm Q}\big[\sqrt{\rho} \cdot (1 - G)\big] - \varepsilon = {\rm Q}(1) - {\rm Q}(3) \approx 15.87\% - 0.14\% = 15.73\%\hspace{0.05cm},</math>

*für  $\sigma = 0.25$   ⇒   $\rho = 16$:

::<math>\varepsilon = {\rm Q}(6) \approx 10^{-10}\hspace{0.05cm},\hspace{0.6cm}
{\it \lambda} = {\rm Q}(2) \approx 2.27\%\hspace{0.05cm}.</math>

Für die rechts dargestellte WDF wurde  $\rho = 4$  vorausgesetzt. Für  $\rho = 16$  könnte das BSEC–Modell durch die einfachere BEC–Variante ersetzt werden, ohne dass es zu gravierenden Unterschieden kommt.}} 

== Maximum-a-posteriori– und Maximum-Likelihood–Kriterium ==
 
Wir gehen nun von dem nachfolgend skizzierten Modell aus und wenden die bereits im Kapitel  [[Digitalsignal%C3%BCbertragung/Struktur_des_optimalen_Empf%C3%A4ngers| Struktur des optimalen Empfängers]]  des Buches &bdquo;Digitalsignalübertragung” genannten Entscheidungskriterien auf den Decodiervorgang an. 

[[File:P ID2345 KC T 1 2 S5 v2.png|center|frame|Modell zur Beschreibung von MAP– und ML–Decodierung|class=fit]]

Aufgabe des Kanaldecodierers  (oder Kanaldecoders) ist es, den Vektor  $\underline{v}$  so zu bestimmen, dass dieser &bdquo;möglichst gut” mit dem Informationswort  $\underline{u}$  übereinstimmt.

{{BlaueBox|TEXT=
$\text{Etwas genauer formuliert:}$ 
*Es soll die  '''Blockfehlerwahrscheinlichkeit'''  ${\rm Pr(Blockfehler)} = {\rm Pr}(\underline{v} \ne \underline{u}) $  bezogen auf die Vektoren  $\underline{u}$  und  $\underline{v}$  der Länge  $k$  möglichst gering sein.

*Aufgrund der eindeutigen Zuordnung  $\underline{x} = {\rm enc}(\underline{u})$  durch den Kanalcoder bzw. empfängerseitig  $\underline{v} = {\rm enc}^{-1}(\underline{z})$  gilt in gleicher Weise:

::<math>{\rm Pr(Blockfehler)} = {\rm Pr}(\underline{z} \ne \underline{x})\hspace{0.05cm}. </math>}}

Der Kanaldecoder in obigem Modell besteht aus zwei Teilen:
*Der  Codewortschätzer  ermittelt aus dem Empfangsvektor  $\underline{y}$  einen Schätzwert  $\underline{z} \in \mathcal{C}$  gemäß einem vorgegebenen Kriterium. 

*Aus dem (empfangenen) Codewort  $\underline{z}$  wird das Informationswort  $\underline{v}$  durch  einfaches Mapping  ermittelt. Dieses sollte mit  $\underline{u}$  übereinstimmen. 

Für den Codewortschätzer gibt es insgesamt vier unterschiedliche Varianten, nämlich
*den Maximum–a–posteriori–Empfänger (MAP–Empfänger) für das gesamte Codewort  $\underline{x}$, 

*den Maximum–a–posteriori–Empfänger (MAP–Empfänger) für die einzelnen Codebits  $x_i$, 

*den Maximum–Likelihood–Empfänger (ML–Empfänger) für das gesamte Codewort  $\underline{x}$, 

*den Maximum–Likelihood–Empfänger (ML–Empfänger) für die einzelnen Codebits  $x_i$. 

Deren Definitionen folgen auf der nächsten Seite. Vorab aber gleich das wesentliche Unterscheidungsmerkmal zwischen MAP und ML:

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Ein MAP–Empfänger berücksichtigt im Gegensatz zum ML–Empfänger auch unterschiedliche Auftrittswahrscheinlichkeiten für das gesamte Codewort bzw. für deren einzelne Bits. 

*Sind alle Codeworte  $\underline{x}$  und damit auch alle Bits  $x_i$  der Codeworte gleichwahrscheinlich, so ist der einfachere ML–Empfänger äquivalent zum entsprechenden MAP–Empfänger.}} 

== Definitionen der verschiedenen Optimalempfänger ==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–a–posteriori–Empfänger auf Blockebene'''  – kurz:  block–wise MAP – entscheidet sich unter den  $2^k$  Codeworten  $\underline{x}_i \in \mathcal{C}$  für das Codewort mit der größten Rückschlusswahrscheinlichkeit (englisch:   a–posteriori probability, APP):

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.03cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm} {\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \vert\hspace{0.05cm} \underline{y} ) \hspace{0.05cm}.</math>

${\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm}\vert \hspace{0.05cm} \underline{y} )$  ist die  [[Theory_of_Stochastic_Signals/Statistische_Abh%C3%A4ngigkeit_und_Unabh%C3%A4ngigkeit#Bedingte_Wahrscheinlichkeit| bedingte Wahrscheinlichkeit]], dass  $\underline{x}_i$  gesendet wurde, wenn  $\underline{y}$  empfangen wird.}} 

Wir versuchen nun, diese Entscheidungsregel schrittweise zu vereinfachen. Die Rückschlusswahrscheinlichkeit kann nach dem &bdquo;Satz von Bayes” wie folgt umgeformt werden:

::<math>{\rm Pr}( \underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm}\vert \hspace{0.05cm} \underline{y} ) =
\frac{{\rm Pr}( \underline{y} \hspace{0.08cm} |\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) \cdot {\rm Pr}( \underline{x}_{\hspace{0.03cm}i} )}{{\rm Pr}( \underline{y} )} \hspace{0.05cm}.</math>

Die Wahrscheinlichkeit  ${\rm Pr}( \underline{y}) $  ist unabhängig von  $\underline{x}_i$  und muss bei der Maximierung nicht berücksichtigt werden. Sind zudem alle  $2^k$  Informationsworte  $\underline{u}_i$  gleichwahrscheinlich, so kann man bei der Maximierung auch auf den Beitrag  ${\rm Pr}( \underline{x}_{\hspace{0.03cm}i} ) = 2^{-k}$  im Zähler verzichten. 

{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–Likelihood–Empfänger auf Blockebene'''  – kurz:  '''block–wise ML'''  – entscheidet sich unter den  $2^k$  zulässigen Codeworten  $\underline{x}_i \in \mathcal{C}$  für das Codewort mit der größten Übergangswahrscheinlichkeit:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm} {\rm Pr}( \underline{y} \hspace{0.05cm}\vert\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) \hspace{0.05cm}.</math>

Die bedingte Wahrscheinlichkeit  ${\rm Pr}( \underline{y} \hspace{0.05cm}\vert\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} )$  ist nun in Vorwärtsrichtung zu verstehen, nämlich als die Wahrscheinlichkeit, dass der Vektor  $\underline{y}$  empfangen wird, wenn das Codewort  $\underline{x}_i$  gesendet wurde. 

Im Folgenden verwenden wir auf Blockebene stets den Maximum–Likelihood–Empfänger. Aufgrund der vorausgesetzten gleichwahrscheinlichen Informationsworte liefert auch dieser stets die bestmögliche Entscheidung.}} 

Anders sieht es jedoch auf Bitebene aus. Ziel einer iterativen Decodierung ist es gerade, für alle Codebits  $x_i \in \{0, 1\}$  Wahrscheinlichkeiten zu schätzen und diese an die nächste Stufe weiterzugeben. Hierzu benötigt man einen MAP–Empfänger. 

{{BlaueBox|TEXT=
$\text{Definition:}$  Der  '''Maximum–a–posteriori–Empfänger auf Bitebene'''  (kurz:  '''bit–wise MAP''') wählt für jedes einzelne Codebit  $x_i$  den Wert  $(0$ oder $1)$  mit der größten Rückschlusswahrscheinlichkeit  ${\rm Pr}( {x}_{\hspace{0.03cm}i}\vert \hspace{0.05cm} \underline{y} )$  aus:

::<math>\underline{z} = {\rm arg}\hspace{-0.1cm}{ \max_{ {x}_{\hspace{0.03cm}i} \hspace{0.03cm} \in \hspace{0.05cm} \{0, 1\} } \hspace{0.03cm} {\rm Pr}( {x}_{\hspace{0.03cm}i}\vert \hspace{0.05cm} \underline{y} ) \hspace{0.05cm} }.</math>}} 

== Maximum-Likelihood–Entscheidung beim BSC–Kanal ==
 
Wir wenden nun das Maximum–Likelihood–Kriterium auf den gedächtnislosen  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Kanal]]  an. Dann gilt:
::<math>{\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) =
\prod\limits_{l=1}^{n} {\rm Pr}( y_l \hspace{0.05cm}|\hspace{0.05cm} x_l ) \hspace{0.2cm}{\rm mit}\hspace{0.2cm}
{\rm Pr}( y_l \hspace{0.05cm}|\hspace{0.05cm} x_l ) =
\left\{ \begin{array}{c} 1 - \varepsilon\\
\varepsilon \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} y_l = x_l \hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}y_l \ne x_l\hspace{0.05cm}.\\ \end{array}
\hspace{0.05cm}.</math>
::<math>\Rightarrow \hspace{0.3cm} {\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} ) =
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Beweis:}$  Dieses Ergebnis lässt sich wie folgt begründen:
*Die  [[Channel_Coding/Zielsetzung_der_Kanalcodierung#Einige_wichtige_Definitionen_zur_Blockcodierung|Hamming–Distanz]]  $d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  gibt die Anzahl der Bitpositionen an, in denen sich die Worte  $\underline{y}$  und  $\underline{x}_{\hspace{0.03cm}i}$  mit jeweils  $n$  binären Elementen unterscheiden. Beispiel:   Die Hamming–Distanz zwischen  $\underline{y}= (0, 1, 0, 1, 0, 1, 1)$  und  $\underline{x}_{\hspace{0.03cm}i} = (0, 1, 0, 0, 1, 1, 1)$  ist  $2$. 

*In  $n - d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  Positionen unterscheiden sich demnach die beiden Vektoren  $\underline{y}$  und  $\underline{x}_{\hspace{0.03cm}i}$  nicht. Im obigen Beispiel sind fünf der  $n = 7$  Bit identisch.
*Zu obiger Gleichung kommt man schließlich durch Einsetzen der Verfälschungswahrscheinlichkeit  $\varepsilon$  bzw. deren Ergänzung  $1-\varepsilon$.}} 

Die Vorgehensweise bei der Maximum–Likelihood–Detektion ist, dasjenige Codewort  $\underline{x}_{\hspace{0.03cm}i}$  zu finden, das die Übergangswahrscheinlichkeit  ${\rm Pr}( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{x}_{\hspace{0.03cm}i} )$  maximiert:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
\left [
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\right ] \hspace{0.05cm}.</math>

Da der Logarithmus eine monoton steigende Funktion ist, erhält man das gleiche Ergebnis nach folgender Maximierung:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
L(\underline{x}_{\hspace{0.03cm}i})\hspace{0.5cm} {\rm mit}\hspace{0.5cm} L(\underline{x}_{\hspace{0.03cm}i}) = \ln \left [
\varepsilon^{d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})} \cdot
(1-\varepsilon)^{n-d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})}
\right ] </math>
::<math> \Rightarrow \hspace{0.3cm} L(\underline{x}_{\hspace{0.03cm}i}) = d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i}) \cdot \ln
\hspace{0.05cm} \varepsilon + \big [n -d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\big ] \cdot \ln
\hspace{0.05cm} (1- \varepsilon) = \ln \frac{\varepsilon}{1-\varepsilon} \cdot d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i}) + n \cdot \ln
\hspace{0.05cm} (1- \varepsilon)
\hspace{0.05cm}.</math>

Hierbei ist zu berücksichtigen:
*Der zweite Term dieser Gleichung ist unabhängig von  $\underline{x}_{\hspace{0.03cm}i}$  und muss für die Maximierung nicht weiter betrachtet werden.
*Auch der Faktor vor der Hamming–Distanz ist für alle  $\underline{x}_{\hspace{0.03cm}i}$  gleich.
*Da  $\ln \, {\varepsilon}/(1-\varepsilon)$  negativ ist (zumindest für  $\varepsilon <0.5$, was ohne große Einschränkung vorausgestzt werden kann), wird aus der Maximierung eine Minimierung, und man erhält folgendes Endergebnis: 

{{BlaueBox|TEXT=
$\text{Maximum–Likelihood-Entscheidung beim BSC-Kanal:}$ 

Wähle von den  $2^k$  zulässigen Codeworten  $\underline{x}_{\hspace{0.03cm}i}$  dasjenige mit der geringsten Hamming–Distanz  $d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  zum Empfangsvektor  $\underline{y}$  aus:

::<math>\underline{z} = {\rm arg} \min_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm}
d_{\rm H}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\hspace{0.05cm}, \hspace{0.2cm}
\underline{y} \in {\rm GF}(2^n) \hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>}}

Anwendungen der ML/BSC–Entscheidung finden Sie auf den folgenden Seiten:
*[[Channel_Coding/Beispiele_bin%C3%A4rer_Blockcodes#Single_Parity.E2.80.93check_Codes|Single Parity–check Code]]  (SPC) 

*[[Channel_Coding/Beispiele_binärer_Blockcodes#Wiederholungscodes|Wiederholungscode]]  (englisch:   Repetition Code, RC). 

== Maximum-Likelihood–Entscheidung beim AWGN–Kanal ==
 
Das AWGN–Modell für einen  $(n, k)$–Blockcode unterscheidet sich vom  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| Modell]]  auf der ersten Kapitelseite dadurch, dass für  $x$,  $\tilde{x}$  und  $y$  nun die entsprechenden Vektoren  $\underline{x}$,  $\underline{\tilde{x}}$  und  $\underline{y}$  verwendet werden müssen, jeweils bestehend aus  $n$  Elementen.

Die Schritte zur Herleitung des Maximum–Likelihood–Entscheiders bei AWGN werden nachfolgend nur stichpunktartig angegeben:
*Der AWGN–Kanal ist per se gedächtnislos (hierfür steht das &bdquo;White” im Namen). Für die bedingte Wahrscheinlichkeitsdichtefunktion kann somit geschrieben werden:

::<math>f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}} ) =
\prod\limits_{l=1}^{n} f( y_l \hspace{0.05cm}|\hspace{0.05cm} \tilde{x}_l )
\hspace{0.05cm}.</math>

*Die bedingte WDF ist für jedes einzelne Codeelement  $(l = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, n)$  ''gaußisch''. Damit genügt auch die gesamte WDF einer (eindimensionalen) Gaußverteilung:

::<math>f({y_l \hspace{0.03cm}| \hspace{0.03cm}\tilde{x}_l }) =
\frac {1}{\sqrt{2\pi} \cdot \sigma } \cdot \exp \left [ - \frac {(y_l - \tilde{x}_l)^2}{2\sigma^2} \right ]\hspace{0.3cm}
\Rightarrow \hspace{0.3cm} f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}} ) =
\frac {1}{(2\pi)^{n/2} \cdot \sigma^n } \cdot \exp \left [ - \frac {1}{2\sigma^2} \cdot
\sum_{l=1}^{n} \hspace{0.2cm}(y_l - \tilde{x}_l)^2
\right ] \hspace{0.05cm}.</math>

*Da  $\underline{y}$  nun nicht mehr wie beim BSC–Modell wertdiskret ist, sondern wertkontinuierlich, müssen jetzt nach der ML–Entscheidungsregel  Wahrscheinlichkeitsdichten  untersucht werden und nicht mehr Wahrscheinlichkeiten. Das optimale Ergebnis lautet:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}}_i )\hspace{0.05cm}, \hspace{0.5cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>

*In der Algebra bezeichnet man den Abstand zweier Punkte  $\underline{y}$  und  $\underline{\tilde{x}}$  im  $n$–dimensionalen Raum als die  [https://de.wikipedia.org/wiki/Euklidischer_Abstand Euklidische Distanz], benannt nach dem griechischen Mathematiker  [https://de.wikipedia.org/wiki/Euklid Euklid], der im dritten Jahrhundert vor Christus lebte:

::<math>d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{\tilde{x}}) =
\sqrt{\sum_{l=1}^{n} \hspace{0.2cm}(y_l - \tilde{x}_l)^2}\hspace{0.05cm},\hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in \mathcal{C}
\hspace{0.05cm}.</math>

*Damit lautet die ML–Entscheidungsregel beim AWGN–Kanal für einen jeden Blockcode unter Berücksichtigung der Tatsache, dass der erste Faktor der WDF  $f( \underline{y} \hspace{0.05cm}|\hspace{0.05cm} \underline{\tilde{x}_i} )$  konstant ist:

::<math>\underline{z} = {\rm arg} \max_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C}} \hspace{0.1cm}
\exp \left [ - \frac {d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{\tilde{x}}_i)}{2\sigma^2}
\right ]\hspace{0.05cm}, \hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>

Nach einigen weiteren Zwischenschritten kommt man zum Ergebnis: 

{{BlaueBox|TEXT=
$\text{Maximum–Likelihood-Entscheidung beim AWGN-Kanal:}$ 

Wähle von den  $2^k$  zulässigen Codeworten  $\underline{x}_{\hspace{0.03cm}i}$  dasjenige mit der kleinsten Euklidischen Distanz  $d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})$  zum Empfangsvektor  $\underline{y}$  aus:

::<math>\underline{z} = {\rm arg} \min_{\underline{x}_{\hspace{0.03cm}i} \hspace{0.05cm} \in \hspace{0.05cm} \mathcal{C} } \hspace{0.1cm}
d_{\rm E}(\underline{y} \hspace{0.05cm}, \hspace{0.1cm}\underline{x}_{\hspace{0.03cm}i})\hspace{0.05cm}, \hspace{0.8cm}
\underline{y} \in R^n\hspace{0.05cm}, \hspace{0.2cm}\underline{x}_{\hspace{0.03cm}i}\in {\rm GF}(2^n) \hspace{0.05cm}.</math>}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Aufgabe_1.3:_Kanalmodelle_BSC–BEC–BSEC–AWGN|Aufgabe 1.3: Kanalmodelle BSC–BEC–BSEC–AWGN]]

[[Aufgaben:1.4 Maximum–Likelihood–Entscheidung|Aufgabe 1.4: Maximum–Likelihood–Entscheidung]]

{{Display}}

Channel Coding/Objective of Channel Coding

2021-01-17T18:22:16Z

Oezdemir:

{{FirstPage}}
{{Header|
Untermenü=Binary Block Codes for Channel Coding
|Nächste Seite=Channel Models and Decision Structures
}}

== # Overview on The First Main Chapter # ==
 
The first chapter deals with block codes for error detection and error correction and provides the basics for describing more effective codes such as the  ''Reed-Solomon codes''  (see Chapter 2), the  ''convolutional codes''  (Chapter 3), and the  ''iteratively decodable product codes''  (''turbo codes'') and  ''low-density parity-check codes''  (Chapter 4). We restrict ourselves here to binary codes.

This specific field is called  ''channel coding''  in contrast to  ''source coding''  (redundancy reduction for reasons of data compression) and to  ''line coding''  (additional redundancy to adapt the digital signal to the spectral characteristics of the transmission medium).

In detail, it covers:

*Definitions and introductory examples of error detection and error correction,
*a brief review of appropriate channel models and decision maker structures,
*known binary block codes such as single parity-check code, repetition code and Hamming code,
*the general description of linear codes using generator matrix and check matrix,
*the decoding possibilities for block codes, including syndrome decoding,
*simple approximations and upper bounds for block error probability, and
*an information-theoretic bound on channel coding.

== Error Detection and Error Correction ==
 
Transmission errors occur in every message transmission system. It is possible to keep the probability  $p_{\rm S}$  of such a symbol error very small, for example by using a very large signal energy. However, the symbol error probability  $p_{\rm S} = 0$  is never achievable because of the Gaussian WDF of the thermal noise that is always present. 

Particularly in the case of heavily disturbed channels and also for safety-critical applications, it is therefore essential to provide special protection for the data to be transmitted, adapted to the application and channel. For this purpose, redundancy is added at the transmitter and this redundancy is used at the receiver to reduce the number of decoding errors.

{{BlaueBox|TEXT=
$\text{Definitions:}$

*'''Error Detection'''  :   The decoder checks the integrity of the received blocks and marks any errors found. If necessary, the receiver informs the transmitter about erroneous blocks via the return channel, so that the transmitter sends the corresponding block again. 

*'''Error Correction'''   The decoder detects one (or more) bit errors and provides further information for them, for example their positions in the transmitted block. In this way, it may be possible to completely correct the errors that have occurred. 

*The  '''Channel Coding'''  includes procedures for error detection as well as those for error correction. }}

All '''ARQ''' (Automatic Repeat Request) procedures use error detection only. Less redundancy is required for error detection than for error correction. One disadvantage of ARQ is its low throughput when channel quality is poor, i.e. when entire blocks of data must be frequently re-requested by the receiver. 

In this book we mostly deal with  '''Forward Error Correction'''  which leads to very small error rates if the channel is sufficiently good (large SNR). With worse channel conditions, nothing changes in the throughput, i.e. the same amount of information is transmitted. However, the error rate can then assume very large values. 

Often FEC and ARQ methods are combined, and the redundancy is divided between them in such a way,
*so that a small number of errors can still be corrected,
but *when there are many errors, a repeat of the block is requested.

== Some Introductory Examples of Error Detection ==
 
{{GraueBox|TEXT=
$\text{Example 1:   Single Parity–Check Code (SPC)}$
 If one adds  $k = 4$  bit by a so-called check bit (English:   Parity Bit ) in such a way that the sum of all ones is even, for example (with bold check bits) 

:$$0000\boldsymbol{0}, 0001\boldsymbol{1}, \text{...} , 1111\boldsymbol{0}, \text{...}\ ,$$

it is very easy to recognise a single error. Two errors within a code word, on the other hand, remain undetected. }} 

{{GraueBox|TEXT=
$\text{Example 2: &nbsp International Standard Book Number (ISBN)}$
 Since the 1960s, all books have been given 10-digit codes (''ISBN–10'' ). Since 2007, the specification according to ''ISBN–13''  is additionally obligatory. For example, these are for the reference book [Söd93]<ref name ='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen''. Berlin - Heidelberg: Springer, 1993.</ref>: 

*$\boldsymbol{3–540–57215–5}$  (for ISBN–10), bzw.
*$\boldsymbol{978–3–54057215–2}$  (for ISBN–13).

The last digit  $z_{10}$  for ISBN–10 results from the previous digits  $z_1 = 3$,  $z_2 = 5$, ... ,  $z_9 = 5$  according to the following calculation rule:

::<math>z_{10} = \left ( \sum_{i=1}^{9} \hspace{0.2cm} i \cdot z_i \right ) \hspace{-0.3cm} \mod 11 =
(1 \cdot 3 + 2 \cdot 5 + ... + 9 \cdot 5 ) \hspace{-0.2cm} \mod 11 = 5
\hspace{0.05cm}. </math>

Note that  $z_{10} = 10$  must be written as  $z_{10} = \rm X$  (Roman numeral representation of &bdquo;10”), since the number  $10$  cannot be represented as a digit in the decimal system. 

The same applies to the check digit for ISBN–13:

::<math>z_{13}= 10 - \left ( \sum_{i=1}^{12} \hspace{0.2cm} z_i \cdot 3^{(i+1) \hspace{-0.2cm} \mod 2} \right ) \hspace{-0.3cm} \mod 10 = 10 \hspace{-0.05cm}- \hspace{-0.05cm} \big [(9\hspace{-0.05cm}+\hspace{-0.05cm}8\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}0\hspace{-0.05cm}+\hspace{-0.05cm}7\hspace{-0.05cm}+\hspace{-0.05cm}1) \cdot 1 + (7\hspace{-0.05cm}+\hspace{-0.05cm}3\hspace{-0.05cm}+\hspace{-0.05cm}4\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}2\hspace{-0.05cm}+\hspace{-0.05cm}5) \cdot 3\big ] \hspace{-0.2cm} \mod 10 </math>
:: <math>\Rightarrow \hspace{0.3cm} z_{13}= 10 - (108 \hspace{-0.2cm} \mod 10) = 10 - 8 = 2
\hspace{0.05cm}. </math>

With both variants, in contrast to the above parity check code (SPC), number twists such as  $57 \, \leftrightarrow 75$  are also recognised, since different positions are weighted differently here}} .

{{GraueBox|TEXT=
$\text{Example 3:   Barcode (one-dimensional)}$
 The most widely used error-detecting code worldwide is the bar code or bar code (English:   Bar Code) for marking products, for example according to  EAN–13  (European Article Number ) with 13 digits.
[[File:P ID2330 KC T 1 1 S2.png|right|frame|1D–Barcode]]
*These are represented by bars and gaps of different widths and can be easily decoded with an opto–cial reader.
*The first three digits indicate the country (for example Germany:   between 400 and 440), the next four or five digits the manufacturer and the product.
*The last digit is the check digit  $z_{13}$, which is calculated exactly as for ISBN–13.}}

== Some Introductory Examples of Error Correction==
 
{{GraueBox|TEXT=
$\text{Example 4:   2D–Barcodes For Online–Tickets}$
 If you book a Deutsche Bahn ticket online and print it out, you will find an example of a two-dimensional barcode, namely the  [https://en.wikipedia.org/wiki/Aztec_Code Aztec–Code] developed in 1995 by Andy Longacre at the Welch Allyn company in the USA, with which amounts of data up to  $3000$  characters can be encoded. Due to the  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–error correction]]    reconstruction of the data content is still possible even if up to  $40\%$  of the code has been destroyed, for example by bending the ticket or by coffee stains. 

[[File:P ID2332 KC T 1 1 S2a.png|center|frame|2D–Barcodes: Aztec– And QR–Code|class=fit]]

On the right is a $\rm QR–Code$  (Quick Response) with associated content. The QR–code was developed in 1994 for the automotive industry in Japan to mark components and also allows error correction. In the meantime, the use of the QR–code has become very diverse. In Japan, it can be found on almost every advertising poster and on every business card. It is also becoming more and more popular in Germany. 

All 2D–barcodes have square markings to calibrate the reader. You can find details on this in [KM+09]<ref>Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: ''Channel Coding''. Lecture Notes, Lehrstuhl für Nachrichtentechnik, TU München, 2008.</ref>.}}

{{GraueBox|TEXT=
$\text{Example 5:   Codes For Satellites– And Space Communications}$
 One of the first areas of application of error correction methods was communication from/to satellites and space shuttles, i.e. transmission routes characterised by low transmission powers and large path losses. As early as 1977, channel coding was used in the  space–mission Voyager 1  to Neptune and Uranus, in the form of serial concatenation of a  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Code]]  and a  [[Channel_Coding/Grundlagen_der_Faltungscodierung|convolutional code]]. 

Thus, the power parameter  $10 · \lg \; E_{\rm B}/N_0 \approx 2 \, \rm dB$ was already sufficient to achieve the required error rate  $5 · 10^{-5}$  (related to the compressed data after source coding). Without channel coding, on the other hand, almost  $9 \, \rm dB$  are required for the same error rate, i.e. a factor  $10^{0.7} ≈ 5$  greater transmission power. 

The planned Mars project (data transmission from Mars to Earth with  $\rm 5W$–lasers) will also only be successful with a sophisticated coding scheme}} .

{{GraueBox|TEXT=
$\text{Example 6:   Channel Codes For Mobile Communikations}$
 A further and particularly high-turnover application area that would not function without channel coding is mobile communication. Here, unfavourable conditions without coding would result in error rates in the percentage range and, due to shadowing and multipath propagation (echoes), the errors often occur in bundles. The error bundle length is sometimes several hundred bits.
*For voice transmission in the GSM–system, the  $182$  most important (class 1a and 1b) of the total  260  bits of a voice frame  $(20 \, \rm ms)$  together with a few parity– and tailbits are convolutionally coded $($with memory  $m = 4$  and rate $R = 1/2)$  and scrambled. Together with the  $78$  less important and therefore uncoded bits of class 2, this results in the bit rate increasing from  $13 \, \rm kbit/s$  to  $22.4 \, \rm kbit/s$ . 

*One uses the (relative) redundancy of $r = (22.4 - 13)/22.4 ≈ 0.42$  for error correction. It should be noted that  $r = 0.42$  because of the definition used here, $42\%$  of the encoded bits are redundant. With the reference value &bdquo;bit rate of the uncoded sequence” we would get  $r = 9.4/13 \approx 0.72$  with the statement:   To the information bits are added  $72\%$  check bits. 

*For  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_UMTS|UMTS]]  (Universal Mobile Telecommunications System),  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Convolutional Codes]]  with the rates  $R = 1/2$  or  $R = 1/3$  are used. In the UMTS–modes for higher data rates and correspondingly lower spreading factors, on the other hand, one uses  [[Channel_Coding/Grundlegendes_zu_den_Turbocodes|Turbo–Codes]]  of the rate  $R = 1/3$  and iterative decoding. Depending on the number of iterations, gains of up to  $3 \, \rm dB$ can be achieved compared to convolutional coding.}} 

{{GraueBox|TEXT=
$\text{Example 7:   Error Protection of the Compact Disc}$
 For a CD (Compact Disc), one uses cross–interleaved  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  (RS) and then a so-called   [https://en.wikipedia.org/wiki/Eight-to-fourteen_modulation Eight–to–Fourteen–Modulation]. Redundancy is used for error detection and correction. This coding scheme shows the following characteristics:
*The common code rate of the two RS–component codes is  $R_{\rm RS} = 24/28 · 28/32 = 3/4$. Through the 8–to–14–modulation and some control bits, one arrives at the total code rate  $R ≈ 1/3$. 

*In the case of statistically independent errors according to the  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–model]]  (Binary Symmetric Channel ),a complete correction is possible as long as the bit error rate does not exceed the value  $10^{-3}$ . 

*The CD–specific  Cross Interleaver  scrambles  $108$  blocks together so that the  $588$  bits of a block  $($each bit corresponds to approx.   $0.28 \, \rm {µ m})$  are distributed over approximately  $1.75\, \rm cm$. 

*With the code rate  $R ≈ 1/3$  one can correct approx.  $10\%$  &bdquo;Erasures”. The lost values can be reconstructed (approximately) by interpolation   ⇒  Error concealment. 

In summary, if a CD has a scratch of  $1. 75\, \rm mm$  in length in the direction of play (i.e. more than  $6000$  consecutive erasures), still  $90\%$  of all the bits in a block are error-free, so that even the missing  $10\%$  can be reconstructed, or at least the erasures can be disguised so that they are not audible. .

A demonstration of the CD's ability to correct follows on the next page}} .

== The "Slit CD" - A Demonstration By The LNT of TUM ==
 
At the end of the 1990s, staff of the  [https://www.lnt.ei.tum.de/startseite/ Chair of Communications Engineering] of the [https://www.tum.de/die-tum/ Technical University of Munich]  led by professor  [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr.-Ing._Dr.-Ing._E.h._Joachim_Hagenauer_.281993-2006.29|Joachim Hagenauer]]  eliberately damaged a music–CD by cutting a total of three slits, each more than one millimetre wide. Thus, almost  $4000$  consecutive bits of audio coding are missing with each defect. 

[[File:P ID2333 KC T 1 1 S2b.png|right|frame|„A Slit CD” of The  $\rm LNT/TUM$]]

The diagram shows the &bdquo;slit CD”:
*Both track 3 and track 14 have two such defective areas on each revolution.
*You can visualise the music quality with the help of the two audio players (playback time approx. 15 seconds each).
*The theory of this audio–demo can be found in the  $\text{Example 7}$  on the previous page. 

Track 14:

<lntmedia>file:A_ID59__14_1.mp3</lntmedia>

Track 3:

<lntmedia>file:A_ID60__3_1.mp3</lntmedia>

 Summary of this audio demo:
*The CD's error correction is based on two serial–concatenated  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  and one  [https://en.wikipedia.org/wiki/Eight-to-fourteen_modulation Eight–to–Fourteen–Modulation].The total code rate for RS–error correction is  $R = 3/4$. 

*As important for the functioning of the CD as the codes is the interposed interleaver, which distributes the erased bits (&bdquo;Erasures”) over a length of almost  $2 \, \rm cm$ . 

*In  '''Track 14'''  the two defective areas are sufficiently far apart. Therefore, the Reed–Solomon–decoder is able to reconstruct the missing data. 

*In  '''Track 3'''  the two error blocks follow each other in a very short distance, so that the correction algorithm fails. The result is an almost periodic clacking noise. 

We would like to thank Rainer Bauer,  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Dr.-Ing._Thomas_Hindelang_.28am_LNT_von_1994-2000_und_2007-2012.29|Thomas Hindelang]]  and  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Manfred_J.C3.BCrgens_.28am_LNT_von_1981-2010.29|Manfred Jürgens]]for the permission to use this audio–demo. 

== Interplay Between Source and Channel Coding ==
 
Message transmission of natural sources such as speech, music, images, videos, etc. is usually done according to the discrete-time model outlined below. 

[[File:P ID2334 KC T 1 1 S3a v2.png|center|frame|Image Transmission With Source and Channel Coding|class=fit]]

From [Liv10]<ref name ='Liv10'>Liva, G.: ''Channel Coding.'' Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010.</ref> the following should be noted:
*Source and sink are digitised and represented by (approximately equal numbers of ) zeros and ones. 

*The source encoder compresses the binary data – in the example a digital photo – and thus reduces the redundancy of the source. 

*The channel encoder adds redundancy again, and specifically so that some of the errors that occurred on the channel can be corrected in the channel decoder. 

*A discrete-time model with binary input and output is used here for the channel, which should also suitably take into account the components of the technical transmit– and receive equipment (modulator, decision maker, clock recovery). 

With correct dimensioning of sources– and channel coding, the quality of the received photo is sufficiently good, even if the sink symbol sequence will not exactly match the source symbol sequence due to error patterns that cannot be corrected. One can detect a (red marked) bit error within the sink symbol sequence. 

{{GraueBox|TEXT=
$\text{Example 8:}$  For the above graph, it was assumed, as an example and for the sake of simplicity, that
*the source symbol sequence has only the length  $40$ ,
*the source encoder compresses the data by a factor of  $40/16 = 2.5$  and
*the channel encoder  $50\%$  adds redundancy.

Thus, only  $24$  encoder symbols have to be transmitted instead of  $40$  source symbols, which reduces the overall transmission rate by  $40\%$ . 

If one were to dispense with source encoding by transmitting the original photo in BMP–format rather than the compressed JPG–image, the quality would be comparable, but a bit rate higher by a factor  $2.5$  and thus much more effort would be required.}} 

{{GraueBox|TEXT=
$\text{Example 9:}$  If one were to dispense with both source– and channel coding, i.e. transmit the BMP–data directly without error protection, the result would be extremely poor despite  $($by a factor  $40/24)$  greater bit rate. 

[[File:P ID2335 KC T 1 1 S3b v2.png|center|frame|Image Transmission Without Source and Channel Coding |class=fit]]}}

{{GraueBox|TEXT=
$\text{Example 10:}$  Now let's consider the case of directly transferring the compressed data (for example JPG) without error-proofing measures. 

[[File:P ID2336 KC T 1 1 S3c v2.png|center|frame|Image Transmission With Source Coding and Without Channel Coding | |class=fit]]

*Since the compressed source has little redundancy left, any single transmission error will cause entire blocks of images to be decoded incorrectly. 
*This coding scheme (source coding but no channel coding) should be avoided at all costs}}.

== Block Diagram and Requirements ==
 
In the further sections, we will start from the sketched block diagram with channel encoder, digital channel and channel decoder.

[[File:P ID2337 KC T 1 1 S4 v2.png|center|frame|Block Diagram Describing Channel Coding|class=fit]]

Dabei gelten folgende Voraussetzungen:
The following conditions apply:
*The vector  $\underline{u} = (u_1, u_2, \text{...} \hspace{0.05cm}, u_k)$  denotes an  '''information block'''  with  $k$  symbols.
*Mostly we restrict ourselves to binary symbols (bits)   ⇒   $u_i \in \{0, \, 1\}$ for $i = 1, 2, \text{...} \hspace{0.05cm}, k$  with equal occurrence probabilities for zeros and ones. 

*Each information block  $\underline{u}$  is represented by a  '''codeword'''  (or a  codeblock)  $\underline{x} = (x_1, x_2, \text{. ..} \hspace{0.05cm}, x_n)$  with  $n \ge k$, $x_i \in \{0, \, 1\}$  represented. One then speaks of a binary  $(n, k)$–block code  $C$. We denote the assignment by  $\underline{x} = {\rm enc}(\underline{u})$, where &bdquo;enc” stands for &bdquo;encoder–function”. 

*The  '''receive word''' $\underline{y}$  results from the codeword  $\underline{x}$  by  [https://en.wikipedia.org/wiki/Modular_arithmetic Modulo–2–Addition] with the likewise binary error vector  $\underline{e} = (e_1, e_2, \text{. ..} \hspace{0.05cm}, e_n)$, where &bdquo;$e= 1$” represents a transmission error and &bdquo;$e= 0$” indicates that the  $i$–th bit of the codeword was transmitted correctly. The following therefore applies:

::<math>\underline{y} = \underline{x} \oplus \underline{e} \hspace{0.05cm}, \hspace{0.5cm} y_i = x_i \oplus e_i \hspace{0.05cm}, \hspace{0.2cm} i = 1, \text{...} \hspace{0.05cm} , n\hspace{0.05cm}, x_i \hspace{-0.05cm} \in \hspace{-0.05cm} \{ 0, 1 \}\hspace{0.05cm}, \hspace{0.5cm}e_i \in \{ 0, 1 \}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm}y_i \in \{ 0, 1 \}\hspace{0.05cm}.</math>

The description by the  '''Digital Channel Model'''  – i.e. with binary input and output – is, however, only applicable if the transmission system makes hard decisions – see  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| AWGN–Channel at Binary Input]]. Systems with  [[Channel_Coding/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|soft decision]]  cannot be modelled with this simple model. 

*The vector  $\underline{v}$  after  '''channel decoding'''  has the same length  $k$  as the information block  $\underline{u}$. We describe the decoding process with the &bdquo;decoder–function” as  $\underline{v} = {\rm enc}^{-1}(\underline{y}) = {\rm dec}(\underline{y})$. In the error-free case, analogous to  $\underline{x} = {\rm enc}(\underline{u})$  also  $\underline{v} = {\rm enc}^{-1}(\underline{y})$. 

*If the error vector  $\underline{e} \ne \underline{0}$, then  $\underline{y}$  is usually not a valid element of the block code used, and the decoding is then not a pure mapping  $\underline{y} \rightarrow \underline{v}$, but an estimate of  $\underline{v}$ based on maximum match (mimimum error probability). 

== Important Definitions for Block Coding ==
 
We now consider the exemplary binary block code

:<math>\mathcal{C} = \{ (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.15cm} (0, 1, 0, 1, 0) \hspace{0.05cm},\hspace{0.15cm}(1, 0, 1, 0, 1) \hspace{0.05cm},\hspace{0.15cm}(1, 1, 1, 1, 1) \}\hspace{0.05cm}.</math>

This code would be unsuitable for the purpose of error detection or –correction. But it is constructed in such a way that it clearly illustrates the calculation of important descriptive variables:
*Each individual codeword  $\underline{u}$  is described by five bits. Throughout the book, we express this fact by the  '''codeword length'''  (English:  Code Length )  $n = 5$.

*The above code contains four elements. Thus the  '''code size'''  (English:   Size )  $|C| = 4$. Accordingly, there are also four unique mappings (English:  Mappings ) between  $\underline{u}$  and  $\underline{x}$.

*The length of an information block  $\underline{u}$   ⇒   '''Information block length'''  is denoted by  $k$ . Since for all binary codes  $|C| = 2^k$  holds, it follows from  $|C| = 4$  that  $k = 2$. The assignments between  $\underline{u}$  and  $\underline{x}$  in the above code are  $C$:

::<math>\underline{u_0} = (0, 0) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_1} = (0, 1) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 1, 0, 1, 0) = \underline{x_1}\hspace{0.05cm}, </math>

::<math>\underline{u_2} = (1, 0)\hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 0, 1, 0, 1) = \underline{x_2}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_3} = (1, 1) \hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.</math>

*The code has the  '''code rate'''  $R = k/n = 2/5$ . Accordingly, its redundancy is  $1-R$, that is  $60\%$. Without error protection $($so for the case  $n = k)$  the code rate  $R = 1$. 

*A small code rate indicates that of the  $n$  bits of a codeword, very few actually carry information. For example, a repetition code  $(k = 1)$  with  $n = 10$  has a code rate  $R = 0.1$. 

*The  '''Hamming–weight'''  $w_{\rm H}(\underline{x})$  of the codeword  $\underline{x}$  indicates the number of codeword elements  $x_i \ne 0$ . For a binary code  ⇒   $x_i \ne 0$  $w_{\rm H}(\underline{x})$  is equal to the sum  $x_1 + x_2 + \hspace{0.05cm}\text{...} \hspace{0.05cm}+ x_n$. In the example:

::<math>w_{\rm H}(\underline{x}_0) = 0\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm} w_{\rm H}(\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_3) = 5\hspace{0.05cm}.
</math>

*The  '''Hamming–distance'''  $d_{\rm H}(\underline{x}, \ \underline{x}\hspace{0.03cm}')$  between the codewords  $\underline{x}$  and  $\underline{x}\hspace{0.03cm}'$  denotes the number of bit positions in which the two codewords differ:

::<math>d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_3) = 5\hspace{0.05cm},\hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_2) = 5\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_3) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_2, \hspace{0.05cm}\underline{x}_3) = 2\hspace{0.05cm}.</math>

*An important property of a code $C$ that significantly affects its ability to be corrected is the  '''minimum distance'''  between any two code words:

::<math>d_{\rm min}(\mathcal{C}) =
\min_{\substack{\underline{x},\hspace{0.05cm}\underline{x}' \hspace{0.05cm}\in \hspace{0.05cm} \mathcal{C} \\ {\underline{x}} \hspace{0.05cm}\ne \hspace{0.05cm} \underline{x}'}}\hspace{0.1cm}d_{\rm H}(\underline{x}, \hspace{0.05cm}\underline{x}')\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Definition:}$  A  $(n, \hspace{0.05cm}k, \hspace{0.05cm}d_{\rm min})\text{ – block code}$  has the codeword length  $n$, the information block length  $k$  and the minimum distance  $d_{\rm min}$.
*According to this nomenclature, the example considered here is a  $(5, \hspace{0.05cm}2,\hspace{0.05cm} 2)$ – block code.
*Sometimes one omits the specification of  $d_{\rm min}$  and then speaks of a  $(n,\hspace{0.05cm} k)$ – block code.}} 

== Examples of Error Detection and Correction ==
 
The variables just defined are now to be illustrated by two examples.

{{GraueBox|TEXT=
$\text{Example 11:}$     $\text{(4, 2, 2)–block code}$

In the graphic, the arrows pointing to the right or left illustrate the coding process or decoding:

:$$\underline{u_0} = (0, 0) \leftrightarrow (0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_1} = (0, 1) \leftrightarrow (0, 1, 0, 1) = \underline{x_1}\hspace{0.05cm},$$
:$$\underline{u_2} = (1, 0) \leftrightarrow (1, 0, 1, 0) = \underline{x_2}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_3} = (1, 1) \leftrightarrow (1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.$$

[[File:P ID2532 KC T 1 1 S5a v2.png|center|frame|(4, 2, 2)–Block Code For Error Detection|class=fit]]

On the right, all  $2^4 = 16$  possible receive words  $\underline{y}$  are shown:
*Of these,  $2^n - 2^k = 12$  can only be due to bit errors.
*If the decoder receives such a &bdquo;white” code word, it detects an error, but it cannot correct it because  $d_{\rm min} = 2$ .
*For example, if it receives  $\underline{y} = (0, 0, 0, 1)$, then with equal probability  $\underline{x_0} = (0, 0, 0, 0)$  or  $\underline{x_1} = (0, 1, 0, 1)$ may have been sent} .

[[File:P ID2533 KC T 1 1 S5b v2.png|right|frame|(5, 2, 3)–Block Code For Error Correction|class=fit]]
{{GraueBox|TEXT=
$\text{Example 11:}$     $\text{(5, 2, 3)–Block Code}$

Here, because of $k=2$, there are four valid code words :
:$$\underline{x_0} = (0, 0, 0, 0, 0)\hspace{0.05cm},\hspace{0.5cm} \underline{x_1} =(0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x_2} =(1, 0, 1, 1, 0)\hspace{0.05cm},\hspace{0.5cm}\underline{x_3} =(1, 1, 1, 0, 1).$$

The graphic shows the receiver side, where you can recognise falsified bits by the italics.
 
*Of the  $2^n - 2^k = 28$  invalid codewords, now  $20$  can be assigned to a valid codeword (fill colour:   red, green, blue or ochre), assuming that a single bit error is more likely than their two or more.
*For each valid codeword, there are five invalid codewords, each with only one corruption   ⇒   Hamming–Distance  $d_{\rm H} =1$. These are indicated in the respective square with red, green, blue or ochre background colour.
*Error correction is possible for these due to the minimum distance  $d_{\rm min} = 3$  between the codewords.
*Eight receive words are not decodable. For example, the receive word  $\underline{y} = (0, 0, 1, 0, 1)$  could have arisen from the codeword  $\underline{x}_0 = (0, 0, 0, 0)$  but also from the codeword  $\underline{x}_3 = (1, 1, 1, 0, 1)$. In both cases, two bit errors would have occurred.}} 

== On the Nomenclature in This Book ==
 
One of the objectives of our learning tutorial $\rm LNTww$  was to describe the entire field of communications engineering and the associated basic subjects with uniform nomenclature. In this most recently tackled book &bdquo; Channel Coding” some changes have to be made with regard to the nomenclature after all. The reasons for this are:
*Coding theory is a largely self-contained subject and few authors of relevant reference books on the subject attempt to relate it to other aspects of digital signal transmission. 

*The authors of the most important books on channel coding – English-language and German – largely use a uniform nomenclature. We therefore do not take the liberty of squeezing the designations for channel coding into our communication technology–scheme. 

Some nomenclature changes compared to the other  $\rm LNTww$–books shall be mentioned here:
*All signals are represented by sequences of symbols in vector notation. For example  $\underline{u} = (u_1, u_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, u_k)$  the   Quellensymbolfolge  and  $\underline{v} = (v_1, v_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, v_k)$  the sink symbol sequence. Previously, these symbol sequences were designated  $\langle q_\nu \rangle$  and  $\langle v_\nu \rangle$  respectively. 

*The vector $\underline{x} = (x_1, x_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, x_n)$   now denotes the discrete-time equivalent to the transmit signal  $s(t)$, while the receive signal  $r(t)$ is described by the vector  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$ . The code rate is the quotient   $R=k/n$   with   $0 \le R \le 1$ and the number of check bits is given by  $m = n-k$.

*In the first main chapter the elements  $u_i$  and  $v_i$   $($each with index  $i = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, k)$  of the vectors  $\underline{u}$  and  $\underline{v}$  always binary  $(0$  or  $1)$, as are the  $n$  elements  $x_i$  of the codeword  $\underline{x}$. For digital channel model  ([[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|BSEC]]) also applies to the  $n$  received values  $y_i \in \{0, 1\}$.

*The   [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Channel]]  is characterised by real-valued output values  $y_i$ . The code word estimator in this case extracts from the vector $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$   the binary vector  $\underline{z} = (z_1, z_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, z_n)$ to be compared with the codeword  $\underline{x}$ .

*The transition from  $\underline{y}$  to  $\underline{z}$  is done by threshold decision   ⇒   Hard Decision or according to the MAP–criterion   ⇒   Soft Decision. For equally likely input symbols, the &bdquo;Maximum Likelihood”–estimation also leads to the minimum error rate.

*In the context of the AWGN–model, it makes sense to represent binary code symbols $x_i$ bipolar (i.e. $\pm1$). This does not change the statistical properties. In the following, we mark the bipolar signalling with a tilde. Then applies:

::<math>\tilde{x}_i = 1 - 2 x_i = \left\{ \begin{array}{c} +1\\
-1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm if} \hspace{0.15cm} x_i = 0\hspace{0.05cm},\\
{\rm if} \hspace{0.15cm}x_i = 1\hspace{0.05cm}.\\ \end{array}</math>

== Exercises For The Chapter ==
 
[[Aufgaben:1.1 Zur Kennzeichnung aller Bücher|Aufgabe 1.1: Zur Kennzeichnung aller Bücher]]

[[Aufgaben:1.2 Einfacher binärer Kanalcode|Aufgabe 1.2: Einfacher binärer Kanalcode]]

[[Aufgaben:1.2Z_3D–Darstellung_von_Codes|Aufgabe 1.2Z: 3D–Darstellung von Codes]]

==Sources==

<references/>

{{Display}}

Channel Coding/Objective of Channel Coding

2021-01-15T18:41:43Z

Oezdemir:

{{FirstPage}}
{{Header|
Untermenü=Binary Block Codes for Channel Coding
|Nächste Seite=Channel Models and Decision Structures
}}

== # Overview on The First Main Chapter # ==
 
The first chapter deals with block codes for error detection and error correction and provides the basics for describing more effective codes such as the  ''Reed-Solomon codes''  (see Chapter 2), the  ''convolutional codes''  (Chapter 3), and the  ''iteratively decodable product codes''  (''turbo codes'') and  ''low-density parity-check codes''  (Chapter 4). We restrict ourselves here to binary codes.

This specific field is called  ''channel coding''  in contrast to  ''source coding''  (redundancy reduction for reasons of data compression) and to  ''line coding''  (additional redundancy to adapt the digital signal to the spectral characteristics of the transmission medium).

In detail, it covers:

*Definitions and introductory examples of error detection and error correction,
*a brief review of appropriate channel models and decision maker structures,
*known binary block codes such as single parity-check code, repetition code and Hamming code,
*the general description of linear codes using generator matrix and check matrix,
*the decoding possibilities for block codes, including syndrome decoding,
*simple approximations and upper bounds for block error probability, and
*an information-theoretic bound on channel coding.

== Error Detection and Error Correction ==
 
Transmission errors occur in every message transmission system. It is possible to keep the probability  $p_{\rm S}$  of such a symbol error very small, for example by using a very large signal energy. However, the symbol error probability  $p_{\rm S} = 0$  is never achievable because of the Gaussian WDF of the thermal noise that is always present. 

Particularly in the case of heavily disturbed channels and also for safety-critical applications, it is therefore essential to provide special protection for the data to be transmitted, adapted to the application and channel. For this purpose, redundancy is added at the transmitter and this redundancy is used at the receiver to reduce the number of decoding errors.

{{BlaueBox|TEXT=
$\text{Definitions:}$

*'''Error Detection'''  :   The decoder checks the integrity of the received blocks and marks any errors found. If necessary, the receiver informs the transmitter about erroneous blocks via the return channel, so that the transmitter sends the corresponding block again. 

*'''Error Correction'''   The decoder detects one (or more) bit errors and provides further information for them, for example their positions in the transmitted block. In this way, it may be possible to completely correct the errors that have occurred. 

*The  '''Channel Coding'''  includes procedures for error detection as well as those for error correction. }}

All '''ARQ''' (Automatic Repeat Request) procedures use error detection only. Less redundancy is required for error detection than for error correction. One disadvantage of ARQ is its low throughput when channel quality is poor, i.e. when entire blocks of data must be frequently re-requested by the receiver. 

In this book we mostly deal with  '''Forward Error Correction'''  which leads to very small error rates if the channel is sufficiently good (large SNR). With worse channel conditions, nothing changes in the throughput, i.e. the same amount of information is transmitted. However, the error rate can then assume very large values. 

Often FEC and ARQ methods are combined, and the redundancy is divided between them in such a way,
*so that a small number of errors can still be corrected,
but *when there are many errors, a repeat of the block is requested.

== Some Introductory Examples of Error Detection ==
 
{{GraueBox|TEXT=
$\text{Example 1:   Single Parity–Check Code (SPC)}$
 If one adds  $k = 4$  bit by a so-called check bit (English:   Parity Bit ) in such a way that the sum of all ones is even, for example (with bold check bits) 

:$$0000\boldsymbol{0}, 0001\boldsymbol{1}, \text{...} , 1111\boldsymbol{0}, \text{...}\ ,$$

it is very easy to recognise a single error. Two errors within a code word, on the other hand, remain undetected. }} 

{{GraueBox|TEXT=
$\text{Example 2: &nbsp International Standard Book Number (ISBN)}$
 Since the 1960s, all books have been given 10-digit codes (''ISBN–10'' ). Since 2007, the specification according to ''ISBN–13''  is additionally obligatory. For example, these are for the reference book [Söd93]<ref name ='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen''. Berlin - Heidelberg: Springer, 1993.</ref>: 

*$\boldsymbol{3–540–57215–5}$  (for ISBN–10), bzw.
*$\boldsymbol{978–3–54057215–2}$  (for ISBN–13).

The last digit  $z_{10}$  for ISBN–10 results from the previous digits  $z_1 = 3$,  $z_2 = 5$, ... ,  $z_9 = 5$  according to the following calculation rule:

::<math>z_{10} = \left ( \sum_{i=1}^{9} \hspace{0.2cm} i \cdot z_i \right ) \hspace{-0.3cm} \mod 11 =
(1 \cdot 3 + 2 \cdot 5 + ... + 9 \cdot 5 ) \hspace{-0.2cm} \mod 11 = 5
\hspace{0.05cm}. </math>

Note that  $z_{10} = 10$  must be written as  $z_{10} = \rm X$  (Roman numeral representation of &bdquo;10”), since the number  $10$  cannot be represented as a digit in the decimal system. 

The same applies to the check digit for ISBN–13:

::<math>z_{13}= 10 - \left ( \sum_{i=1}^{12} \hspace{0.2cm} z_i \cdot 3^{(i+1) \hspace{-0.2cm} \mod 2} \right ) \hspace{-0.3cm} \mod 10 = 10 \hspace{-0.05cm}- \hspace{-0.05cm} \big [(9\hspace{-0.05cm}+\hspace{-0.05cm}8\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}0\hspace{-0.05cm}+\hspace{-0.05cm}7\hspace{-0.05cm}+\hspace{-0.05cm}1) \cdot 1 + (7\hspace{-0.05cm}+\hspace{-0.05cm}3\hspace{-0.05cm}+\hspace{-0.05cm}4\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}2\hspace{-0.05cm}+\hspace{-0.05cm}5) \cdot 3\big ] \hspace{-0.2cm} \mod 10 </math>
:: <math>\Rightarrow \hspace{0.3cm} z_{13}= 10 - (108 \hspace{-0.2cm} \mod 10) = 10 - 8 = 2
\hspace{0.05cm}. </math>

With both variants, in contrast to the above parity check code (SPC), number twists such as  $57 \, \leftrightarrow 75$  are also recognised, since different positions are weighted differently here}} .

{{GraueBox|TEXT=
$\text{Example 3:   Barcode (one-dimensional)}$
 The most widely used error-detecting code worldwide is the bar code or bar code (English:   Bar Code) for marking products, for example according to  EAN–13  (European Article Number ) with 13 digits.
[[File:P ID2330 KC T 1 1 S2.png|right|frame|1D–Barcode]]
*These are represented by bars and gaps of different widths and can be easily decoded with an opto–cial reader.
*The first three digits indicate the country (for example Germany:   between 400 and 440), the next four or five digits the manufacturer and the product.
*The last digit is the check digit  $z_{13}$, which is calculated exactly as for ISBN–13.}}

== Some Introductory Examples of Error Correction==
 
{{GraueBox|TEXT=
$\text{Example 4:   2D–Barcodes For Online–Tickets}$
 If you book a Deutsche Bahn ticket online and print it out, you will find an example of a two-dimensional barcode, namely the  [https://en.wikipedia.org/wiki/Aztec_Code Aztec–Code] developed in 1995 by Andy Longacre at the Welch Allyn company in the USA, with which amounts of data up to  $3000$  characters can be encoded. Due to the  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–error correction]]    reconstruction of the data content is still possible even if up to  $40\%$  of the code has been destroyed, for example by bending the ticket or by coffee stains. 

[[File:P ID2332 KC T 1 1 S2a.png|center|frame|2D–Barcodes: Aztec– And QR–Code|class=fit]]

On the right is a $\rm QR–Code$  (Quick Response) with associated content. The QR–code was developed in 1994 for the automotive industry in Japan to mark components and also allows error correction. In the meantime, the use of the QR–code has become very diverse. In Japan, it can be found on almost every advertising poster and on every business card. It is also becoming more and more popular in Germany. 

All 2D–barcodes have square markings to calibrate the reader. You can find details on this in [KM+09]<ref>Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: ''Channel Coding''. Lecture Notes, Lehrstuhl für Nachrichtentechnik, TU München, 2008.</ref>.}}

{{GraueBox|TEXT=
$\text{Example 5:   Codes For Satellites– And Space Communications}$
 One of the first areas of application of error correction methods was communication from/to satellites and space shuttles, i.e. transmission routes characterised by low transmission powers and large path losses. As early as 1977, channel coding was used in the  space–mission Voyager 1  to Neptune and Uranus, in the form of serial concatenation of a  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Code]]  and a  [[Channel_Coding/Grundlagen_der_Faltungscodierung|convolutional code]]. 

Thus, the power parameter  $10 · \lg \; E_{\rm B}/N_0 \approx 2 \, \rm dB$ was already sufficient to achieve the required error rate  $5 · 10^{-5}$  (related to the compressed data after source coding). Without channel coding, on the other hand, almost  $9 \, \rm dB$  are required for the same error rate, i.e. a factor  $10^{0.7} ≈ 5$  greater transmission power. 

The planned Mars project (data transmission from Mars to Earth with  $\rm 5W$–lasers) will also only be successful with a sophisticated coding scheme}} .

{{GraueBox|TEXT=
$\text{Example 6:   Channel Codes For Mobile Communikations}$
 A further and particularly high-turnover application area that would not function without channel coding is mobile communication. Here, unfavourable conditions without coding would result in error rates in the percentage range and, due to shadowing and multipath propagation (echoes), the errors often occur in bundles. The error bundle length is sometimes several hundred bits.
*For voice transmission in the GSM–system, the  $182$  most important (class 1a and 1b) of the total  260  bits of a voice frame  $(20 \, \rm ms)$  together with a few parity– and tailbits are convolutionally coded $($with memory  $m = 4$  and rate $R = 1/2)$  and scrambled. Together with the  $78$  less important and therefore uncoded bits of class 2, this results in the bit rate increasing from  $13 \, \rm kbit/s$  to  $22.4 \, \rm kbit/s$ . 

*One uses the (relative) redundancy of $r = (22.4 - 13)/22.4 ≈ 0.42$  for error correction. It should be noted that  $r = 0.42$  because of the definition used here, $42\%$  of the encoded bits are redundant. With the reference value &bdquo;bit rate of the uncoded sequence” we would get  $r = 9.4/13 \approx 0.72$  with the statement:   To the information bits are added  $72\%$  check bits. 

*For  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_UMTS|UMTS]]  (Universal Mobile Telecommunications System),  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Convolutional Codes]]  with the rates  $R = 1/2$  or  $R = 1/3$  are used. In the UMTS–modes for higher data rates and correspondingly lower spreading factors, on the other hand, one uses  [[Channel_Coding/Grundlegendes_zu_den_Turbocodes|Turbo–Codes]]  of the rate  $R = 1/3$  and iterative decoding. Depending on the number of iterations, gains of up to  $3 \, \rm dB$ can be achieved compared to convolutional coding.}} 

{{GraueBox|TEXT=
$\text{Example 7:   Error Protection of the Compact Disc}$
 For a CD (Compact Disc), one uses cross–interleaved  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  (RS) and then a so-called   [https://en.wikipedia.org/wiki/Eight-to-fourteen_modulation Eight–to–Fourteen–Modulation]. Redundancy is used for error detection and correction. This coding scheme shows the following characteristics:
*The common code rate of the two RS–component codes is  $R_{\rm RS} = 24/28 · 28/32 = 3/4$. Through the 8–to–14–modulation and some control bits, one arrives at the total code rate  $R ≈ 1/3$. 

*In the case of statistically independent errors according to the  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–model]]  (Binary Symmetric Channel ),a complete correction is possible as long as the bit error rate does not exceed the value  $10^{-3}$ . 

*The CD–specific  Cross Interleaver  scrambles  $108$  blocks together so that the  $588$  bits of a block  $($each bit corresponds to approx.   $0.28 \, \rm {µ m})$  are distributed over approximately  $1.75\, \rm cm$. 

*With the code rate  $R ≈ 1/3$  one can correct approx.  $10\%$  &bdquo;Erasures”. The lost values can be reconstructed (approximately) by interpolation   ⇒  Error concealment. 

In summary, if a CD has a scratch of  $1. 75\, \rm mm$  in length in the direction of play (i.e. more than  $6000$  consecutive erasures), still  $90\%$  of all the bits in a block are error-free, so that even the missing  $10\%$  can be reconstructed, or at least the erasures can be disguised so that they are not audible. .

A demonstration of the CD's ability to correct follows on the next page}} .

== The "Slotted CD" - A Demonstration By The LNT of TUM ==
 
Ende der 1990er Jahre haben Mitarbeiter des  [https://www.lnt.ei.tum.de/startseite/ Chair of Communications Engineering] der [https://www.tum.de/die-tum/ TU München]  unter Leitung von Professor  [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr.-Ing._Dr.-Ing._E.h._Joachim_Hagenauer_.281993-2006.29|Joachim Hagenauer]]  eine Musik–CD gezielt beschädigt, indem insgesamt drei Schlitze von jeweils mehr als einem Millimeter Breite eingefräst wurden. Damit fehlen bei jedem Defekt fast  $4000$  fortlaufende Bit der Audiocodierung. 

[[File:P ID2333 KC T 1 1 S2b.png|right|frame|„Geschlitzte CD” des  $\rm LNT/TUM$]]

Die Grafik zeigt die &bdquo;geschlitzte CD”:
*Sowohl in der Spur 3 als auch in der Spur 14 gibt es bei jeder Umdrehung zwei solcher fehlerhafter Bereiche.
*Sie können sich die Musikqualität mit Hilfe der beiden Audioplayer (Abspielzeit jeweils ca. 15 Sekunden) verdeutlichen.
*Die Theorie zu dieser Audio–Demo finden Sie im  $\text{Beispiel 7}$  auf der vorherigen Seite. 

Spur 14:

<lntmedia>file:A_ID59__14_1.mp3</lntmedia>

Spur 3:

<lntmedia>file:A_ID60__3_1.mp3</lntmedia>

 Resumee dieser Audiodemo:
*Die Fehlerkorrektur der CD basiert auf zwei seriell–verketteten  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  sowie einer  [https://de.wikipedia.org/wiki/Eight-to-Fourteen-Modulation Eight–to–Fourteen–Modulation]. Die Gesamtcoderate zur RS–Fehlerkorrektur beträgt  $R = 3/4$. 

*Ebenso wichtig für die Funktionsfähigkeit der CD wie die Codes ist der dazwischen geschaltete Interleaver, der die ausgelöschten Bits (&bdquo;Erasures”) über eine Länge von fast  $2 \, \rm cm$  verteilt. 

*Bei der  '''Spur 14'''  liegen die beiden defekten Bereiche genügend weit auseinander. Deshalb ist der Reed–Solomon–Decoder in der Lage, die fehlenden Daten zu rekonstruieren. 

*Bei der  '''Spur 3'''  folgen die beiden Fehlerblöcke in sehr kurzem Abstand aufeinander, so dass der Korrekturalgorithmus versagt. Das Resultat ist ein fast periodisches Klackgeräusch. 

Wir bedanken uns bei Rainer Bauer,  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Dr.-Ing._Thomas_Hindelang_.28am_LNT_von_1994-2000_und_2007-2012.29|Thomas Hindelang]]  und  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Manfred_J.C3.BCrgens_.28am_LNT_von_1981-2010.29|Manfred Jürgens]], diese Audio–Demo verwenden zu dürfen. 

== Zusammenspiel zwischen Quellen– und Kanalcodierung ==
 
Die Nachrichtenübertragung natürlicher Quellen wie Sprache, Musik, Bilder, Videos, usw. geschieht meist entsprechend dem nachfolgend skizzierten zeitdiskreten Modell. 

[[File:P ID2334 KC T 1 1 S3a v2.png|center|frame|Bildübertragung mit Quellen– und Kanalcodierung|class=fit]]

Zu dieser aus [Liv10]<ref name ='Liv10'>Liva, G.: ''Channel Coding.'' Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010.</ref> entnommenen Grafik ist Folgendes anzumerken:
*Quelle und Sinke sind digitalisiert und werden durch (etwa gleich viele ) Nullen und Einsen repräsentiert. 

*Der Quellencodierer komprimiert die binären Daten – im Beispiel ein Digitalfoto – und reduziert somit die Redundanz der Quelle. 

*Der Kanalcodierer fügt wieder Redundanz hinzu und zwar gezielt, so dass einige der auf dem Kanal entstandenen Fehler im Kanaldecoder korrigiert werden können. 

*Für den Kanal wird hier ein zeitdiskretes Modell mit binärem Eingang und Ausgang verwendet, das auch die Komponenten der technischen Sende– und Empfangseinrichtungen (Modulator, Entscheider, Taktwiedergewinnung) geeignet berücksichtigen sollte. 

Bei richtiger Dimensionierung von Quellen– und Kanalcodierung ist die Qualität des empfangenen Fotos hinreichend gut, auch wenn die Sinkensymbolfolge aufgrund nicht korrigierbarer Fehlermuster nicht exakt mit der Quellensymbolfolge übereinstimmen wird. Man erkennt innerhalb der Sinkensymbolfolge einen (rot markierten) Bitfehler. 

{{GraueBox|TEXT=
$\text{Beispiel 8:}$  Für obige Grafik wurde beispielhaft und stark vereinfachend angenommen, dass
*die Quellensymbolfolge nur die Länge  $40$  hat,
*der Quellencodierer die Daten um den Faktor  $40/16 = 2.5$  komprimiert, und
*der Kanalcoder  $50\%$  Redundanz hinzufügt.

Übertragen werden müssen also nur  $24$  Codersymbole statt  $40$  Quellensymbole, was die Übertragungsrate insgesamt um  $40\%$  reduziert. 

Würde man auf die Quellencodierung verzichten, in dem man das ursprüngliche Foto im BMP–Format übertragen würde und nicht das komprimierte JPG–Bild, so wäre die Qualität vergleichbar, aber eine um den Faktor  $2.5$  höhere Bitrate und damit sehr viel mehr Aufwand erforderlich.}} 

{{GraueBox|TEXT=
$\text{Beispiel 9:}$  Würde man sowohl auf die Quellen– als auch auf die Kanalcodierung verzichten, also direkt die BMP–Daten ohne Fehlerschutz übertragen, so wäre das Ergebnis trotz  $($um den Faktor  $40/24)$  größerer Bitrate äußerst dürftig. 

[[File:P ID2335 KC T 1 1 S3b v2.png|center|frame|Bildübertragung ohne Quellen– und Kanalcodierung |class=fit]]}}

{{GraueBox|TEXT=
$\text{Beispiel 10:}$  Nun betrachten wir den Fall, dass man die komprimierten Daten (zum Beispiel JPG) ohne Fehlersicherungsmaßnahmen direkt überträgt. 

[[File:P ID2336 KC T 1 1 S3c v2.png|center|frame|Bildübertragung mit Quellencodierung, ohne Kanalcodierung |class=fit]]

*Da die komprimierte Quelle nur noch wenig Redundanz besitzt, führt jeder einzelne Übertragungsfehler dazu, dass ganze Bildblöcke falsch decodiert werden. 
*Dieses Codierschema (Quellencodierung, aber keine Kanalcodierung) sollte auf jeden Fall vermieden werden.}}

== Blockschaltbild und Voraussetzungen ==
 
Im weiteren Verlauf gehen wir von dem skizzierten Blockschaltbild mit Kanalcodierer, Digitalem Kanal und Kanaldecoder aus.

[[File:P ID2337 KC T 1 1 S4 v2.png|center|frame|Blockschaltbild zur Beschreibung der Kanalcodierung|class=fit]]

Dabei gelten folgende Voraussetzungen:
*Der Vektor  $\underline{u} = (u_1, u_2, \text{...} \hspace{0.05cm}, u_k)$  kennzeichnet einen  '''Informationsblock'''  mit  $k$  Symbolen.
*Meist beschränken wir uns auf Binärsymbole (Bits)   ⇒   $u_i \in \{0, \, 1\}$ für $i = 1, 2, \text{...} \hspace{0.05cm}, k$  mit gleichen Auftrittswahrscheinlichkeiten für Nullen und Einsen. 

*Jeder Informationsblock  $\underline{u}$  wird durch ein  '''Codewort'''  (oder einen  Codeblock)  $\underline{x} = (x_1, x_2, \text{...} \hspace{0.05cm}, x_n)$  mit  $n \ge k$, $x_i \in \{0, \, 1\}$  dargestellt. Man spricht dann von einem binären  $(n, k)$–Blockcode  $C$. Die Zuordnung bezeichnen wir mit  $\underline{x} = {\rm enc}(\underline{u})$, wobei &bdquo;enc” für &bdquo;Encoder–Funktion” steht. 

*Das  '''Empfangswort''' $\underline{y}$  ergibt sich aus dem Codewort  $\underline{x}$  durch  [https://en.wikipedia.org/wiki/Modular_arithmetic Modulo–2–Addition]  mit dem ebenfalls binären Fehlervektor  $\underline{e} = (e_1, e_2, \text{...} \hspace{0.05cm}, e_n)$, wobei &bdquo;$e= 1$” für einen Übertragungfehler steht und &bdquo;$e= 0$” anzeigt, dass das  $i$–te Bit des Codewortes richtig übertragen wurde. Es gilt also:

::<math>\underline{y} = \underline{x} \oplus \underline{e} \hspace{0.05cm}, \hspace{0.5cm} y_i = x_i \oplus e_i \hspace{0.05cm}, \hspace{0.2cm} i = 1, \text{...} \hspace{0.05cm} , n\hspace{0.05cm}, x_i \hspace{-0.05cm} \in \hspace{-0.05cm} \{ 0, 1 \}\hspace{0.05cm}, \hspace{0.5cm}e_i \in \{ 0, 1 \}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm}y_i \in \{ 0, 1 \}\hspace{0.05cm}.</math>

*Die Beschreibung durch das  '''Digitale Kanalmodell'''  – also mit binärem Eingang und Ausgang – ist allerdings nur dann anwendbar, wenn das Übertragungssystem harte Entscheidungen trifft – siehe  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| AWGN–Kanal bei binärem Eingang]]. Systeme mit  [[Channel_Coding/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft Decision]]  sind mit diesem einfachen Modell nicht modellierbar. 

*Der Vektor  $\underline{v}$  nach der  '''Kanaldecodierung'''  hat die gleiche Länge  $k$  wie der Informationsblock  $\underline{u}$. Den Decodiervorgang beschreiben wir mit der &bdquo;Decoder–Funktion” als  $\underline{v} = {\rm enc}^{-1}(\underline{y}) = {\rm dec}(\underline{y})$. Im fehlerfreien Fall gilt analog zu  $\underline{x} = {\rm enc}(\underline{u})$  auch  $\underline{v} = {\rm enc}^{-1}(\underline{y})$. 

*Ist der Fehlervektor  $\underline{e} \ne \underline{0}$, so ist  $\underline{y}$  meist kein gültiges Element des verwendeten Blockcodes, und die Decodierung ist dann keine reine Zuordnung  $\underline{y} \rightarrow \underline{v}$, sondern eine auf maximale Übereinstimmung (mimimale Fehlerwahrscheinlichkeit) basierende Schätzung von  $\underline{v}$. 

== Einige wichtige Definitionen zur Blockcodierung ==
 
Wir betrachten nun den beispielhaften binären Blockcode

:<math>\mathcal{C} = \{ (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.15cm} (0, 1, 0, 1, 0) \hspace{0.05cm},\hspace{0.15cm}(1, 0, 1, 0, 1) \hspace{0.05cm},\hspace{0.15cm}(1, 1, 1, 1, 1) \}\hspace{0.05cm}.</math>

Dieser Code wäre zum Zwecke der Fehlererkennung oder –korrektur ungeeignet. Aber er ist so konstruiert, dass er die Berechnung wichtiger Beschreibungsgrößen anschaulich verdeutlicht:
*Jedes einzelne Codewort  $\underline{u}$  wird durch fünf Bit beschrieben. Im gesamten Buch drücken wir diesen Sachverhalt durch die  '''Codewortlänge'''  (englisch:  Code Length )  $n = 5$ aus.

*Der obige Code beinhaltet vier Elemente. Damit ist der  '''Codeumfang'''  (englisch:   Size )  $|C| = 4$. Entsprechend gibt es auch vier eindeutige Zuordnungen (englisch:  Mappings ) zwischen  $\underline{u}$  und  $\underline{x}$.

*Die Länge eines Informationsblocks  $\underline{u}$   ⇒   '''Informationsblocklänge'''  wird mit  $k$  bezeichnet. Da bei allen binären Codes  $|C| = 2^k$  gilt, folgt aus  $|C| = 4$  der Wert  $k = 2$. Die Zuordnungen zwischen  $\underline{u}$  und  $\underline{x}$  lauten bei obigem Code  $C$:

::<math>\underline{u_0} = (0, 0) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_1} = (0, 1) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 1, 0, 1, 0) = \underline{x_1}\hspace{0.05cm}, </math>

::<math>\underline{u_2} = (1, 0)\hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 0, 1, 0, 1) = \underline{x_2}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_3} = (1, 1) \hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.</math>

*Der Code weist die  '''Coderate'''  $R = k/n = 2/5$  auf. Dementsprechend beträgt seine Redundanz  $1-R$, also  $60\%$. Ohne Fehlerschutz  $($also für den Fall  $n = k)$  wäre die Coderate  $R = 1$. 

*Eine kleine Coderate zeigt an, dass von den  $n$  Bits eines Codewortes nur sehr wenige tatsächlich Information tragen. Beispielsweise hat ein Wiederholungscode  $(k = 1)$  mit  $n = 10$  die Coderate  $R = 0.1$. 

*Das  '''Hamming–Gewicht'''  $w_{\rm H}(\underline{x})$  des Codewortes  $\underline{x}$  gibt die Zahl der Codewortelemente  $x_i \ne 0$  an. Bei einem binären Code   ⇒   $x_i \in \{0, \, 1\}$  ist $w_{\rm H}(\underline{x})$  gleich der Summe  $x_1 + x_2 + \hspace{0.05cm}\text{...} \hspace{0.05cm}+ x_n$. Im Beispiel:

::<math>w_{\rm H}(\underline{x}_0) = 0\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm} w_{\rm H}(\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_3) = 5\hspace{0.05cm}.
</math>

*Die  '''Hamming–Distanz'''  $d_{\rm H}(\underline{x}, \ \underline{x}\hspace{0.03cm}')$  zwischen den Codeworten  $\underline{x}$  und  $\underline{x}\hspace{0.03cm}'$  bezeichnet die Anzahl der Bitpositionen, in denen sich die beiden Codeworte unterscheiden:

::<math>d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_3) = 5\hspace{0.05cm},\hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_2) = 5\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_3) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_2, \hspace{0.05cm}\underline{x}_3) = 2\hspace{0.05cm}.</math>

*Eine wichtige Eigenschaft eines Codes $C$, die seine Korrekturfähigkeit wesentlich beeinflusst, ist die  '''minimale Distanz'''  zwischen zwei beliebigen Codeworten:

::<math>d_{\rm min}(\mathcal{C}) =
\min_{\substack{\underline{x},\hspace{0.05cm}\underline{x}' \hspace{0.05cm}\in \hspace{0.05cm} \mathcal{C} \\ {\underline{x}} \hspace{0.05cm}\ne \hspace{0.05cm} \underline{x}'}}\hspace{0.1cm}d_{\rm H}(\underline{x}, \hspace{0.05cm}\underline{x}')\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Definition:}$  Ein  $(n, \hspace{0.05cm}k, \hspace{0.05cm}d_{\rm min})\text{ – Blockcode}$  besitzt die Codewortlänge  $n$, die Informationsblocklänge  $k$  und die minimale Distanz  $d_{\rm min}$.
*Nach dieser Nomenklatur handelt es sich im hier betrachteten Beispiel um einen  $(5, \hspace{0.05cm}2,\hspace{0.05cm} 2)$ – Blockcode.
*Manchmal verzichtet man auf die Angabe von  $d_{\rm min}$  und spricht dann von einem  $(n,\hspace{0.05cm} k)$ – Blockcode.}} 

== Beispiele für Fehlererkennung und Fehlerkorrektur ==
 
Die eben definierten Größen sollen nun an zwei Beispielen verdeutlicht werden.

{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(4, 2, 2)–Blockcode}$

In der Grafik verdeutlichen die nach rechts bzw. links zeigenden Pfeile den Codiervorgang bzw. die Decodierung:

:$$\underline{u_0} = (0, 0) \leftrightarrow (0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_1} = (0, 1) \leftrightarrow (0, 1, 0, 1) = \underline{x_1}\hspace{0.05cm},$$
:$$\underline{u_2} = (1, 0) \leftrightarrow (1, 0, 1, 0) = \underline{x_2}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_3} = (1, 1) \leftrightarrow (1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.$$

[[File:P ID2532 KC T 1 1 S5a v2.png|center|frame|(4, 2, 2)–Blockcode zur Fehlererkennung|class=fit]]

Rechts sind alle  $2^4 = 16$  möglichen Empfangsworte  $\underline{y}$  dargestellt:
* Von diesen können  $2^n - 2^k = 12$  nur durch Bitfehler entstanden sein.
*Empfängt der Decoder ein solches &bdquo;weißes” Codewort, so erkennt er zwar einen Fehler, er kann diesen aber wegen  $d_{\rm min} = 2$  nicht korrigieren.
*Empfängt er beispielsweise  $\underline{y} = (0, 0, 0, 1)$, so kann nämlich mit gleicher Wahrscheinlichkeit  $\underline{x_0} = (0, 0, 0, 0)$  oder  $\underline{x_1} = (0, 1, 0, 1)$ gesendet worden sein.}} 

[[File:P ID2533 KC T 1 1 S5b v2.png|right|frame|(5, 2, 3)–Blockcode zur Fehlerkorrektur|class=fit]]
{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(5, 2, 3)–Blockcode}$

Hier gibt es wegen $k=2$ vier gültige Codeworte :
:$$\underline{x_0} = (0, 0, 0, 0, 0)\hspace{0.05cm},\hspace{0.5cm} \underline{x_1} =(0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x_2} =(1, 0, 1, 1, 0)\hspace{0.05cm},\hspace{0.5cm}\underline{x_3} =(1, 1, 1, 0, 1).$$

In der Grafik dargestellt ist die Empfängerseite, wobei man verfälschte Bit an der Kursivschrift erkennt.
 
*Von den  $2^n - 2^k = 28$  unzulässigen Codeworten lassen sich nun  $20$  einem gültigen Codewort (Füllfarbe:   rot, grün, blau oder ocker) zuordnen, wenn man davon ausgeht, dass ein einziger Bitfehler wahrscheinlicher ist als deren zwei oder mehr.
*Zu jedem gültigen Codewort gibt es fünf unzulässige Codeworte mit jeweils nur einer Verfälschung   ⇒   Hamming–Distanz  $d_{\rm H} =1$. Diese sind in dem jeweiligen Quadrat mit roter, grüner, blauer oder ockerfarbenen Hintergrundfarbe angegeben.
*Die Fehlerkorrektur ist für diese aufgrund der minimalen Distanz  $d_{\rm min} = 3$  zwischen den Codeworten möglich.
*Acht Empfangsworte sind nicht decodierbar. Beispielsweise könnte das Empfangswort  $\underline{y} = (0, 0, 1, 0, 1)$  aus dem Codewort  $\underline{x}_0 = (0, 0, 0, 0, 0)$  entstanden sein, aber auch aus dem Codewort  $\underline{x}_3 = (1, 1, 1, 0, 1)$. In beiden Fällen wären zwei Bitfehler aufgetreten.}} 

== Zur Nomenklatur in diesem Buch ==
 
Eine Zielvorgabe unseres Lerntutorials  $\rm LNTwww$  war, das gesamte Fachgebiet der Nachrichtentechnik und der zugehörigen Grundlagenfächer mit einheitlicher Nomenklatur zu beschreiben. In diesem zuletzt in Angriff genommenen Buch &bdquo; Kanalcodierung” müssen nun doch einige Änderungen hinsichtlich der Nomenklatur vorgenommen werden. Die Gründe hierfür sind:
*Die Codierungstheorie ist ein weitgehend in sich abgeschlossenes Fachgebiet und nur wenige Autoren von einschlägigen Fachbüchern zu diesem Gebiet versuchen, einen Zusammenhang mit anderen Aspekten der Digitalsignalübertragung herzustellen. 

*Die Autoren der wichtigsten Bücher zur Kanalcodierung – englischsprachige und deutsche – verwenden weitgehend eine einheitliche Nomenklatur. Wir erlauben uns deshalb nicht, die Bezeichnungen zur Kanalcodierung in unser Übertragungstechnik–Schema zu pressen. 

Einige Nomenklaturänderungen gegenüber den anderen  $\rm LNTwww$–Büchern sollen hier genannt werden:
*Alle Signale werden durch Symbolfolgen in Vektorschreibweise dargestellt. Beispielsweise kennzeichnet  $\underline{u} = (u_1, u_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, u_k)$  die  Quellensymbolfolge  und  $\underline{v} = (v_1, v_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, v_k)$  die Sinkensymbolfolge. Bisher wurden diese Symbolfolgen mit  $\langle q_\nu \rangle$  bzw.  $\langle v_\nu \rangle$  bezeichnet. 

*Der Vektor $\underline{x} = (x_1, x_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, x_n)$  bezeichnet nun das zeitdiskrete Äquivalent zum Sendesignal  $s(t)$, während das Empfangssignal  $r(t)$ durch den Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  beschrieben wird. Die Coderate ist der Quotient   $R=k/n$   mit   $0 \le R \le 1$ und die Anzahl der Prüfbits ergibt sich zu  $m = n-k$.

*Im ersten Hauptkapitel sind die Elemente  $u_i$  und  $v_i$   $($jeweils mit Index  $i = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, k)$  der Vektoren  $\underline{u}$  und  $\underline{v}$  stets binär  $(0$  oder  $1)$, ebenso wie die  $n$  Elemente  $x_i$  des Codewortes  $\underline{x}$. Bei digitalem Kanalmodell  ([[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|BSEC]]) gilt auch für die  $n$  Empfangswerte  $y_i \in \{0, 1\}$.

*Das  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]]  ist durch reellwertige Ausgangswerte  $y_i$  gekennzeichnet. Der Codewortschätzer gewinnt in diesem Fall aus dem Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  den binären Vektor  $\underline{z} = (z_1, z_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, z_n)$, der mit dem Codewort  $\underline{x}$  zu vergleichen ist.

*Der Übergang von  $\underline{y}$  auf  $\underline{z}$  erfolgt durch Schwellenwertentscheidung   ⇒   Hard Decision oder nach dem MAP–Kriterium   ⇒   Soft Decision. Bei gleichwahrscheinlichen Eingangssymbolen führt die &bdquo;Maximum Likelihood”–Schätzung ebenfalls zur minimalen Fehlerrate.

*Im Zusammenhang mit dem AWGN–Modell macht es Sinn, binäre Codesymbole $x_i$ bipolar (also $\pm1$) darzustellen. An den statistischen Eigenschaften ändert sich dadurch nichts. Wir kennzeichnen im Folgenden die bipolare Signalisierung durch eine Tilde. Dann gilt:

::<math>\tilde{x}_i = 1 - 2 x_i = \left\{ \begin{array}{c} +1\\
-1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} x_i = 0\hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}x_i = 1\hspace{0.05cm}.\\ \end{array}</math>

== Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Zur Kennzeichnung aller Bücher|Aufgabe 1.1: Zur Kennzeichnung aller Bücher]]

[[Aufgaben:1.2 Einfacher binärer Kanalcode|Aufgabe 1.2: Einfacher binärer Kanalcode]]

[[Aufgaben:1.2Z_3D–Darstellung_von_Codes|Aufgabe 1.2Z: 3D–Darstellung von Codes]]

==Quellenverzeichnis==

<references/>

{{Display}}

Channel Coding/Objective of Channel Coding

2021-01-15T17:53:23Z

Oezdemir:

{{FirstPage}}
{{Header|
Untermenü=Binary Block Codes for Channel Coding
|Nächste Seite=Channel Models and Decision Structures
}}

== # Overview on The First Main Chapter # ==
 
The first chapter deals with block codes for error detection and error correction and provides the basics for describing more effective codes such as the  ''Reed-Solomon codes''  (see Chapter 2), the  ''convolutional codes''  (Chapter 3), and the  ''iteratively decodable product codes''  (''turbo codes'') and  ''low-density parity-check codes''  (Chapter 4). We restrict ourselves here to binary codes.

This specific field is called  ''channel coding''  in contrast to  ''source coding''  (redundancy reduction for reasons of data compression) and to  ''line coding''  (additional redundancy to adapt the digital signal to the spectral characteristics of the transmission medium).

In detail, it covers:

*Definitions and introductory examples of error detection and error correction,
*a brief review of appropriate channel models and decision maker structures,
*known binary block codes such as single parity-check code, repetition code and Hamming code,
*the general description of linear codes using generator matrix and check matrix,
*the decoding possibilities for block codes, including syndrome decoding,
*simple approximations and upper bounds for block error probability, and
*an information-theoretic bound on channel coding.

== Error Detection and Error Correction ==
 
Transmission errors occur in every message transmission system. It is possible to keep the probability  $p_{\rm S}$  of such a symbol error very small, for example by using a very large signal energy. However, the symbol error probability  $p_{\rm S} = 0$  is never achievable because of the Gaussian WDF of the thermal noise that is always present. 

Particularly in the case of heavily disturbed channels and also for safety-critical applications, it is therefore essential to provide special protection for the data to be transmitted, adapted to the application and channel. For this purpose, redundancy is added at the transmitter and this redundancy is used at the receiver to reduce the number of decoding errors.

{{BlaueBox|TEXT=
$\text{Definitions:}$

*'''Error Detection'''  :   The decoder checks the integrity of the received blocks and marks any errors found. If necessary, the receiver informs the transmitter about erroneous blocks via the return channel, so that the transmitter sends the corresponding block again. 

*'''Error Correction'''   The decoder detects one (or more) bit errors and provides further information for them, for example their positions in the transmitted block. In this way, it may be possible to completely correct the errors that have occurred. 

*The  '''Channel Coding'''  includes procedures for error detection as well as those for error correction. }}

All '’’ARQ’’' (Automatic Repeat Request) procedures use error detection only. Less redundancy is required for error detection than for error correction. One disadvantage of ARQ is its low throughput when channel quality is poor, i.e. when entire blocks of data must be frequently re-requested by the receiver. 

In this book we mostly deal with  '''Forward Error Correction'''  which leads to very small error rates if the channel is sufficiently good (large SNR). With worse channel conditions, nothing changes in the throughput, i.e. the same amount of information is transmitted. However, the error rate can then assume very large values. 

Often FEC and ARQ methods are combined, and the redundancy is divided between them in such a way,
*so that a small number of errors can still be corrected,
but *when there are many errors, a repeat of the block is requested.

== Some Introductory Examples of Error Detection ==
 
{{GraueBox|TEXT=
$\text{Example 1:   Single Parity–Check Code (SPC)}$
 If one adds  $k = 4$  bit by a so-called check bit (English:   Parity Bit ) in such a way that the sum of all ones is even, for example (with bold check bits) 

:$$0000\boldsymbol{0}, 0001\boldsymbol{1}, \text{...} , 1111\boldsymbol{0}, \text{...}\ ,$$

it is very easy to recognise a single error. Two errors within a code word, on the other hand, remain undetected.

{{GraueBox|TEXT=
$\text{Example 2: &nbsp International Standard Book Number (ISBN)}$
 Since the 1960s, all books have been given 10-digit codes (''ISBN–10'' ). Since 2007, the specification according to ''ISBN–13''  is additionally obligatory. For example, these are for the reference book [Söd93]<ref name ='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen''. Berlin - Heidelberg: Springer, 1993.</ref>: 

*$\boldsymbol{3–540–57215–5}$  (for ISBN–10), bzw.
*$\boldsymbol{978–3–54057215–2}$  (for ISBN–13).

The last digit  $z_{10}$  for ISBN–10 results from the previous digits  $z_1 = 3$,  $z_2 = 5$, ... ,  $z_9 = 5$  according to the following calculation rule:

::<math>z_{10} = \left ( \sum_{i=1}^{9} \hspace{0.2cm} i \cdot z_i \right ) \hspace{-0.3cm} \mod 11 =
(1 \cdot 3 + 2 \cdot 5 + ... + 9 \cdot 5 ) \hspace{-0.2cm} \mod 11 = 5
\hspace{0.05cm}. </math>

Note that  $z_{10} = 10$  must be written as  $z_{10} = \rm X$  (Roman numeral representation of &bdquo;10”), since the number  $10$  cannot be represented as a digit in the decimal system. 

The same applies to the check digit for ISBN–13:

::<math>z_{13}= 10 - \left ( \sum_{i=1}^{12} \hspace{0.2cm} z_i \cdot 3^{(i+1) \hspace{-0.2cm} \mod 2} \right ) \hspace{-0.3cm} \mod 10 = 10 \hspace{-0.05cm}- \hspace{-0.05cm} \big [(9\hspace{-0.05cm}+\hspace{-0.05cm}8\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}0\hspace{-0.05cm}+\hspace{-0.05cm}7\hspace{-0.05cm}+\hspace{-0.05cm}1) \cdot 1 + (7\hspace{-0.05cm}+\hspace{-0.05cm}3\hspace{-0.05cm}+\hspace{-0.05cm}4\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}2\hspace{-0.05cm}+\hspace{-0.05cm}5) \cdot 3\big ] \hspace{-0.2cm} \mod 10 </math>
:: <math>\Rightarrow \hspace{0.3cm} z_{13}= 10 - (108 \hspace{-0.2cm} \mod 10) = 10 - 8 = 2
\hspace{0.05cm}. </math>

With both variants, in contrast to the above parity check code (SPC), number twists such as  $57 \, \leftrightarrow 75$  are also recognised, since different positions are weighted differently here}} .

{{GraueBox|TEXT=
$\text{Example 3:   Strichcode (eindimensionaler Barcode)}$
 Der am weitesten verbreitete fehlererkennende Code weltweit ist der Strichcode oder Balkencode (englisch:   Bar Code) zur Kennzeichnung von Produkten, zum Beispiel nach  EAN–13  (European Article Number ) mit 13 Ziffern.
[[File:P ID2330 KC T 1 1 S2.png|right|frame|1D–Barcode]]
*Diese werden durch verschieden breite Balken und Lücken dargestellt und können mit einem opto–elektronischen Lesegerät leicht entschlüsselt werden.
*Die ersten drei Ziffern kennzeichnen das Land (beispielsweise Deutschland:   zwischen 400 und 440), die nächsten vier bzw. fünf Stellen den Hersteller und das Produkt.
*Die letzte Ziffer ist die Prüfziffer  $z_{13}$, die sich genau so berechnet wie bei ISBN–13.}}

== Einige einführende Beispiele zur Fehlerkorrektur==
 
{{GraueBox|TEXT=
$\text{Beispiel 4:   2D–Barcodes für Online–Tickets}$
 Wenn Sie eine Fahrkarte der Deutschen Bahn online buchen und ausdrucken, finden Sie ein Beispiel eines zweidimensionalen Barcodes, nämlich den 1995 von Andy Longacre bei der Firma Welch Allyn in den USA entwickelten  [https://de.wikipedia.org/wiki/Aztec-Code Aztec–Code], mit dem Datenmengen bis zu  $3000$  Zeichen codiert werden können. Aufgrund der  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Fehlerkorrektur]]  ist die Rekonstruktion des Dateninhalts auch dann noch möglich, wenn bis zu  $40\%$  des Codes zerstört wurden, zum Beispiel durch Knicken der Fahrkarte oder durch Kaffeeflecken. 

[[File:P ID2332 KC T 1 1 S2a.png|center|frame|2D–Barcodes: Aztec– und QR–Code|class=fit]]

Rechts ist ein  $\rm QR–Code$  (Quick Response) mit zugehörigem Inhalt dargestellt. Der QR–Code wurde 1994 für die Autoindustrie in Japan zur Kennzeichnung von Bauteilen entwickelt und erlaubt ebenfalls eine Fehlerkorrektur. Inzwischen ist der Einsatz des QR–Codes sehr vielfältig. In Japan findet man ihn auf nahezu jedem Werbeplakat und auf jeder Visitenkarte. Auch in Deutschland setzt er sich mehr und mehr durch. 

Bei allen 2D–Barcodes gibt es quadratische Markierungen zur Kalibrierung des Lesegerätes. Details hierzu finden Sie in [KM+09]<ref>Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: ''Channel Coding''. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München, 2008.</ref>.}}

{{GraueBox|TEXT=
$\text{Beispiel 5:   Codes für die Satelliten– und Weltraumkommunikation}$
 Eines der ersten Einsatzgebiete von Fehlerkorrekturverfahren war die Kommunikation von/zu Satelliten und Raumfähren, also Übertragungsstrecken, die durch niedrige Sendeleistungen und große Pfadverluste gekennzeichnet sind. Schon 1977 wurde bei der  Raum–Mission Voyager 1  zu Neptun und Uranus Kanalcodierung eingesetzt, und zwar in Form der seriellen Verkettung eines  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  und eines  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Faltungscodes]]. 

Damit genügte schon der Leistungskennwert  $10 · \lg \; E_{\rm B}/N_0 \approx 2 \, \rm dB$, um die geforderte Fehlerrate  $5 · 10^{-5}$  (bezogen auf die komprimierten Daten nach der Quellencodierung) zu erreichen. Ohne Kanalcodierung sind dagegen für die gleiche Fehlerrate fast  $9 \, \rm dB$  erforderlich, also eine um den Faktor  $10^{0.7} ≈ 5$  größere Sendeleistung. 

Auch das geplante Marsprojekt (die Datenübertragung vom Mars zur Erde mit  $\rm 5W$–Lasern) wird nur mit einem ausgeklügelten Codierschema erfolgreich sein.}} 

{{GraueBox|TEXT=
$\text{Beispiel 6:   Kanalcodes für die Mobilkommunikation}$
 Ein weiteres und besonders umsatzstarkes Anwendungsgebiet, das ohne Kanalcodierung nicht funktionieren würde, ist die Mobilkommunikation. Hier ergäben sich bei ungünstigen Bedingungen ohne Codierung Fehlerraten im Prozentbereich und aufgrund von Abschattungen und Mehrwegeausbreitung (Echos) treten die Fehler oft gebündelt auf. Die Fehlerbündellänge beträgt dabei manchmal einige Hundert Bit.
*Bei der Sprachübertragung im GSM–System werden die  $182$  wichtigsten (Klasse 1a und 1b) der insgesamt  260  Bit eines Sprachrahmens  $(20 \, \rm ms)$  zusammen mit einigen wenigen Paritäts– und Tailbits faltungscodiert  $($mit Memory  $m = 4$  und Rate  $R = 1/2)$  und verwürfelt. Zusammen mit den  $78$  weniger wichtigen und deshalb uncodierten Bits der Klasse 2 führt dies dazu, dass die Bitrate von  $13 \, \rm kbit/s$  auf  $22.4 \, \rm kbit/s$  ansteigt. 

*Man nutzt die (relative) Redundanz von  $r = (22.4 - 13)/22.4 ≈ 0.42$  zur Fehlerkorrektur. Anzumerken ist, dass  $r = 0.42$  aufgrund der hier verwendeten Definition aussagt, das  $42\%$  der codierten Bits redundant sind. Mit dem Bezugswert &bdquo;Bitrate der uncodierten Folge” ergäbe sich  $r = 9.4/13 \approx 0.72$  mit der Aussage:   Zu den Informationsbits werden  $72\%$  Prüfbits hinzugefügt. 

*Bei  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_UMTS|UMTS]]  (Universal Mobile Telecommunications System) werden  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Faltungscodes]]  mit den Raten  $R = 1/2$  bzw.  $R = 1/3$  eingesetzt. Bei den UMTS–Modi für höhere Datenraten und entsprechend geringeren Spreizfaktoren verwendet man dagegen  [[Channel_Coding/Grundlegendes_zu_den_Turbocodes|Turbo–Codes]]  der Rate  $R = 1/3$  und iterative Decodierung. Abhängig von der Anzahl der Iterationen erzielt man gegenüber der Faltungscodierung hiermit Gewinne von bis zu  $3 \, \rm dB$.}} 

{{GraueBox|TEXT=
$\text{Beispiel 7:   Fehlerschutz der Compact Disc}$
 Bei einer CD (Compact Disc) verwendet man einen cross–interleaved  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Code]]  (RS) und anschließend eine so genannte  [https://de.wikipedia.org/wiki/Eight-to-Fourteen-Modulation Eight–to–Fourteen–Modulation]. Die Redundanz nutzt man zur Fehlererkennung und –korrektur. Dieses Codierschema zeigt folgende Charakteristika:
*Die gemeinsame Coderate der zwei RS–Komponentencodes beträgt  $R_{\rm RS} = 24/28 · 28/32 = 3/4$. Durch die 8–to–14–Modulation und einiger Kontrollbits kommt man zur Gesamtcoderate  $R ≈ 1/3$. 

*Bei statistisch unabhängigen Fehlern gemäß dem  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Modell]]  (Binary Symmetric Channel ) ist eine vollständige Korrektur möglich, so lange die Bitfehlerrate den Wert  $10^{-3}$  nicht überschreitet. 

*Der CD–spezifische  Cross Interleaver  verwürfelt  $108$  Blöcke miteinander, so dass die  $588$  Bit eines Blockes  $($jedes Bit entspricht ca.  $0.28 \, \rm {µ m})$  auf etwa  $1.75\, \rm cm$ verteilt werden. 

*Mit der Coderate  $R ≈ 1/3$  kann man ca.  $10\%$  &bdquo;Erasures” korrigieren. Die verloren gegangenen Werte lassen sich durch Interpolation (näherungsweise) rekonstruieren   ⇒  Fehlerverschleierung. 

Zusammenfassend lässt sich sagen:   Weist eine CD einen Kratzer von  $1.75\, \rm mm$  Länge in Abspielrichtung auf (also mehr als  $6000$  aufeinanderfolgende Erasures), so sind immer noch  $90\%$  aller Bits eines Blockes fehlerfrei, so dass sich auch die fehlenden  $10\%$  rekonstruieren lassen, oder dass die Auslöschungen zumindest so verschleiert werden können, dass sie nicht hörbar sind. 

Auf der nächsten Seite folgt eine Demonstration zur Korrekturfähigkeit der CD.}} 

== Die „Geschlitzte CD” – eine Demonstration des LNT der TUM ==
 
Ende der 1990er Jahre haben Mitarbeiter des  [https://www.lnt.ei.tum.de/startseite/ Lehrstuhls für Nachrichtentechnik] der [https://www.tum.de/die-tum/ TU München]  unter Leitung von Professor  [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr.-Ing._Dr.-Ing._E.h._Joachim_Hagenauer_.281993-2006.29|Joachim Hagenauer]]  eine Musik–CD gezielt beschädigt, indem insgesamt drei Schlitze von jeweils mehr als einem Millimeter Breite eingefräst wurden. Damit fehlen bei jedem Defekt fast  $4000$  fortlaufende Bit der Audiocodierung. 

[[File:P ID2333 KC T 1 1 S2b.png|right|frame|„Geschlitzte CD” des  $\rm LNT/TUM$]]

Die Grafik zeigt die &bdquo;geschlitzte CD”:
*Sowohl in der Spur 3 als auch in der Spur 14 gibt es bei jeder Umdrehung zwei solcher fehlerhafter Bereiche.
*Sie können sich die Musikqualität mit Hilfe der beiden Audioplayer (Abspielzeit jeweils ca. 15 Sekunden) verdeutlichen.
*Die Theorie zu dieser Audio–Demo finden Sie im  $\text{Beispiel 7}$  auf der vorherigen Seite. 

Spur 14:

<lntmedia>file:A_ID59__14_1.mp3</lntmedia>

Spur 3:

<lntmedia>file:A_ID60__3_1.mp3</lntmedia>

 Resumee dieser Audiodemo:
*Die Fehlerkorrektur der CD basiert auf zwei seriell–verketteten  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  sowie einer  [https://de.wikipedia.org/wiki/Eight-to-Fourteen-Modulation Eight–to–Fourteen–Modulation]. Die Gesamtcoderate zur RS–Fehlerkorrektur beträgt  $R = 3/4$. 

*Ebenso wichtig für die Funktionsfähigkeit der CD wie die Codes ist der dazwischen geschaltete Interleaver, der die ausgelöschten Bits (&bdquo;Erasures”) über eine Länge von fast  $2 \, \rm cm$  verteilt. 

*Bei der  '''Spur 14'''  liegen die beiden defekten Bereiche genügend weit auseinander. Deshalb ist der Reed–Solomon–Decoder in der Lage, die fehlenden Daten zu rekonstruieren. 

*Bei der  '''Spur 3'''  folgen die beiden Fehlerblöcke in sehr kurzem Abstand aufeinander, so dass der Korrekturalgorithmus versagt. Das Resultat ist ein fast periodisches Klackgeräusch. 

Wir bedanken uns bei Rainer Bauer,  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Dr.-Ing._Thomas_Hindelang_.28am_LNT_von_1994-2000_und_2007-2012.29|Thomas Hindelang]]  und  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Manfred_J.C3.BCrgens_.28am_LNT_von_1981-2010.29|Manfred Jürgens]], diese Audio–Demo verwenden zu dürfen. 

== Zusammenspiel zwischen Quellen– und Kanalcodierung ==
 
Die Nachrichtenübertragung natürlicher Quellen wie Sprache, Musik, Bilder, Videos, usw. geschieht meist entsprechend dem nachfolgend skizzierten zeitdiskreten Modell. 

[[File:P ID2334 KC T 1 1 S3a v2.png|center|frame|Bildübertragung mit Quellen– und Kanalcodierung|class=fit]]

Zu dieser aus [Liv10]<ref name ='Liv10'>Liva, G.: ''Channel Coding.'' Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010.</ref> entnommenen Grafik ist Folgendes anzumerken:
*Quelle und Sinke sind digitalisiert und werden durch (etwa gleich viele ) Nullen und Einsen repräsentiert. 

*Der Quellencodierer komprimiert die binären Daten – im Beispiel ein Digitalfoto – und reduziert somit die Redundanz der Quelle. 

*Der Kanalcodierer fügt wieder Redundanz hinzu und zwar gezielt, so dass einige der auf dem Kanal entstandenen Fehler im Kanaldecoder korrigiert werden können. 

*Für den Kanal wird hier ein zeitdiskretes Modell mit binärem Eingang und Ausgang verwendet, das auch die Komponenten der technischen Sende– und Empfangseinrichtungen (Modulator, Entscheider, Taktwiedergewinnung) geeignet berücksichtigen sollte. 

Bei richtiger Dimensionierung von Quellen– und Kanalcodierung ist die Qualität des empfangenen Fotos hinreichend gut, auch wenn die Sinkensymbolfolge aufgrund nicht korrigierbarer Fehlermuster nicht exakt mit der Quellensymbolfolge übereinstimmen wird. Man erkennt innerhalb der Sinkensymbolfolge einen (rot markierten) Bitfehler. 

{{GraueBox|TEXT=
$\text{Beispiel 8:}$  Für obige Grafik wurde beispielhaft und stark vereinfachend angenommen, dass
*die Quellensymbolfolge nur die Länge  $40$  hat,
*der Quellencodierer die Daten um den Faktor  $40/16 = 2.5$  komprimiert, und
*der Kanalcoder  $50\%$  Redundanz hinzufügt.

Übertragen werden müssen also nur  $24$  Codersymbole statt  $40$  Quellensymbole, was die Übertragungsrate insgesamt um  $40\%$  reduziert. 

Würde man auf die Quellencodierung verzichten, in dem man das ursprüngliche Foto im BMP–Format übertragen würde und nicht das komprimierte JPG–Bild, so wäre die Qualität vergleichbar, aber eine um den Faktor  $2.5$  höhere Bitrate und damit sehr viel mehr Aufwand erforderlich.}} 

{{GraueBox|TEXT=
$\text{Beispiel 9:}$  Würde man sowohl auf die Quellen– als auch auf die Kanalcodierung verzichten, also direkt die BMP–Daten ohne Fehlerschutz übertragen, so wäre das Ergebnis trotz  $($um den Faktor  $40/24)$  größerer Bitrate äußerst dürftig. 

[[File:P ID2335 KC T 1 1 S3b v2.png|center|frame|Bildübertragung ohne Quellen– und Kanalcodierung |class=fit]]}}

{{GraueBox|TEXT=
$\text{Beispiel 10:}$  Nun betrachten wir den Fall, dass man die komprimierten Daten (zum Beispiel JPG) ohne Fehlersicherungsmaßnahmen direkt überträgt. 

[[File:P ID2336 KC T 1 1 S3c v2.png|center|frame|Bildübertragung mit Quellencodierung, ohne Kanalcodierung |class=fit]]

*Da die komprimierte Quelle nur noch wenig Redundanz besitzt, führt jeder einzelne Übertragungsfehler dazu, dass ganze Bildblöcke falsch decodiert werden. 
*Dieses Codierschema (Quellencodierung, aber keine Kanalcodierung) sollte auf jeden Fall vermieden werden.}}

== Blockschaltbild und Voraussetzungen ==
 
Im weiteren Verlauf gehen wir von dem skizzierten Blockschaltbild mit Kanalcodierer, Digitalem Kanal und Kanaldecoder aus.

[[File:P ID2337 KC T 1 1 S4 v2.png|center|frame|Blockschaltbild zur Beschreibung der Kanalcodierung|class=fit]]

Dabei gelten folgende Voraussetzungen:
*Der Vektor  $\underline{u} = (u_1, u_2, \text{...} \hspace{0.05cm}, u_k)$  kennzeichnet einen  '''Informationsblock'''  mit  $k$  Symbolen.
*Meist beschränken wir uns auf Binärsymbole (Bits)   ⇒   $u_i \in \{0, \, 1\}$ für $i = 1, 2, \text{...} \hspace{0.05cm}, k$  mit gleichen Auftrittswahrscheinlichkeiten für Nullen und Einsen. 

*Jeder Informationsblock  $\underline{u}$  wird durch ein  '''Codewort'''  (oder einen  Codeblock)  $\underline{x} = (x_1, x_2, \text{...} \hspace{0.05cm}, x_n)$  mit  $n \ge k$, $x_i \in \{0, \, 1\}$  dargestellt. Man spricht dann von einem binären  $(n, k)$–Blockcode  $C$. Die Zuordnung bezeichnen wir mit  $\underline{x} = {\rm enc}(\underline{u})$, wobei &bdquo;enc” für &bdquo;Encoder–Funktion” steht. 

*Das  '''Empfangswort''' $\underline{y}$  ergibt sich aus dem Codewort  $\underline{x}$  durch  [https://en.wikipedia.org/wiki/Modular_arithmetic Modulo–2–Addition]  mit dem ebenfalls binären Fehlervektor  $\underline{e} = (e_1, e_2, \text{...} \hspace{0.05cm}, e_n)$, wobei &bdquo;$e= 1$” für einen Übertragungfehler steht und &bdquo;$e= 0$” anzeigt, dass das  $i$–te Bit des Codewortes richtig übertragen wurde. Es gilt also:

::<math>\underline{y} = \underline{x} \oplus \underline{e} \hspace{0.05cm}, \hspace{0.5cm} y_i = x_i \oplus e_i \hspace{0.05cm}, \hspace{0.2cm} i = 1, \text{...} \hspace{0.05cm} , n\hspace{0.05cm}, x_i \hspace{-0.05cm} \in \hspace{-0.05cm} \{ 0, 1 \}\hspace{0.05cm}, \hspace{0.5cm}e_i \in \{ 0, 1 \}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm}y_i \in \{ 0, 1 \}\hspace{0.05cm}.</math>

*Die Beschreibung durch das  '''Digitale Kanalmodell'''  – also mit binärem Eingang und Ausgang – ist allerdings nur dann anwendbar, wenn das Übertragungssystem harte Entscheidungen trifft – siehe  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| AWGN–Kanal bei binärem Eingang]]. Systeme mit  [[Channel_Coding/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft Decision]]  sind mit diesem einfachen Modell nicht modellierbar. 

*Der Vektor  $\underline{v}$  nach der  '''Kanaldecodierung'''  hat die gleiche Länge  $k$  wie der Informationsblock  $\underline{u}$. Den Decodiervorgang beschreiben wir mit der &bdquo;Decoder–Funktion” als  $\underline{v} = {\rm enc}^{-1}(\underline{y}) = {\rm dec}(\underline{y})$. Im fehlerfreien Fall gilt analog zu  $\underline{x} = {\rm enc}(\underline{u})$  auch  $\underline{v} = {\rm enc}^{-1}(\underline{y})$. 

*Ist der Fehlervektor  $\underline{e} \ne \underline{0}$, so ist  $\underline{y}$  meist kein gültiges Element des verwendeten Blockcodes, und die Decodierung ist dann keine reine Zuordnung  $\underline{y} \rightarrow \underline{v}$, sondern eine auf maximale Übereinstimmung (mimimale Fehlerwahrscheinlichkeit) basierende Schätzung von  $\underline{v}$. 

== Einige wichtige Definitionen zur Blockcodierung ==
 
Wir betrachten nun den beispielhaften binären Blockcode

:<math>\mathcal{C} = \{ (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.15cm} (0, 1, 0, 1, 0) \hspace{0.05cm},\hspace{0.15cm}(1, 0, 1, 0, 1) \hspace{0.05cm},\hspace{0.15cm}(1, 1, 1, 1, 1) \}\hspace{0.05cm}.</math>

Dieser Code wäre zum Zwecke der Fehlererkennung oder –korrektur ungeeignet. Aber er ist so konstruiert, dass er die Berechnung wichtiger Beschreibungsgrößen anschaulich verdeutlicht:
*Jedes einzelne Codewort  $\underline{u}$  wird durch fünf Bit beschrieben. Im gesamten Buch drücken wir diesen Sachverhalt durch die  '''Codewortlänge'''  (englisch:  Code Length )  $n = 5$ aus.

*Der obige Code beinhaltet vier Elemente. Damit ist der  '''Codeumfang'''  (englisch:   Size )  $|C| = 4$. Entsprechend gibt es auch vier eindeutige Zuordnungen (englisch:  Mappings ) zwischen  $\underline{u}$  und  $\underline{x}$.

*Die Länge eines Informationsblocks  $\underline{u}$   ⇒   '''Informationsblocklänge'''  wird mit  $k$  bezeichnet. Da bei allen binären Codes  $|C| = 2^k$  gilt, folgt aus  $|C| = 4$  der Wert  $k = 2$. Die Zuordnungen zwischen  $\underline{u}$  und  $\underline{x}$  lauten bei obigem Code  $C$:

::<math>\underline{u_0} = (0, 0) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_1} = (0, 1) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 1, 0, 1, 0) = \underline{x_1}\hspace{0.05cm}, </math>

::<math>\underline{u_2} = (1, 0)\hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 0, 1, 0, 1) = \underline{x_2}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_3} = (1, 1) \hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.</math>

*Der Code weist die  '''Coderate'''  $R = k/n = 2/5$  auf. Dementsprechend beträgt seine Redundanz  $1-R$, also  $60\%$. Ohne Fehlerschutz  $($also für den Fall  $n = k)$  wäre die Coderate  $R = 1$. 

*Eine kleine Coderate zeigt an, dass von den  $n$  Bits eines Codewortes nur sehr wenige tatsächlich Information tragen. Beispielsweise hat ein Wiederholungscode  $(k = 1)$  mit  $n = 10$  die Coderate  $R = 0.1$. 

*Das  '''Hamming–Gewicht'''  $w_{\rm H}(\underline{x})$  des Codewortes  $\underline{x}$  gibt die Zahl der Codewortelemente  $x_i \ne 0$  an. Bei einem binären Code   ⇒   $x_i \in \{0, \, 1\}$  ist $w_{\rm H}(\underline{x})$  gleich der Summe  $x_1 + x_2 + \hspace{0.05cm}\text{...} \hspace{0.05cm}+ x_n$. Im Beispiel:

::<math>w_{\rm H}(\underline{x}_0) = 0\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm} w_{\rm H}(\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_3) = 5\hspace{0.05cm}.
</math>

*Die  '''Hamming–Distanz'''  $d_{\rm H}(\underline{x}, \ \underline{x}\hspace{0.03cm}')$  zwischen den Codeworten  $\underline{x}$  und  $\underline{x}\hspace{0.03cm}'$  bezeichnet die Anzahl der Bitpositionen, in denen sich die beiden Codeworte unterscheiden:

::<math>d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_3) = 5\hspace{0.05cm},\hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_2) = 5\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_3) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_2, \hspace{0.05cm}\underline{x}_3) = 2\hspace{0.05cm}.</math>

*Eine wichtige Eigenschaft eines Codes $C$, die seine Korrekturfähigkeit wesentlich beeinflusst, ist die  '''minimale Distanz'''  zwischen zwei beliebigen Codeworten:

::<math>d_{\rm min}(\mathcal{C}) =
\min_{\substack{\underline{x},\hspace{0.05cm}\underline{x}' \hspace{0.05cm}\in \hspace{0.05cm} \mathcal{C} \\ {\underline{x}} \hspace{0.05cm}\ne \hspace{0.05cm} \underline{x}'}}\hspace{0.1cm}d_{\rm H}(\underline{x}, \hspace{0.05cm}\underline{x}')\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Definition:}$  Ein  $(n, \hspace{0.05cm}k, \hspace{0.05cm}d_{\rm min})\text{ – Blockcode}$  besitzt die Codewortlänge  $n$, die Informationsblocklänge  $k$  und die minimale Distanz  $d_{\rm min}$.
*Nach dieser Nomenklatur handelt es sich im hier betrachteten Beispiel um einen  $(5, \hspace{0.05cm}2,\hspace{0.05cm} 2)$ – Blockcode.
*Manchmal verzichtet man auf die Angabe von  $d_{\rm min}$  und spricht dann von einem  $(n,\hspace{0.05cm} k)$ – Blockcode.}} 

== Beispiele für Fehlererkennung und Fehlerkorrektur ==
 
Die eben definierten Größen sollen nun an zwei Beispielen verdeutlicht werden.

{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(4, 2, 2)–Blockcode}$

In der Grafik verdeutlichen die nach rechts bzw. links zeigenden Pfeile den Codiervorgang bzw. die Decodierung:

:$$\underline{u_0} = (0, 0) \leftrightarrow (0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_1} = (0, 1) \leftrightarrow (0, 1, 0, 1) = \underline{x_1}\hspace{0.05cm},$$
:$$\underline{u_2} = (1, 0) \leftrightarrow (1, 0, 1, 0) = \underline{x_2}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_3} = (1, 1) \leftrightarrow (1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.$$

[[File:P ID2532 KC T 1 1 S5a v2.png|center|frame|(4, 2, 2)–Blockcode zur Fehlererkennung|class=fit]]

Rechts sind alle  $2^4 = 16$  möglichen Empfangsworte  $\underline{y}$  dargestellt:
* Von diesen können  $2^n - 2^k = 12$  nur durch Bitfehler entstanden sein.
*Empfängt der Decoder ein solches &bdquo;weißes” Codewort, so erkennt er zwar einen Fehler, er kann diesen aber wegen  $d_{\rm min} = 2$  nicht korrigieren.
*Empfängt er beispielsweise  $\underline{y} = (0, 0, 0, 1)$, so kann nämlich mit gleicher Wahrscheinlichkeit  $\underline{x_0} = (0, 0, 0, 0)$  oder  $\underline{x_1} = (0, 1, 0, 1)$ gesendet worden sein.}} 

[[File:P ID2533 KC T 1 1 S5b v2.png|right|frame|(5, 2, 3)–Blockcode zur Fehlerkorrektur|class=fit]]
{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(5, 2, 3)–Blockcode}$

Hier gibt es wegen $k=2$ vier gültige Codeworte :
:$$\underline{x_0} = (0, 0, 0, 0, 0)\hspace{0.05cm},\hspace{0.5cm} \underline{x_1} =(0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x_2} =(1, 0, 1, 1, 0)\hspace{0.05cm},\hspace{0.5cm}\underline{x_3} =(1, 1, 1, 0, 1).$$

In der Grafik dargestellt ist die Empfängerseite, wobei man verfälschte Bit an der Kursivschrift erkennt.
 
*Von den  $2^n - 2^k = 28$  unzulässigen Codeworten lassen sich nun  $20$  einem gültigen Codewort (Füllfarbe:   rot, grün, blau oder ocker) zuordnen, wenn man davon ausgeht, dass ein einziger Bitfehler wahrscheinlicher ist als deren zwei oder mehr.
*Zu jedem gültigen Codewort gibt es fünf unzulässige Codeworte mit jeweils nur einer Verfälschung   ⇒   Hamming–Distanz  $d_{\rm H} =1$. Diese sind in dem jeweiligen Quadrat mit roter, grüner, blauer oder ockerfarbenen Hintergrundfarbe angegeben.
*Die Fehlerkorrektur ist für diese aufgrund der minimalen Distanz  $d_{\rm min} = 3$  zwischen den Codeworten möglich.
*Acht Empfangsworte sind nicht decodierbar. Beispielsweise könnte das Empfangswort  $\underline{y} = (0, 0, 1, 0, 1)$  aus dem Codewort  $\underline{x}_0 = (0, 0, 0, 0, 0)$  entstanden sein, aber auch aus dem Codewort  $\underline{x}_3 = (1, 1, 1, 0, 1)$. In beiden Fällen wären zwei Bitfehler aufgetreten.}} 

== Zur Nomenklatur in diesem Buch ==
 
Eine Zielvorgabe unseres Lerntutorials  $\rm LNTwww$  war, das gesamte Fachgebiet der Nachrichtentechnik und der zugehörigen Grundlagenfächer mit einheitlicher Nomenklatur zu beschreiben. In diesem zuletzt in Angriff genommenen Buch &bdquo; Kanalcodierung” müssen nun doch einige Änderungen hinsichtlich der Nomenklatur vorgenommen werden. Die Gründe hierfür sind:
*Die Codierungstheorie ist ein weitgehend in sich abgeschlossenes Fachgebiet und nur wenige Autoren von einschlägigen Fachbüchern zu diesem Gebiet versuchen, einen Zusammenhang mit anderen Aspekten der Digitalsignalübertragung herzustellen. 

*Die Autoren der wichtigsten Bücher zur Kanalcodierung – englischsprachige und deutsche – verwenden weitgehend eine einheitliche Nomenklatur. Wir erlauben uns deshalb nicht, die Bezeichnungen zur Kanalcodierung in unser Übertragungstechnik–Schema zu pressen. 

Einige Nomenklaturänderungen gegenüber den anderen  $\rm LNTwww$–Büchern sollen hier genannt werden:
*Alle Signale werden durch Symbolfolgen in Vektorschreibweise dargestellt. Beispielsweise kennzeichnet  $\underline{u} = (u_1, u_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, u_k)$  die  Quellensymbolfolge  und  $\underline{v} = (v_1, v_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, v_k)$  die Sinkensymbolfolge. Bisher wurden diese Symbolfolgen mit  $\langle q_\nu \rangle$  bzw.  $\langle v_\nu \rangle$  bezeichnet. 

*Der Vektor $\underline{x} = (x_1, x_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, x_n)$  bezeichnet nun das zeitdiskrete Äquivalent zum Sendesignal  $s(t)$, während das Empfangssignal  $r(t)$ durch den Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  beschrieben wird. Die Coderate ist der Quotient   $R=k/n$   mit   $0 \le R \le 1$ und die Anzahl der Prüfbits ergibt sich zu  $m = n-k$.

*Im ersten Hauptkapitel sind die Elemente  $u_i$  und  $v_i$   $($jeweils mit Index  $i = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, k)$  der Vektoren  $\underline{u}$  und  $\underline{v}$  stets binär  $(0$  oder  $1)$, ebenso wie die  $n$  Elemente  $x_i$  des Codewortes  $\underline{x}$. Bei digitalem Kanalmodell  ([[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|BSEC]]) gilt auch für die  $n$  Empfangswerte  $y_i \in \{0, 1\}$.

*Das  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]]  ist durch reellwertige Ausgangswerte  $y_i$  gekennzeichnet. Der Codewortschätzer gewinnt in diesem Fall aus dem Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  den binären Vektor  $\underline{z} = (z_1, z_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, z_n)$, der mit dem Codewort  $\underline{x}$  zu vergleichen ist.

*Der Übergang von  $\underline{y}$  auf  $\underline{z}$  erfolgt durch Schwellenwertentscheidung   ⇒   Hard Decision oder nach dem MAP–Kriterium   ⇒   Soft Decision. Bei gleichwahrscheinlichen Eingangssymbolen führt die &bdquo;Maximum Likelihood”–Schätzung ebenfalls zur minimalen Fehlerrate.

*Im Zusammenhang mit dem AWGN–Modell macht es Sinn, binäre Codesymbole $x_i$ bipolar (also $\pm1$) darzustellen. An den statistischen Eigenschaften ändert sich dadurch nichts. Wir kennzeichnen im Folgenden die bipolare Signalisierung durch eine Tilde. Dann gilt:

::<math>\tilde{x}_i = 1 - 2 x_i = \left\{ \begin{array}{c} +1\\
-1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} x_i = 0\hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}x_i = 1\hspace{0.05cm}.\\ \end{array}</math>

== Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Zur Kennzeichnung aller Bücher|Aufgabe 1.1: Zur Kennzeichnung aller Bücher]]

[[Aufgaben:1.2 Einfacher binärer Kanalcode|Aufgabe 1.2: Einfacher binärer Kanalcode]]

[[Aufgaben:1.2Z_3D–Darstellung_von_Codes|Aufgabe 1.2Z: 3D–Darstellung von Codes]]

==Quellenverzeichnis==

<references/>

{{Display}}

Channel Coding/Objective of Channel Coding

2021-01-15T17:38:31Z

Oezdemir:

{{FirstPage}}
{{Header|
Untermenü=Binary Block Codes for Channel Coding
|Nächste Seite=Channel Models and Decision Structures
}}

== # ÜBERBLICK ZUM ERSTEN HAUPTKAPITEL # ==
 
Das erste Kapitel behandelt Blockcodes zur Fehlererkennung und Fehlerkorrektur und liefert die Grundlagen zur Beschreibung effektiverer Codes wie zum Beispiel den  ''Reed–Solomon–Codes''  (siehe Kapitel 2), den  ''Faltungscodes''  (Kapitel 3) sowie den  ''iterativ decodierbaren Produkt–Codes''  (''Turbo–Codes'') und  ''Low–density Parity–check Codes''  (Kapitel 4). Wir beschränken uns hier auf binäre Codes.

Man bezeichnet dieses spezifische Fachgebiet als  ''Kanalcodierung''  im Gegensatz zur  ''Quellencodierung''  (Redundanzminderung aus Gründen der Datenkomprimierung) und zur  ''Leitungscodierung''  (zusätzliche Redundanz zur Anpassung des Digitalsignals an die spektralen Eigenschaften des Übertragungsmediums).

Im Einzelnen werden behandelt:

*Definitionen und einführende Beispiele zur Fehlererkennung und Fehlererkorrektur,
*eine kurze Wiederholung geeigneter Kanalmodelle und Entscheiderstrukturen,
*bekannte binäre Blockcodes wie Single Parity-check Code, Wiederholungscode und Hamming–Code,
*die allgemeine Beschreibung linearer Codes mittels Generatormatrix und Prüfmatrix,
*die Decodiermöglichkeiten für Blockcodes, unter anderem die Syndromdecodierung,
*einfache Näherungen und obere Schranken für die Blockfehlerwahrscheinlichkeit, sowie
*eine informationstheoretische Grenze der Kanalcodierung.

== Fehlererkennung und Fehlerkorrektur ==
 
Bei einem jeden Nachrichtenübertragungssystem kommt es zu Übertragungsfehlern. Man kann zwar die Wahrscheinlichkeit  $p_{\rm S}$  für einen solchen Symbolfehler sehr klein halten, zum Beispiel durch eine sehr große Signalenergie. Die Symbolfehlerwahrscheinlichkeit  $p_{\rm S} = 0$  ist aber wegen der Gaußschen WDF des stets vorhandenen thermischen Rauschens nie erreichbar. 

Insbesondere bei stark gestörten Kanälen und auch für sicherheitskritische Anwendungen ist es deshalb unumgänglich, die zu übertragenden Daten angepasst an Anwendung und Kanal besonders zu schützen. Dazu fügt man beim Sender Redundanz hinzu und nutzt diese Redundanz beim Empfänger, um die Anzahl der Decodierfehler zu verringern.

{{BlaueBox|TEXT=
$\text{Definitionen:}$

*'''Fehlererkennung'''  (englisch:   ''Error Detection''):   Der Decoder prüft die Integrität der empfangenen Blöcke und markiert gefundene Fehler. Eventuell informiert der Empfänger den Sender über fehlerhafte Blöcke via Rückkanal, so dass dieser den entsprechenden Block noch einmal sendet. 

*'''Fehlerkorrektur'''  (englisch:   ''Error Correction''):   Der Decoder erkennt einen (oder mehrere) Bitfehler und liefert für diese weitere Informationen, zum Beispiel deren Positionen im übertragenen Block. Damit können unter Umständen die entstandenen Fehler vollständig korrigiert werden. 

*Die  '''Kanalcodierung'''  (englisch:   ''Channel Coding'' oder ''Error–Control Coding'') umfasst sowohl Verfahren zur Fehlererkennung als auch solche zur Fehlerkorrektur. }}

Alle  '''ARQ'''–Verfahren (englisch:   ''Automatic Repeat Request'' ) nutzen ausschließlich Fehlererkennung. Für die Fehlererkennung ist weniger Redundanz erforderlich als für eine Fehlerkorrektur. Ein Nachteil der ARQ ist der geringe Durchsatz bei schlechter Kanalqualität, also dann, wenn häufig ganze Datenblöcke vom Empfänger neu angefordert werden müssen. 

In diesem Buch behandeln wir größtenteils die  '''Vorwärtsfehlerkorrektur'''  (englisch:   ''Forward Error Correction'', FEC), die bei einem ausreichend guten Kanal (großes SNR) zu sehr kleinen Fehlerraten führt. Bei schlechteren Kanalbedingungen ändert sich am Durchsatz nichts, das heißt, es wird die gleiche Informationsmenge übertragen. Allerdings kann dann die Fehlerrate sehr große Werte annehmen. 

Oft werden FEC– und ARQ–Verfahren kombiniert, und zwischen diesen die Redundanz so aufgeteilt,
*dass eine kleine Anzahl von Fehlern noch korrigierbar ist,
*bei vielen Fehlern aber eine Wiederholung des Blocks angefordert wird.

== Einige einführende Beispiele zur Fehlererkennung ==
 
{{GraueBox|TEXT=
$\text{Beispiel 1:   Single Parity–check Code (SPC)}$
 Ergänzt man  $k = 4$  Bit um ein so genanntes Prüfbit (englisch:   Parity Bit ) derart, dass die Summe aller Einsen geradzahlig ist, zum Beispiel (mit fettgedruckten Prüfbits) 

:$$0000\boldsymbol{0}, 0001\boldsymbol{1}, \text{...} , 1111\boldsymbol{0}, \text{...}\ ,$$

so kann man einen Einzelfehler sehr einfach erkennen. Zwei Fehler innerhalb eines Codewortes bleiben dagegen unerkannt.

Die deutsche Bezeichnung hierfür ist Paritätsprüfcode.}} 

{{GraueBox|TEXT=
$\text{Beispiel 2: &nbsp International Standard Book Number (ISBN)}$
 Seit den 1960er Jahren werden alle Bücher mit 10–stelligen Kennzahlen (''ISBN–10'' ) versehen. Seit 2007 ist zusätzlich noch die Angabe gemäß ''ISBN–13''  verpflichtend. Beispielsweise lauten diese für das Fachbuch [Söd93]<ref name ='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen''. Berlin – Heidelberg: Springer, 1993.</ref>: 

*$\boldsymbol{3–540–57215–5}$  (für ISBN–10), bzw.
*$\boldsymbol{978–3–54057215–2}$  (für ISBN–13).

Die letzte Ziffer  $z_{10}$  ergibt sich bei ISBN–10 aus den vorherigen Ziffern  $z_1 = 3$,  $z_2 = 5$, ... ,  $z_9 = 5$  nach folgender Rechenregel:

::<math>z_{10} = \left ( \sum_{i=1}^{9} \hspace{0.2cm} i \cdot z_i \right ) \hspace{-0.3cm} \mod 11 =
(1 \cdot 3 + 2 \cdot 5 + ... + 9 \cdot 5 ) \hspace{-0.2cm} \mod 11 = 5
\hspace{0.05cm}. </math>

Zu beachten ist, dass  $z_{10} = 10$  als  $z_{10} = \rm X$  geschrieben werden muss (römische Zahlendarstellung von &bdquo;10”), da sich die Zahl  $10$  im Zehnersystem nicht als Ziffer darstellen lässt. 

Entsprechend gilt für die Prüfziffer bei ISBN–13:

::<math>z_{13}= 10 - \left ( \sum_{i=1}^{12} \hspace{0.2cm} z_i \cdot 3^{(i+1) \hspace{-0.2cm} \mod 2} \right ) \hspace{-0.3cm} \mod 10 = 10 \hspace{-0.05cm}- \hspace{-0.05cm} \big [(9\hspace{-0.05cm}+\hspace{-0.05cm}8\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}0\hspace{-0.05cm}+\hspace{-0.05cm}7\hspace{-0.05cm}+\hspace{-0.05cm}1) \cdot 1 + (7\hspace{-0.05cm}+\hspace{-0.05cm}3\hspace{-0.05cm}+\hspace{-0.05cm}4\hspace{-0.05cm}+\hspace{-0.05cm}5\hspace{-0.05cm}+\hspace{-0.05cm}2\hspace{-0.05cm}+\hspace{-0.05cm}5) \cdot 3\big ] \hspace{-0.2cm} \mod 10 </math>
:: <math>\Rightarrow \hspace{0.3cm} z_{13}= 10 - (108 \hspace{-0.2cm} \mod 10) = 10 - 8 = 2
\hspace{0.05cm}. </math>

Bei beiden Varianten werden im Gegensatz zum obigen Paritätsprüfcode (SPC) auch Zahlendreher wie  $57 \, \leftrightarrow 75$  erkannt, da hier unterschiedliche Positionen verschieden gewichtet werden.}} 

{{GraueBox|TEXT=
$\text{Beispiel 3:   Strichcode (eindimensionaler Barcode)}$
 Der am weitesten verbreitete fehlererkennende Code weltweit ist der Strichcode oder Balkencode (englisch:   Bar Code) zur Kennzeichnung von Produkten, zum Beispiel nach  EAN–13  (European Article Number ) mit 13 Ziffern.
[[File:P ID2330 KC T 1 1 S2.png|right|frame|1D–Barcode]]
*Diese werden durch verschieden breite Balken und Lücken dargestellt und können mit einem opto–elektronischen Lesegerät leicht entschlüsselt werden.
*Die ersten drei Ziffern kennzeichnen das Land (beispielsweise Deutschland:   zwischen 400 und 440), die nächsten vier bzw. fünf Stellen den Hersteller und das Produkt.
*Die letzte Ziffer ist die Prüfziffer  $z_{13}$, die sich genau so berechnet wie bei ISBN–13.}}

== Einige einführende Beispiele zur Fehlerkorrektur==
 
{{GraueBox|TEXT=
$\text{Beispiel 4:   2D–Barcodes für Online–Tickets}$
 Wenn Sie eine Fahrkarte der Deutschen Bahn online buchen und ausdrucken, finden Sie ein Beispiel eines zweidimensionalen Barcodes, nämlich den 1995 von Andy Longacre bei der Firma Welch Allyn in den USA entwickelten  [https://de.wikipedia.org/wiki/Aztec-Code Aztec–Code], mit dem Datenmengen bis zu  $3000$  Zeichen codiert werden können. Aufgrund der  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Fehlerkorrektur]]  ist die Rekonstruktion des Dateninhalts auch dann noch möglich, wenn bis zu  $40\%$  des Codes zerstört wurden, zum Beispiel durch Knicken der Fahrkarte oder durch Kaffeeflecken. 

[[File:P ID2332 KC T 1 1 S2a.png|center|frame|2D–Barcodes: Aztec– und QR–Code|class=fit]]

Rechts ist ein  $\rm QR–Code$  (Quick Response) mit zugehörigem Inhalt dargestellt. Der QR–Code wurde 1994 für die Autoindustrie in Japan zur Kennzeichnung von Bauteilen entwickelt und erlaubt ebenfalls eine Fehlerkorrektur. Inzwischen ist der Einsatz des QR–Codes sehr vielfältig. In Japan findet man ihn auf nahezu jedem Werbeplakat und auf jeder Visitenkarte. Auch in Deutschland setzt er sich mehr und mehr durch. 

Bei allen 2D–Barcodes gibt es quadratische Markierungen zur Kalibrierung des Lesegerätes. Details hierzu finden Sie in [KM+09]<ref>Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: ''Channel Coding''. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München, 2008.</ref>.}}

{{GraueBox|TEXT=
$\text{Beispiel 5:   Codes für die Satelliten– und Weltraumkommunikation}$
 Eines der ersten Einsatzgebiete von Fehlerkorrekturverfahren war die Kommunikation von/zu Satelliten und Raumfähren, also Übertragungsstrecken, die durch niedrige Sendeleistungen und große Pfadverluste gekennzeichnet sind. Schon 1977 wurde bei der  Raum–Mission Voyager 1  zu Neptun und Uranus Kanalcodierung eingesetzt, und zwar in Form der seriellen Verkettung eines  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  und eines  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Faltungscodes]]. 

Damit genügte schon der Leistungskennwert  $10 · \lg \; E_{\rm B}/N_0 \approx 2 \, \rm dB$, um die geforderte Fehlerrate  $5 · 10^{-5}$  (bezogen auf die komprimierten Daten nach der Quellencodierung) zu erreichen. Ohne Kanalcodierung sind dagegen für die gleiche Fehlerrate fast  $9 \, \rm dB$  erforderlich, also eine um den Faktor  $10^{0.7} ≈ 5$  größere Sendeleistung. 

Auch das geplante Marsprojekt (die Datenübertragung vom Mars zur Erde mit  $\rm 5W$–Lasern) wird nur mit einem ausgeklügelten Codierschema erfolgreich sein.}} 

{{GraueBox|TEXT=
$\text{Beispiel 6:   Kanalcodes für die Mobilkommunikation}$
 Ein weiteres und besonders umsatzstarkes Anwendungsgebiet, das ohne Kanalcodierung nicht funktionieren würde, ist die Mobilkommunikation. Hier ergäben sich bei ungünstigen Bedingungen ohne Codierung Fehlerraten im Prozentbereich und aufgrund von Abschattungen und Mehrwegeausbreitung (Echos) treten die Fehler oft gebündelt auf. Die Fehlerbündellänge beträgt dabei manchmal einige Hundert Bit.
*Bei der Sprachübertragung im GSM–System werden die  $182$  wichtigsten (Klasse 1a und 1b) der insgesamt  260  Bit eines Sprachrahmens  $(20 \, \rm ms)$  zusammen mit einigen wenigen Paritäts– und Tailbits faltungscodiert  $($mit Memory  $m = 4$  und Rate  $R = 1/2)$  und verwürfelt. Zusammen mit den  $78$  weniger wichtigen und deshalb uncodierten Bits der Klasse 2 führt dies dazu, dass die Bitrate von  $13 \, \rm kbit/s$  auf  $22.4 \, \rm kbit/s$  ansteigt. 

*Man nutzt die (relative) Redundanz von  $r = (22.4 - 13)/22.4 ≈ 0.42$  zur Fehlerkorrektur. Anzumerken ist, dass  $r = 0.42$  aufgrund der hier verwendeten Definition aussagt, das  $42\%$  der codierten Bits redundant sind. Mit dem Bezugswert &bdquo;Bitrate der uncodierten Folge” ergäbe sich  $r = 9.4/13 \approx 0.72$  mit der Aussage:   Zu den Informationsbits werden  $72\%$  Prüfbits hinzugefügt. 

*Bei  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_UMTS|UMTS]]  (Universal Mobile Telecommunications System) werden  [[Channel_Coding/Grundlagen_der_Faltungscodierung|Faltungscodes]]  mit den Raten  $R = 1/2$  bzw.  $R = 1/3$  eingesetzt. Bei den UMTS–Modi für höhere Datenraten und entsprechend geringeren Spreizfaktoren verwendet man dagegen  [[Channel_Coding/Grundlegendes_zu_den_Turbocodes|Turbo–Codes]]  der Rate  $R = 1/3$  und iterative Decodierung. Abhängig von der Anzahl der Iterationen erzielt man gegenüber der Faltungscodierung hiermit Gewinne von bis zu  $3 \, \rm dB$.}} 

{{GraueBox|TEXT=
$\text{Beispiel 7:   Fehlerschutz der Compact Disc}$
 Bei einer CD (Compact Disc) verwendet man einen cross–interleaved  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Code]]  (RS) und anschließend eine so genannte  [https://de.wikipedia.org/wiki/Eight-to-Fourteen-Modulation Eight–to–Fourteen–Modulation]. Die Redundanz nutzt man zur Fehlererkennung und –korrektur. Dieses Codierschema zeigt folgende Charakteristika:
*Die gemeinsame Coderate der zwei RS–Komponentencodes beträgt  $R_{\rm RS} = 24/28 · 28/32 = 3/4$. Durch die 8–to–14–Modulation und einiger Kontrollbits kommt man zur Gesamtcoderate  $R ≈ 1/3$. 

*Bei statistisch unabhängigen Fehlern gemäß dem  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC–Modell]]  (Binary Symmetric Channel ) ist eine vollständige Korrektur möglich, so lange die Bitfehlerrate den Wert  $10^{-3}$  nicht überschreitet. 

*Der CD–spezifische  Cross Interleaver  verwürfelt  $108$  Blöcke miteinander, so dass die  $588$  Bit eines Blockes  $($jedes Bit entspricht ca.  $0.28 \, \rm {µ m})$  auf etwa  $1.75\, \rm cm$ verteilt werden. 

*Mit der Coderate  $R ≈ 1/3$  kann man ca.  $10\%$  &bdquo;Erasures” korrigieren. Die verloren gegangenen Werte lassen sich durch Interpolation (näherungsweise) rekonstruieren   ⇒  Fehlerverschleierung. 

Zusammenfassend lässt sich sagen:   Weist eine CD einen Kratzer von  $1.75\, \rm mm$  Länge in Abspielrichtung auf (also mehr als  $6000$  aufeinanderfolgende Erasures), so sind immer noch  $90\%$  aller Bits eines Blockes fehlerfrei, so dass sich auch die fehlenden  $10\%$  rekonstruieren lassen, oder dass die Auslöschungen zumindest so verschleiert werden können, dass sie nicht hörbar sind. 

Auf der nächsten Seite folgt eine Demonstration zur Korrekturfähigkeit der CD.}} 

== Die „Geschlitzte CD” – eine Demonstration des LNT der TUM ==
 
Ende der 1990er Jahre haben Mitarbeiter des  [https://www.lnt.ei.tum.de/startseite/ Lehrstuhls für Nachrichtentechnik] der [https://www.tum.de/die-tum/ TU München]  unter Leitung von Professor  [[Biographies_and_Bibliographies/Lehrstuhlinhaber_des_LNT#Prof._Dr.-Ing._Dr.-Ing._E.h._Joachim_Hagenauer_.281993-2006.29|Joachim Hagenauer]]  eine Musik–CD gezielt beschädigt, indem insgesamt drei Schlitze von jeweils mehr als einem Millimeter Breite eingefräst wurden. Damit fehlen bei jedem Defekt fast  $4000$  fortlaufende Bit der Audiocodierung. 

[[File:P ID2333 KC T 1 1 S2b.png|right|frame|„Geschlitzte CD” des  $\rm LNT/TUM$]]

Die Grafik zeigt die &bdquo;geschlitzte CD”:
*Sowohl in der Spur 3 als auch in der Spur 14 gibt es bei jeder Umdrehung zwei solcher fehlerhafter Bereiche.
*Sie können sich die Musikqualität mit Hilfe der beiden Audioplayer (Abspielzeit jeweils ca. 15 Sekunden) verdeutlichen.
*Die Theorie zu dieser Audio–Demo finden Sie im  $\text{Beispiel 7}$  auf der vorherigen Seite. 

Spur 14:

<lntmedia>file:A_ID59__14_1.mp3</lntmedia>

Spur 3:

<lntmedia>file:A_ID60__3_1.mp3</lntmedia>

 Resumee dieser Audiodemo:
*Die Fehlerkorrektur der CD basiert auf zwei seriell–verketteten  [[Channel_Coding/Definition_und_Eigenschaften_von_Reed–Solomon–Codes|Reed–Solomon–Codes]]  sowie einer  [https://de.wikipedia.org/wiki/Eight-to-Fourteen-Modulation Eight–to–Fourteen–Modulation]. Die Gesamtcoderate zur RS–Fehlerkorrektur beträgt  $R = 3/4$. 

*Ebenso wichtig für die Funktionsfähigkeit der CD wie die Codes ist der dazwischen geschaltete Interleaver, der die ausgelöschten Bits (&bdquo;Erasures”) über eine Länge von fast  $2 \, \rm cm$  verteilt. 

*Bei der  '''Spur 14'''  liegen die beiden defekten Bereiche genügend weit auseinander. Deshalb ist der Reed–Solomon–Decoder in der Lage, die fehlenden Daten zu rekonstruieren. 

*Bei der  '''Spur 3'''  folgen die beiden Fehlerblöcke in sehr kurzem Abstand aufeinander, so dass der Korrekturalgorithmus versagt. Das Resultat ist ein fast periodisches Klackgeräusch. 

Wir bedanken uns bei Rainer Bauer,  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Dr.-Ing._Thomas_Hindelang_.28am_LNT_von_1994-2000_und_2007-2012.29|Thomas Hindelang]]  und  [[Biographies_and_Bibliographies/An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten#Manfred_J.C3.BCrgens_.28am_LNT_von_1981-2010.29|Manfred Jürgens]], diese Audio–Demo verwenden zu dürfen. 

== Zusammenspiel zwischen Quellen– und Kanalcodierung ==
 
Die Nachrichtenübertragung natürlicher Quellen wie Sprache, Musik, Bilder, Videos, usw. geschieht meist entsprechend dem nachfolgend skizzierten zeitdiskreten Modell. 

[[File:P ID2334 KC T 1 1 S3a v2.png|center|frame|Bildübertragung mit Quellen– und Kanalcodierung|class=fit]]

Zu dieser aus [Liv10]<ref name ='Liv10'>Liva, G.: ''Channel Coding.'' Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010.</ref> entnommenen Grafik ist Folgendes anzumerken:
*Quelle und Sinke sind digitalisiert und werden durch (etwa gleich viele ) Nullen und Einsen repräsentiert. 

*Der Quellencodierer komprimiert die binären Daten – im Beispiel ein Digitalfoto – und reduziert somit die Redundanz der Quelle. 

*Der Kanalcodierer fügt wieder Redundanz hinzu und zwar gezielt, so dass einige der auf dem Kanal entstandenen Fehler im Kanaldecoder korrigiert werden können. 

*Für den Kanal wird hier ein zeitdiskretes Modell mit binärem Eingang und Ausgang verwendet, das auch die Komponenten der technischen Sende– und Empfangseinrichtungen (Modulator, Entscheider, Taktwiedergewinnung) geeignet berücksichtigen sollte. 

Bei richtiger Dimensionierung von Quellen– und Kanalcodierung ist die Qualität des empfangenen Fotos hinreichend gut, auch wenn die Sinkensymbolfolge aufgrund nicht korrigierbarer Fehlermuster nicht exakt mit der Quellensymbolfolge übereinstimmen wird. Man erkennt innerhalb der Sinkensymbolfolge einen (rot markierten) Bitfehler. 

{{GraueBox|TEXT=
$\text{Beispiel 8:}$  Für obige Grafik wurde beispielhaft und stark vereinfachend angenommen, dass
*die Quellensymbolfolge nur die Länge  $40$  hat,
*der Quellencodierer die Daten um den Faktor  $40/16 = 2.5$  komprimiert, und
*der Kanalcoder  $50\%$  Redundanz hinzufügt.

Übertragen werden müssen also nur  $24$  Codersymbole statt  $40$  Quellensymbole, was die Übertragungsrate insgesamt um  $40\%$  reduziert. 

Würde man auf die Quellencodierung verzichten, in dem man das ursprüngliche Foto im BMP–Format übertragen würde und nicht das komprimierte JPG–Bild, so wäre die Qualität vergleichbar, aber eine um den Faktor  $2.5$  höhere Bitrate und damit sehr viel mehr Aufwand erforderlich.}} 

{{GraueBox|TEXT=
$\text{Beispiel 9:}$  Würde man sowohl auf die Quellen– als auch auf die Kanalcodierung verzichten, also direkt die BMP–Daten ohne Fehlerschutz übertragen, so wäre das Ergebnis trotz  $($um den Faktor  $40/24)$  größerer Bitrate äußerst dürftig. 

[[File:P ID2335 KC T 1 1 S3b v2.png|center|frame|Bildübertragung ohne Quellen– und Kanalcodierung |class=fit]]}}

{{GraueBox|TEXT=
$\text{Beispiel 10:}$  Nun betrachten wir den Fall, dass man die komprimierten Daten (zum Beispiel JPG) ohne Fehlersicherungsmaßnahmen direkt überträgt. 

[[File:P ID2336 KC T 1 1 S3c v2.png|center|frame|Bildübertragung mit Quellencodierung, ohne Kanalcodierung |class=fit]]

*Da die komprimierte Quelle nur noch wenig Redundanz besitzt, führt jeder einzelne Übertragungsfehler dazu, dass ganze Bildblöcke falsch decodiert werden. 
*Dieses Codierschema (Quellencodierung, aber keine Kanalcodierung) sollte auf jeden Fall vermieden werden.}}

== Blockschaltbild und Voraussetzungen ==
 
Im weiteren Verlauf gehen wir von dem skizzierten Blockschaltbild mit Kanalcodierer, Digitalem Kanal und Kanaldecoder aus.

[[File:P ID2337 KC T 1 1 S4 v2.png|center|frame|Blockschaltbild zur Beschreibung der Kanalcodierung|class=fit]]

Dabei gelten folgende Voraussetzungen:
*Der Vektor  $\underline{u} = (u_1, u_2, \text{...} \hspace{0.05cm}, u_k)$  kennzeichnet einen  '''Informationsblock'''  mit  $k$  Symbolen.
*Meist beschränken wir uns auf Binärsymbole (Bits)   ⇒   $u_i \in \{0, \, 1\}$ für $i = 1, 2, \text{...} \hspace{0.05cm}, k$  mit gleichen Auftrittswahrscheinlichkeiten für Nullen und Einsen. 

*Jeder Informationsblock  $\underline{u}$  wird durch ein  '''Codewort'''  (oder einen  Codeblock)  $\underline{x} = (x_1, x_2, \text{...} \hspace{0.05cm}, x_n)$  mit  $n \ge k$, $x_i \in \{0, \, 1\}$  dargestellt. Man spricht dann von einem binären  $(n, k)$–Blockcode  $C$. Die Zuordnung bezeichnen wir mit  $\underline{x} = {\rm enc}(\underline{u})$, wobei &bdquo;enc” für &bdquo;Encoder–Funktion” steht. 

*Das  '''Empfangswort''' $\underline{y}$  ergibt sich aus dem Codewort  $\underline{x}$  durch  [https://en.wikipedia.org/wiki/Modular_arithmetic Modulo–2–Addition]  mit dem ebenfalls binären Fehlervektor  $\underline{e} = (e_1, e_2, \text{...} \hspace{0.05cm}, e_n)$, wobei &bdquo;$e= 1$” für einen Übertragungfehler steht und &bdquo;$e= 0$” anzeigt, dass das  $i$–te Bit des Codewortes richtig übertragen wurde. Es gilt also:

::<math>\underline{y} = \underline{x} \oplus \underline{e} \hspace{0.05cm}, \hspace{0.5cm} y_i = x_i \oplus e_i \hspace{0.05cm}, \hspace{0.2cm} i = 1, \text{...} \hspace{0.05cm} , n\hspace{0.05cm}, x_i \hspace{-0.05cm} \in \hspace{-0.05cm} \{ 0, 1 \}\hspace{0.05cm}, \hspace{0.5cm}e_i \in \{ 0, 1 \}\hspace{0.5cm}
\Rightarrow \hspace{0.5cm}y_i \in \{ 0, 1 \}\hspace{0.05cm}.</math>

*Die Beschreibung durch das  '''Digitale Kanalmodell'''  – also mit binärem Eingang und Ausgang – ist allerdings nur dann anwendbar, wenn das Übertragungssystem harte Entscheidungen trifft – siehe  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang| AWGN–Kanal bei binärem Eingang]]. Systeme mit  [[Channel_Coding/Decodierung_linearer_Blockcodes#Codiergewinn_.E2.80.93_Bitfehlerrate_bei_AWGN|Soft Decision]]  sind mit diesem einfachen Modell nicht modellierbar. 

*Der Vektor  $\underline{v}$  nach der  '''Kanaldecodierung'''  hat die gleiche Länge  $k$  wie der Informationsblock  $\underline{u}$. Den Decodiervorgang beschreiben wir mit der &bdquo;Decoder–Funktion” als  $\underline{v} = {\rm enc}^{-1}(\underline{y}) = {\rm dec}(\underline{y})$. Im fehlerfreien Fall gilt analog zu  $\underline{x} = {\rm enc}(\underline{u})$  auch  $\underline{v} = {\rm enc}^{-1}(\underline{y})$. 

*Ist der Fehlervektor  $\underline{e} \ne \underline{0}$, so ist  $\underline{y}$  meist kein gültiges Element des verwendeten Blockcodes, und die Decodierung ist dann keine reine Zuordnung  $\underline{y} \rightarrow \underline{v}$, sondern eine auf maximale Übereinstimmung (mimimale Fehlerwahrscheinlichkeit) basierende Schätzung von  $\underline{v}$. 

== Einige wichtige Definitionen zur Blockcodierung ==
 
Wir betrachten nun den beispielhaften binären Blockcode

:<math>\mathcal{C} = \{ (0, 0, 0, 0, 0) \hspace{0.05cm},\hspace{0.15cm} (0, 1, 0, 1, 0) \hspace{0.05cm},\hspace{0.15cm}(1, 0, 1, 0, 1) \hspace{0.05cm},\hspace{0.15cm}(1, 1, 1, 1, 1) \}\hspace{0.05cm}.</math>

Dieser Code wäre zum Zwecke der Fehlererkennung oder –korrektur ungeeignet. Aber er ist so konstruiert, dass er die Berechnung wichtiger Beschreibungsgrößen anschaulich verdeutlicht:
*Jedes einzelne Codewort  $\underline{u}$  wird durch fünf Bit beschrieben. Im gesamten Buch drücken wir diesen Sachverhalt durch die  '''Codewortlänge'''  (englisch:  Code Length )  $n = 5$ aus.

*Der obige Code beinhaltet vier Elemente. Damit ist der  '''Codeumfang'''  (englisch:   Size )  $|C| = 4$. Entsprechend gibt es auch vier eindeutige Zuordnungen (englisch:  Mappings ) zwischen  $\underline{u}$  und  $\underline{x}$.

*Die Länge eines Informationsblocks  $\underline{u}$   ⇒   '''Informationsblocklänge'''  wird mit  $k$  bezeichnet. Da bei allen binären Codes  $|C| = 2^k$  gilt, folgt aus  $|C| = 4$  der Wert  $k = 2$. Die Zuordnungen zwischen  $\underline{u}$  und  $\underline{x}$  lauten bei obigem Code  $C$:

::<math>\underline{u_0} = (0, 0) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_1} = (0, 1) \hspace{0.2cm}\leftrightarrow \hspace{0.2cm}(0, 1, 0, 1, 0) = \underline{x_1}\hspace{0.05cm}, </math>

::<math>\underline{u_2} = (1, 0)\hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 0, 1, 0, 1) = \underline{x_2}\hspace{0.05cm}, \hspace{0.8cm}
\underline{u_3} = (1, 1) \hspace{0.2cm} \leftrightarrow \hspace{0.2cm}(1, 1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.</math>

*Der Code weist die  '''Coderate'''  $R = k/n = 2/5$  auf. Dementsprechend beträgt seine Redundanz  $1-R$, also  $60\%$. Ohne Fehlerschutz  $($also für den Fall  $n = k)$  wäre die Coderate  $R = 1$. 

*Eine kleine Coderate zeigt an, dass von den  $n$  Bits eines Codewortes nur sehr wenige tatsächlich Information tragen. Beispielsweise hat ein Wiederholungscode  $(k = 1)$  mit  $n = 10$  die Coderate  $R = 0.1$. 

*Das  '''Hamming–Gewicht'''  $w_{\rm H}(\underline{x})$  des Codewortes  $\underline{x}$  gibt die Zahl der Codewortelemente  $x_i \ne 0$  an. Bei einem binären Code   ⇒   $x_i \in \{0, \, 1\}$  ist $w_{\rm H}(\underline{x})$  gleich der Summe  $x_1 + x_2 + \hspace{0.05cm}\text{...} \hspace{0.05cm}+ x_n$. Im Beispiel:

::<math>w_{\rm H}(\underline{x}_0) = 0\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm} w_{\rm H}(\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}w_{\rm H}(\underline{x}_3) = 5\hspace{0.05cm}.
</math>

*Die  '''Hamming–Distanz'''  $d_{\rm H}(\underline{x}, \ \underline{x}\hspace{0.03cm}')$  zwischen den Codeworten  $\underline{x}$  und  $\underline{x}\hspace{0.03cm}'$  bezeichnet die Anzahl der Bitpositionen, in denen sich die beiden Codeworte unterscheiden:

::<math>d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_1) = 2\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_2) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_0, \hspace{0.05cm}\underline{x}_3) = 5\hspace{0.05cm},\hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_2) = 5\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_1, \hspace{0.05cm}\underline{x}_3) = 3\hspace{0.05cm}, \hspace{0.4cm}
d_{\rm H}(\underline{x}_2, \hspace{0.05cm}\underline{x}_3) = 2\hspace{0.05cm}.</math>

*Eine wichtige Eigenschaft eines Codes $C$, die seine Korrekturfähigkeit wesentlich beeinflusst, ist die  '''minimale Distanz'''  zwischen zwei beliebigen Codeworten:

::<math>d_{\rm min}(\mathcal{C}) =
\min_{\substack{\underline{x},\hspace{0.05cm}\underline{x}' \hspace{0.05cm}\in \hspace{0.05cm} \mathcal{C} \\ {\underline{x}} \hspace{0.05cm}\ne \hspace{0.05cm} \underline{x}'}}\hspace{0.1cm}d_{\rm H}(\underline{x}, \hspace{0.05cm}\underline{x}')\hspace{0.05cm}.</math>

{{BlaueBox|TEXT=
$\text{Definition:}$  Ein  $(n, \hspace{0.05cm}k, \hspace{0.05cm}d_{\rm min})\text{ – Blockcode}$  besitzt die Codewortlänge  $n$, die Informationsblocklänge  $k$  und die minimale Distanz  $d_{\rm min}$.
*Nach dieser Nomenklatur handelt es sich im hier betrachteten Beispiel um einen  $(5, \hspace{0.05cm}2,\hspace{0.05cm} 2)$ – Blockcode.
*Manchmal verzichtet man auf die Angabe von  $d_{\rm min}$  und spricht dann von einem  $(n,\hspace{0.05cm} k)$ – Blockcode.}} 

== Beispiele für Fehlererkennung und Fehlerkorrektur ==
 
Die eben definierten Größen sollen nun an zwei Beispielen verdeutlicht werden.

{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(4, 2, 2)–Blockcode}$

In der Grafik verdeutlichen die nach rechts bzw. links zeigenden Pfeile den Codiervorgang bzw. die Decodierung:

:$$\underline{u_0} = (0, 0) \leftrightarrow (0, 0, 0, 0) = \underline{x_0}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_1} = (0, 1) \leftrightarrow (0, 1, 0, 1) = \underline{x_1}\hspace{0.05cm},$$
:$$\underline{u_2} = (1, 0) \leftrightarrow (1, 0, 1, 0) = \underline{x_2}\hspace{0.05cm},\hspace{0.5cm}
\underline{u_3} = (1, 1) \leftrightarrow (1, 1, 1, 1) = \underline{x_3}\hspace{0.05cm}.$$

[[File:P ID2532 KC T 1 1 S5a v2.png|center|frame|(4, 2, 2)–Blockcode zur Fehlererkennung|class=fit]]

Rechts sind alle  $2^4 = 16$  möglichen Empfangsworte  $\underline{y}$  dargestellt:
* Von diesen können  $2^n - 2^k = 12$  nur durch Bitfehler entstanden sein.
*Empfängt der Decoder ein solches &bdquo;weißes” Codewort, so erkennt er zwar einen Fehler, er kann diesen aber wegen  $d_{\rm min} = 2$  nicht korrigieren.
*Empfängt er beispielsweise  $\underline{y} = (0, 0, 0, 1)$, so kann nämlich mit gleicher Wahrscheinlichkeit  $\underline{x_0} = (0, 0, 0, 0)$  oder  $\underline{x_1} = (0, 1, 0, 1)$ gesendet worden sein.}} 

[[File:P ID2533 KC T 1 1 S5b v2.png|right|frame|(5, 2, 3)–Blockcode zur Fehlerkorrektur|class=fit]]
{{GraueBox|TEXT=
$\text{Beispiel 11:}$     $\text{(5, 2, 3)–Blockcode}$

Hier gibt es wegen $k=2$ vier gültige Codeworte :
:$$\underline{x_0} = (0, 0, 0, 0, 0)\hspace{0.05cm},\hspace{0.5cm} \underline{x_1} =(0, 1, 0, 1, 1)\hspace{0.05cm},$$
:$$\underline{x_2} =(1, 0, 1, 1, 0)\hspace{0.05cm},\hspace{0.5cm}\underline{x_3} =(1, 1, 1, 0, 1).$$

In der Grafik dargestellt ist die Empfängerseite, wobei man verfälschte Bit an der Kursivschrift erkennt.
 
*Von den  $2^n - 2^k = 28$  unzulässigen Codeworten lassen sich nun  $20$  einem gültigen Codewort (Füllfarbe:   rot, grün, blau oder ocker) zuordnen, wenn man davon ausgeht, dass ein einziger Bitfehler wahrscheinlicher ist als deren zwei oder mehr.
*Zu jedem gültigen Codewort gibt es fünf unzulässige Codeworte mit jeweils nur einer Verfälschung   ⇒   Hamming–Distanz  $d_{\rm H} =1$. Diese sind in dem jeweiligen Quadrat mit roter, grüner, blauer oder ockerfarbenen Hintergrundfarbe angegeben.
*Die Fehlerkorrektur ist für diese aufgrund der minimalen Distanz  $d_{\rm min} = 3$  zwischen den Codeworten möglich.
*Acht Empfangsworte sind nicht decodierbar. Beispielsweise könnte das Empfangswort  $\underline{y} = (0, 0, 1, 0, 1)$  aus dem Codewort  $\underline{x}_0 = (0, 0, 0, 0, 0)$  entstanden sein, aber auch aus dem Codewort  $\underline{x}_3 = (1, 1, 1, 0, 1)$. In beiden Fällen wären zwei Bitfehler aufgetreten.}} 

== Zur Nomenklatur in diesem Buch ==
 
Eine Zielvorgabe unseres Lerntutorials  $\rm LNTwww$  war, das gesamte Fachgebiet der Nachrichtentechnik und der zugehörigen Grundlagenfächer mit einheitlicher Nomenklatur zu beschreiben. In diesem zuletzt in Angriff genommenen Buch &bdquo; Kanalcodierung” müssen nun doch einige Änderungen hinsichtlich der Nomenklatur vorgenommen werden. Die Gründe hierfür sind:
*Die Codierungstheorie ist ein weitgehend in sich abgeschlossenes Fachgebiet und nur wenige Autoren von einschlägigen Fachbüchern zu diesem Gebiet versuchen, einen Zusammenhang mit anderen Aspekten der Digitalsignalübertragung herzustellen. 

*Die Autoren der wichtigsten Bücher zur Kanalcodierung – englischsprachige und deutsche – verwenden weitgehend eine einheitliche Nomenklatur. Wir erlauben uns deshalb nicht, die Bezeichnungen zur Kanalcodierung in unser Übertragungstechnik–Schema zu pressen. 

Einige Nomenklaturänderungen gegenüber den anderen  $\rm LNTwww$–Büchern sollen hier genannt werden:
*Alle Signale werden durch Symbolfolgen in Vektorschreibweise dargestellt. Beispielsweise kennzeichnet  $\underline{u} = (u_1, u_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, u_k)$  die  Quellensymbolfolge  und  $\underline{v} = (v_1, v_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, v_k)$  die Sinkensymbolfolge. Bisher wurden diese Symbolfolgen mit  $\langle q_\nu \rangle$  bzw.  $\langle v_\nu \rangle$  bezeichnet. 

*Der Vektor $\underline{x} = (x_1, x_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, x_n)$  bezeichnet nun das zeitdiskrete Äquivalent zum Sendesignal  $s(t)$, während das Empfangssignal  $r(t)$ durch den Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  beschrieben wird. Die Coderate ist der Quotient   $R=k/n$   mit   $0 \le R \le 1$ und die Anzahl der Prüfbits ergibt sich zu  $m = n-k$.

*Im ersten Hauptkapitel sind die Elemente  $u_i$  und  $v_i$   $($jeweils mit Index  $i = 1, \hspace{0.05cm}\text{...} \hspace{0.05cm}, k)$  der Vektoren  $\underline{u}$  und  $\underline{v}$  stets binär  $(0$  oder  $1)$, ebenso wie die  $n$  Elemente  $x_i$  des Codewortes  $\underline{x}$. Bei digitalem Kanalmodell  ([[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Channel_.E2.80.93_BSC|BSC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Erasure_Channel_.E2.80.93_BEC|BEC]],  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#Binary_Symmetric_Error_.26_Erasure_Channel_.E2.80.93_BSEC|BSEC]]) gilt auch für die  $n$  Empfangswerte  $y_i \in \{0, 1\}$.

*Das  [[Channel_Coding/Kanalmodelle_und_Entscheiderstrukturen#AWGN.E2.80.93Kanal_bei_bin.C3.A4rem_Eingang|AWGN–Kanalmodell]]  ist durch reellwertige Ausgangswerte  $y_i$  gekennzeichnet. Der Codewortschätzer gewinnt in diesem Fall aus dem Vektor  $\underline{y} = (y_1, y_2, \hspace{0.05cm}\text{...}\hspace{0.05cm}, y_n)$  den binären Vektor  $\underline{z} = (z_1, z_2, \hspace{0.05cm}\text{...} \hspace{0.05cm}, z_n)$, der mit dem Codewort  $\underline{x}$  zu vergleichen ist.

*Der Übergang von  $\underline{y}$  auf  $\underline{z}$  erfolgt durch Schwellenwertentscheidung   ⇒   Hard Decision oder nach dem MAP–Kriterium   ⇒   Soft Decision. Bei gleichwahrscheinlichen Eingangssymbolen führt die &bdquo;Maximum Likelihood”–Schätzung ebenfalls zur minimalen Fehlerrate.

*Im Zusammenhang mit dem AWGN–Modell macht es Sinn, binäre Codesymbole $x_i$ bipolar (also $\pm1$) darzustellen. An den statistischen Eigenschaften ändert sich dadurch nichts. Wir kennzeichnen im Folgenden die bipolare Signalisierung durch eine Tilde. Dann gilt:

::<math>\tilde{x}_i = 1 - 2 x_i = \left\{ \begin{array}{c} +1\\
-1 \end{array} \right.\quad
\begin{array}{*{1}c} {\rm falls} \hspace{0.15cm} x_i = 0\hspace{0.05cm},\\
{\rm falls} \hspace{0.15cm}x_i = 1\hspace{0.05cm}.\\ \end{array}</math>

== Aufgaben zum Kapitel==
 
[[Aufgaben:1.1 Zur Kennzeichnung aller Bücher|Aufgabe 1.1: Zur Kennzeichnung aller Bücher]]

[[Aufgaben:1.2 Einfacher binärer Kanalcode|Aufgabe 1.2: Einfacher binärer Kanalcode]]

[[Aufgaben:1.2Z_3D–Darstellung_von_Codes|Aufgabe 1.2Z: 3D–Darstellung von Codes]]

==Quellenverzeichnis==

<references/>

{{Display}}

Channel Coding

2021-01-15T17:19:02Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binary Block Codes for Channel Coding | submenu=
*[[/Objective of Channel Coding/]]
*[[/Channel Models and Decision Structures/]]
*[[/Examples of Binary Block Codes/]]
*[[/General Description of Linear Block Codes/]]
*[[/Decoding of Linear Block Codes/]]
*[[/Limits for Block Error Probability/]]
*[[/Information Theoretical Limits of Channel Coding/]]
}}
{{Collapse2 | header=Reed–Solomon–Codes and Their Decoding
|submenu=
*[[/Some Basics of Algebra/]]
*[[/Extension Field/]]
*[[/Definition and Properties of Reed-Solomon Codes/]]
*[[/Reed-Solomon Decoding for the Erasure Channel/]]
*[[/Error Correction According to Reed-Solomon Coding/]]
*[[/Error Probability and Areas of Application/]]
}}
{{Collapse3 | header=Convolutional Codes and Their Decoding
|submenu=
*[[/Basics of Convolutional Coding/]]
*[[/Algebraic and Polynomial Description/]]
*[[/Code Description with State and Trellis Diagram/]]
*[[/Decoding of Convolutional Codes/]]
*[[/Distance Characteristics and Error Probability Barriers/]]
}}
{{Collapse4 | header=Iterative Decoding Methods
|submenu=
*[[/Soft-in Soft-Out Decoder/]]
*[[/The Basics of Product Codes/]]
*[[/The Basics of Turbo Codes/]]
*[[/The Basics of Low-Density Parity Check Codes/]]
}}
{{Collapsible-Fuß}}

In addition to these theory pages, we also offer tasks and multimedia modules that could help to clarify the topic:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Exercises}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Learning videos in german}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{new designed applets}$]], based on HTML5, also executable on smartphones.

$\text{Recommended Literature:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Notes on the authors and the materials used as a basis for the preparation of the book}$.]]

{{Display}}

Channel Coding

2021-01-15T17:18:30Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binäre Blockcodes zur Kanalcodierung | submenu=
*[[/Objective of Channel Coding/]]
*[[/Channel Models and Decision Structures/]]
*[[/Examples of Binary Block Codes/]]
*[[/General Description of Linear Block Codes/]]
*[[/Decoding of Linear Block Codes/]]
*[[/Limits for Block Error Probability/]]
*[[/Information Theoretical Limits of Channel Coding/]]
}}
{{Collapse2 | header=Reed–Solomon–Codes and Their Decoding
|submenu=
*[[/Some Basics of Algebra/]]
*[[/Extension Field/]]
*[[/Definition and Properties of Reed-Solomon Codes/]]
*[[/Reed-Solomon Decoding for the Erasure Channel/]]
*[[/Error Correction According to Reed-Solomon Coding/]]
*[[/Error Probability and Areas of Application/]]
}}
{{Collapse3 | header=Convolutional Codes and Their Decoding
|submenu=
*[[/Basics of Convolutional Coding/]]
*[[/Algebraic and Polynomial Description/]]
*[[/Code Description with State and Trellis Diagram/]]
*[[/Decoding of Convolutional Codes/]]
*[[/Distance Characteristics and Error Probability Barriers/]]
}}
{{Collapse4 | header=Iterative Decoding Methods
|submenu=
*[[/Soft-in Soft-Out Decoder/]]
*[[/The Basics of Product Codes/]]
*[[/The Basics of Turbo Codes/]]
*[[/The Basics of Low-Density Parity Check Codes/]]
}}
{{Collapsible-Fuß}}

In addition to these theory pages, we also offer tasks and multimedia modules that could help to clarify the topic:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Exercises}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Learning videos in german}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{new designed applets}$]], based on HTML5, also executable on smartphones.

$\text{Recommended Literature:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Notes on the authors and the materials used as a basis for the preparation of the book}$.]]

{{Display}}

Channel Coding

2021-01-15T17:17:19Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binäre Blockcodes zur Kanalcodierung | submenu=
*[[/Objective of Channel Coding/]]
*[[/Channel Models and Decision Structures/]]
*[[/Examples of Binary Block Codes/]]
*[[/General Description of Linear Block Codes/]]
*[[/Decoding of Linear Block Codes/]]
*[[/Limits for Block Error Probability/]]
*[[/Information Theoretical Limits of Channel Coding/]]
}}
{{Collapse2 | header=Reed–Solomon–Codes und deren Decodierung
|submenu=
*[[/Some Basics of Algebra/]]
*[[/Extension Field/]]
*[[/Definition and Properties of Reed-Solomon Codes/]]
*[[/Reed-Solomon Decoding for the Erasure Channel/]]
*[[/Error Correction According to Reed-Solomon Coding/]]
*[[/Error Probability and Areas of Application/]]
}}
{{Collapse3 | header=Faltungscodierung und geeignete Decoder
|submenu=
*[[/Basics of Convolutional Coding/]]
*[[/Algebraic and Polynomial Description/]]
*[[/Code Description with State and Trellis Diagram/]]
*[[/Decoding of Convolutional Codes/]]
*[[/Distance Characteristics and Error Probability Barriers/]]
}}
{{Collapse4 | header=Iterative Decodierverfahren
|submenu=
*[[/Soft-in Soft-Out Decoder/]]
*[[/The Basics of Product Codes/]]
*[[/The Basics of Turbo Codes/]]
*[[/The Basics of Low-Density Parity Check Codes/]]
}}
{{Collapsible-Fuß}}

In addition to these theory pages, we also offer tasks and multimedia modules that could help to clarify the topic:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Exercises}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Learning videos in german}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{new designed applets}$]], based on HTML5, also executable on smartphones.

$\text{Recommended Literature:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Notes on the authors and the materials used as a basis for the preparation of the book}$.]]

{{Display}}

Channel Coding

2021-01-15T17:11:25Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binäre Blockcodes zur Kanalcodierung | submenu=
*[[/Objective of Channel Coding/]]
*[[/Channel Models and Decision Structures/]]
*[[/Beispiele binärer Blockcodes/]]
*[[/Allgemeine Beschreibung linearer Blockcodes /]]
*[[/Decodierung linearer Blockcodes/]]
*[[/Schranken für die Blockfehlerwahrscheinlichkeit/]]
*[[/Informationstheoretische Grenzen der Kanalcodierung /]]
}}
{{Collapse2 | header=Reed–Solomon–Codes und deren Decodierung
|submenu=
*[[/Einige Grundlagen der Algebra/]]
*[[/Erweiterungskörper/]]
*[[/Definition und Eigenschaften von Reed–Solomon–Codes/]]
*[[/Reed–Solomon–Decodierung beim Auslöschungskanal/]]
*[[/Fehlerkorrektur nach Reed–Solomon–Codierung/]]
*[[/Fehlerwahrscheinlichkeit und Anwendungsgebiete/]]
}}
{{Collapse3 | header=Faltungscodierung und geeignete Decoder
|submenu=
*[[/Grundlagen der Faltungscodierung/]]
*[[/Algebraische und polynomische Beschreibung/]]
*[[/Codebeschreibung mit Zustands– und Trellisdiagramm/]]
*[[/Decodierung von Faltungscodes/]]
*[[/Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken/]]
}}
{{Collapse4 | header=Iterative Decodierverfahren
|submenu=
*[[/Soft–in Soft–out Decoder/]]
*[[/Grundlegendes zu den Produktcodes/]]
*[[/Grundlegendes zu den Turbocodes/]]
*[[/Grundlegendes zu den Low–density Parity–check Codes/]]
}}
{{Collapsible-Fuß}}

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Aufgaben}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Lernvideos}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig.

$\text{Empfohlene Literatur:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde}$.]]

{{Display}}

Channel Coding

2021-01-15T17:11:07Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binäre Blockcodes zur Kanalcodierung | submenu=
*[[/Objective of Channel Coding/]]
*[[/Kanalmodelle und Entscheiderstrukturen/]]
*[[/Beispiele binärer Blockcodes/]]
*[[/Allgemeine Beschreibung linearer Blockcodes /]]
*[[/Decodierung linearer Blockcodes/]]
*[[/Schranken für die Blockfehlerwahrscheinlichkeit/]]
*[[/Informationstheoretische Grenzen der Kanalcodierung /]]
}}
{{Collapse2 | header=Reed–Solomon–Codes und deren Decodierung
|submenu=
*[[/Einige Grundlagen der Algebra/]]
*[[/Erweiterungskörper/]]
*[[/Definition und Eigenschaften von Reed–Solomon–Codes/]]
*[[/Reed–Solomon–Decodierung beim Auslöschungskanal/]]
*[[/Fehlerkorrektur nach Reed–Solomon–Codierung/]]
*[[/Fehlerwahrscheinlichkeit und Anwendungsgebiete/]]
}}
{{Collapse3 | header=Faltungscodierung und geeignete Decoder
|submenu=
*[[/Grundlagen der Faltungscodierung/]]
*[[/Algebraische und polynomische Beschreibung/]]
*[[/Codebeschreibung mit Zustands– und Trellisdiagramm/]]
*[[/Decodierung von Faltungscodes/]]
*[[/Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken/]]
}}
{{Collapse4 | header=Iterative Decodierverfahren
|submenu=
*[[/Soft–in Soft–out Decoder/]]
*[[/Grundlegendes zu den Produktcodes/]]
*[[/Grundlegendes zu den Turbocodes/]]
*[[/Grundlegendes zu den Low–density Parity–check Codes/]]
}}
{{Collapsible-Fuß}}

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Aufgaben}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Lernvideos}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig.

$\text{Empfohlene Literatur:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde}$.]]

{{Display}}

Channel Coding

2021-01-15T17:08:45Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binäre Blockcodes zur Kanalcodierung | submenu=
*[[/Zielsetzung der Kanalcodierung/]]
*[[/Kanalmodelle und Entscheiderstrukturen/]]
*[[/Beispiele binärer Blockcodes/]]
*[[/Allgemeine Beschreibung linearer Blockcodes /]]
*[[/Decodierung linearer Blockcodes/]]
*[[/Schranken für die Blockfehlerwahrscheinlichkeit/]]
*[[/Informationstheoretische Grenzen der Kanalcodierung /]]
}}
{{Collapse2 | header=Reed–Solomon–Codes und deren Decodierung
|submenu=
*[[/Einige Grundlagen der Algebra/]]
*[[/Erweiterungskörper/]]
*[[/Definition und Eigenschaften von Reed–Solomon–Codes/]]
*[[/Reed–Solomon–Decodierung beim Auslöschungskanal/]]
*[[/Fehlerkorrektur nach Reed–Solomon–Codierung/]]
*[[/Fehlerwahrscheinlichkeit und Anwendungsgebiete/]]
}}
{{Collapse3 | header=Faltungscodierung und geeignete Decoder
|submenu=
*[[/Grundlagen der Faltungscodierung/]]
*[[/Algebraische und polynomische Beschreibung/]]
*[[/Codebeschreibung mit Zustands– und Trellisdiagramm/]]
*[[/Decodierung von Faltungscodes/]]
*[[/Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken/]]
}}
{{Collapse4 | header=Iterative Decodierverfahren
|submenu=
*[[/Soft–in Soft–out Decoder/]]
*[[/Grundlegendes zu den Produktcodes/]]
*[[/Grundlegendes zu den Turbocodes/]]
*[[/Grundlegendes zu den Low–density Parity–check Codes/]]
}}
{{Collapsible-Fuß}}

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Aufgaben}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Lernvideos}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig.

$\text{Empfohlene Literatur:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde}$.]]

{{Display}}

Channel Coding

2021-01-15T17:06:53Z

Oezdemir:

Channel coding (also known as error-control coding) includes both
*Error detection procedures
*and forward error correction (FEC), which often make digital signal transmission possible with a bad channel (low SNR) and lead to very low error rates with a sufficiently good channel (high SNR).

Linear block codes, Reed-Solomon codes and convolutional and turbo codes as well as their (possibly iterative) decoding are described.

The scope of this book corresponds to a course with three semester hours (SWS) of lecture and two SWS of exercises.

First of all, here is an overview of the contents based on the four main chapters with a total of 22 chapters.

===Contents===
{{Collapsible-Kopf}}
{{Collapse1| header=Binary Block Codes | submenu=
*[[/Objective of Channel Coding/]]
*[[/Channel Models and Decision Maker Structures/]]
*[[/Binary Block Code Examples/]]
*[[/General Description of Linear Block Codes/]]
*[[/Decoding Linear Block Codes/]]
*[[/Block Error Probability Bounds/]]
*[[/Information-Theoretic Limits of Channel Coding /]]
}}
{{Collapse2 | header=Reed–Solomon–Codes und deren Decodierung
|submenu=
*[[/Einige Grundlagen der Algebra/]]
*[[/Erweiterungskörper/]]
*[[/Definition und Eigenschaften von Reed–Solomon–Codes/]]
*[[/Reed–Solomon–Decodierung beim Auslöschungskanal/]]
*[[/Fehlerkorrektur nach Reed–Solomon–Codierung/]]
*[[/Fehlerwahrscheinlichkeit und Anwendungsgebiete/]]
}}
{{Collapse3 | header=Faltungscodierung und geeignete Decoder
|submenu=
*[[/Grundlagen der Faltungscodierung/]]
*[[/Algebraische und polynomische Beschreibung/]]
*[[/Codebeschreibung mit Zustands– und Trellisdiagramm/]]
*[[/Decodierung von Faltungscodes/]]
*[[/Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken/]]
}}
{{Collapse4 | header=Iterative Decodierverfahren
|submenu=
*[[/Soft–in Soft–out Decoder/]]
*[[/Grundlegendes zu den Produktcodes/]]
*[[/Grundlegendes zu den Turbocodes/]]
*[[/Grundlegendes zu den Low–density Parity–check Codes/]]
}}
{{Collapsible-Fuß}}

Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Kanalcodierung $\text{Aufgaben}$;]
*[[LNTwww:Lernvideos_zu_Kanalcodierung|$\text{Lernvideos}$;]]
*[[LNTwww:HTML5-Applets_zu_Kanalcodierung|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig.

$\text{Empfohlene Literatur:}$

*Böcherer, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnkik, TU München, 2015
*Bossert, M.: Channel Coding for Telecommunications. Chichester: Wiley, 2000. ISBN 978-0-471-98277-7
*Bossert, M.: Kanalcodierung. Stuttgart: Vieweg+Teubner Verlag, 2014. ISBN 978-3-322-90917-6
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
*Hindelang, T.: Source-Controlled Channel Decoding and Decoding for Mobile Communications. Dissertation. Lehrstuhl für Nachrichtentechnik. München: VDI Fortschritt-Berichte, Reihe 10, Nr. 695, 2002
*Huber, J.: Codierung für gedächtnisbehaftete Kanäle. Dissertation – Universität der Bundeswehr München, 1982
*Johannesson, R.; Zigangirov, K. S.: Fundamentals of Convolutional Coding. New York: IEEE Press, 1999. ISBN 978-0-470-27683-9
*Klimant, H.; Piotraschke, R.; Schönfeld, D.: Informations- und Kodierungstheorie. 2. Aufl. Wiesbaden (u.a.): Vieweg+Teubner Verlag, 2003. ISBN 978-3-51923-003-8
*Kötter, R.; Mayer, T.; Tüchler, M.; Schreckenbach, F.; Brauchle, J.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl für Nachrichtentechnik, TU München, 2008
*Liva, G.: Channel Coding. Vorlesungsmanuskript. Lehrstuhl Für Nachrichtentechnik, TU München und DLR Oberpfaffenhofen, 2010
*Ryan, W.; Lin, S.: Channel Codes. Classical and modern. Cambridge: Cambridge University Press, 2009. ISBN 978-0-52184-868-8
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
*Schneider-Obermann, H.; Mildenberger, O.: Kanalcodierung. Theorie und Praxis fehlerkorrigierender Codes. Wiesbaden: Vieweg+Teubner Verlag, 1998. ISBN 978-3-528-03101-5
*Schulz, R.-H.: Codierungstheorie. Eine Einführung. 2. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2003. ISBN 978-3-322-80328-3
*Shannon, C. E.; Weaver, W.: The Mathematical Theory of Communication. Urbana: Univ. of Illinois Press, 1998. ISBN 978-0-25272-548-7
*Tröndle, K.: Codier-und Decodiermethoden zur Fehlerkorrektur. Habilitationsschrift. München: TU München, 1974
*Wachter-Zeh, A.: Channel Coding. Vorlesungsmanuskript. Professur für Coding for Communications and Data Storage, TU München, 2017

[[LNTwww:Authors#Kanalcodierung|$\text{Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde}$.]]

{{Display}}

Signal Representation/Equivalent Low-Pass Signal and its Spectral Function

2021-01-04T14:24:09Z

Oezdemir:

{{Header
|Untermenü=Bandpass Signals
|Vorherige Seite=Analytical Signal and Its Spectral Function
|Nächste Seite=Time Discrete Signal Representation
}}

==Motivation for Describing in the Equivalent Low Pass Range==
 
The following figure shows a possible structure of a message transmission system:
*Often the low frequency source signal  $q(t)$  is converted into a bandpass signal  $s(t)$    ⇒   '''modulation''.
*After transmission, the received signal  $r(t)$  - compared to the transmit signal  $s(t)$  possibly distorted and with (noise) interference applied - must be reset to the original frequency range   ⇒   '''Demodulation''.
*The sink signal  $v(t)$, which should match the source signal  $q(t)$  as closely as possible, is then again a low-pass signal.

[[File:EN_Sig_T_4_3_S1.png|center|frame|Block Diagram of a Bandpass Transmission System]]

Modulation and demodulation are therefore fundamental components of a transmission system, which are dealt with in detail in the book  [[Modulation_Methods]] . A short summary can be found in the first chapter    [[Signal_Representation/Principles_of_Communication|Principles of Message Transmission]]  of this book.

The investigation, simulation, optimization, and dimensioning of bandpass systems are mostly done in the  '''equivalent low-pass range'', for which the following reasons can be given
*If quality characteristics (bandwidth efficiency, signal-to-noise ratio, bit error rate, power requirements, etc.) of a low-pass system are known, the corresponding values of related bandpass systems can be derived from them relatively easily. Examples are the digital modulation methods  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Amplitude Shift Keying]]  (ASK) and  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#BPSK_.E2.80.93_Binary_Phase_Shift_Keying|Binary Phase Shift Keying]]  (BPSK), whose performance variables can be "extrapolated" from the comparable  [[Digital_Signal_Transmission/Systemkomponenten_eines_Basisbandübertragungssystems#Vereinfachtes_Systemmodell|baseband system]]  (i.e., without modulator and demodulator).

*Individual subchannels in a so-called [[Modulation_Methods/Zielsetzung_von_Modulation_und_Demodulation#B.C3.BCndelung_von_Kan.C3.A4len_.E2.80.93_Frequenzmultiplex|frequency division multiplex system]], which differ by different carrier frequencies, can often be considered qualitatively equivalent. Therefore, it is sufficient to limit the calculation and dimensioning to a single channel and to perform these investigations in the equivalent low-pass range - i.e. without considering the specific carrier frequency.

*t is often the case that the bandwidth of a communication connection is orders of magnitude smaller than the carrier frequency. For example, in the  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM standard]]&nbsp the individual channels are located in the frequency range around  $900\ \rm MHz$  (&bdquo;D-Network”) and   $1800\ \rm MHz$  (&bdquo;E-Network”), while each channel has only a small bandwidth of  $200\ \rm kHz$  available. Therefore a simulation in the equivalent low-pass range is much less complex than a simulation of the corresponding bandpass signals.

==Definition in the Frequency Domain==
 
We consider a real bandpass signal  $x(t)$  with the spectrum  $X(f)$. Furthermore we want to apply:
*The bandpass signal  $x(t)$  is said to result from the modulation of a low-frequency message signal  $q(t)$  with the carrier signal  $z(t)$  the frequency  $f_{\rm T}$ . The type of modulation (whether analog or digital, amplitudes– or angle modulation, single sideband or double sideband) is not specified.
*The spectral function  $X_+(f)$  of the corresponding analytical signal  $x_+(t)$  exists only for positive frequencies and is twice as large as  $X(f)$. For the derivation of  $X_+(f)$  the carrier frequency  $f_{\rm T}$  of the system does not need be known.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
If the spectrum of the analytical signal  $x_+(t)$  is shifted to the left for   $f_{\rm T}$  , the result is called the  '''Spectrum of the Equivalent Low-Pass Signal''':

:$$X_{\rm TP}(f) = X_{\rm +}(f + f_{\rm T}).$$

In general  $X(f)$,  $X_+(f)$  and  $X_{\rm TP}(f)$  are complex-valued. However, if  $X(f)$  is purely real, then the spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$  are also purely real, because they result from  $X(f)$  only from the operations "Cut and Double" or "Frequency Shift" respectively.}}}

For the calculation of the equivalent low-pass spectrum  $X_{\rm TP}(f)$  - in contrast to  $X_+(f)$  - the knowledge of the carrier frequency  $f_{\rm T}$  is absolutely necessary. For other values of  $f_{\rm T}$  other low-pass spectra will also result.

If one transforms the above equation into the time domain, one obtains after applying the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem]]:

:$$x_{\rm TP}(t) = x_{\rm +}(t)\cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t}.$$

The relation  $x(t) = \text{Re}\big[x_+(t)\big]$  yields the procedure to determine the actual physical bandpass signal from the equivalent lowpass signal:

:$$x(t) = {\rm Re}[x_{\rm +}(t)] = {\rm Re}\big[x_{\rm TP}(t)\cdot {\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2\pi \hspace{0.05cm}\cdot\hspace{0.05cm} f_{\rm T}\hspace{0.05cm} \cdot \hspace{0.05cm} \hspace{0.05cm}t}\big].$$

{{GraueBox|TEXT=
$\text{Example 1:}$ 
The upper figure shows the purely real spectral function  $X(f)$  of a bandpass signal  $x(t)$ which is the result of modulating a low frequency signal  $q(t)$  with the carrier frequency  $f_{\rm T}$ .
[[File:P_ID749__Sig_T_4_3_S2_neu.png|right|frame|Construction of The Equivalent Low Pass Signals in The Frequeny Domain]]

Below that, the two likewise real spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$ are shown. Due to the asymmetries concerning the frequency origin  $(f = 0)$  the corresponding time functions are complex.
*The continuous green spectral function  $X_{\rm TP}(f)$  is shifted to the left with respect to  $X_{+}(f)$  by the  carrier frequency $f_{\rm T}$ .

*If the spectrum  $X(f)$  is the modulation result of another message signal  $q\hspace{0.05cm}'(t)$  with a different carrier frequency  ${f_{\rm T} }\hspace{0.05cm}'$, this would also result in another equivalent TP signal  ${X_{\rm TP} }\hspace{0.05cm}'(f)$.

*An exemplary spectral function  ${X_{\rm TP} }\hspace{0.05cm}'(f)$  is drawn in the graphic with green-dashed lines.}}

==Description in The Time Domain==
 
To simplify the representation we now assume a line spectrum, so that the analytical signal can be represented as  '''pointer compound''   ⇒   sum of complex rotating pointers:

:$$X_{+}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - f_i) \hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm}
x_{+}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}f_i\hspace{0.05cm}\cdot \hspace{0.05cm} t
\hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

By shifting the frequency by  $f_{\rm T}$  to the left the equivalent low-pass signal in frequency and time domain is thus:

:$$X_{\rm TP}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - \nu_i)\hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm} x_{\rm TP}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}
\nu_i \hspace{0.05cm}\cdot \hspace{0.05cm} t \hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

The following relation   is valid between the frequency values   $f_i$  and  $\nu_i$  $(i = 1, \ \text{...} \ , I)$:

:$$\nu_i = f_i - f_{\rm T} .$$

These equations can be interpreted as follows:
*At time  $t = 0$  the equivalent low-pass signal is identical to the analytical signal:
:$$x_{\rm TP}(t = 0) = x_{\rm +}(t = 0)= \sum_{i=1}^{I} A_i \cdot {\rm e}^{{-\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm} \varphi_i}.$$
*At this point in time, the pointer group is thus defined by the  $I$  amplitude parameter  $A_i$  and the  $I$  phase positions  $\varphi_i$  alone.
*All pointers of the analytical signal  $x_+(t)$  rotate for  $t > 0$  corresponding to the (always positive) frequencies  $f_i$  counterclockwise.
*For the equivalent low-pass signal, the rotation speeds are lower. Hands with  $\nu_i > 0$  turn in mathematically positive direction (counterclockwise), those with  $\nu_i < 0$  in counterclockwise direction (clockwise).
*If the frequency parameter is   $\nu_i = 0$ for a pointer, this pointer rests in the complex plane corresponding to its initial position.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We consider a spectrum consisting of three spectral lines at  $40\,\text{kHz}$,  $50\,\text{kHz}$  and $60\,\text{kHz}$  consisting of spectrum  $X_+(f)$. With the amplitude and phase parameters recognizable from the graphic you obtain the analytical signal  $x_+(t)$  corresponding to the lower left sketch.

[[File:P_ID739__Sig_T_4_3_S3neu.png|center|frame|Construction of The Equivalent Low Pass Signals in The Time Domain]]

The snapshot of the lower left graph   ⇒   '''analytical signal'''   $x_+(t)$  applies to the time  $t = 0$. All hands then turn counterclockwise at a constant angular velocity.
*The blue pointer rotates with  $60000$  rotations per second are fastest and the green pointer rotates with the angular frequency  $\omega_{40} = 2\pi \cdot 40000 \hspace{0.1cm} 1/\text{s}$  is the slowest.
*The violet sum point of all three pointers moves for  $t > 0$  in the complex plane in a complicated manner, for the above numerical values first roughly in the direction drawn.

The graphics on the right describe the  '''equivalent low-pass signal'''  in the frequency domain (top) and in the time domain (bottom), valid for  $f_{\rm T} = 50\,\text{kHz}$.
*The carrier is now at  $f = 0$  and the corresponding red rotating pointer does not move.
*The blue pointer (OSB) rotates here with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm}1/\text{s}$  counterclockwise.
*The green pointer (USB) rotates counterclockwise at the same speed  ($-\omega_{10}$).}}

==Definition of The Locus Curve==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
As   '''locus curve'''  we call the curve on which the  '''equivalent low-pass signal'''  $x_{\rm TP}(t)$  moves in the  ''' complex plane'''  }}

''Notes:''   In other technical literature this term is rarely used. Therefore, initially, an example is shown.

[[File:P_ID744__Sig_T_4_3_S4_neu.png|right|frame|Definition of The Locus Curve]]
{{GraueBox|TEXT=
$\text{Example 3:}$ 
We consider the equivalent low-pass signal  $x_{\rm TP}(t)$  of  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{Example 2}$]],
consisting of
*the resting pointer of length  $3$  (red)
*the pointer with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm} 1/\text{s}$  in mathematical positive direction rotating blue pointer with the complex amplitude  '''j''',
*the green pointer of length  $2$, which is currently  $t = 0$  in the direction of the negative imaginary axis. This rotates with the same angular velocity  $\omega_{10}$  as the blue pointer, but in the opposite direction  ($-\omega_{10}$).

The blue and the green pointer each require exactly one period duration  $T_0 = 100 \,{\rm µ}\text{s}$ for one rotation. The further course of the process can be seen in the above illustration:
*The violet pointer sum is at time  $t = 0$  equals  $3 - \text{j}$.
*After  $t = T_0/4 = 25 \,{\rm µ}\text{s}$  the resulting pointer group has the value &bdquo;Null”, since now the two rotating pointers lie in the opposite direction to the carrier and compensate it exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}

exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}}

In this example the locus curve is an ellipse, which is traversed by the equivalent low-pass signal once per period.
*The representation applies to the  [[Modulation_Methods/Double Sideband Amplitude Modulation#ZSB-Amplitude Modulation_with_Tr.C3.A4ger|Double Sideband Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Tasks:Task_4.5:_Locus Curve_at_ZSB-AM|Task 4.5]].
*In the book  [[Modulation_Methods/Evelope Demodulation|Modulation Methods]]  the locus curves of different system variants are treated in detail.

In this example the locus curve is an ellipse, which is traversed by the equivalent low-pass signal once per period.
*The representation applies to the [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Double-Sideband–Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Aufgaben:Aufgabe_4.5:_Ortskurve_bei_ZSB-AM|Task 4.5]].
*In the book  [[Modulation_Methods/Hüllkurvendemodulation|Modulation Methods]] ,the locus curves of different system variants are treated in detail.

==Representing with Magnitude and Phase==
 
The equivalent low-pass signal of the band-pass signal  $x(t)$  is generally complex and can therefore be expressed in the form
:$$x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}$$.

Note the plus sign in the argument of the exponential function, which differs from the    [[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|Complex Fourier Series]] . This is because the equation with the positive sign for the phase is usually used to describe the modulation method for the physical signal as well:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t)).$$

In many textbooks this equation is used with plus or minus signs depending on the application, but always with the same &bdquo;phase identifier”. By using two different symbols  $(\varphi$  and  $\phi)$  we try to avoid this ambiguity in our learning tutorial  $\rm LNTww$.

{{GraueBox|TEXT=
$\text{Example 4:}$ The same prerequisites apply as in the  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{second example }$]]  and in the 
[[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Definition_der_Ortskurve|$\text{third one}$]]. InHowever, instead of the complex function  $x_{\rm TP}(t)$  the two real functions  $a(t)$  and  $\phi(t)$  are now displayed in the graphic.

[[File:P_ID748__Sig_T_4_3_S5.png|center|frame|Magnitude and Phase of The Equivalent Lowpass-Signal]]

It should be noted that this is a representation:
*The  '''Magnitude function'''  shows the time dependence of the pointer length:

:$$a(t)= \vert x_{\rm TP}(t)\vert =\sqrt{ {\rm Re}\left[x_{\rm TP}(t)\right]^2 +
{\rm Im}\left[x_{\rm TP}(t)\right]^2 }.$$

:The magnitude function  $a(t)$  is in this example like the complex equivalent low-pass signal  $x_{\rm TP}(t)$  periodic with  $T_0$  and takes values between  $0$  and  $6$ .

*The  '''phase function'''   describes the time-dependent angle of the equivalent low-pass signal  $x_{\rm TP}(t)$, related to the coordinate origin:

:$$\phi(t)= {\rm arc} \left[x_{\rm TP}(t)\right]= {\rm arctan}
\hspace{0.1cm}\frac{ {\rm Im}\left[x_{\rm TP}(t)\right]}{ {\rm
Re}\left[x_{\rm TP}(t)\right]}.$$

Hier noch einige numerische Ergebnisse für die Phasenwerte:
Here are some numerical results for the phase values:
*The phase at start time is  $\phi (t = 0) =\hspace{0.1cm} -\arctan (1/3) ≈ \hspace{0.1cm} -18.43^{\circ} = \hspace{0.1cm}-0.32\,\text{rad}$.
*At  $t = 25\,{\rm µ}\text{s}$  as well as at all equidistant times thereof in the distance  $T_0 = 100 \,{\rm µ}\text{s}$  is  $x_{\rm TP}(t) = 0$ so that at these times the phase  $\phi(t)$  changes abruptly from  $-\pi /2$  to  $+\pi /2$ .
*At the time  $t = 60\,{\rm µ}\text{s}$  the phase has a slightly positive value.
 }}

==Relation Between Equivalent LP-Signal and BP-Signal==
 
A bandpass signal  $x(t)$ resulting from the modulation of a low-frequency message signal  $q(t)$  with a carrier signal  $z(t)$  of frequency  $f_{\rm T}$  can be represented as follows:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t))
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}.$$

It should be noted here:
* $a(t)$  is the  ''time-dependent amplitude'', which is often also called  '''envelope''' . This is equal to the magnitude   $|x_{\rm TP}(t)|$  of the equivalent low-pass signal.
* $\phi(t)$  is the  '''phase function'', i.e., the  ''time-dependent phase'', which can also be determined from the equivalent low-pass signal as the angle to the coordinate origin of the complex plane.
*In the physical signal  $x(t)$ , the phase  $\phi(t)$  can be recognized by the  '''zero crossings''. With  $\phi(t) > 0$  the zero crossing occurs in  $x(t)$  in the range of time  $t$  earlier than with the carrier signal  $z(t)$. In contrast,  $\phi(t) < 0$  means a shift of the zero crossing to a later time.
*One speaks of  '''amplitude modulation'' if all information about the message signal is contained in the envelope  $a(t)$  while  $\phi(t)$  is constant.
*Conversely, with  '''Phase modulation'''  the phase function  $\phi(t)$  contains all information about the message signal, while  $a(t)$  is constant.

{{GraueBox|TEXT=
$\text{Example 5:}$ 
The upper part of the following figure describes the  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Double Sideband Amplitude Modulation (DSB-AM) With Carrier]]:
*The equivalent TP signal  $x_{\rm TP}(t)$  is here always real   ⇒   the locus curve is a horizontal straight line.
*Therefore the zero crossings of the blue DSB-AM signal  $x(t)$  correspond exactly to those of the red carrier signal  $z(t)$ .
*This means:   the phase function  $\phi(t)$  is identical to zero   ⇒   the envelope  $a(t)$  contains all information about the message signal.

[[File:EN_Sig_T_4_3_S6.png|center|frame|$x_{\rm TP}(t)$ For Double-Sideband Amplitude Modulation and Phase Modulation]]

However, the lower part of the graphic applies to the  [[Modulation_Methods/Phasenmodulation_(PM)|Phase Modulation (PM)]]:
*The PM signal  $y(t)$  always has a constant envelope   ⇒   the locus curve is an arc.
*The phase value here is initially smaller than zero   ⇒   the  $y(t)$–zero crossings occur later than those of the carrier  $z(t)$    ⇒   the zero crossings are "trailing".
*For positive values of the message signal also  $\phi (t) > 0$   ⇒   the zero crossings occur earlier than those of the carrier signal   ⇒   they are "leading".
*With phase modulation, therefore, all information about the message signal  $q(t)$  is contained in the positions of the zero crossings.}}

==Why Multiple Representations of The Same Signal Exist ==
 
Finally, and hopefully not too late, we want to turn to the question why the two complex and less comprehensible signals  $x_+(t)$  and  $x_{\rm TP}(t)$  are actually necessary to describe the actual bandpass signal  $x(t)$ . They were not introduced in communications engineering in order to unsettle students, but:

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The envelope curve  $a(t)$  and the phase function  $\phi (t)$  can be extracted directly and easily from the actual, physical BP signal  $x(t)$  only in some special cases
*The real non existing equivalent low-pass signal  $x_{\rm TP}(t)$  is a mathematical tool to determine the time histories  $a(t)$  and  $\phi (t)$  by simple geometrical considerations. We will come back to this later in the book  [[Modulation_Methods]] .
*The analytical signal  $x_+(t)$  is an intermediate step in the transition from  $x(t)$  to  $x_{\rm TP}(t)$. While  $x_+(t)$  is always complex,  $x_{\rm TP}(t)$  can be real in special cases, for example, with ideal amplitude modulation according to the chapter  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation|Double-Sideband Amplitude Modulation]]  (DSB-AM).

The same principle applies as often used in the natural sciences and technology:

*The introduction of  $x_+(t)$  and  $x_{\rm TP}(t)$  brings rather a complication for simple problems.
*The advantages of this approach can only be seen in more difficult problems, which could not be solved with the physical bandpass signal  $x(t)$  alone or only with much more effort.}}

For further clarification we provide two interactive applets:

*[[Applets:Physikalisches_Signal_%26_Analytisches_Signal|Physical & Analytical Signal]]   ⇒   &bdquo;Vector Diagram”,
*[[Applets:Physikalisches_Signal_%26_Äquivalentes_TP-Signal|Physical & Equivalent TP-Signal]]   ⇒   &bdquo;Loot Curve”.

==Representation According to Real and Imaginary Part==
 
Especially for the description of  [[Modulation_Methods/Quadratur–Amplitudenmodulation|Quadrature Amplitude Modulation]]  (QAM), the representation of the equivalent low-pass signal according to real and imaginary part is suitable:

:$$x_{\rm TP}(t) = x_{\rm I}(t)+ {\rm j} \cdot x_{\rm Q}(t).$$

In this representation,
*the real part  $x_{\rm I}(t)$  describes the  '''in-phase component'''  (normal component), whereas
*the imaginary part  $x_{\rm Q}(t)$  describes the  '''quadrature component''

of   $x_{\rm TP}(t)$. With the absolute value function  $a(t) = |x_{\rm TP}(t)|$  and the  phase function  $\phi (t) = \text{arc}\,x_{\rm TP}(t)$  according to the definitions on the previous pages:

:$$\begin{align*}x_{\rm I}(t) & = {\rm Re}[x_{\rm TP}(t)] = a(t) \cdot \cos
(\phi(t)),\\
x_{\rm Q}(t) & = {\rm Im}[x_{\rm TP}(t)] = a(t) \cdot \sin
(\phi(t)).\end{align*}$$

[[File:P_ID1150__Sig_T_4_3_S7a_neu.png|right|frame|Real And Imaginary Part of The Equivalent Lowpass-Signal]]
{{GraueBox|TEXT=
$\text{Example 6:}$  At the considered time  $t_0$  applies to the equivalent low-pass signal:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot {\rm e}^{- {\rm j \hspace{0.05cm}\cdot \hspace{0.05cm} 60
^\circ} }.$$

With the  [[Signal_Representation/Calculating_With_Complex_Numbers#Darstellung_nach_Betrag_und_Phase|Euler's Theorem]] , it can be written like this:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60
^\circ).$$

This applies to the in-phase and quadrature component:

:$$x_{\rm I}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) = 1\text{V}, $$
:$$x_{\rm Q}(t = t_0) = \hspace{0.05cm} - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60^\circ) =\hspace{0.05cm}-1.733\text{V}.$$}}

By applying trigonometric transformations it can be shown that the real, physical bandpass signal can also be represented in the following way:

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t + \phi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )-x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ). $$

The minus sign results from the use of the phase function  $\phi (t)$. A comparison with the page  [[ Signal_Representation/Harmonic_Oscillation#Darstellung_mit_Cosinus-_und_Sinusanteil|Representation With Cosine- and Sine Component]]  in the second main chapter shows that instead of the difference, the sum results when referring to  $\varphi (t) = -\phi (t)$ . Adapted to our example, you then get

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t - \varphi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )+x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ).$$

The quadrature component  $x_{\rm Q}(t)$  thus differs from the above equation in the sign.

==Determination of the equivalent TP signal from the BP signal==
 
The following figure shows two arrangements to determine the complex low-pass signal split into inphase and quadrature components from the real bandpass signal  $x(t)$  for display on an oscilloscope, for example Let us first look at the upper model:

*The analytical signal  $x_+(t)$  is first generated here by adding the  [[Signal_Representation/Analytical_Signal_and_Its_Spectral_Function#Darstellung_mit_der_Hilberttransformation|Hilbert Transformed]] .
*Multiplication with the complex exponential function (with negative exponent!) yields the equivalent low-pass signal  $x_{\rm TP}(t)$.
*The sought components  $x_{\rm I}(t)$  and  $x_{\rm Q}(t)$  are then obtained by forming real or imaginary parts.

[[File:P_ID1151__Sig_T_4_3_S7b_neu.png|center|frame|Division of the Equivalent Low-Pass Signal Into In-phase and Quadrature Components]]

With the lower (more practical) arrangement, you get for the upper or lower branch after the respective multiplications:

:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot 2 \cdot \cos (\omega_{\rm T} \cdot t ) = a(t)\cdot \cos ( \phi(t)) + \varepsilon_{\rm oben}(t),$$
:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot (-2) \cdot \sin (\omega_{\rm T} \cdot t ) = a(t)\cdot \sin ( \phi(t)) + \varepsilon_{\rm unten}(t)).$$

The respective second parts are in the range around twice the carrier frequency and are removed by the low-pass filters with the respective cut-off frequency  $f_{\rm T}$ :

:$$\varepsilon_{\rm oben}(t) = a(t)\cdot \cos (2\omega_{\rm T} \cdot t +
\phi(t)),\hspace{0.8cm}
\varepsilon_{\rm unten}(t) = - a(t)\cdot \sin (2\omega_{\rm T} \cdot t +
\phi(t)).$$

A comparison with the above equations shows that the desired components  $x_{\rm I}(t)$  and  $x_{\rm Q}(t)$  can be tapped at the output:

:$$x_{\rm I}(t) = a(t)\cdot \cos ( \phi(t)) ,$$
:$$x_{\rm Q}(t) = a(t)\cdot \sin ( \phi(t)) .$$

==Power and Energy of a Bandpass Signal==
 
We look at the (blue) bandpass signal  $x(t)$  according to the graph, which results for example from  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Binary Amplitude Shift Keying]] . This digital modulation method is also known as  '''On-Off-Keying'''.

[[File:P_ID1152__Sig_T_4_3_S8a.png|right|frame|Power and Energy of a Bandpass Signal]]

The signal power related to  $1 \,\Omega$  is given by the explanations on page  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energy Limited and Power Limited Signals]]  to

:$$P_x = \lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}} \cdot \int^{+T_{\rm M}/2} _{-T_{\rm M}/2}\hspace{-0.1cm} x^2(t)\,{\rm d}t.$$

If the binary zeros and ones are equally probable, then the infinite integration range and the boundary crossing can be omitted, and you get for the above sketched pattern signal 

:$$P_x = \frac{1}{2T} \cdot \int ^{2T} _{0} x^2(t)\,{\rm d}t =
\frac{4\,{\rm V}^2}{2T} \cdot \int^{T} _{0} \cos^2(\omega_{\rm T} \cdot t)\,{\rm d}t= 1\,{\rm V}^2.$$
 
From the sketch below you can see that by averaging over the squared envelope  $a^2(t)$  - i.e. over the magnitude square of the equivalent lowpass signal  $x_{\rm TP}(t)$  - you get a result twice as large. Therefore the same holds here likewise:

:$$P_x = { {1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} |x_{\rm TP}(t)|^2\,{\rm
d}t =
{{1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} a^2(t)\,{\rm d}t.$$

This result can be generalized and applied to energy limited signals. In this case, the energy according to page  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energy Limited and Power Limited Signals]]:

:$$E_x = \int ^{+\infty} _{-\infty} x^2(t)\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} |x_{\rm TP}(t)|^2\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t.$$

However, this equation only applies exactly if the carrier frequency  $f_{\rm T}$  is much larger than the bandwidth  $B_{\rm BP}$  of the bandpass..

{{GraueBox|TEXT=
$\text{Example 7:}$ 
We look at the bandpass signal  $x(t)$  with  $A = 2\,\text{V}$,  $B = 1\,\text{kHz}$  and  $f_{\rm T} = 10\,\text{kHz}$:

[[File:P_ID1154__Sig_T_4_3_S8b_neu.png|right|frame|Power Calculation in the Equivalent Lowpass Range]]

:$$x(t) = A \cdot {\rm si}(\pi \cdot B \cdot t) \cdot \cos(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t + \phi(t)).$$

The magnitude spectrum  $x(t)$  belonging to the signal  $x(t)$  $\vert X(f) \vert$  is displayed in the upper right corner. The blue label applies:
* $X(f)$  is purely real due to the symmetry relations:
:$$\vert X(f) \vert = X(f).$$

* $\vert X(f) \vert$  s thus composed of two rectangles around  $\pm f_{\rm T}$ .

* In the range around the carrier frequency applies:
$$\vert X(f) \vert = A/(2B) = 10^{-3}\text{V/Hz}.$$
 
The energy of this bandpass signal could in principle be calculated by the following equation:

:$$E_x = \int^{+\infty} _{-\infty} A^2 \cdot \frac{ {\rm
sin}^2(\pi \cdot B \cdot t)}{ (\pi \cdot B \cdot t)^2}\cdot
\cos^2(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t +
\phi(t))\,{\rm
d}t .$$

According to the above equations, with the envelope curve  $a(t)$  but also with the envelope curve&nbsp drawn in red in the upper left corner:

:$$E_x = { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t= { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} \vert A \cdot {\rm si}(\pi \cdot B \cdot t)\vert^2\,{\rm
d}t $$
:$$\Rightarrow \hspace{0.3cm} E_x = A^2\cdot \int^{+\infty} _{0} {\rm si}^2(\pi \cdot B \cdot t)\,{\rm
d}t =A^2\cdot \frac {\pi}{2}\cdot \frac {1}{\pi B} = \frac {A^2}{2 B}= 2 \cdot 10^{-3}\,{\rm V}^2/{\rm Hz}.$$

According to the above equations, with the envelope  $a(t)$  but also with the envelope drawn in red in the upper left corner:

A second solution with the same result is offered by the   [https://en.wikipedia.org/wiki/Parseval%27s_theorem Parseval's theorem]:

:$$\int ^{+\infty} _{-\infty} a^2(t)\,{\rm d}t= \int
^{+\infty} _{-\infty} \vert A(f) \vert ^2\,{\rm d}f \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
E_x = {1}/{2}\cdot ( {A}/{B})^2 \cdot B = {A^2}/(2
B).$$

This is taken into account:
*The following applies  $\vert A(f) \vert = \vert X_{\rm TP}(f) \vert $.
*Inside the bandwidth  $B$  around the frequency  $f = 0$  is  $X_{\rm TP}(f)$  twice as large as  $X(f)$  around the frequency  $f = f_{\rm T}$, namely  $A/B$.
*This is related to the definition of the spectrum  $X_+(f)$  the analemic signal from which  $X_{\rm TP}(f)$  is created by shifting.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 4.5: Locus Curve for DSB-AM|Exercise 4.5: Locus Curve for DSB-AM]]

[[Aufgaben:Exercise 4.5Z: Simple Phase Modulator|Exercise 4.5Z: Simple Phase Modulator]]

[[Aufgaben:Exercise 4.6: Loot Curve for ESB-AM|Exercise 4.6: Loot Curve for ESB-AM]]

[[Aufgaben:Exercise 4.6Z: Loot Curve for Phase Modulation|Exercise 4.6Z: Loot Curve for Phase Modulation]]

{{Display}}

Signal Representation/Fast Fourier Transform (FFT)

2021-01-04T02:29:48Z

Oezdemir:

{{LastPage}}
{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Spectrum Analysis
|Nächste Seite=
}}

==Complexity of DFT and IDFT==
 
A disadvantage of the direct calculation of the (generally complex) DFT number sequences

:$$\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d(\nu)\hspace{0.1cm} \rangle$$

according to the equations given in chapter  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Discrete Fourier Transform (DFT)]] is the large computational cost. We consider as an example the DFT, i.e. the calculation of the  $D(\mu)$  from the  $d(\nu)$:

:$$N \cdot D(\mu) = \sum_{\nu = 0 }^{N-1}
d(\nu) \cdot {w}^{\hspace{0.03cm}\nu \hspace{0.03cm} \cdot \hspace{0.05cm}\mu}
=
d(0) \cdot w^{\hspace{0.03cm}0} + d(1) \cdot w^{\hspace{0.03cm}\mu}+ d(2) \cdot w^{\hspace{0.03cm}2\mu}+\hspace{0.05cm}\text{ ...} \hspace{0.05cm}+ d(N-1) \cdot w^{\hspace{0.03cm}(N-1)\cdot \mu}$$

The computational effort required for this is to be estimated, assuming that the powers of the complex rotation factor  $w = {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi/N}$  already exist in real and imaginary part form in a lookup table. To calculate a single coefficient, one then needs  $N-1$  complex multiplications and as many complex additions, observing:
*Each complex addition requires two real additions:
:$$(R_1 + {\rm j} \cdot I_1) + (R_2 + {\rm j} \cdot I_2) = (R_1 +
R_2) + {\rm j} \cdot (I_1 + I_2)\hspace{0.05cm}.$$
*Each complex multiplication requires four real multiplications and two real additions (a subtraction is treated as an addition):
:$$(R_1 + {\rm j} \cdot I_1) (R_2 + {\rm j} \cdot I_2) = (R_1 \cdot
R_2 - I_1 \cdot I_2) + {\rm j} \cdot (R_1 \cdot I_2 + R_2 \cdot
I_1)\hspace{0.05cm}.$$
*Thus, the following number of real multiplications and the number of real additions are required to calculate all $N$ coefficients in total:
:$$M = 4 \cdot N \cdot (N-1),$$
:$$A = 2 \cdot N \cdot
(N-1)+2 \cdot N \cdot (N-1)=M \hspace{0.05cm}.$$
*In today's computers, multiplications and additions/subtractions need about the same computing time. It is sufficient to consider the total number  $\mathcal{O} = M + A$  of all operations:
:$$\mathcal{O} = 8 \cdot N \cdot (N-1) \approx 8 \cdot N^2\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*For a  ''Discrete Fourier Transform''  (DFT) with  $N = 1000$  one already needs almost eight million arithmetic operations. The same applies to an IDFT.
*With  $N =16$  still  $1920$  computational operations are required}}.

If the parameter  $N$  is a power to the base  $2$, more computationally efficient algorithms can be applied. The multitude of such methods known from the literature are summarised under the collective term  '''Fast Fourier Transform'''  - abbreviated  '''FFT'''  -. All these methods are based on the superposition theorem of the DFT.

==Superposition Theorem of the DFT==
 
The graph illustrates the so-called superposition theorem of the DFT using the example of $N = 16$. Shown here is the transition from the time domain to the spectral domain, i.e. the calculation of the spectral domain coefficients from the time domain coefficients:   $\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} d(\nu) \hspace{0.1cm}\rangle.$

[[File:EN_Sig_T_5_5_S2.png|center|frame|Superposition Theorem of the DFT]]

The algorithm described thereby is characterised by the following steps:
*The sequence  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle$  of length  $N$  is divided into two subsequences$\langle \hspace{0.1cm} d_1(\nu)\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm} d_2(\nu)\hspace{0.1cm}\rangle$  each of half length (highlighted in yellow and green respectively in the garafic). With  $0 \le \nu \lt N/2$  one thus obtains the sequence elements
:$$d_1(\nu) = d(2\nu), $$
:$$d_2(\nu) = d(2\nu+1)
\hspace{0.05cm}.$$
*The initial sequences  $\langle \hspace{0.1cm}D_1(\mu )\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm}D_2(\mu )\hspace{0.1cm}\rangle$  of the two sub-blocks result from this each by its own DFT, but now only with half length  $N/2 = 8$:
:$$\langle \hspace{0.1cm}D_1(\mu) \hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N/2)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d_1(\nu) \hspace{0.1cm}\rangle , $$
:$$ \langle \hspace{0.1cm}D_2(\mu)\hspace{0.1cm} \rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N/2)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d_2(\nu) \hspace{0.1cm}\rangle \hspace{0.05cm}.$$
*The initial values  $\langle \hspace{0.1cm} D_2(\mu )\hspace{0.1cm}\rangle$  of the lower (green) DFT $($with  $0 \le \mu \lt N/2)$  are then changed in the block outlined in red by complex rotation factors with respect to phase:
:$$D_2(\mu) \hspace{0.3cm} \Rightarrow \hspace{0.3cm}D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}, \hspace{0.2cm}{\rm wobei}\hspace{0.1cm}w =
{\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi/N} \hspace{0.05cm}.$$
*Each single  '''Butterfly'''  in the blue bordered block (in the middle of the graph) yields two elements of the searched sequence by addition or subtraction. With  $0 \le \mu \lt N/2$  applies:
:$$D(\mu) = {1}/{2}\cdot \big[D_1(\mu) + D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}\big],$$
:$$D(\mu +{N}/{2}) = {1}/{2}\cdot \big[D_1(\mu) - D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}\big]\hspace{0.05cm}.$$

'''This first application of the superposition theorem thus roughly halves the computational effort.'''

{{GraueBox|TEXT=
$\text{Example 1:}$ 
Let the DFT coefficients  $d(\nu)$  for the description of the time course be "triangular" according to  '''line 2'''  of the following table. Note here the periodic continuation of the DFT, so that the linear increase for  $t \lt 0$  is given by the coefficients  $d(8), \hspace{0.05cm}\text{ ...} \hspace{0.05cm}, d(15)$  is expressed.

Applying the DFT algorithm with  $N = 16$  one obtains the spectral coefficients  $D(\mu )$ given in  '''line 3'''  which would be equal  $D(\mu ) = 4 \cdot \text{si}^2(\pi \cdot \mu/2)$  if the aliasing error were neglected. We can see that the aliasing error only affects the odd coefficients (shaded boxes). For example, $D(1) = 16/ \pi^2 \approx 1.621\neq 1.642$  should be.

[[File:Sig_T_5_5_S2b_Version2.png|center|frame|Result Table for  $\text{Example 1}$  for the Superposition Theorem of the DFT]]

If we split the total sequence  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle$  into two subsequences  $\langle \hspace{0.1cm}{d_1}'(\nu)\hspace{0.1cm}\rangle$  and   $\langle \hspace{0.1cm}{d_2}'(\nu)\hspace{0.1cm}\rangle$  such that the first subsequence (highlighted in yellow) has only even coefficients  $(\nu = 0, 2, \hspace{0.03cm}\text{ ...} \hspace{0.1cm}, N–2)$  and the second (green background) contains only odd coefficients  $(\nu = 1, 3, \hspace{0.03cm}\text{ ...} \hspace{0.1cm} , N-1)$  and all others are set to zero, the corresponding sequences in the spectral domain are obtained:

:$$ \langle \hspace{0.1cm}{D_1}'(\mu)\hspace{0.1cm} \rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} {d_1}'(\nu) \hspace{0.1cm}\rangle , $$
:$$ \langle \hspace{0.1cm}{D_2}'(\mu) \hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle\hspace{0.1cm} {d_2}'(\nu) \rangle \hspace{0.1cm}\hspace{0.05cm}.$$

In the yellow or green lines  $4\hspace{0.05cm}\text{ ...} \hspace{0.05cm}7$  you can see:
*because  $d(\nu) = {d_1}'(\nu) + {d_2}'(\nu)$  also holds  $D(\mu ) = {D_1}'(\mu ) + {D_2}'(\mu )$. This can be justified, for example, with the  [[Signal_Representation/Fourier_Transform_Laws#Multiplication_with_Factor_-_Addition Theorem|Addition Theorem of Linear Systems]] .
*The period of the sequence  $\langle \hspace{0.1cm}{D_1}'(\mu )\hspace{0.1cm}\rangle$  due to the zeroing of every second time coefficient is now  $N/2$  unlike the period  $N$  of the sequence  $\langle \hspace{0.1cm} D(\mu )\hspace{0.1cm}\rangle$:
:$${D_1}'(\mu + {N}/{2}) ={D_1}'(\mu)\hspace{0.05cm}.$$
* $\langle \hspace{0.1cm} {D_2}'(\mu )\hspace{0.1cm}\rangle$  additionally contains a phase factor (shift by one sample) which causes a sign change of two coefficients separated by  $N/2$ :
:$${D_2}'(\mu + {N}/{2}) = - {D_2}'(\mu)\hspace{0.05cm}.$$
*The calculation of  $\langle \hspace{0.1cm}{D_1}'(\mu )\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm} {D_2}'(\mu )\hspace{0.1cm}\rangle$  is, however, in each case as laborious as the determination of  $\langle \hspace{0.1cm}D(\mu )\hspace{0.1cm}\rangle$, since  $\langle \hspace{0.1cm}{d_1}'(\nu)\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm}{d_2}'(\nu)\hspace{0.1cm}\rangle$  also consist of  $N$  elements, even if some are zero.}}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
To continue the first example, the previous table is now extended by the rows  $8$  to  $12$ .

[[File:Sig_T_5_5_S2c_Version2.png|center|frame|Result Table for  $\text{Example 2}$  For The Superposition Theorem of The DFT]]

Omitting the coefficients  ${d_1}'(\nu) = 0$  with odd indices and  ${d_2}'(\nu) = 0$  with even indices, we arrive at the subsequences  $\langle \hspace{0.1cm}d_1(\nu)\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm}d_2(\nu)\hspace{0.1cm}\rangle$  corresponding to lines  $9$  and  $11$ . You can see:
*The time sequences  $\langle \hspace{0.1cm}{d_1}(\nu )\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm}{d_2}(\nu )\hspace{0.1cm}\rangle$  exhibit as well as the corresponding spectral sequences  $\langle \hspace{0.1cm}{D_1}(\mu )\hspace{0.1cm}\rangle$  and  $\langle \hspace{0.1cm}{D_2}(\mu )\hspace{0.1cm}\rangle$  only have the dimension $N/2$.
*A comparison of the lines  $5$,  $7$,  $10$  and  $12$  shows the following relationship for  $0 \le \mu \lt N/2$ :
:$${D_1}'(\mu) = {1}/{2}\cdot {D_1}(\mu)\hspace{0.05cm},$$
:$$ {D_2}'(\mu) = {1}/{2}\cdot {D_2}(\mu)\cdot w^{\hspace{0.04cm}\mu}\hspace{0.05cm}.$$
*Correspondingly, for  $N/2 \le \mu \lt N$:
:$${D_1}'(\mu) = {1}/{2}\cdot {D_1}(\mu - {N}/{2})\hspace{0.05cm},$$
:$$ {D_2}'(\mu) = {1}/{2}\cdot {D_2}(\mu {-} {N}/{2})\cdot w^{\hspace{0.04cm}\mu}
= { - } {1}/{2}\cdot {D_2}(\mu-N/2)\cdot w^{\hspace{0.04cm}\mu {-} N/2}\hspace{0.05cm}.
$$

*For example, with  $N = 16$   ⇒   $w = {\rm e}^{ - {\rm j}\hspace{0.04cm} \cdot \hspace{0.04cm}\pi/8}$  for the indices  $\mu = 1$  respectively  $\mu = 9$: 
:$${D_1}'(1) = {1.708}/{2} = 0.854,\hspace{0.8cm}
{D_2}'(1) ={1}/{2}\cdot (1.456 + {\rm j} 0.603) \cdot {\rm e}^{ - {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}
\pi/8} = 0.788$$
:$$\Rightarrow D(1) = {D_1}'(1)+ {D_2}'(1)= 1.642 \hspace{0.05cm}.$$
:$${D_9}'(1) = {1.708}/{2} = 0.854,\hspace{0.8cm}
{D_2}'(9) = - {1}/{2}\cdot (1.456 + {\rm j} 0.603) \cdot {\rm e}^{ - {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}
\pi/8} = - 0.788$$
:$$\Rightarrow D(9) = {D_1}'(9)+ {D_2}'(9)= 0.066 \hspace{0.05cm}.$$}}

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*This first application of the superposition theorem almost halves the computational effort.
*Instead of  $\mathcal{O}= 1920$  one only needs  $\mathcal{O} = 2 - 448 + 8 \cdot (4+2) + 16 \cdot 2 = 976$  real operations.
*The first summand accounts for the two DFT calculations with  $N/2 = 8$.
*The remainder is needed for the eight complex multiplications and the  $16$  complex additions and subtractions, respectively.}}

==Radix-2-Algorithm According to Cooley and Tukey==
 
Like other FFT algorithms, the method presented herenbsp; [CT65]<ref name ='CT65'>Cooley, J.W.; Tukey, J.W.: ''An Algorithm for the Machine Calculation of Complex Fourier Series''. In: Mathematics of Computation, Vol. 19, No. 90. (Apr., 1965), pp. 297-301.</ref>  from   [https://en.wikipedia.org/wiki/James_Cooley James W. Cooley]  and  [https://en.wikipedia.org/wiki/John_Tukey John W. Tukey]  on the superposition theorem of the DFT. It only works if the number of interpolation points is a power of two.

The diagram illustrates the algorithm for  $N = 8$, again showing the transformation from the time to the frequency domain.
[[File:P_ID1173__Sig_T_5_5_S3a_neu.png|right|frame|frame|Radix-2-Algorithm (Flow Diagram)]]

*Before the actual FFT algorithm, the input values  $d(0), \hspace{0.05cm}\text{...} \hspace{0.1cm}, d( N - 1)$  be reordered in the grey block &bdquo;Bit Reverse Operation”.
*The computation is done in  $\text{log}_2 N = 3$  stages, where in each stage  $N/2 = 4$  equal computations are performed with different  $\mu$–values (= exponent of the complex rotation factor). Such a basic operation is also called a  '''butterfly'''.
*Each butterfly calculates from two (generally complex) input variables  $A$  and  $B$  the two output variables  $A + B \cdot w^{\mu}$  and  $A - B \cdot w^{\mu}$  according to the following sketch.

[[File:P_ID1174__Sig_T_5_5_S3b_neu.png|center|frame|Butterfly of The DFT-Algorithm]]

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The complex spectral coefficients  $D(0), \hspace{0.05cm}\text{...} \hspace{0.1cm}, D( N - 1)$  are obtained at the output of the last stage after division by  $N$.
*As shown in the  [[Aufgaben:Aufgabe_5.5Z:_Rechenaufwand_für_die_FFT|exercise 5.5Z]]  compared to the DFT, this results in a much shorter computation time, for example for  $N = 1024$  by more than a factor  $150$.

*The inverse DFT for calculating the time– from the spectral coefficients is done with the same algorithm and only slight modifications.}}

[[File:EN_Sig_Programm.png|right|frame|Radix-2-Algorithm (C-Program)]]
{{GraueBox|TEXT=
$\text{Example 3:}$ 
Finally, a C program 
:$$\text{fft(N, Re, Im)}$$
according to the Radix-2 algorithm described above is given:

*When called, the two float arrays "Re" and "Im" contain the  $N$  real and imaginary parts of the complex time coefficients  $d(0)$, ... , $d( N - 1)$.
*In the same fields "Re" and "Im" the complex coefficients  $D(0)$, ... , $D( N - 1)$  are returned to the calling program.
*Due to the "in-place" programming, complex memory locations are thus sufficient for this algorithm  $N$  but only if the input values are reordered at the beginning.
*This is done by the program "bit-reversal", where the contents of  ${\rm Re}( \nu)$  and  ${\rm Im}( \nu)$  are entered into the elements  ${\rm Re}( \kappa)$  and  ${\rm Im}( \kappa)$ . $\text{Example 4}$  illustrates the procedure.}}

[[File:P_ID1176__Sig_T_5_5_S3d_neu.png|right|frame|Radix-2-Algorithm $($Bit reversing operation for  $N = 8)$]]
{{GraueBox|TEXT=
$\text{Example 4: Bit reversing operation}$ 

*The new index  $\kappa$  is obtained by writing the index  $\nu$  as a dual number and then representing the  $\text{log}_2 \hspace{0.05cm} N$  bits in reverse order.
*For example,  $\nu = 3$  becomes the new index  $\kappa = 6$.}}

==Exercises For the Chapter==
 
[[Aufgaben:Exercise 5.5: Fast Fourier Transform|Exercise 5.5: Fast Fourier Transform]]

[[Aufgaben:Exercise 5.5Z: Complexity of The FFT|Exercise 5.5Z: Complexity of The FFT]]

==Quellenverzeichnis==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-04T01:53:46Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm else} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness Criteria of Window Functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Illustrating the  $\text{6 dB}$-bandwidth]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum Process Loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-04T01:53:28Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm else} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness criteria of window functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Illustrating the  $\text{6 dB}$-bandwidth]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum Process Loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-02T16:49:21Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{for}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm else} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness criteria of window functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Illustrating the  $\text{6 dB}$-bandwidth]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum process loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-02T16:48:32Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm else} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm else} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness criteria of window functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Illustrating the  $\text{6 dB}$-bandwidth]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum process loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-02T16:47:59Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm sonst} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness criteria of window functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Illustrating the  $\text{6 dB}$-bandwidth]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum process loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-02T16:46:52Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leakage==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
The term '''spectral leakage effect''' is used to describe the distortion of the spectrum of a periodic and thus temporally unlimited signal due to the implicit time limit of the Discrete Fourier Transform (DFT). This means that, for example, a spectrum analyser
* fake frequency components that are not present in the time signal, and/or
*actually existing spectral components are hidden by side lobes}}.

The following  $\text{example 1}$ will show that for a periodic signal the application of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|discrete Fourier Transform]]    (DFT) is not useful without additional measures. The quality of the spectral analysis - i.e. the correctness of the spectrum found - is mainly determined here by the (more or less successful) adaptation of the DFT parameters to the signal parameters at hand.
*If the period  $T_0$  of the signal is known, the duration  $T_{\rm P}$  of the signal section used for the DFT should be an integer multiple of  $T_0$ . However, the task of spectral analysis is precisely to find arbitrary signal components, so that knowledge of  $T_0$  cannot generally be assumed.
*A measure to improve the spectral analysis is the windowing with a "suitable" time function  $w(t)$. The product signal  $x(t) \cdot w(t)$ is then analysed.
*A large number of such window functions  $w(t)$  are known from the literature, which lead to good or less satisfactory results depending on the task.

On the next pages the spectral leakage effect will be illustrated by examples and the advantages and disadvantages of the different window functions will be discussed. So much up front: '''There is no "best" window function for all applications'''.
{{GraueBox|TEXT=

$\text{Example 1:}$ 
The upper graph  '''(a)'''  from [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.  shows the time-discrete signal  $d(\nu)$  of a harmonic oscillation with frequency  $f_0 = 125\,\text{ kHz}$   ⇒   period  $T_0 = 8 \,{\rm µ s}$. The distance between two successive time samples in this example is chosen to be  $T_{\rm A} = 1 \,{\rm µ s}$ .

On the right is shown in logarithmic form (in dB) the frequency discrete spectrum  $\vert D(\mu) \vert$  after a DFT with  $N = 32$  samples, from which the further DFT parameters result as follows:
*Duration of the time segment:   $T_{\rm P} = 32 \,{\rm µ s}$,
*gridding of the frequency axis:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Since the interval width  $T_{\rm P}$  captures an integer multiple of the period duration  $T_0$ , the DFT delivers the correct result. The two Dirac functions lie exactly at  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Example of Applying Spectral Analysis]]

If one measures an oscillation of frequency  $f_0 = 109.375\,\text{ kHz}$   ⇒   period $T_0 = 9.14 \,{\rm µ s}$  corresponding to the graph below  '''(b)''', significant distortions of the spectrum occur.

*Since now  $T_{\rm P}/T_0 = 3.5$  is no longer an integer, the periodic continuation of the time section causes phase jumps, in our example by  $\pi$.
*The spectral range now no longer consists of two Dirac functions as in the example  '''(a)''', but of an approximately "continuous" frequency function with the maximum near the actual signal frequency and a series of further parts, which are called  '''side lobes''' .}}

==Describing Windowing from a Control Theory Perspective==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rectangular Window and Bartlett Windows]]
The occurrence of such unwanted side lobes is now to be explained in terms of systems theory using the following diagram. This graphic was also taken from the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

First consider the upper graph  '''(a)'''  for the  '''rectangular window'''.
*The time limit implicit in the DFT corresponds to the multiplication of the signal  $x(t)$  by a rectangular–window function  $w(t)$  of height  $1$  and duration  $T_{\rm P}$. The upper left image shows the discrete-time representation of this rectangular function with the normalised time variable  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$

*From the multiplication  $y(t) = x(t) \cdot w(t)$  of the signal to be analysed  $x(t)$  and the window function  $w(t)$  follows for the spectral function  $Y(f) = X(f) \ast W(f)$, where for rectangular window function with  $f_{\rm A} = 1/T_{\rm P}$  holds (the function  $W(f)$  is shown in logarithmic form in the upper right graph):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*If all spectral components ofs  $x(t)$  lie in the frequency grid  $\mu \cdot f_{\rm A}$, the discrete frequency spectral values  $D(\mu )$  remain unchanged by the convolution with  $W(f)$ .
*Otherwise, convolution with  $W(f)$  leads to distortions, since the zeros of the  $\rm si$-function now no longer fit the discrete values of the input spectrum.

The discontinuities in the time domain caused by limitation and periodic continuation are reduced if, instead of the constant one weighting by the rectangle, the two edge areas of the window are weighted weaker than the centre.

Consider the graph below  '''(b)'''  for the  '''Bartlett window''' - also called triangular window:
*The time-discrete description of the Bartlett window is with  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$
*From this follows for the time-continuous window function  $w(t)$  and the spectral representation  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm sonst} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Due to the lower weighting of the edge regions, which are particularly problematic with unbounded signals, the (logarithmically drawn) spectrum  $W(f)$  has lower side lobes than the  $\rm si$ function in the upper image, which leads to lower leakage components.
*The better suppression of the side lobes, however, comes at the cost of a noticeable reduction and broadening of the main lobe, limiting the resolving power of the Bartlett window compared to the rectangular windowing.

==Special Window Functions==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- and Kaiser-Bessel Windows]]
Now some frequently used  [https://en.wikipedia.org/wiki/Window_function window functions], viz.
*the Hanning window,
*the Hamming window, and
*the Kaiser-Bessel window

will be described by means of graphs and equations contained therein. For the running variable in the time domain, $-N/2 ≤ \nu < N/2$ always applies.

''Notes:''
*In the Kaiser-Bessel window, the functions in the time and frequency domain are each shown for  $\alpha = 3.5$ .
* ${\rm I}_0(.)$  denotes the  [https://en.wikipedia.org/wiki/Bessel_function modified zero-order Bessel function].
*Further window functions such as the Blackman-Harris window, the  [https://en.wikipedia.org/wiki/Raised-cosine_filter cosine rolloff window]  (also called Tukey window) and many more can be found in the book  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

The suitability of these window functions for various tasks of spectral analysis is mentioned on the next page.
 
==Goodness criteria of window functions==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Compilation of Important Quality Criteria of Window Functions]]
The table shows quality criteria for the window functions described on the last pages. The selection of a suitable window function should be made according to the following aspects:
*The  '''minimum distance between main lobe and side lobes'''  should be as large as possible to keep the influence of the leakage effect low and to improve the amplitude resolution.
*For reasons of good frequency selectivity, the  '''6dB bandwidth'''  should be small. If it is too large, a dominant spectral line will mask smaller components in the surrounding area.
*The  '''maximum process loss'''  (in dB) includes the maximum scaling error and the equivalent noise bandwidth. This value should in no case exceed  $\text{3.7 dB}$ .

These most important quality criteria are highlighted in red in the adjacent table.
*In each row, rather favourable window functions are highlighted in green and rather unfavourable ones in grey.
*From the distribution of the green and grey areas it is already evident that the optimal window function does not exist.
 
Now the quality criteria given in the table are described in more detail:
*The larger the ''minimum main-to-side lobe distance''   ⇒   ratio of the main lobe to the highest side lobe, the better the amplitude resolution of a window function. For the rectangle this distance is, as expected, smallest  $\text{(13 dB)}$. The best result is achieved with  $\text{92 dB}$  the fourth-order Blackman-Harris window.
*However, since not only the highest but also all other side lobes contribute to the leakage effect, the  '''side lobe drop'''  is another measure for the resolving power. Of the given window functions, the Hanning window and the cosine rolloff window with rolloff  $r = 0.5$  have the most favourable values in this respect  $\text{(18 dB/octave)}$.
*The  '''6 dB bandwidth''', which can be read from the logarithmised spectral function, is an important measure of the frequency resolving power. Two spectral components present in the signal at  $f_1$  and  $f_2$  can only be resolved if the difference  $f_2 - f_1$  is greater than the  $\text{6 dB}$-bandwidth of the window function used (see following right graph).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Zur Verdeutlichung der  $\text{6 dB}$-Bandbreite]]
*The  '''window area'''  of the function  $w(t)$  at the same time gives the height  $W(0)$  in the spectral domain. For all windows except the rectangle, a window area smaller than  $1$  and thus an error in the amplitude of the DFT result results due to the suppression of the outer samples, which, however, can be completely corrected if  $w(t)$  is known.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*A good compromise is the  '''Hanning window'''  (highlighted in blue in the table), which never scores "grey" with respect to the three main criteria (red markings).
*The  '''Hamming window'''  differs from this only slightly in the time domain, but considerably in the spectral domain. Thus, the side lobe drop per octave is only more  $\text{6 dB}$  $($instead of  $\text{18 dB})$.}}

==Maximum process loss==
 
This combined quality criterion considers the  '''maximum scaling error'''  as well as the (normalised)  '''equivalent noise bandwidth'''. The maximum process loss is usually given in  $\text{dB}$  and should be rather small according to its name:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

From the    [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|table]]  it can be seen that  $V_{\rm P}$  takes values between  $\text{3 dB}$  and  $\text{4 dB}$  for the window functions considered, where window functions with  $V_{\rm P} > 3. 7 \,\text{dB}$  (rectangle, Blackman-Harris, Kaiser-Bessel)  should not be used. However, it is precisely these that are best with regard to the main-to-side lobe distance.

The two proportions are to be interpreted as follows:
*The ''maximum scaling error''  is the ratio by which the amplitude determined with the DFT differs from the actual signal amplitude. The amplitude error due to a window area smaller than  $1$  is assumed to be corrected.
*The wider the main lobe of the window function, the smaller this scaling error. The error is largest when the frequency  $f_0$  of a harmonic oscillation lies midway between two DFT support points   ⇒   quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*The ''equivalent noise bandwidth''  of the window function used - calculable as the width of the equal-area rectangle with respect to the magnitude square  $|W(f)|^2$  of the spectral function - captures the disturbing influence of white noise and should be as small as possible.
*The smallest noise bandwidth results for the rectangle. All other window functions have a larger noise bandwidth and thus, in the presence of noise interference, also a (significantly) less favourable signal-to-noise power ratio.

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
The results of this section can be summarised as follows:
*An ideal window function does not exist. Depending on the task  (good amplitude or frequency resolution)  different windows provide the best result in each case. It is therefore recommended that one always uses several window functions for spectral analysis or at least one window function with different parameters.
*A workable compromise with regard to all criteria is the  '''Hamming window''', which only gives an unfavourable value for the side lobe drop  $($only  $\text{6 dB per octave})$ . Although the  '''Hanning window'''  differs only marginally from the Hamming window in the time domain, in the spectral domain  (minimum distance between main lobe and side lobes)  the difference between the two is considerable.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Spectrum Analysis

2021-01-02T16:23:02Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Possible Errors When Using DFT
|Nächste Seite=Fast Fourier Transform (FFT)
}}

==Spectral Leak Effect==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
Als  '''spektralen Leckeffekt'''  bezeichnet man die Verfälschung des Spektrums eines periodischen und damit zeitlich unbegrenzten Signals aufgrund der impliziten Zeitbegrenzung der Diskreten Fouriertransformation (DFT). Dadurch werden zum Beispiel von einem Spektrumanalyzer
*im Zeitsignal nicht vorhandene Frequenzanteile vorgetäuscht, und/oder
*tatsächlich vorhandene Spektralkomponenten durch Seitenkeulen verdeckt.}}

Das folgende  $\text{Beispiel 1}$  wird zeigen, dass bei einem periodischen Signal die Anwendung der  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Diskreten Fouriertransformation]]  (DFT) ohne Zusatzmaßnahmen nicht sinnvoll ist. Die Güte der Spektralanalyse – das heißt die Richtigkeit des gefundenen Spektrums – wird hier hauptsächlich durch die (mehr oder weniger geglückte) Anpassung der DFT-Parameter an die vorliegenden Signalparameter bestimmt.
*Ist die Periodendauer  $T_0$  des Signals bekannt, so sollte die Dauer  $T_{\rm P}$  des für die DFT verwendeten Signalausschnittes ein ganzzahliges Vielfaches von  $T_0$  betragen. Aufgabe der Spektralanalyse ist aber gerade das Auffinden beliebiger Signalanteile, so dass die Kenntnis von  $T_0$  im allgemeinen nicht vorausgesetzt werden kann.
*Eine Maßnahme zur Verbesserung des Spektralanalyse ist die Fensterung mit einer „geeigneten” Zeitfunktion  $w(t)$. Analysiert wird dann das Produktsignal  $x(t) \cdot w(t)$.
*Aus der Literatur sind eine Vielzahl solcher Fensterfunktionen  $w(t)$  bekannt, die je nach Aufgabenstellung zu guten oder weniger befriedigenden Ergebnissen führen.

Auf den nächsten Seiten wird der spektrale Leckeffekt an Beispielen verdeutlicht und es wird auf die Vorteile und Nachteile der verschiedenen Fensterfunktionen eingegangen. So viel vorneweg:   '''Es gibt keine „beste” Fensterfunktion für alle Anwendungen'''.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die obere Grafik  '''(a)'''  aus  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>  zeigt das zeitdiskrete Signal  $d(\nu)$  einer harmonischen Schwingung mit der Frequenz  $f_0 = 125\,\text{ kHz}$   ⇒   Periodendauer  $T_0 = 8 \,{\rm µ s}$. Der Abstand zweier aufeinanderfolgender Zeitabtastwerte ist bei diesem Beispiel zu  $T_{\rm A} = 1 \,{\rm µ s}$  gewählt.

Rechts ist in logarithmierter Form (in dB) das frequenzdiskrete Spektrum  $\vert D(\mu) \vert$  nach einer DFT mit  $N = 32$  Abtastwerten dargestellt, woraus sich die weiteren DFT–Parameter wie folgt ergeben:
*Dauer des Zeitausschnitts:   $T_{\rm P} = 32 \,{\rm µ s}$,
*Rasterung der Frequenzachse:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Da hier durch die Intervallbreite  $T_{\rm P}$  ein ganzzahliges Vielfaches der Periodendauer  $T_0$  erfasst wird, liefert die DFT das richtige Ergebnis. Die beiden Diracfunktionen liegen genau bei  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Beispiel für die Anwendung der Spektralanalyse]]

Vermisst man mit der gleichen Anordnung eine Schwingung der Frequenz  $f_0 = 109.375\,\text{ kHz}$   ⇒   Periodendauer $T_0 = 9.14 \,{\rm µ s}$  entsprechend der unteren Grafik  '''(b)''', so kommt es zu signifikanten Verfälschungen des Spektrums.

*Da nun  $T_{\rm P}/T_0 = 3.5$  nicht mehr ganzzahlig ist, entstehen durch die periodische Fortsetzung des Zeitausschnittes Phasensprünge, in unserem Beispiel um  $\pi$.
*Der Spektralbereich besteht nun nicht mehr aus zwei Diracfunktionen wie im Beispiel  '''(a)''', sondern aus einer annähernd „kontinuierlichen” Frequenzfunktion mit dem Maximum in der Nähe der tatsächlichen Signalfrequenz und einer Reihe weiterer Anteile, die man  '''Seitenkeulen'''  (englisch:  ''Side Lobes'') nennt.}}

==Systemtheoretische Beschreibung der Fensterung==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rechteck-Fenster und Bartlett-Fenster]]
Das Zustandekommen solcher unerwünschter Seitenkeulen soll nun anhand der folgenden Grafik systemtheoretisch erklärt werden. Auch diese Grafik wurde dem Buch  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>  entnommen.

Betrachten Sie zunächst die obere Grafik  '''(a)'''  für das  '''Rechteckfenster'''.
*Die in der DFT implizit enthaltene Zeitbegrenzung entspricht der Multiplikation des Signals  $x(t)$  mit einer Rechteck–Fensterfunktion  $w(t)$  der Höhe  $1$  und der Dauer  $T_{\rm P}$. Das linke obere Bild zeigt die zeitdiskrete Darstellung dieser Rechteckfunktion mit der normierten Zeitvariablen  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$

*Aus der Multiplikation  $y(t) = x(t) \cdot w(t)$  des zu analysierenden Signals  $x(t)$  und der Fensterfunktion  $w(t)$  folgt für die Spektralfunktion  $Y(f) = X(f) \ast W(f)$, wobei bei rechteckförmiger Fensterfunktion mit  $f_{\rm A} = 1/T_{\rm P}$  gilt (die Funktion  $W(f)$  ist in der rechten oberen Grafik in logarithmierter Form dargestellt):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*Liegen alle Spektralanteile vons  $x(t)$  im Frequenzraster  $\mu \cdot f_{\rm A}$, so bleiben die frequenzdiskreten Spektralwerte  $D(\mu )$  durch die Faltung mit  $W(f)$  unverändert.
*Andernfalls führt die Faltung mit  $W(f)$  zu Verfälschungen, da die Nullstellen der  $\rm si$–Funktion nun nicht mehr zu den diskreten Werten des Eingangsspektrums passen.

Die durch Begrenzung und periodische Fortsetzung entstehendenen Unstetigkeiten im Zeitbereich werden vermindert, wenn statt der konstanten Eins–Bewertung durch das Rechteck die beiden Randbereiche des Fensters schwächer gewichtet werden als die Mitte.

Betrachten Sie dazu die untere Grafik  '''(b)'''  für das  '''Bartlett–Fenster''' – auch Dreieckfenster genannt:
*Die zeitdiskrete Beschreibung des Bartlett–Fensters lautet mit  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$
*Daraus folgt für die zeitkontinuierliche Fensterfunktion  $w(t)$  und die Spektraldarstellung  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm sonst} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Durch die geringere Bewertung der bei unbegrenzten Signalen besonders problematischen Randbereiche hat das (logarithmisch gezeichnete) Spektrum  $W(f)$  geringere Seitenschwinger als die  $\rm si$–Funktion im oberen Bild, was zu geringeren Leckkomponenten führt.
*Die bessere Unterdrückung der Seitenkeulen geht allerdings auf Kosten einer merkbaren Verkleinerung und Verbreiterung der Hauptkeule, wodurch das Auflösungsvermögen des Bartlett–Fensters gegenüber der Rechteck–Fensterung eingeschränkt wird.

==Spezielle Fensterfunktionen==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- und Kaiser-Bessel-Fenster]]
Nun werden einige häufig eingesetzte  [https://de.m.wikipedia.org/wiki/Fensterfunktion Fensterfunktionen], nämlich
*das Hanning–Fenster,
*das Hamming–Fenster und
*das Kaiser–Bessel–Fenster

anhand von Grafiken und darin enthaltenen Gleichungen beschrieben. Für die Laufvariable im Zeitbereich gilt stets  $–N/2 ≤ \nu < N/2$.

''Hinweise:''
*Beim Kaiser–Bessel–Fenster sind die Funktionen im Zeit– und Frequenzbereich jeweils für  $\alpha = 3.5$  dargestellt.
* ${\rm I}_0(.)$  bezeichnet die  [https://de.wikipedia.org/wiki/Besselsche_Differentialgleichung Modifizierte Besselfunktion nullter Ordnung].
*Weitere Fensterfunktionen wie das Blackman–Harris–Fenster, das  [https://de.wikipedia.org/wiki/Raised-Cosine-Filter Cosinus–Rolloff–Fenster]  (auch Tukey–Fenster genannt) und noch viele andere mehr finden Sie im Buch  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

Die Eignung dieser Fensterfunktionen für verschiedenartige Aufgaben der Spektralanalyse nennen wir auf der nächsten Seite.
 
==Gütekriterien von Fensterfunktionen==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Zusammenstellung wichtiger Gütekriterien von Fensterfunktionen]]
Die Tabelle gibt Gütekriterien für die auf den letzten Seiten beschriebenen Fensterfunktionen wieder. Die Auswahl einer geeigneten Fensterfunktion sollte nach folgenden Gesichtspunkten erfolgen:
*Der  '''minimale Abstand zwischen Hauptkeule und Seitenkeulen'''  sollte möglichst groß sein, um den Einfluss des Leckeffektes gering zu halten und die Amplitudenauflösung zu verbessern.
*Aus Gründen einer guten Frequenzselektivität sollte die  '''6dB–Bandbreite'''  gering sein. Ist diese zu groß, so überdeckt eine dominante Spektrallinie kleinere Anteile in der Umgebung.
*Der  '''maximale Prozessverlust'''  (in dB) beinhaltet den maximalen Skalierungsfehler und die äquivalente Rauschbandbreite. Diese Größe sollte auf keinen Fall  $\text{3.7 dB}$  überschreiten.

Diese wichtigsten Gütekriterien sind in nebenstehender Tabelle durch rote Schrift hervorgehoben.
*In jeder Zeile sind eher günstige Fensterfunktionen grün und eher ungünstigste grau hinterlegt.
*Aus der Verteilung der grünen und grauen Flächen ist bereits ersichtlich, dass es die optimale Fensterfunktion nicht gibt.
 
Nun werden die in der Tabelle angegebenen Gütekriterien etwas genauer beschrieben:
*Je größer der ''minimale Haupt–zu–Seitenkeulen–Abstand''   ⇒   Verhältnis der Hauptkeule zur höchsten Seitenkeule, desto besser ist die Amplitudenauflösung einer Fensterfunktion. Beim Rechteck ist dieser Abstand erwartungsgemäß am kleinsten  $\text{(13 dB)}$. Das beste Ergebnis liefert mit  $\text{92 dB}$  das Blackman–Harris–Fenster vierter Ordnung.
*Da jedoch nicht nur die höchste, sondern auch alle weiteren Seitenkeulen zum Leckeffekt beitragen, ist der  '''Seitenkeulenabfall'''  ein weiteres Maß für das Auflösungsvermögen. Von den angegebenen Fensterfunktionen weisen diesbezüglich das Hanning–Fenster sowie das Cosinus–Rolloff–Fenster mit Rolloff  $r = 0.5$  die günstigsten Werte auf  $\text{(18 dB/Oktave)}$.
*Die  '''6 dB–Bandbreite''', die aus der logarithmierten Spektralfunktion abgelesen werden kann, ist ein wichtiges Maß für das Frequenzauflösungsvermögen. Zwei im Signal vorhandene Spektralanteile bei  $f_1$  und  $f_2$  können nur dann aufgelöst werden, wenn die Differenz  $f_2 - f_1$  größer als die  $\text{6 dB}$–Bandbreite der verwendeten Fensterfunktion ist (siehe nachfolgende rechte Grafik).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Zur Verdeutlichung der  $\text{6 dB}$-Bandbreite]]
*Die  '''Fensterfläche'''  der Funktion  $w(t)$  gibt zugleich die Höhe  $W(0)$  im Spektralbereich an. Bei allen Fenstern mit Ausnahme des Rechtecks ergibt sich aufgrund der Unterdrückung der äußeren Abtastwerte eine Fensterfläche kleiner  $1$  und damit ein Fehler in der Amplitude des DFT–Ergebnisses, der jedoch bei Kenntnis von  $w(t)$  vollständig korrigierbar ist.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Ein guter Kompromiss ist das  '''Hanning–Fenster'''  (in der Tabelle blau hervorgehoben), das bezüglich der drei Hauptkriterien (rote Markierungen) nie mit „Grau” abschneidet.
*Das  '''Hamming–Fenster'''  unterscheidet sich hiervon im Zeitbereich nur geringfügig, aber im Spektralbereich beträchtlich. So beträgt der Seitenkeulenabfall pro Oktave nur mehr  $\text{6 dB}$  $($statt  $\text{18 dB})$.}}

==Maximaler Prozessverlust==
 
Dieses kombinierte Gütekriterium berücksichtigt den  '''maximalen Skalierungsfehler'''  ebenso wie die (normierte)  '''äquivalente Rauschbandbreite'''. Der maximale Prozessverlust wird meist in  $\text{dB}$  angegeben und sollte entsprechend seines Namens eher klein sein:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

Aus der  [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|Tabelle]]  erkennt man, dass  $V_{\rm P}$  für die betrachteten Fensterfunktionen Werte zwischen  $\text{3 dB}$  und  $\text{4 dB}$  annimmt, wobei Fensterfunktionen mit  $V_{\rm P} > 3.7 \,\text{dB}$  (Rechteck, Blackman–Harris, Kaiser–Bessel)  nicht verwendet werden sollten. Gerade diese sind aber bezüglich des Haupt–zu–Seitenkeulen–Abstands am besten.

Die beiden Anteile sind wie folgt zu interpretieren:
*Der ''maximale Skalierungsfehler''  ist das Verhältnis, um das sich die mit der DFT ermittelte Amplitude von der tatsächlichen Signalamplitude unterscheidet. Der Amplitudenfehler aufgrund einer Fensterfläche kleiner als  $1$  wird dabei als korrigiert vorausgesetzt.
*Je breiter die Hauptkeule der Fensterfunktion ist, um so kleiner ist dieser Skalierungsfehler. Der Fehler ist am größten, wenn die Frequenz  $f_0$  einer harmonischen Schwingung in der Mitte zwischen zwei DFT–Stützstellen liegt   ⇒   Quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*Die ''äquivalente Rauschbandbreite''  der verwendeten Fensterfunktion – berechenbar als Breite des flächengleichen Rechtecks bezüglich dem Betragsquadrat  $|W(f)|^2$  der Spektralfunktion – erfasst den störenden Einfluss von weißem Rauschen und sollte möglichst gering sein.
*Die kleinste Rauschbandbreite ergibt sich für das Rechteck. Alle anderen Fensterfunktionen besitzen eine größere Rauschbandbreite und damit bei Vorhandensein von Rauschstörungen auch ein (deutlich) ungünstigeres Signal–zu–Rausch–Leistungsverhältnis.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Die Ergebnisse dieses Abschnitts können wie folgt zusammengefasst werden:
*Eine ideale Fensterfunktion gibt es nicht. Je nach Aufgabenstellung  (gute Amplituden– bzw. Frequenzauflösung)  liefern unterschiedliche Fenster das jeweils beste Ergebnis. Zu empfehlen ist deshalb, dass man zur Spektralanalyse stets mehrere Fensterfunktionen heranzieht oder zumindest eine Fensterfunktion mit verschiedenen Parametern verwendet.
*Ein tragbarer Kompromiss hinsichtlich aller Kriterien ist das  '''Hamming–Fenster''', das lediglich beim Seitenkeulenabfall  $($nur  $\text{6 dB pro Oktave})$  einen ungünstigen Wert liefert. Obwohl sich das  '''Hanning–Fenster'''  im Zeitbereich vom Hamming-Fenster nur mariginal unterscheidet, ist im Spektralbereich  (minimaler Abstand zwischen Hauptkeule und Seitenkeulen)  der Unterschied zwischen beiden beträchtlich.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Signal Representation/Possible Errors when using DFT

2021-01-01T17:43:15Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Discrete Fourier Transform (DFT)
|Nächste Seite=Spectrum Analysis
}}

==The Mean Square Error As a Quality Criteria==
 
In the following, we briefly discuss some error possibilities when applying the DFT, whereby we restrict ourselves to the transformation from the time to the frequency domain. Even in its samples, the spectrum  $D(\mu )/f_{\rm A}$  determined via the DFT will generally differ from the actual spectrum  $X(\mu \cdot f_{\rm A})$  due to two processes:
*the  '''sampling''', that is, the reduction of information about  $x(t)$  to  $N$  numerical values,
*the  '''windowing''' that limits the signal  $x(t)$  possibly erroneously.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
A quality criteria that takes both types of error into account is the  '''mean square error''':

:$${\rm MQF} = \frac{1}{N}\cdot \sum_{\mu = 0 }^{N-1}
\left\vert X(\mu \cdot f_{\rm A})-\frac{D(\mu)}{f_{\rm A} }\right \vert^2 \hspace{0.05cm}.$$

It is always  ${\rm MQF} \ne 0$, since with finite  $N$  degradation due to sampling and due to windowing cannot be made zero at the same time}}.

The magnitude of this evaluation quantity  ${\rm MQF}$  depends on the following parameters:
*the properties of the time function at hand  $x(t)$  or the spectrum  $X(f)$,
*the DFT parameter  $N$;  the larger  $N$  is chosen, the smaller  ${\rm MQF}$ becomes,
*one of the four further DFT parameters, for example  $f_{\rm A}$.

For a given  $N$  the other DFT parameters are determined via the equations  $f_{\rm P} = N \cdot f_{\rm A}$,  $T_{\rm P} = 1/f_{\rm A}$  and  $T_{\rm A} = T_{\rm P}/N$ .

We refer you already here to the learning video (in German language)   [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Possible Errors When Using DFT]] , which clarifies the content of this chapter.

[[File:EN_Sig_T_5_1_S1.png|right|frame|Quasi-Error-Free DFT with   $N = 16$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
As an example, we consider a Gaussian pulse with the equivalent pulse duration  $\Delta t = T$, where  $T$  is simultaneously used as a normalisation parameter:

:$$x(t) = {\rm e}^{- \pi (t/T)^2} \hspace{0.05cm}.$$

The Gaussian pulse is very suitable for the application of DFT due to its fast, exponential decay in both the time and frequency domain.

The graph below shows the DFT–result
*for  $N = 16$  and
*$T_{\rm A}/T = 0.25$   ⇒   $f_{\rm A} \cdot T = 0.25$.
 
The following should be noted about this plot:
*The considered samples of  $x(t)$  are in the range  $\vert t/T \vert≤ 2$.  Since  $x(\pm 2T)$  is very small, periodization in the time domain with  $T_{\rm P}/T = N \cdot T_{\rm A}/T = 2$  does not lead to serious errors.
*With  $f_{\rm A} \cdot T = 0.25$  and  $N = 16$  results in the (normalised) DFT parameter  $f_{\rm P} \cdot T = 4$.
*The discrete spectral lines of the DFT thus lie in the range  $-2/T ≤ f < +2/T$.
*The mean squared error is relatively small  $\text{(MQF} \approx 10^{-12})$, which is due to the favourable choice of  $f_{\rm A} \cdot T = 0.25$  $($for a given  $N = 16)$ .
*The DFT accuracy can be improved by increasing  $N$ :
:*For  $N = 1024$  the smallest possible value is obtained  $\text{MQF} \approx 8 \cdot 10^{-17}$, if  $f_{\rm A} \cdot T = 0.125$  is chosen. The following then applies to the other DFT parameters:
:: $$f_{\rm P} \cdot T = 128, \hspace{0.5cm}T_{\rm A}/T = 1/128, \hspace{0.5cm} T_{\rm P}/T = N \cdot T_{\rm A}/T= 8.$$
:*For a 32–bit–processor (meaning:  smaller quantization errors of the computer)  $\text{MQF}$  would be even smaller, but never zero. }}

==DFT Falsification Due to Windowing – Termination Error==
 
A typical error when using the DFT is due to  '''windowing'''' . This falsification, known as  ''truncation error''  can be explained as follows:
*The windowing implicit in the DFT algorithm corresponds to the multiplication of the signal  $x(t)$ by  a rectangular function of height  $1$  and duration  $T_{\rm P} = N \cdot T_{\rm A}$.
*If the time signal  $x(t)$  is not limited to the range  $T_{\rm P}$  the DFT result does not coincide with the actual spectrum  $X(f)$  but is obtained from it by convolution with the spectral function  $T_{\rm P} \cdot \text{si}(\pi fT_{\rm P})$.
*In the limiting case  $T_{\rm P} \to \infty$, which for a given distance  $T_{\rm A}$  of the samples would also mean an infinitely large number of interpolation points  $N$  degenerates  $T_{\rm P} \cdot \text{si}(\pi fT_{\rm P})$  to a Dirac function and the original spectrum  $X(f)$  would remain.
*The DFT of an unbounded signal in time - for example a periodic signal - will always cause a truncation error which can only be kept within limits by special measures. This is discussed in more detail in the chapter  [[Signal_Representation/Spectrum_Analysis|spectrum analysis]] .
*For time-limited, pulse-like signals, the truncation error can be avoided by choosing  $T_{\rm P}$  sufficiently large. By further enlarging the window into areas with  $x(t) \approx 0$  no additional information gain results   ⇒   $\text{MQF}$  does not become smaller.
*By this addition of zeros  '''(zero-padding)'''  the samples of  $X(f)$  now occur at a smaller distance  $f_{\rm A} = 1/T_{\rm A}$ . By  $T_{\rm P}$-doubling one achieves an interpolation of the frequency samples exactly in the middle between two previous grid points.

The following example shows a termination error due to unfavourably chosen DFT parameters.

[[File:EN_Sig_T_5_1_S2.png|right|frame|Termination Error For a DFT With  $N = 16$]]
{{GraueBox|TEXT=
$\text{Example 2:}$ 
The graph shows the result of the DFT for equal  $x(t)$  and  $X(f)$  as well as equal  $N = 16$  as in  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|$\text{example 1}$]],but now with sampling in the time domain finer by a factor of  $2$  compared to this:
:$$T_{\rm A}/T = 0.125     ⇒     f_{\rm A} \cdot T = 0.5.$$

The comparison with  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|example 1]]  $(T_{\rm A}/T = 0.25 \ \Rightarrow \ f_{\rm A} \cdot T = 0.25)$  shows:
*The spacing of the frequency samples increases:  $f_{\rm A} \cdot T = 0.5$.
*At the same time, $T_{\rm P}/T$  decreases from  $4$  to  $2$.
*With this, only the signal components in the range  $\vert t \vert < T$  are now captured by the DFT.

'''Summing up:''' With these DFT parameters, a  '''truncation error''' arises, by which the mean square error  $\rm (MQF)$  is significantly increased from  $10^{-12}$ to $4 \cdot 10^{-5}$ .

Again, we refer to the learning video (in German language) [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Possible Errors When Using DFT]]. }}

==DFT Falsification Due To Sampling – Aliasing Error==
 

An unsuitable sampling of the time function  $x(t)$  can also significantly falsify the DFT result. This so-called  '''aliasing error'''  can be explained as follows:
*Sampling  $x(t)$  at a distance  $T_{\rm A}$  causes a periodic continuation of the spectrum at multiples of the periodisation frequency  $f_{\rm P} = 1/T_{\rm A}$.
*If the spectrum  $X(f)$  also has spectral components at  $|f| > f_{\rm P}/2$, the sampling theorem is not fulfilled and overlaps of the shifted frequency components to be added occur.
*Only with a band-limited signal can the aliasing error be avoided by suitable DFT parameters. In contrast, this error is unavoidable with time-limited, pulse-like signals, since time-limited signals cannot be band-limited at the same time.
*The aliasing error is reduced by finer sampling  $($so:   smaller  $T_{\rm A} = 1/f_{\rm P})$ . This can only be achieved with a constant  $T_{\rm A}$  - in order not to let the truncation error increase - by a larger  $N$  and thus a greater computational effort.

The following  $\text{Example 3}$  shows such an aliasing error due to wrongly chosen DFT parameters:
*Compared to the &bdquo;comparison system” according to  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|$\text{example 1}$]]  is  $T_{\rm A}$  too large and  $f_{\rm A}$  too small dimensioned.
*The number of interpolation points is in both cases  $N = 16$.

[[File:EN_Sig_T_5_1_S3._neu.png|right|frame|Aliasing Error of a DFT With  $N = 16$]]
{{GraueBox|TEXT=
$\text{Example 3:}$ 
Let the DFT parameters be  $N = 16$  and  $f_{\rm A} \cdot T= 0.125$. Thus, for the other three DFT parameters we get:
* $T_{\rm P}/T = 8.0 \hspace{0.5cm} \text{(Example 1:} \ \ T_{\rm P}/T = 4)$,
* $f_{\rm P} \cdot T = 2.0 \hspace{0.45cm} \text{(Example 1:} \ \ f_{\rm P} \cdot T = 4)$,
* $T_{\rm A}/T = 0.5\hspace{0.45cm} \text{(Example 1:} \ \ T_{\rm A}/T = 0.25)$.

This results in the following consequences:
*The termination error continues to play no role because of  $T_{\rm P} /T = 8$  (already  $T_{\rm P} /T = 4$  was sufficient).
*Because  $f_{\rm P} \cdot T = 2$  aliasing now arises, however, because the DFT is derived from the sum of many Gaussian functions at distance  $f_{\rm P} \cdot T = 2$  (thin dashed curves in the graph ).
*The individual DFT coefficients are falsified differently:   The mean DFT coefficient  $($for the frequency  $f = 0)$  is almost correct, while the errors of the DFT coefficients increase significantly towards the edges.
*In the example considered, the DFT coefficient for  $f \cdot T = -1$  is twice as large as it should be, since the Gaussian function with the centre at  $f \cdot T = -2$  gives the same contribution as the actual Gaussian function around  $f \cdot T = 0$  (see yellow background).

Thus, here with  $\text{MQF} \approx 2 \cdot 10^{-4}$  an error value four times larger than that caused by the termination error in  [[Signal_Representation/Possible_Errors_When_Using_DFT#DFT-Verf.C3.A4lschung_durch_Fensterung_.E2.80.93_Abbruchfehler|$\text{example 2}$]].

Again, we refer to the learning video (in German language)   [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Possible Errors When Using DFT]]. }}

==Exercises For The Chapter==
 
[[Aufgaben:Exercise 5.3: Mean Square Error|Exercise 5.3: Mean Square Error]]

[[Aufgaben:Exercise 5.3Z: Zero-Padding|Exercise 5.3Z: Zero-Padding]]

{{Display}}

Signal Representation/Discrete Fourier Transform (DFT)

2020-12-28T20:24:51Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Time Discrete Signal Representation
|Nächste Seite=Possible Errors When Using DFT
}}

==Arguments for the Discrete Realisation of the Fourier Transform==
 
The  '''Fourier transform'''  according to the previous description in chapter  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Aperiodic Signals – Pulses]] has an infinitely high selectivity due to the unlimited extension of the integration interval and is therefore an ideal theoretical tool of spectral analysis.

If the spectral components  $X(f)$  of a time function  $x(t)$  are to be determined numerically, the general transformation equations are

:$$\begin{align*}X(f) & = \int_{-\infty
}^{+\infty}x(t) \cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi f t}\hspace{0.1cm} {\rm d}t\hspace{0.5cm} \Rightarrow\hspace{0.5cm} \text{Transform}\hspace{0.7cm} \Rightarrow\hspace{0.5cm} \text{first Fourier integral}
\hspace{0.05cm},\\
x(t) & = \int_{-\infty
}^{+\infty}\hspace{-0.15cm}X(f) \cdot {\rm e}^{\hspace{0.05cm}+{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi f t}\hspace{0.1cm} {\rm d}f\hspace{0.35cm} \Rightarrow\hspace{0.5cm}
\text{Back Transform}\hspace{0.4cm} \Rightarrow\hspace{0.5cm} \text{second Fourier integral}
\hspace{0.05cm}\end{align*}$$

unsuitable for two reasons:
*The equations apply exclusively to time-continuous signals. With digital computers or signal processors, however, one can only process time-discrete signals.
*For a numerical evaluation of the two Fourier integrals it is necessary to limit the respective integration interval to a finite value.

{{BlaueBox|TEXT=
$\text{This leads to the following consequence:}$ 

A  '''continuous signal'''  must undergo two processes before the numerical determination of its spectral properties, viz.
*that of  '''sampling'''  for discretisation, and
*that of  '''windowing'''  to limit the integration interval.}}

In the following, starting from an aperiodic time function  $x(t)$  and the corresponding Fourier spectrum  $X(f)$  a time- and frequency-discrete description suitable for computer processing is developed step by step.

==Time Discretisation – Periodisation in the Frequency Domain==
 
The following graphs show uniformly the time domain on the left and the frequency domain on the right. Without limiting generality,  $x(t)$  and  $X(f)$  are each real and Gaussian.

[[File:P_ID1132__Sig_T_5_1_S2_neu.png|center|frame| Time Discretisation - Periodisation in the Frequency Domain]]

According to the chapter  [[Signal_Representation/Time_Discrete_Signal_Representation|Time Discrete Signal Representation]]  one can describe the sampling of the time signal  $x(t)$  by multiplying it by a Dirac pulse  $p_{\delta}(t)$ . The result is the time signal sampled at a distance  $T_{\rm A}$ 

:$${\rm A}\{x(t)\} = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

We now transform this sampled signal  $\text{A}\{ x(t)\}$  into the frequency domain. The multiplication of the Dirac pulse  $p_{\delta}(t)$  with  $x(t)$  corresponds in the frequency domain to the convolution of  $P_{\delta}(f)$  with  $X(f)$. The result is the periodised spectrum  $\text{P}\{ X(f)\}$, where  $f_{\rm P}$  indicates the frequency period of the function  $\text{P}\{ X(f)\}$ :

:$${\rm A}\{x(t)\} \hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} {\rm P}\{X(f)\} = \sum_{\mu = - \infty }^{+\infty}
X (f- \mu \cdot f_{\rm P} )\hspace{0.5cm} {\rm with }\hspace{0.5cm}f_{\rm
P}= {1}/{T_{\rm A}}\hspace{0.05cm}.$$

This relation was also already derived in the chapter  [[Signal_Representation/Time_Discrete_Signal_Representation|Time Discrete Signal Representation]]  but with slightly different nomenclature:
*We now denote the sampled signal by  $\text{A}\{ x(t)\}$  instead of  $x_{\rm A}(t)$.
* The  '''frequency period'''  is now denoted by  $f_{\rm P} = 1/T_{\rm A}$  instead of  $f_{\rm A} = 1/T_{\rm A}$ .

These nomenclature changes are justified on the following pages.

The graph above shows the functional relationship described here. It should be noted:
*The frequency period  $f_{\rm P}$  has been deliberately chosen to be small here so that the overlap of the spectra to be summed can be clearly seen.
*In practice  $f_{\rm P}$  should be at least twice as large as the largest frequency contained in the signal  $x(t)$  due to the sampling theorem.
*If this is not fulfilled, then  '''Aliasing'''  must be reckoned with - see chapter  [[Signal_Representation/Possible_Errors_When_Using_DFT|Possible Errors When Using DFT]].

==Frequency Discretisation – Periodisation in the Time Domain ==
 
The discretisation of  $X(f)$  can also be described by a multiplication with a Dirac comb. The result is the spectrum sampled in the distance  $f_{\rm A}$ :
:$${\rm A}\{X(f)\} = X(f) \cdot \sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot \delta (f- \mu \cdot f_{\rm A } ) = \sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot X(\mu \cdot f_{\rm A } ) \cdot\delta (f- \mu \cdot f_{\rm A } )\hspace{0.05cm}.$$

If one transforms the frequency-dirac comb $($with pulse weights  $f_{\rm A})$  used here into the time domain, one obtains with  $T_{\rm P} = 1/f_{\rm A}$:

:$$\sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot \delta (f- \mu \cdot f_{\rm A } ) \hspace{0.2cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.2cm}
\sum_{\nu = - \infty }^{+\infty}
\delta (t- \nu \cdot T_{\rm P } ) \hspace{0.05cm}.$$

The multiplication with  $X(f)$  corresponds in the time domain to the convolution with  $x(t)$. One obtains the signal  $T_{\rm P}$  periodified in the distance  $\text{P}\{ x(t)\}$:

:$${\rm A}\{X(f)\} \hspace{0.2cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.2cm}
{\rm P}\{x(t)\} = x(t) \star \sum_{\nu = - \infty }^{+\infty}
\delta (t- \nu \cdot T_{\rm P } )= \sum_{\nu = - \infty }^{+\infty}
x (t- \nu \cdot T_{\rm P } ) \hspace{0.05cm}.$$

[[File:P_ID1134__Sig_T_5_1_S3_neu.png|right|frame|Frequency Discretisation – Periodisation in the Time Domain]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
This correlation is illustrated in the graph:
*Due to the coarse frequency rastering, this example results in a relatively small value for the time period  $T_{\rm P}$ .

* Therefore, the (blue) periodised time signal  $\text{P}\{ x(t)\}$  differs significantly from  $x(t)$.}} due to overlaps.

==Finite Signal Representation==
 
[[File:P_ID1135__Sig_T_5_1_S4_neu.png|right|frame|Finite Signals of the Discrete Fourier Transform (DFT)]]
One arrives at the so-called  ''finite signal representation'' ,
*if both the time function  $x(t)$
*and the spectral function  $X(f)$

are specified exclusively by their sample values.
 
The graph is to be interpreted as follows:
*In the left picture, drawn in blue, is the function  $\text{A}\{ \text{P}\{ x(t)\}\}$. This results from sampling the periodified time function  $\text{P}\{ x(t)\}$  with equidistant dirac pulses at a distance  $T_{\rm A} = 1/f_{\rm P}$.
*In the right picture the function is drawn in green  $\text{P}\{ \text{A}\{ X(f)\}\}$. This results from periodisation $($with  $f_{\rm P})$  of the sampled spectral function  $\{ \text{A}\{ X(f)\}\}$.
*There is a Fourier correspondence between the blue finite signal (left sketch) and the green finite signal (right sketch), as follows:

:$${\rm A}\{{\rm P}\{x(t)\}\} \hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} {\rm P}\{{\rm A}\{X(f)\}\} \hspace{0.05cm}.$$

*The diraclines of the periodic continuation  $\text{P}\{ \text{A}\{ X(f)\}\}$  of the sampled spectral function, however, only fall into the same frequency grid as those of  $\text{A}\{ X(f)\}$ if the frequency period  $f_{\rm P}$  is an integer multiple  $(N)$  of the frequency sampling interval  $f_{\rm A}$ .
*Therefore, when using the finite signal representation, the following condition must always be fulfilled, where the natural number  $N$  in practice is usually a power of two  (the above graph is based on the value  $N = 8$ ):

:$$f_{\rm P} = N \cdot f_{\rm A} \hspace{0.5cm} \Rightarrow\hspace{0.5cm} {1}/{T_{\rm A}}= N \cdot f_{\rm A} \hspace{0.5cm} \Rightarrow\hspace{0.5cm}
N \cdot f_{\rm A}\cdot T_{\rm A} = 1\hspace{0.05cm}.$$

*If the condition  $N \cdot f_{\rm A} \cdot T_{\rm A} = 1$  the order of periodization and sampling is interchangeable. Thus:

:$${\rm A}\{{\rm P}\{x(t)\}\} = {\rm P}\{{\rm A}\{x(t)\}\}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
{\rm P}\{{\rm A}\{X(f)\}\} = {\rm A}\{{\rm P}\{X(f)\}\}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The time function  $\text{P}\{ \text{A}\{ x(t)\}\}$  has the period  $T_{\rm P} = N \cdot T_{\rm A}$.
*The period in the frequency domain is  $f_{\rm P} = N \cdot f_{\rm A}$.
*For the description of the discretised time and frequency response in each case  $N$  '''complex numerical values''' in the form of pulse weights are thus sufficient.}}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
A time-limited (pulse-like) signal  $x(t)$  is present in sampled form, where the distance between two samples  $T_{\rm A} = 1\, {\rm µ s}$  is:
*After a discrete Fourier transform with  $N = 512$  the spectrum  $X(f)$  is in the form of samples spaced  $f_{\rm A} = (N \cdot T_{\rm A})^{-1} \approx 1.953\,\text{kHz} $  before.
*Increasing the DFT–parameter to  $N= 2048$ results in a (four times) finer frequency grid with  $f_{\rm A} \approx 488\,\text{Hz}$.}}

==From the Continuous to the Discrete Fourier Transform==
 
From the conventional [[Signal_Representation/Fourier_Transform_and_Its_Inverse#Das_erste_Fourierintegral|first Fourier integral]]

:$$X(f) =\int_{-\infty
}^{+\infty}x(t) \cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm} f \hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.1cm} {\rm d}t$$

arises from discretisation  $(\text{d}t \to T_{\rm A}$,  $t \to \nu \cdot T_{\rm A}$,  $f \to \mu \cdot f_{\rm A}$,  $T_{\rm A} \cdot f_{\rm A} = 1/N)$  the sampled and periodised spectral function

:$${\rm P}\{X(\mu \cdot f_{\rm A})\} = T_{\rm A} \cdot \sum_{\nu = 0 }^{N-1}
{\rm P}\{x(\nu \cdot T_{\rm A})\}\cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm} \cdot \hspace{0.05cm}\nu \hspace{0.05cm}
\cdot \hspace{0.05cm}\mu /N} \hspace{0.05cm}.$$

It is taken into account that due to the discretisation, the periodised functions are to be used in each case.

For reasons of simplified notation, we now make the following substitutions:
*The  $N$  '''time-domain coefficients''''  are with the iterating variable  $\nu = 0$, ... , $N - 1$:
:$$d(\nu) =.
{\rm P}\left\{x(t)\right\}{\big|}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm A}}\hspace{0.05cm}.$$
*Let  $N$  '''frequency domain coefficients''''  be associated with the running variable  $\mu = 0,$ ... , $N$ – 1:
:$$D(\mu) = f_{\rm A} \cdot
{\rm P}\left\{X(f)\right\}{\big|}_{f \hspace{0.05cm}= \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}f_{\rm A}}\hspace{0.05cm}.$$
*Abbreviation is written for the from  $N$  dependent  '''complex rotation factor'''' :
:$$w = {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi /N}
= \cos \left( {2 \pi}/{N}\right)-{\rm j} \cdot \sin \left( {2 \pi}/{N}\right)
\hspace{0.05cm}.$$

[[File:P_ID2730__Sig_T_5_1_S5_neu.png|right|frame|On Defining the Discrete Fourier Transform (DFT) with  $N=8$]]
{{BlaueBox|TEXT=
$\text{Definition:}$ 

The term  '''Discrete Fourier Transform'''  (in short '''DFT''')  means the calculation of the  $N$  spectral coefficients  $D(\mu)$  from the  $N$  signal coefficients  $d(\nu)$:

:$$D(\mu) = \frac{1}{N} \cdot \sum_{\nu = 0 }^{N-1}
d(\nu)\cdot {w}^{\hspace{0.05cm}\nu \hspace{0.07cm} \cdot \hspace{0.05cm}\mu} \hspace{0.05cm}. $$

In the diagram you can see
*the  $N = 8$  signal coefficients  $d(\nu)$  by the blue filling,
*the  $N = 8$  spectral coefficients  $D(\mu)$  at the green filling.}}

==Inverse Discrete Fourier Transform==
 
The Inverse Discrete Fourier Transform (IDFT) describes the  [[Signal_Representation/Fourier_Transform_and_Its_Inverse#Das_zweite_Fourierintegral|second Fourier integral]]

:$$\begin{align*}x(t) & = \int_{-\infty
}^{+\infty}X(f) \cdot {\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm} f \hspace{0.05cm}\cdot \hspace{0.05cm}
t}\hspace{0.1cm} {\rm d}f\end{align*}$$

in discretized form:  
:$$d(\nu) =
{\rm P}\left\{x(t)\right\}{\big|}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm
A}}\hspace{0.01cm}.$$

[[File:P_ID2731__Sig_T_5_1_S6_neu.png|right|frame|On the Definition of the IDFT with  $N=8$]]
{{BlaueBox|TEXT=
$\text{Definition:}$ 

The term  '''Inverse Discrete Fourier Transform'''  (in short '''IDFT''')  means the calculation of the signal coefficients  $d(\nu)$  from the spectral coefficients  $D(\mu)$:

:$$d(\nu) = \sum_{\mu = 0 }^{N-1}
D(\mu) \cdot {w}^{-\nu \hspace{0.07cm} \cdot \hspace{0.05cm}\mu} \hspace{0.05cm}.$$

With the run variables  $\nu = 0, \hspace{0.05cm}\text{...} \hspace{0.05cm}, N-1$  und  $\mu = 0, \hspace{0.05cm}\text{...} \hspace{0.05cm}, N-1$  gilt auch hier:
:$$d(\nu) =
{\rm P}\left\{x(t)\right\}{\big \vert}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm
A} }\hspace{0.01cm},$$

:$$D(\mu) = f_{\rm A} \cdot
{\rm P}\left\{X(f)\right\}{\big \vert}_{f \hspace{0.05cm}= \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}f_{\rm A} }
\hspace{0.01cm},$$

:$$w = {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi /N}
\hspace{0.01cm}.$$}}

A comparison between the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Von_der_kontinuierlichen_zur_diskreten_Fouriertransformation|DFT]]  and IDFT shows that exactly the same algorithm can be used. The only differences between IDFT and DFT are:
*The exponent of the rotation factor is to be applied with different sign.
*In the IDFT, the division by  $N$ is omitted.

==Interpretation of DFT and IDFT==
 
The graph shows the discrete coefficients in the time and frequency domain together with the periodified time-continuous functions.

[[File:P_ID1136__Sig_T_5_1_S7_neu.png|center|frame|Time– and Frequency range Coefficients of the DFT]]

When using DFT or IDFT, please note:
*According to the above definitions, the DFT coefficients  $d(ν)$  and  $D(\mu)$  always have the unit of the time function.
*Dividing  $D(\mu)$  by  $f_{\rm A}$, one obtains the spectral value  $X(\mu \cdot f_{\rm A})$.
*The spectral coefficients  $D(\mu)$  must always be complex in order to be able to consider odd time functions.
*In order to be able to transform bandpass signals in the equivalent lowpass–range, one usually also uses complex time coefficients  $d(\nu)$.
*The basic interval for  $\nu$  and  $\mu$  is usually defined as the range from  $0$  to  $N - 1$  (filled circles in the graph).
*With the complex-valued number sequences  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle = \langle \hspace{0.1cm}d(0), \hspace{0.05cm}\text{...} \hspace{0.05cm} , d(N-1) \hspace{0.1cm}\rangle$   and   $\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle = \langle \hspace{0.1cm}D(0), \hspace{0.05cm}\text{...} \hspace{0.05cm} , D(N-1) \hspace{0.1cm}\rangle$  DFT and IDFT are symbolised similarly to the conventional Fourier transform:
:$$\langle \hspace{0.1cm} D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} d(\nu) \hspace{0.1cm}\rangle \hspace{0.05cm}.$$
*If the time function  $x(t)$  is already limited to the range  $0 \le t \lt N \cdot T_{\rm A}$  then the time coefficients output by the IDFT directly give the samples of the time function:   $d(\nu) = x(\nu \cdot T_{\rm A}).$
*If  $x(t)$  is shifted with respect to the basic interval, one has to choose the association shown in  $\text{Example 3}$  between  $x(t)$  and the coefficients  $d(\nu)$ .

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Die obere Grafik zeigt den unsymmetrischen Dreieckimpuls  $x(t)$, dessen absolute Breite kleiner ist als  $T_{\rm P} = N \cdot T_{\rm A}$.

[[File:P_ID1139__Sig_T_5_1_S7b_neu.png|right|frame|On Assigning of the DFT Coefficients With  $N=8$]]

The sketch below shows the assigned DFT coefficients $($valid for  $N = 8)$.

*For  $\nu = 0,\hspace{0.05cm}\text{...} \hspace{0.05cm} , N/2 = 4$  $d(\nu) = x(\nu \cdot T_{\rm A})$ holds:

:$$d(0) = x (0)\hspace{0.05cm}, \hspace{0.15cm}
d(1) = x (T_{\rm A})\hspace{0.05cm}, \hspace{0.15cm}
d(2) = x (2T_{\rm A})\hspace{0.05cm}, $$
:$$d(3) = x (3T_{\rm A})\hspace{0.05cm}, \hspace{0.15cm}
d(4) = x (4T_{\rm A})\hspace{0.05cm}.$$
*On the other hand, the coefficients  $d(5)$,  $d(6)$  and  d$(7)$  are to be set as follows:

:$$d(\nu) = x \big ((\nu\hspace{-0.05cm} - \hspace{-0.05cm} N ) \cdot T_{\rm A}\big ) $$

:$$ \Rightarrow \hspace{0.2cm}d(5) = x (-3T_{\rm A})\hspace{0.05cm}, \hspace{0.35cm}
d(6) = x (-2T_{\rm A})\hspace{0.05cm}, \hspace{0.35cm}
d(7) = x (-T_{\rm A})\hspace{0.05cm}.$$ }}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 5.2: Inverse Discrete Fourier Transform|Exercise 5.2: Inverse Discrete Fourier Transform]]

[[Aufgaben:Exercise 5.2Z: DFT of a Triangular Pulse|Exercise 5.2Z: DFT of a Triangular Pulse]]

{{Display}}

Signal Representation/Discrete Fourier Transform (DFT)

2020-12-27T22:49:19Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Time Discrete Signal Representation
|Nächste Seite=Possible Errors When Using DFT
}}

==Argumente für die diskrete Realisierung der Fouriertransformation==
 
Die  '''Fouriertransformation'''  gemäß der bisherigen Beschreibung im Kapitel  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Aperiodische Signale – Impulse]]  weist aufgrund der unbegrenzten Ausdehnung des Integrationsintervalls eine unendlich hohe Selektivität auf und ist deshalb ein ideales theoretisches Hilfsmittel der Spektralanalyse.

Sollen die Spektralanteile  $X(f)$  einer Zeitfunktion  $x(t)$  numerisch ermittelt werden, so sind die allgemeinen Transformationsgleichungen

:$$\begin{align*}X(f) & = \int_{-\infty
}^{+\infty}x(t) \cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi f t}\hspace{0.1cm} {\rm d}t\hspace{0.5cm} \Rightarrow\hspace{0.5cm} \text{Hintransformation}\hspace{0.7cm} \Rightarrow\hspace{0.5cm} \text{Erstes Fourierintegral}
\hspace{0.05cm},\\
x(t) & = \int_{-\infty
}^{+\infty}\hspace{-0.15cm}X(f) \cdot {\rm e}^{\hspace{0.05cm}+{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi f t}\hspace{0.1cm} {\rm d}f\hspace{0.35cm} \Rightarrow\hspace{0.5cm}
\text{Rücktransformation}\hspace{0.4cm} \Rightarrow\hspace{0.5cm} \text{Zweites Fourierintegral}
\hspace{0.05cm}\end{align*}$$

aus zwei Gründen ungeeignet:
*Die Gleichungen gelten ausschließlich für zeitkontinuierliche Signale. Mit Digitalrechnern oder Signalprozessoren kann man jedoch nur zeitdiskrete Signale verarbeiten.
*Für eine numerische Auswertung der beiden Fourierintegrale ist es erforderlich, das jeweilige Integrationsintervall auf einen endlichen Wert zu begrenzen.

{{BlaueBox|TEXT=
$\text{Daraus ergibt sich folgende Konsequenz:}$ 

Ein  '''kontinuierliches Signal'''  muss vor der numerischen Bestimmung seiner Spektraleigenschaften zwei Prozesse durchlaufen, nämlich
*den der  '''Abtastung'''  zur Diskretisierung, und
*den der  '''Fensterung'''  zur Begrenzung des Integrationsintervalls.}}

Im Folgenden wird ausgehend von einer aperiodischen Zeitfunktion  $x(t)$  und dem dazugehörigen Fourierspektrum  $X(f)$  eine für die Rechnerverarbeitung geeignete zeit– und frequenzdiskrete Beschreibung schrittweise entwickelt.

==Zeitdiskretisierung – Periodifizierung im Frequenzbereich==
 
Die folgenden Grafiken zeigen einheitlich links den Zeitbereich und rechts den Frequenzbereich. Ohne Einschränkung der Allgemeingültigkeit sind  $x(t)$  und  $X(f)$  jeweils reell und gaußförmig.

[[File:P_ID1132__Sig_T_5_1_S2_neu.png|center|frame|Diskretisierung im Zeitbereich – Periodifizierung im Frequenzbereich]]

Entsprechend dem Kapitel  [[Signal_Representation/Time_Discrete_Signal_Representation|Zeitdiskrete Signaldarstellung]]  kann man die Abtastung des Zeitsignals  $x(t)$  durch die Multiplikation mit einem Diracpuls  $p_{\delta}(t)$  beschreiben. Es ergibt sich das im Abstand  $T_{\rm A}$  abgetastete Zeitsignal

:$${\rm A}\{x(t)\} = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

Dieses abgetastete Signal  $\text{A}\{ x(t)\}$  transformieren wir nun in den Frequenzbereich. Der Multiplikation des Diracpulses  $p_{\delta}(t)$  mit  $x(t)$  entspricht im Frequenzbereich die Faltung von  $P_{\delta}(f)$  mit  $X(f)$. Es ergibt sich das periodifizierte Spektrum  $\text{P}\{ X(f)\}$, wobei  $f_{\rm P}$  die Frequenzperiode der Funktion  $\text{P}\{ X(f)\}$  angibt:

:$${\rm A}\{x(t)\} \hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} {\rm P}\{X(f)\} = \sum_{\mu = - \infty }^{+\infty}
X (f- \mu \cdot f_{\rm P} )\hspace{0.5cm} {\rm mit }\hspace{0.5cm}f_{\rm
P}= {1}/{T_{\rm A}}\hspace{0.05cm}.$$

Dieser Zusammenhang wurde ebenfalls bereits im Kapitel  [[Signal_Representation/Time_Discrete_Signal_Representation|Zeitdiskrete Signaldarstellung]]  hergeleitet, jedoch mit etwas anderer Nomenklatur:
*Das abgetastete Signal bezeichnen wir nun mit  $\text{A}\{ x(t)\}$  anstelle von  $x_{\rm A}(t)$.
* Die  '''Frequenzperiode'''  wird nun mit  $f_{\rm P} = 1/T_{\rm A}$  anstelle von  $f_{\rm A} = 1/T_{\rm A}$  bezeichnet.

Diese Nomenklaturänderungen werden auf den folgenden Seiten begründet.

Die obige Grafik zeigt den hier beschriebenen Funktionalzusammenhang. Es ist anzumerken:
*Die Frequenzperiode  $f_{\rm P}$  wurde hier bewusst klein gewählt, so dass die Überlappung der zu summierenden Spektren deutlich zu erkennen ist.
*In der Praxis sollte  $f_{\rm P}$  aufgrund des Abtasttheorems mindestens doppelt so groß sein wie die größte im Signal  $x(t)$  enthaltene Frequenz.
*Ist dies nicht erfüllt, so muss mit  '''Aliasing'''  gerechnet werden – siehe Kapitel  [[Signal_Representation/Possible_Errors_When_Using_DFT|Fehlermöglichkeiten bei Anwendung der DFT]].

==Frequenzdiskretisierung – Periodifizierung im Zeitbereich==
 
Die Diskretisierung von  $X(f)$  lässt sich ebenfalls durch eine Multiplikation mit einem Diracpuls beschreiben. Es ergibt sich das im Abstand  $f_{\rm A}$  abgetastete Spektrum:

:$${\rm A}\{X(f)\} = X(f) \cdot \sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot \delta (f- \mu \cdot f_{\rm A } ) = \sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot X(\mu \cdot f_{\rm A } ) \cdot\delta (f- \mu \cdot f_{\rm A } )\hspace{0.05cm}.$$

Transformiert man den hier verwendeten Frequenz–Diracpuls $($mit Impulsgewichten  $f_{\rm A})$  in den Zeitbereich, so erhält man mit  $T_{\rm P} = 1/f_{\rm A}$:

:$$\sum_{\mu = - \infty }^{+\infty}
f_{\rm A} \cdot \delta (f- \mu \cdot f_{\rm A } ) \hspace{0.2cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.2cm}
\sum_{\nu = - \infty }^{+\infty}
\delta (t- \nu \cdot T_{\rm P } ) \hspace{0.05cm}.$$

Die Multiplikation mit  $X(f)$  entspricht im Zeitbereich der Faltung mit  $x(t)$. Man erhält das im Abstand  $T_{\rm P}$  periodifizierte Signal  $\text{P}\{ x(t)\}$:

:$${\rm A}\{X(f)\} \hspace{0.2cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.2cm}
{\rm P}\{x(t)\} = x(t) \star \sum_{\nu = - \infty }^{+\infty}
\delta (t- \nu \cdot T_{\rm P } )= \sum_{\nu = - \infty }^{+\infty}
x (t- \nu \cdot T_{\rm P } ) \hspace{0.05cm}.$$

[[File:P_ID1134__Sig_T_5_1_S3_neu.png|right|frame|Diskretisierung im Frequenzbereich – Periodifizierung im Zeitbereich]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Dieser Zusammenhang ist in der Grafik veranschaulicht:
*Aufgrund der groben Frequenzrasterung ergibt sich in diesem Beispiel für die Zeitperiode  $T_{\rm P}$  ein relativ kleiner Wert.

* Deshalb unterscheidet sich das (blaue) periodifizierte Zeitsignal  $\text{P}\{ x(t)\}$  aufgrund von Überlappungen deutlich von  $x(t)$.}}

==Finite Signaldarstellung==
 
[[File:P_ID1135__Sig_T_5_1_S4_neu.png|right|frame|Finite Signale der Diskreten Fouriertransformation (DFT)]]
Zur so genannten  ''finiten Signaldarstellung''  kommt man,
*wenn sowohl die Zeitfunktion  $x(t)$
*als auch die Spektralfunktion  $X(f)$

ausschließlich durch ihre Abtastwerte angegeben werden.
 
Die Grafik ist wie folgt zu interpretieren:
*Im linken Bild blau eingezeichnet ist die Funktion  $\text{A}\{ \text{P}\{ x(t)\}\}$. Diese ergibt sich durch Abtastung der periodifizierten Zeitfunktion  $\text{P}\{ x(t)\}$  mit äquidistanten Diracimpulsen im Abstand  $T_{\rm A} = 1/f_{\rm P}$.
*Im rechten Bild grün eingezeichnet ist die Funktion  $\text{P}\{ \text{A}\{ X(f)\}\}$. Diese ergibt sich durch Periodifizierung $($mit  $f_{\rm P})$  der abgetasteten Spektralfunktion  $\{ \text{A}\{ X(f)\}\}$.
*Zwischen dem blauen finiten Signal (linke Skizze) und dem grünen finiten Signal (rechte Skizze) besteht eine Fourierkorrespondenz, und zwar folgende:

:$${\rm A}\{{\rm P}\{x(t)\}\} \hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} {\rm P}\{{\rm A}\{X(f)\}\} \hspace{0.05cm}.$$

*Die Diraclinien der periodischen Fortsetzung  $\text{P}\{ \text{A}\{ X(f)\}\}$  der abgetasteten Spektralfunktion fallen allerdings nur dann in das gleiche Frequenzraster wie diejenigen von  $\text{A}\{ X(f)\}$, wenn die Frequenzperiode  $f_{\rm P}$  ein ganzzahliges Vielfaches  $(N)$  des Frequenzabtastabstandes  $f_{\rm A}$  ist.
*Deshalb muss bei Anwendung der finiten Signaldarstellung stets die folgende Bedingung erfüllt sein, wobei die natürliche Zahl  $N$  in der Praxis meist eine Zweierpotenz ist  (obiger Grafik liegt der Wert  $N = 8$  zugrunde):

:$$f_{\rm P} = N \cdot f_{\rm A} \hspace{0.5cm} \Rightarrow\hspace{0.5cm} {1}/{T_{\rm A}}= N \cdot f_{\rm A} \hspace{0.5cm} \Rightarrow\hspace{0.5cm}
N \cdot f_{\rm A}\cdot T_{\rm A} = 1\hspace{0.05cm}.$$

*Bei Einhaltung der Bedingung  $N \cdot f_{\rm A} \cdot T_{\rm A} = 1$  ist die Reihenfolge von Periodifizierung und Abtastung vertauschbar. Somit gilt:

:$${\rm A}\{{\rm P}\{x(t)\}\} = {\rm P}\{{\rm A}\{x(t)\}\}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
{\rm P}\{{\rm A}\{X(f)\}\} = {\rm A}\{{\rm P}\{X(f)\}\}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Die Zeitfunktion  $\text{P}\{ \text{A}\{ x(t)\}\}$  besitzt die Periode  $T_{\rm P} = N \cdot T_{\rm A}$.
*Die Periode im Frequenzbereich ist  $f_{\rm P} = N \cdot f_{\rm A}$.
*Zur Beschreibung des diskretisierten Zeit– und Frequenzverlaufs reichen somit jeweils  $N$  '''komplexe Zahlenwerte''' in Form von Impulsgewichten aus.}}

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Es liegt ein zeitbegrenztes (impulsartiges) Signal  $x(t)$  in abgetasteter Form vor, wobei der Abstand zweier Abtastwerte  $T_{\rm A} = 1\, {\rm µ s}$  beträgt:
*Nach einer diskreten Fouriertransformation mit  $N = 512$  liegt das Spektrum  $X(f)$  in Form von Abtastwerten im Abstand  $f_{\rm A} = (N \cdot T_{\rm A})^{–1} \approx 1.953\,\text{kHz} $  vor.
*Vergrößert man den DFT–Parameter auf  $N= 2048$, so ergibt sich ein (vierfach) feineres Frequenzraster mit  $f_{\rm A} \approx 488\,\text{Hz}$.}}

==Von der kontinuierlichen zur diskreten Fouriertransformation==
 
Aus dem herkömmlichen  [[Signal_Representation/Fourier_Transform_and_Its_Inverse#Das_erste_Fourierintegral|ersten Fourierintegral]]

:$$X(f) =\int_{-\infty
}^{+\infty}x(t) \cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm} f \hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.1cm} {\rm d}t$$

entsteht durch Diskretisierung  $(\text{d}t \to T_{\rm A}$,  $t \to \nu \cdot T_{\rm A}$,  $f \to \mu \cdot f_{\rm A}$,  $T_{\rm A} \cdot f_{\rm A} = 1/N)$  die abgetastete und periodifizierte Spektralfunktion

:$${\rm P}\{X(\mu \cdot f_{\rm A})\} = T_{\rm A} \cdot \sum_{\nu = 0 }^{N-1}
{\rm P}\{x(\nu \cdot T_{\rm A})\}\cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm} \cdot \hspace{0.05cm}\nu \hspace{0.05cm}
\cdot \hspace{0.05cm}\mu /N} \hspace{0.05cm}.$$

Es ist berücksichtigt, dass aufgrund der Diskretisierung jeweils die periodifizierten Funktionen einzusetzen sind.

Aus Gründen einer vereinfachten Schreibweise nehmen wir nun die folgenden Substitutionen vor:
*Die  $N$  '''Zeitbereichskoeffizienten'''  seien mit der Laufvariablen  $\nu = 0$, ... , $N - 1$:
:$$d(\nu) =
{\rm P}\left\{x(t)\right\}{\big|}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm A}}\hspace{0.05cm}.$$
*Die  $N$  '''Frequenzbereichskoeffizienten'''  seien mit der Laufvariablen  $\mu = 0,$ ... , $N$ – 1:
:$$D(\mu) = f_{\rm A} \cdot
{\rm P}\left\{X(f)\right\}{\big|}_{f \hspace{0.05cm}= \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}f_{\rm A}}\hspace{0.05cm}.$$
*Abkürzend wird für den von  $N$  abhängigen  '''komplexen Drehfaktor'''  geschrieben:
:$$w = {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi /N}
= \cos \left( {2 \pi}/{N}\right)-{\rm j} \cdot \sin \left( {2 \pi}/{N}\right)
\hspace{0.05cm}.$$

[[File:P_ID2730__Sig_T_5_1_S5_neu.png|right|frame|Zur Definition der Diskreten Fouriertransformation (DFT) mit  $N=8$]]
{{BlaueBox|TEXT=
$\text{Definition:}$ 

Unter dem Begriff  '''Diskrete Fouriertransformation'''  (kurz '''DFT''')  versteht man die Berechnung der  $N$  Spektralkoeffizienten  $D(\mu)$  aus den  $N$  Signalkoeffizienten  $d(\nu)$:

:$$D(\mu) = \frac{1}{N} \cdot \sum_{\nu = 0 }^{N-1}
d(\nu)\cdot {w}^{\hspace{0.05cm}\nu \hspace{0.07cm} \cdot \hspace{0.05cm}\mu} \hspace{0.05cm}. $$

In der Grafik erkennt man an einem Beispiel
*die  $N = 8$  Signalkoeffizienten  $d(\nu)$  an der blauen Füllung,
*die  $N = 8$  Spektralkoeffizienten  $D(\mu)$  an der grünen Füllung.}}

==Inverse Diskrete Fouriertransformation==
 
Die Inverse Diskrete Fouriertransformation (IDFT) beschreibt das  [[Signal_Representation/Fourier_Transform_and_Its_Inverse#Das_zweite_Fourierintegral|zweite Fourierintegral]]

:$$\begin{align*}x(t) & = \int_{-\infty
}^{+\infty}X(f) \cdot {\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm} f \hspace{0.05cm}\cdot \hspace{0.05cm}
t}\hspace{0.1cm} {\rm d}f\end{align*}$$

in diskretisierter Form:  
:$$d(\nu) =
{\rm P}\left\{x(t)\right\}{\big|}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm
A}}\hspace{0.01cm}.$$

[[File:P_ID2731__Sig_T_5_1_S6_neu.png|right|frame|Zur Definition der IDFT mit  $N=8$]]
{{BlaueBox|TEXT=
$\text{Definition:}$ 

Unter dem Begriff  '''Inverse Diskreten Fouriertransformation'''  (kurz '''IDFT''')  versteht man die Berechnung der Signalkoeffizienten  $d(\nu)$  aus den Spektralkoeffizienten  $D(\mu)$:

:$$d(\nu) = \sum_{\mu = 0 }^{N-1}
D(\mu) \cdot {w}^{-\nu \hspace{0.07cm} \cdot \hspace{0.05cm}\mu} \hspace{0.05cm}.$$

Mit den Laufvariablen  $\nu = 0, \hspace{0.05cm}\text{...} \hspace{0.05cm}, N-1$  und  $\mu = 0, \hspace{0.05cm}\text{...} \hspace{0.05cm}, N-1$  gilt auch hier:
:$$d(\nu) =
{\rm P}\left\{x(t)\right\}{\big \vert}_{t \hspace{0.05cm}= \hspace{0.05cm}\nu \hspace{0.05cm}\cdot \hspace{0.05cm}T_{\rm
A} }\hspace{0.01cm},$$

:$$D(\mu) = f_{\rm A} \cdot
{\rm P}\left\{X(f)\right\}{\big \vert}_{f \hspace{0.05cm}= \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}f_{\rm A} }
\hspace{0.01cm},$$

:$$w = {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi /N}
\hspace{0.01cm}.$$}}

Ein Vergleich zwischen der  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)#Von_der_kontinuierlichen_zur_diskreten_Fouriertransformation|DFT]]  und IDFT zeigt, dass genau der gleiche Algorithmus verwendet werden kann. Die einzigen Unterschiede der IDFT gegenüber der DFT sind:
*Der Exponent des Drehfaktors ist mit unterschiedlichem Vorzeichen anzusetzen.
*Bei der IDFT entfällt die Division durch  $N$.

==Interpretation von DFT und IDFT==
 
Die Grafik zeigt die diskreten Koeffizienten im Zeit– und Frequenzbereich zusammen mit den periodifizierten zeitkontinuierlichen Funktionen.

[[File:P_ID1136__Sig_T_5_1_S7_neu.png|center|frame|Zeit– und Frequenzbereichskoeffizienten der DFT]]

Bei Anwendung von DFT bzw. IDFT ist zu beachten:
*Nach obigen Definitionen besitzen die DFT–Koeffizienten  $d(ν)$  und  $D(\mu)$  stets die Einheit der Zeitfunktion.
*Dividiert man  $D(\mu)$  durch  $f_{\rm A}$, so erhält man den Spektralwert  $X(\mu \cdot f_{\rm A})$.
*Die Spektralkoeffizienten  $D(\mu)$  müssen stets komplex angesetzt werden, um auch ungerade Zeitfunktionen berücksichtigen zu können.
*Um auch Bandpass–Signale im äquivalenten Tiefpass–Bereich transformieren zu können, verwendet man meist auch komplexe Zeitkoeffizienten  $d(\nu)$.
*Als Grundintervall für  $\nu$  und  $\mu$  definiert man meist – wie in obiger Grafik – den Bereich von  $0$  bis  $N - 1$  (gefüllte Kreise in der Grafik).
*Mit den komplexwertigen Zahlenfolgen  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle = \langle \hspace{0.1cm}d(0), \hspace{0.05cm}\text{...} \hspace{0.05cm} , d(N-1) \hspace{0.1cm}\rangle$   sowie   $\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle = \langle \hspace{0.1cm}D(0), \hspace{0.05cm}\text{...} \hspace{0.05cm} , D(N-1) \hspace{0.1cm}\rangle$  werden DFT und IDFT ähnlich wie die herkömmliche Fouriertransformation symbolisiert:
:$$\langle \hspace{0.1cm} D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} d(\nu) \hspace{0.1cm}\rangle \hspace{0.05cm}.$$
*Ist die Zeitfunktion  $x(t)$  bereits auf den Bereich  $0 \le t \lt N \cdot T_{\rm A}$  begrenzt, dann geben die von der IDFT ausgegebenen Zeitkoeffizienten direkt die Abtastwerte der Zeitfunktion an:   $d(\nu) = x(\nu \cdot T_{\rm A}).$
*Ist  $x(t)$  gegenüber dem Grundintervall verschoben, so muss man die im  $\text{Beispiel 3}$  gezeigte Zuordnung zwischen  $x(t)$  und den Koeffizienten  $d(\nu)$  wählen.

{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Die obere Grafik zeigt den unsymmetrischen Dreieckimpuls  $x(t)$, dessen absolute Breite kleiner ist als  $T_{\rm P} = N \cdot T_{\rm A}$.

[[File:P_ID1139__Sig_T_5_1_S7b_neu.png|right|frame|Zur Belegung der DFT-Koeffizienten mit  $N=8$]]

Die untere Skizze zeigt die zugeordneten DFT–Koeffizienten $($gültig für  $N = 8)$.

*Für  $\nu = 0,\hspace{0.05cm}\text{...} \hspace{0.05cm} , N/2 = 4$  gilt  $d(\nu) = x(\nu \cdot T_{\rm A})$:

:$$d(0) = x (0)\hspace{0.05cm}, \hspace{0.15cm}
d(1) = x (T_{\rm A})\hspace{0.05cm}, \hspace{0.15cm}
d(2) = x (2T_{\rm A})\hspace{0.05cm}, $$
:$$d(3) = x (3T_{\rm A})\hspace{0.05cm}, \hspace{0.15cm}
d(4) = x (4T_{\rm A})\hspace{0.05cm}.$$
*Dagegen sind die Koeffizienten  $d(5)$,  $d(6)$  und  d$(7)$  wie folgt zu setzen:

:$$d(\nu) = x \big ((\nu\hspace{-0.05cm} - \hspace{-0.05cm} N ) \cdot T_{\rm A}\big ) $$

:$$ \Rightarrow \hspace{0.2cm}d(5) = x (-3T_{\rm A})\hspace{0.05cm}, \hspace{0.35cm}
d(6) = x (-2T_{\rm A})\hspace{0.05cm}, \hspace{0.35cm}
d(7) = x (-T_{\rm A})\hspace{0.05cm}.$$ }}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Exercise 5.2: Inverse Discrete Fourier Transform|Exercise 5.2: Inverse Discrete Fourier Transform]]

[[Aufgaben:Exercise 5.2Z: DFT of a Triangular Pulse|Exercise 5.2Z: DFT of a Triangular Pulse]]

{{Display}}

Signal Representation/Discrete-Time Signal Representation

2020-12-27T22:46:14Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Equivalent Low Pass Signal and Its Spectral Function
|Nächste Seite=Discrete Fourier Transform (DFT)
}}

== # OVERVIEW OF THE FIFTH MAIN CHAPTER # ==
 
A prerequisite for the system-theoretical investigation of digital systems or for their computer simulation is a suitable discrete-time signal description. This chapter clarifies the mathematical transition from time-continuous to time-discrete signals, starting from  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Fourier Transform and Its Inverse]] .

The chapter includes in detail:
*the ''time and frequency domain representation''  of discrete-time signals,
*the ''sampling theorem'', which must be strictly observed in time discretization,
*the ''reconstruction of the analog signal''  from the time-discrete representation,
*the ''Discrete Fourier Transform''  (DFT) and its inverse (IDFT),
*the ''possibilities of error''  when applying DFT and IDFT,
*the application of ''spectral analysis''  to the improvement of metrological procedures, and.
*the ''FFT algorithm'' particularly suitable for computer implementation.

For more information on the subject, as well as tasks, simulations, and programming exercises, see

*Chapter 7:     ''Discrete Fourier Transform'', program dft,
*Chapter 8:     ''Spectral Analysis'', program stp, and
*Chapter 12:   ''Pulse code modulation'', program pcm

of the laboratory course &bdquo;Simulation Methods in Communications Engineering”. This (former) LNT course at the TU Munich is based on
*the teaching software package  [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim]   ⇒   link refers to the ZIP version of the program,
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Lab Instruction - Part A]   ⇒   link refers to the PDF version; Chapter 7: page 119-144, Chapter 8: page 145-164, and
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Lab Instruction - Part B]   ⇒   link refers to the PDF version; Chapter 12: page 271-294.

==Principle and Motivation==
 
Many message signals are analog and thus simultaneously  [[Signal_Representation/Signal_classification#Zeitkontinuierliche_und_zeitdiskrete_Signale|time-continuous]]  and  [[Signal_Representation/Signal_classification#Wertkontinuierliche_und_wertdiskrete_Signale|continuous in value]]. If such an analog signal is to be transmitted by means of a digital system, the following preprocessing steps are required:
*the  '''sampling'''  of the message signal  $x(t)$, which is expediently - but not necessarily - performed at equidistant times   ⇒   '''time discretization''',
*the  '''quantization'''  of the samples, so as to limit the number  $M$  of possible values to a finite value   ⇒   '''value discretization'''.

Quantization is not discussed in detail until the chapter  [[Modulation_Methods/Pulscodemodulation|Pulse Code Modulation]] of the book "Modulation Methods".

[[File:P_ID1120__Sig_T_5_1_S1_neu.png|center|frame|On Time Discretization of the Time-Continuous Signal   $x(t)$]]

In the following, we use the following nomenclature to describe the sampling:
*let the continuous-time signal be  $x(t)$.
*Let the time-discretized signal sampled at equidistant intervals  $T_{\rm A}$  be  $x_{\rm A}(t)$.
*outside the sampling time points  $\nu \cdot T_{\rm A}$  always holds  $x_{\rm A}(t) = 0$.
*The iterating variable  $\nu$  be  [[Signal_Representation/Calculating_With_Complex_Numbers#Reelle_Zahlenmengen|an integer]]:     $\nu \in \mathbb{Z} = \{\hspace{0.05cm} \text{...}\hspace{0.05cm} , –3, –2, –1, \hspace{0.2cm}0, +1, +2, +3, \text{...} \hspace{0.05cm}\} $.
*In contrast, at the equidistant sampling times with the constant  $K$, the result is:

:$$x_{\rm A}(\nu \cdot T_{\rm A}) = K \cdot x(\nu \cdot T_{\rm A})\hspace{0.05cm}.$$

The constant depends on the type of time discretization. For the above sketch  $K = 1$ holds.

==Time Domain Representation==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Throughout $\rm LNTwww$, the   '''sampling'''  shall be understood as the multiplication of the time-continuous signal  $x(t)$  by the  ''Dirac pulse''  $p_{\delta}(t)$:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.05cm}.$$}}

AIt should be noted that other forms of description are found in the literature. However, to the authors, the form chosen here appears to be the most appropriate in terms of spectral representation and derivation of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Discrete Fourier Transform]]  (DFT).

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Dirac comb (in the time domain)'''  consists of infinitely many Dirac pulses, each equally spaced  $T_{\rm A}$  and all with equal pulse weight  $T_{\rm A}$:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$}}

Based on this definition, the sampled signal has the following properties:
*The sampled signal at the considered time  $(\nu \cdot T_{\rm A})$  is equal  $T_{\rm A} \cdot x(\nu \cdot T_{\rm A}) - \delta (0)$.
*Since the Dirac function  $\delta (t)$  is infinite at time  $t = 0$  actually all signal values  $x_{\rm A}(\nu \cdot T_{\rm A})$  are also infinite.
*Thus, the factor  $K$  introduced on the last page is actually infinite as well.
*Two samples  $x_{\rm A}(\nu_1 \cdot T_{\rm A})$  and  $x_{\rm A}(\nu_2 \cdot T_{\rm A})$  however, differ in the same proportion as the signal values  $x(\nu_1 \cdot T_{\rm A})$  and  $x(\nu_2 \cdot T_{\rm A})$.
*The samples of  $x(t)$  appear in the momentum weights of the Dirac functions:

:$$x_{\rm A}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

*The additional multiplication by  $T_{\rm A}$  is necessary so that  $x(t)$  and  $x_{\rm A}(t)$  have the same unit. Note here that  $\delta (t)$  itself has the unit "1/s".

The following pages will show that these equations, which take some getting used to, do lead to reasonable results, if they are applied consistently.

==Dirac Comb in Time and Frequency Domain==
 
{{BlaueBox|TEXT=
$\text{Theorem:}$  Developing the  '''Dirac comb'''  into a  [[Signal_Representation/Fourier_Series|Fourier Series]]  and transforming it into the frequency domain using the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|Shift Theorem]]  gives the following correspondence:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A} ).$$

Here  $f_{\rm A} = 1/T_{\rm A}$  gives the distance between two adjacent dirac lines in the frequency domain. }}

{{BlaueBox|TEXT=
$\text{Proof:}$  The derivation of the spectral function given here  $P_{\delta}(f)$  is done in several steps:

'''(1)'''   Since  $p_{\delta}(t)$  is periodic with the constant distance  $T_{\rm A}$  between two dirac lines, the  [[[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|complex Fourier Series]]  can be applied:

:$$p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} D_{\mu} \cdot
{\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }
\hspace{0.3cm}{\rm mit}\hspace{0.3cm}
D_{\mu} = \frac{1}{T_{\rm A} } \cdot \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}p_{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$

'''(2)'''   In the range from  $-T_{\rm A}/2$  to  $+T_{\rm A}/2$  holds for the Dirac comb in the time domain:   $p_{\delta}(t) = T_{\rm A} \cdot \delta(t)$. Thus one can write for the complex Fourier coefficients:  
:$$D_{\mu} = \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$
'''(3)'''   Considering that for  $t \neq 0$  the Dirac momentum is zero and for  $t = 0$  the complex angular factor is equal to  $1$, it holds further:
:$$D_{\mu} = \int_{- T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \hspace{0.1cm} {\rm d}t = 1\hspace{0.5cm}{\Rightarrow}\hspace{0.5cm}
p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} {\rm e}^{ {\rm j} \hspace{0.05cm}
\cdot 2 \hspace{0.05cm} \pi \cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.05cm}.
$$
'''(4)'''   The   [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem in the frequency domain]]  is   $f_{\rm A} = 1/T_{\rm A}$:
:$${\rm e}^{ {\rm j} \hspace{0.05cm}
\hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}
f_{\rm A}\hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
\delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
'''(5)'''   If you apply the result to each individual summand, you finally get:

:$$P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
<div align="right">q.e.d.</div>}}

The result states:
*The Dirac comb  $p_{\delta}(t)$  in the time domain consists of infinitely many Dirac impulses, each at the same distance  $T_{\rm A}$  and all with the same pulse weight  $T_{\rm A}$.
*The Fourier transform of  $p_{\delta}(t)$  again gives a Dirac comb, but now in the frequency range   ⇒   $P_{\delta}(f)$.
*$P_{\delta}(f)$  also consists of infinitely many Dirac pulses, but now in the respective distance  $f_{\rm A} = 1/T_{\rm A}$  and all with momentum weight  $1$.
*The distances of the diraclines in the time and frequency domain representation thus follow the  [[Signal_Representation/Fourier_Transform_Laws#Reziprozit.C3.A4tsgesetz_von_Zeitdauer_und_Bandbreite|reciprocity theorem]]:  
:$$T_{\rm A} \cdot f_{\rm A} = 1 \hspace{0.05cm}.$$

[[File:EN_Sig_T_5_1_S3.png|right|frame|Dirac Comb in the Time- and Frequency Domain]]
{{GraueBox|TEXT=
$\text{Example 1:}$  The graph illustrates the above statements for
*$T_{\rm A} = 50\,{\rm µs}$,
*$f_{\rm A} = 1/T_{\rm A} = 20\,\text{kHz}$ .

One can also see from this sketch the different momentum weights of  $p_{\delta}(t)$  and  $P_{\delta}(f)$.}}

==Frequency Domain Representation==
 
The spectrum of the sampled signal  $x_{\rm A}(t)$  is obtained by applying the  [[Signal_Representation/The_Convolution_Theorem_and_Operation#Faltung_im_Frequenzbereich|convolution theorem in the frequency domain]].This states that multiplication in the time domain corresponds to convolution in the spectral domain:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
X_{\rm A}(f) = X(f) \star P_{\delta}(f)\hspace{0.05cm}.$$

From the spectrum  $X(f)$  by convolution with the diracline shifted by  $\mu \cdot f_{\rm A}$  we get:

:$$X(f) \star \delta
(f- \mu \cdot f_{\rm A}
)= X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

Applying this result to all diraclines of the Dirac pulse, we finally obtain:

:$$X_{\rm A}(f) = X(f) \star \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
) = \sum_{\mu = - \infty }^{+\infty} X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
The sampling of the analogue time signal  $x(t)$  at equidistant intervals  $T_{\rm A}$  leads in the spectral domain to a  '''periodic continuation'''  of  $X(f)$  with frequency spacing of   $f_{\rm A} = 1/T_{\rm A}$. }}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The upper graph shows  (schematically!)  the spectrum  $X(f)$  of an analogue signal  $x(t)$, which includes frequencies up to  $5 \text{ kHz}$ .

[[File:P_ID1122__Sig_T_5_1_S4_neu.png|center|frame|Spectrum of the Sampled Signal]]

Sampling the signal at the sampling rate  $f_{\rm A}\,\text{ = 20 kHz}$, i.e. at the respective distance  $T_{\rm A}\, = {\rm 50 \, µs}$  we obtain the periodic spectrum  $X_{\rm A}(f)$ sketched below.
*Since the Dirac functions are infinitely narrow, the sampled signal  $x_{\rm A}(t)$  also contains arbitrary high-frequency components.
*Accordingly, the spectral function  $X_{\rm A}(f)$  of the sampled signal is extended to infinity.}}

==Signal Reconstruction==
 
Signal sampling is not an end in itself in a digital transmission system; it must be reversed at some point. Consider, for example, the following system:

[[File:P_ID1123__Sig_T_5_1_S5a_neu.png|center|frame|Sampling and Reconstruction of a Signal]]

*The analogue signal  $x(t)$  with bandwidth  $B_{\rm NF}$  is sampled as described above.
*At the output of an ideal transmission system, the likewise time-discrete signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is present.
*The question now is how the block  '''signal reconstruction'''  is to be designed so that also  $y(t) = x(t)$  applies.

The solution is relatively simple if one considers the spectral functions:   One obtains from  $Y_{\rm A}(f)$  the spectrum  $Y(f) = X(f)$  by a low-pass with the  [[Linear_and_Time_Invariant_Systems/Systembeschreibung_im_Frequenzbereich#.C3.9Cbertragungsfunktion_-_Frequenzgang|Frequency Response]]  $H(f)$, which 
[[File:P_ID1124__Sig_T_5_1_S5b_neu.png|right|frame|Frequency Domain Representation of the Signal Reconstruction Process]]
*passes the low frequencies unaltered:
:$$H(f) = 1 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B_{\rm
NF}\hspace{0.05cm},$$
*suppresses the high frequencies completely:
:$$H(f) = 0 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \ge f_{\rm A} - B_{\rm
NF}\hspace{0.05cm}.$$

Further it can be seen from the graph that the frequency response  $H(f)$  in the range of  $B_{\rm NF}$  to  $f_{\rm A}-B_{\rm NF}$  can be arbitrarily shaped,
*for example, linearly sloping (dashed line)
*or also rectangular,

as long as both of the above conditions are met.
 
==The Sampling Theorem==
 
The complete reconstruction of the analogue signal  $y(t)$  from the sampled signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is only possible if the sampling rate  $f_{\rm A}$  corresponding to the bandwidth  $B_{\rm NF}$  of the message signal has been chosen correctly.

From the graph of the  [[Signal_Representation/Time_Discrete_Signal_Representation#Signalrekonstruktion|last page]] , it can be seen that the following condition must be fulfilled:

:$$f_{\rm A} - B_{\rm NF} > B_{\rm NF} \hspace{0.3cm}\Rightarrow \hspace{0.3cm}f_{\rm A} > 2 \cdot B_{\rm NF}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Sampling Theorem:}$  If an analogue signal  $x(t)$  has spectral components in the range  $\vert f \vert < B_{\rm NF}$, it can only be completely reconstructed from its sampled signal if the sampling rate is sufficiently large:
:$$f_{\rm A} ≥ 2 \cdot B_{\rm NF}.$$

Accordingly, the following must apply to the distance between two samples:

:$$T_{\rm A} \le \frac{1}{ 2 \cdot B_{\rm NF} }\hspace{0.05cm}.$$}}

If the largest possible value   ⇒   $T_{\rm A} = 1/(2B_{\rm NF})$  is used for sampling,
*then, in order to reconstruct the analogue signal from its sampled values,
*one must use an ideal, rectangular low-pass filter with cut-off frequency  $f_{\rm G} = f_{\rm A}/2 = 1/(2T_{\rm A})$ .

{{GraueBox|TEXT=
$\text{Example 3:}$  The graph above shows the spectrum  $\pm\text{ 5 kHz}$  of an analogue signal limited to  $X(f)$  below the spectrum  $X_{\rm A}(f)$  of the signal sampled at distance  $T_{\rm A} =\,\text{ 100 µs}$  ⇒   $f_{\rm A}=\,\text{ 10 kHz}$.
[[File:P_ID1125__Sig_T_5_1_S6_neu.png|right|frame|Sampling Theorem in the Frequency Domain]]
 Additionally drawn is the frequency response  $H(f)$  of the low-pass filter for signal reconstruction, whose cut-off frequency must be   $f_{\rm G} = f_{\rm A}/2 = 5\,\text{ kHz}$ .

*With any other  $f_{\rm G}$ value, the result would be  $Y(f) \neq X(f)$.
*For  $f_{\rm G} < 5\,\text{ kHz}$  the upper  $X(f)$ portions are missing.
* At  $f_{\rm G} > 5\,\text{ kHz}$  there are unwanted spectral components in  $Y(f)$ due to convolution operations.
 
If the sampling at the transmitter had been done with a sampling rate  $f_{\rm A} < 10\,\text{ kHz}$    ⇒   $T_{\rm A} >100 \,{\rm µ s}$, the analogue signal  $y(t) = x(t)$  would not be reconstructible from the samples  $y_{\rm A}(t)$  in any case. }}

''Note'':   There is an interactive applet on the topic covered here:   [[Applets:Abtastung_periodischer_Signale_und_Signalrekonstruktion_(Applet)|Sampling of Analogue Signals and Signal Reconstruction]]

==Exercises For the Chapter==
 
[[Aufgaben:Exercise 5.1: Sampling Theorem|Exercise 5.1: Sampling Theorem]]

[[Aufgaben:Exercise 5.1Z: Sampling of Harmonic Oscillations|Exercise 5.1Z: Sampling of Harmonic Oscillations]]

{{Display}}

Signal Representation/Discrete-Time Signal Representation

2020-12-27T22:44:47Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Equivalent Low Pass Signal and Its Spectral Function
|Nächste Seite=Discrete Fourier Transform (DFT)
}}

== # OVERVIEW OF THE FIFTH MAIN CHAPTER # ==
 
A prerequisite for the system-theoretical investigation of digital systems or for their computer simulation is a suitable discrete-time signal description. This chapter clarifies the mathematical transition from time-continuous to time-discrete signals, starting from  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Fourier Transform and Its Inverse]] .

The chapter includes in detail:
*the ''time and frequency domain representation''  of discrete-time signals,
*the ''sampling theorem'', which must be strictly observed in time discretization,
*the ''reconstruction of the analog signal''  from the time-discrete representation,
*the ''Discrete Fourier Transform''  (DFT) and its inverse (IDFT),
*the ''possibilities of error''  when applying DFT and IDFT,
*the application of ''spectral analysis''  to the improvement of metrological procedures, and.
*the ''FFT algorithm'' particularly suitable for computer implementation.

For more information on the subject, as well as tasks, simulations, and programming exercises, see

*Chapter 7:     ''Discrete Fourier Transform'', program dft,
*Chapter 8:     ''Spectral Analysis'', program stp, and
*Chapter 12:   ''Pulse code modulation'', program pcm

of the laboratory course &bdquo;Simulation Methods in Communications Engineering”. This (former) LNT course at the TU Munich is based on
*the teaching software package  [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim]   ⇒   link refers to the ZIP version of the program,
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Lab Instruction - Part A]   ⇒   link refers to the PDF version; Chapter 7: page 119-144, Chapter 8: page 145-164, and
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Lab Instruction - Part B]   ⇒   link refers to the PDF version; Chapter 12: page 271-294.

==Principle and Motivation==
 
Many message signals are analog and thus simultaneously  [[Signal_Representation/Signal_classification#Zeitkontinuierliche_und_zeitdiskrete_Signale|time-continuous]]  and  [[Signal_Representation/Signal_classification#Wertkontinuierliche_und_wertdiskrete_Signale|continuous in value]]. If such an analog signal is to be transmitted by means of a digital system, the following preprocessing steps are required:
*the  '''sampling'''  of the message signal  $x(t)$, which is expediently - but not necessarily - performed at equidistant times   ⇒   '''time discretization''',
*the  '''quantization'''  of the samples, so as to limit the number  $M$  of possible values to a finite value   ⇒   '''value discretization'''.

Quantization is not discussed in detail until the chapter  [[Modulation_Methods/Pulscodemodulation|Pulse Code Modulation]] of the book "Modulation Methods".

[[File:P_ID1120__Sig_T_5_1_S1_neu.png|center|frame|On Time Discretization of the Time-Continuous Signal   $x(t)$]]

In the following, we use the following nomenclature to describe the sampling:
*let the continuous-time signal be  $x(t)$.
*Let the time-discretized signal sampled at equidistant intervals  $T_{\rm A}$  be  $x_{\rm A}(t)$.
*outside the sampling time points  $\nu \cdot T_{\rm A}$  always holds  $x_{\rm A}(t) = 0$.
*The iterating variable  $\nu$  be  [[Signal_Representation/Calculating_With_Complex_Numbers#Reelle_Zahlenmengen|an integer]]:     $\nu \in \mathbb{Z} = \{\hspace{0.05cm} \text{...}\hspace{0.05cm} , –3, –2, –1, \hspace{0.2cm}0, +1, +2, +3, \text{...} \hspace{0.05cm}\} $.
*In contrast, at the equidistant sampling times with the constant  $K$, the result is:

:$$x_{\rm A}(\nu \cdot T_{\rm A}) = K \cdot x(\nu \cdot T_{\rm A})\hspace{0.05cm}.$$

The constant depends on the type of time discretization. For the above sketch  $K = 1$ holds.

==Time Domain Representation==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Throughout $\rm LNTwww$, the   '''sampling''''  shall be understood as the multiplication of the time-continuous signal  $x(t)$  by the  ''Dirac pulse'''  $p_{\delta}(t)$:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.05cm}.$$}}

AIt should be noted that other forms of description are found in the literature. However, to the authors, the form chosen here appears to be the most appropriate in terms of spectral representation and derivation of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Discrete Fourier Transform]]  (DFT).

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Dirac comb (in the time domain)'''  consists of infinitely many Dirac pulses, each equally spaced  $T_{\rm A}$  and all with equal pulse weight  $T_{\rm A}$:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$}}

Based on this definition, the sampled signal has the following properties:
*The sampled signal at the considered time  $(\nu \cdot T_{\rm A})$  is equal  $T_{\rm A} \cdot x(\nu \cdot T_{\rm A}) - \delta (0)$.
*Since the Dirac function  $\delta (t)$  is infinite at time  $t = 0$  actually all signal values  $x_{\rm A}(\nu \cdot T_{\rm A})$  are also infinite.
*Thus, the factor  $K$  introduced on the last page is actually infinite as well.
*Two samples  $x_{\rm A}(\nu_1 \cdot T_{\rm A})$  and  $x_{\rm A}(\nu_2 \cdot T_{\rm A})$  however, differ in the same proportion as the signal values  $x(\nu_1 \cdot T_{\rm A})$  and  $x(\nu_2 \cdot T_{\rm A})$.
*The samples of  $x(t)$  appear in the momentum weights of the Dirac functions:

:$$x_{\rm A}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

*The additional multiplication by  $T_{\rm A}$  is necessary so that  $x(t)$  and  $x_{\rm A}(t)$  have the same unit. Note here that  $\delta (t)$  itself has the unit "1/s".

The following pages will show that these equations, which take some getting used to, do lead to reasonable results, if they are applied consistently.

==Dirac Comb in Time and Frequency Domain==
 
{{BlaueBox|TEXT=
$\text{Theorem:}$  Developing the  '''Dirac comb'''  into a  [[Signal_Representation/Fourier_Series|Fourier Series]]  and transforming it into the frequency domain using the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|Shift Theorem]]  gives the following correspondence:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A} ).$$

Here  $f_{\rm A} = 1/T_{\rm A}$  gives the distance between two adjacent dirac lines in the frequency domain. }}

{{BlaueBox|TEXT=
$\text{Proof:}$  The derivation of the spectral function given here  $P_{\delta}(f)$  is done in several steps:

'''(1)'''   Since  $p_{\delta}(t)$  is periodic with the constant distance  $T_{\rm A}$  between two dirac lines, the  [[[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|complex Fourier Series]]  can be applied:

:$$p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} D_{\mu} \cdot
{\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }
\hspace{0.3cm}{\rm mit}\hspace{0.3cm}
D_{\mu} = \frac{1}{T_{\rm A} } \cdot \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}p_{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$

'''(2)'''   In the range from  $-T_{\rm A}/2$  to  $+T_{\rm A}/2$  holds for the Dirac comb in the time domain:   $p_{\delta}(t) = T_{\rm A} \cdot \delta(t)$. Thus one can write for the complex Fourier coefficients:  
:$$D_{\mu} = \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$
'''(3)'''   Considering that for  $t \neq 0$  the Dirac momentum is zero and for  $t = 0$  the complex angular factor is equal to  $1$, it holds further:
:$$D_{\mu} = \int_{- T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \hspace{0.1cm} {\rm d}t = 1\hspace{0.5cm}{\Rightarrow}\hspace{0.5cm}
p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} {\rm e}^{ {\rm j} \hspace{0.05cm}
\cdot 2 \hspace{0.05cm} \pi \cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.05cm}.
$$
'''(4)'''   The   [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem in the frequency domain]]  is   $f_{\rm A} = 1/T_{\rm A}$:
:$${\rm e}^{ {\rm j} \hspace{0.05cm}
\hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}
f_{\rm A}\hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
\delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
'''(5)'''   If you apply the result to each individual summand, you finally get:

:$$P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
<div align="right">q.e.d.</div>}}

The result states:
*The Dirac comb  $p_{\delta}(t)$  in the time domain consists of infinitely many Dirac impulses, each at the same distance  $T_{\rm A}$  and all with the same pulse weight  $T_{\rm A}$.
*The Fourier transform of  $p_{\delta}(t)$  again gives a Dirac comb, but now in the frequency range   ⇒   $P_{\delta}(f)$.
*$P_{\delta}(f)$  also consists of infinitely many Dirac pulses, but now in the respective distance  $f_{\rm A} = 1/T_{\rm A}$  and all with momentum weight  $1$.
*The distances of the diraclines in the time and frequency domain representation thus follow the  [[Signal_Representation/Fourier_Transform_Laws#Reziprozit.C3.A4tsgesetz_von_Zeitdauer_und_Bandbreite|reciprocity theorem]]:  
:$$T_{\rm A} \cdot f_{\rm A} = 1 \hspace{0.05cm}.$$

[[File:EN_Sig_T_5_1_S3.png|right|frame|Dirac Comb in the Time- and Frequency Domain]]
{{GraueBox|TEXT=
$\text{Example 1:}$  The graph illustrates the above statements for
*$T_{\rm A} = 50\,{\rm µs}$,
*$f_{\rm A} = 1/T_{\rm A} = 20\,\text{kHz}$ .

One can also see from this sketch the different momentum weights of  $p_{\delta}(t)$  and  $P_{\delta}(f)$.}}

==Frequency Domain Representation==
 
The spectrum of the sampled signal  $x_{\rm A}(t)$  is obtained by applying the  [[Signal_Representation/The_Convolution_Theorem_and_Operation#Faltung_im_Frequenzbereich|convolution theorem in the frequency domain]].This states that multiplication in the time domain corresponds to convolution in the spectral domain:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
X_{\rm A}(f) = X(f) \star P_{\delta}(f)\hspace{0.05cm}.$$

From the spectrum  $X(f)$  by convolution with the diracline shifted by  $\mu \cdot f_{\rm A}$  we get:

:$$X(f) \star \delta
(f- \mu \cdot f_{\rm A}
)= X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

Applying this result to all diraclines of the Dirac pulse, we finally obtain:

:$$X_{\rm A}(f) = X(f) \star \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
) = \sum_{\mu = - \infty }^{+\infty} X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
The sampling of the analogue time signal  $x(t)$  at equidistant intervals  $T_{\rm A}$  leads in the spectral domain to a  '''periodic continuation'''  of  $X(f)$  with frequency spacing of   $f_{\rm A} = 1/T_{\rm A}$. }}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The upper graph shows  (schematically!)  the spectrum  $X(f)$  of an analogue signal  $x(t)$, which includes frequencies up to  $5 \text{ kHz}$ .

[[File:P_ID1122__Sig_T_5_1_S4_neu.png|center|frame|Spectrum of the Sampled Signal]]

Sampling the signal at the sampling rate  $f_{\rm A}\,\text{ = 20 kHz}$, i.e. at the respective distance  $T_{\rm A}\, = {\rm 50 \, µs}$  we obtain the periodic spectrum  $X_{\rm A}(f)$ sketched below.
*Since the Dirac functions are infinitely narrow, the sampled signal  $x_{\rm A}(t)$  also contains arbitrary high-frequency components.
*Accordingly, the spectral function  $X_{\rm A}(f)$  of the sampled signal is extended to infinity.}}

==Signal Reconstruction==
 
Signal sampling is not an end in itself in a digital transmission system; it must be reversed at some point. Consider, for example, the following system:

[[File:P_ID1123__Sig_T_5_1_S5a_neu.png|center|frame|Sampling and Reconstruction of a Signal]]

*The analogue signal  $x(t)$  with bandwidth  $B_{\rm NF}$  is sampled as described above.
*At the output of an ideal transmission system, the likewise time-discrete signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is present.
*The question now is how the block  '''signal reconstruction'''  is to be designed so that also  $y(t) = x(t)$  applies.

The solution is relatively simple if one considers the spectral functions:   One obtains from  $Y_{\rm A}(f)$  the spectrum  $Y(f) = X(f)$  by a low-pass with the  [[Linear_and_Time_Invariant_Systems/Systembeschreibung_im_Frequenzbereich#.C3.9Cbertragungsfunktion_-_Frequenzgang|Frequency Response]]  $H(f)$, which 
[[File:P_ID1124__Sig_T_5_1_S5b_neu.png|right|frame|Frequency Domain Representation of the Signal Reconstruction Process]]
*passes the low frequencies unaltered:
:$$H(f) = 1 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B_{\rm
NF}\hspace{0.05cm},$$
*suppresses the high frequencies completely:
:$$H(f) = 0 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \ge f_{\rm A} - B_{\rm
NF}\hspace{0.05cm}.$$

Further it can be seen from the graph that the frequency response  $H(f)$  in the range of  $B_{\rm NF}$  to  $f_{\rm A}-B_{\rm NF}$  can be arbitrarily shaped,
*for example, linearly sloping (dashed line)
*or also rectangular,

as long as both of the above conditions are met.
 
==The Sampling Theorem==
 
The complete reconstruction of the analogue signal  $y(t)$  from the sampled signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is only possible if the sampling rate  $f_{\rm A}$  corresponding to the bandwidth  $B_{\rm NF}$  of the message signal has been chosen correctly.

From the graph of the  [[Signal_Representation/Time_Discrete_Signal_Representation#Signalrekonstruktion|last page]] , it can be seen that the following condition must be fulfilled:

:$$f_{\rm A} - B_{\rm NF} > B_{\rm NF} \hspace{0.3cm}\Rightarrow \hspace{0.3cm}f_{\rm A} > 2 \cdot B_{\rm NF}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Sampling Theorem:}$  If an analogue signal  $x(t)$  has spectral components in the range  $\vert f \vert < B_{\rm NF}$, it can only be completely reconstructed from its sampled signal if the sampling rate is sufficiently large:
:$$f_{\rm A} ≥ 2 \cdot B_{\rm NF}.$$

Accordingly, the following must apply to the distance between two samples:

:$$T_{\rm A} \le \frac{1}{ 2 \cdot B_{\rm NF} }\hspace{0.05cm}.$$}}

If the largest possible value   ⇒   $T_{\rm A} = 1/(2B_{\rm NF})$  is used for sampling,
*then, in order to reconstruct the analogue signal from its sampled values,
*one must use an ideal, rectangular low-pass filter with cut-off frequency  $f_{\rm G} = f_{\rm A}/2 = 1/(2T_{\rm A})$ .

{{GraueBox|TEXT=
$\text{Example 3:}$  The graph above shows the spectrum  $\pm\text{ 5 kHz}$  of an analogue signal limited to  $X(f)$  below the spectrum  $X_{\rm A}(f)$  of the signal sampled at distance  $T_{\rm A} =\,\text{ 100 µs}$  ⇒   $f_{\rm A}=\,\text{ 10 kHz}$.
[[File:P_ID1125__Sig_T_5_1_S6_neu.png|right|frame|Sampling Theorem in the Frequency Domain]]
 Additionally drawn is the frequency response  $H(f)$  of the low-pass filter for signal reconstruction, whose cut-off frequency must be   $f_{\rm G} = f_{\rm A}/2 = 5\,\text{ kHz}$ .

*With any other  $f_{\rm G}$ value, the result would be  $Y(f) \neq X(f)$.
*For  $f_{\rm G} < 5\,\text{ kHz}$  the upper  $X(f)$ portions are missing.
* At  $f_{\rm G} > 5\,\text{ kHz}$  there are unwanted spectral components in  $Y(f)$ due to convolution operations.
 
If the sampling at the transmitter had been done with a sampling rate  $f_{\rm A} < 10\,\text{ kHz}$    ⇒   $T_{\rm A} >100 \,{\rm µ s}$, the analogue signal  $y(t) = x(t)$  would not be reconstructible from the samples  $y_{\rm A}(t)$  in any case. }}

''Note'':   There is an interactive applet on the topic covered here:   [[Applets:Abtastung_periodischer_Signale_und_Signalrekonstruktion_(Applet)|Sampling of Analogue Signals and Signal Reconstruction]]

==Exercises For the Chapter==
 
[[Aufgaben:Exercise 5.1: Sampling Theorem|Exercise 5.1: Sampling Theorem]]

[[Aufgaben:Exercise 5.1Z: Sampling of Harmonic Oscillations|Exercise 5.1Z: Sampling of Harmonic Oscillations]]

{{Display}}

Signal Representation/Discrete-Time Signal Representation

2020-12-27T22:43:57Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Equivalent Low Pass Signal and Its Spectral Function
|Nächste Seite=Discrete Fourier Transform (DFT)
}}

== # OVERVIEW OF THE FIFTH MAIN CHAPTER # ==
 
A prerequisite for the system-theoretical investigation of digital systems or for their computer simulation is a suitable discrete-time signal description. This chapter clarifies the mathematical transition from time-continuous to time-discrete signals, starting from  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Fourier Transform and Its Inverse]] .

The chapter includes in detail:
*the ''time and frequency domain representation''  of discrete-time signals,
*the ''sampling theorem'', which must be strictly observed in time discretization,
*the ''reconstruction of the analog signal''  from the time-discrete representation,
*the ''Discrete Fourier Transform''  (DFT) and its inverse (IDFT),
*the ''possibilities of error''  when applying DFT and IDFT,
*the application of ''spectral analysis''  to the improvement of metrological procedures, and.
*the ''FFT algorithm'' particularly suitable for computer implementation.

For more information on the subject, as well as tasks, simulations, and programming exercises, see

*Chapter 7:     ''Discrete Fourier Transform'', program dft,
*Chapter 8:     ''Spectral Analysis'', program stp, and
*Chapter 12:   ''Pulse code modulation'', program pcm

of the laboratory course &bdquo;Simulation Methods in Communications Engineering”. This (former) LNT course at the TU Munich is based on
*the teaching software package  [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim]   ⇒   link refers to the ZIP version of the program,
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Lab Instruction - Part A]   ⇒   link refers to the PDF version; Chapter 7: page 119-144, Chapter 8: page 145-164, and
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Lab Instruction - Part B]   ⇒   link refers to the PDF version; Chapter 12: page 271-294.

==Principle and Motivation==
 
Many message signals are analog and thus simultaneously  [[Signal_Representation/Signal_classification#Zeitkontinuierliche_und_zeitdiskrete_Signale|time-continuous]]  and  [[Signal_Representation/Signal_classification#Wertkontinuierliche_und_wertdiskrete_Signale|continuous in value]]. If such an analog signal is to be transmitted by means of a digital system, the following preprocessing steps are required:
*the  '''sampling'''  of the message signal  $x(t)$, which is expediently - but not necessarily - performed at equidistant times   ⇒   '''time discretization''',
*the  '''quantization'''  of the samples, so as to limit the number  $M$  of possible values to a finite value   ⇒   '''value discretization'''.

Quantization is not discussed in detail until the chapter  [[Modulation_Methods/Pulscodemodulation|Pulse Code Modulation]] of the book "Modulation Methods".

[[File:P_ID1120__Sig_T_5_1_S1_neu.png|center|frame|On Time Discretization of the Time-Continuous Signal   $x(t)$]]

In the following, we use the following nomenclature to describe the sampling:
*let the continuous-time signal be  $x(t)$.
*Let the time-discretized signal sampled at equidistant intervals  $T_{\rm A}$  be  $x_{\rm A}(t)$.
*outside the sampling time points  $\nu \cdot T_{\rm A}$  always holds  $x_{\rm A}(t) = 0$.
*The iterating variable  $\nu$  be  [[Signal_Representation/Calculating_With_Complex_Numbers#Reelle_Zahlenmengen|an integer]]:     $\nu \in \mathbb{Z} = \{\hspace{0.05cm} \text{...}\hspace{0.05cm} , –3, –2, –1, \hspace{0.2cm}0, +1, +2, +3, \text{...} \hspace{0.05cm}\} $.
*In contrast, at the equidistant sampling times with the constant  $K$, the result is:

:$$x_{\rm A}(\nu \cdot T_{\rm A}) = K \cdot x(\nu \cdot T_{\rm A})\hspace{0.05cm}.$$

The constant depends on the type of time discretization. For the above sketch  $K = 1$ holds.

==Time Domain Representation==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Throughout $\rm LNTwww$, the   '''sampling''''  shall be understood as the multiplication of the time-continuous signal  $x(t)$  by the  ''Dirac pulse'''  $p_{\delta}(t)$:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.05cm}.$$}}

AIt should be noted that other forms of description are found in the literature. However, to the authors, the form chosen here appears to be the most appropriate in terms of spectral representation and derivation of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Discrete Fourier Transform]]  (DFT).

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Dirac comb (in the time domain)'''  consists of infinitely many Dirac pulses, each equally spaced  $T_{\rm A}$  and all with equal pulse weight  $T_{\rm A}$:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$}}

Based on this definition, the sampled signal has the following properties:
*The sampled signal at the considered time  $(\nu \cdot T_{\rm A})$  is equal  $T_{\rm A} \cdot x(\nu \cdot T_{\rm A}) - \delta (0)$.
*Since the Dirac function  $\delta (t)$  is infinite at time  $t = 0$  actually all signal values  $x_{\rm A}(\nu \cdot T_{\rm A})$  are also infinite.
*Thus, the factor  $K$  introduced on the last page is actually infinite as well.
*Two samples  $x_{\rm A}(\nu_1 \cdot T_{\rm A})$  and  $x_{\rm A}(\nu_2 \cdot T_{\rm A})$  however, differ in the same proportion as the signal values  $x(\nu_1 \cdot T_{\rm A})$  and  $x(\nu_2 \cdot T_{\rm A})$.
*The samples of  $x(t)$  appear in the momentum weights of the Dirac functions:

:$$x_{\rm A}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

*The additional multiplication by  $T_{\rm A}$  is necessary so that  $x(t)$  and  $x_{\rm A}(t)$  have the same unit. Note here that  $\delta (t)$  itself has the unit "1/s".

The following pages will show that these equations, which take some getting used to, do lead to reasonable results, if they are applied consistently.

==Dirac Comb in Time and Frequency Domain==
 
{{BlaueBox|TEXT=
$\text{Theorem:}$  Developing the  '''Dirac comb''''  into a  [[Signal_Representation/Fourier_Series|Fourier Series]]  and transforming it into the frequency domain using the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|Shift Theorem]]  gives the following correspondence:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A} ).$$

Here  $f_{\rm A} = 1/T_{\rm A}$  gives the distance between two adjacent dirac lines in the frequency domain. }}

{{BlaueBox|TEXT=
$\text{Proof:}$  The derivation of the spectral function given here  $P_{\delta}(f)$  is done in several steps:

'''(1)'''   Since  $p_{\delta}(t)$  is periodic with the constant distance  $T_{\rm A}$  between two dirac lines, the  [[[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|complex Fourier Series]]  can be applied:

:$$p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} D_{\mu} \cdot
{\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }
\hspace{0.3cm}{\rm mit}\hspace{0.3cm}
D_{\mu} = \frac{1}{T_{\rm A} } \cdot \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}p_{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$

'''(2)'''   In the range from  $-T_{\rm A}/2$  to  $+T_{\rm A}/2$  holds for the Dirac comb in the time domain:   $p_{\delta}(t) = T_{\rm A} \cdot \delta(t)$. Thus one can write for the complex Fourier coefficients:  
:$$D_{\mu} = \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$
'''(3)'''   Considering that for  $t \neq 0$  the Dirac momentum is zero and for  $t = 0$  the complex angular factor is equal to  $1$, it holds further:
:$$D_{\mu} = \int_{- T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \hspace{0.1cm} {\rm d}t = 1\hspace{0.5cm}{\Rightarrow}\hspace{0.5cm}
p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} {\rm e}^{ {\rm j} \hspace{0.05cm}
\cdot 2 \hspace{0.05cm} \pi \cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.05cm}.
$$
'''(4)'''   The   [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem in the frequency domain]]  is   $f_{\rm A} = 1/T_{\rm A}$:
:$${\rm e}^{ {\rm j} \hspace{0.05cm}
\hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}
f_{\rm A}\hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
\delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
'''(5)'''   If you apply the result to each individual summand, you finally get:

:$$P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
<div align="right">q.e.d.</div>}}

The result states:
*The Dirac comb  $p_{\delta}(t)$  in the time domain consists of infinitely many Dirac impulses, each at the same distance  $T_{\rm A}$  and all with the same pulse weight  $T_{\rm A}$.
*The Fourier transform of  $p_{\delta}(t)$  again gives a Dirac comb, but now in the frequency range   ⇒   $P_{\delta}(f)$.
*$P_{\delta}(f)$  also consists of infinitely many Dirac pulses, but now in the respective distance  $f_{\rm A} = 1/T_{\rm A}$  and all with momentum weight  $1$.
*The distances of the diraclines in the time and frequency domain representation thus follow the  [[Signal_Representation/Fourier_Transform_Laws#Reziprozit.C3.A4tsgesetz_von_Zeitdauer_und_Bandbreite|reciprocity theorem]]:  
:$$T_{\rm A} \cdot f_{\rm A} = 1 \hspace{0.05cm}.$$

[[File:EN_Sig_T_5_1_S3.png|right|frame|Dirac Comb in the Time- and Frequency Domain]]
{{GraueBox|TEXT=
$\text{Example 1:}$  The graph illustrates the above statements for
*$T_{\rm A} = 50\,{\rm µs}$,
*$f_{\rm A} = 1/T_{\rm A} = 20\,\text{kHz}$ .

One can also see from this sketch the different momentum weights of  $p_{\delta}(t)$  and  $P_{\delta}(f)$.}}

==Frequency Domain Representation==
 
The spectrum of the sampled signal  $x_{\rm A}(t)$  is obtained by applying the  [[Signal_Representation/The_Convolution_Theorem_and_Operation#Faltung_im_Frequenzbereich|convolution theorem in the frequency domain]].This states that multiplication in the time domain corresponds to convolution in the spectral domain:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
X_{\rm A}(f) = X(f) \star P_{\delta}(f)\hspace{0.05cm}.$$

From the spectrum  $X(f)$  by convolution with the diracline shifted by  $\mu \cdot f_{\rm A}$  we get:

:$$X(f) \star \delta
(f- \mu \cdot f_{\rm A}
)= X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

Applying this result to all diraclines of the Dirac pulse, we finally obtain:

:$$X_{\rm A}(f) = X(f) \star \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
) = \sum_{\mu = - \infty }^{+\infty} X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
The sampling of the analogue time signal  $x(t)$  at equidistant intervals  $T_{\rm A}$  leads in the spectral domain to a  '''periodic continuation'''  of  $X(f)$  with frequency spacing of   $f_{\rm A} = 1/T_{\rm A}$. }}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The upper graph shows  (schematically!)  the spectrum  $X(f)$  of an analogue signal  $x(t)$, which includes frequencies up to  $5 \text{ kHz}$ .

[[File:P_ID1122__Sig_T_5_1_S4_neu.png|center|frame|Spectrum of the Sampled Signal]]

Sampling the signal at the sampling rate  $f_{\rm A}\,\text{ = 20 kHz}$, i.e. at the respective distance  $T_{\rm A}\, = {\rm 50 \, µs}$  we obtain the periodic spectrum  $X_{\rm A}(f)$ sketched below.
*Since the Dirac functions are infinitely narrow, the sampled signal  $x_{\rm A}(t)$  also contains arbitrary high-frequency components.
*Accordingly, the spectral function  $X_{\rm A}(f)$  of the sampled signal is extended to infinity.}}

==Signal Reconstruction==
 
Signal sampling is not an end in itself in a digital transmission system; it must be reversed at some point. Consider, for example, the following system:

[[File:P_ID1123__Sig_T_5_1_S5a_neu.png|center|frame|Sampling and Reconstruction of a Signal]]

*The analogue signal  $x(t)$  with bandwidth  $B_{\rm NF}$  is sampled as described above.
*At the output of an ideal transmission system, the likewise time-discrete signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is present.
*The question now is how the block  '''signal reconstruction'''  is to be designed so that also  $y(t) = x(t)$  applies.

The solution is relatively simple if one considers the spectral functions:   One obtains from  $Y_{\rm A}(f)$  the spectrum  $Y(f) = X(f)$  by a low-pass with the  [[Linear_and_Time_Invariant_Systems/Systembeschreibung_im_Frequenzbereich#.C3.9Cbertragungsfunktion_-_Frequenzgang|Frequency Response]]  $H(f)$, which 
[[File:P_ID1124__Sig_T_5_1_S5b_neu.png|right|frame|Frequency Domain Representation of the Signal Reconstruction Process]]
*passes the low frequencies unaltered:
:$$H(f) = 1 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B_{\rm
NF}\hspace{0.05cm},$$
*suppresses the high frequencies completely:
:$$H(f) = 0 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \ge f_{\rm A} - B_{\rm
NF}\hspace{0.05cm}.$$

Further it can be seen from the graph that the frequency response  $H(f)$  in the range of  $B_{\rm NF}$  to  $f_{\rm A}-B_{\rm NF}$  can be arbitrarily shaped,
*for example, linearly sloping (dashed line)
*or also rectangular,

as long as both of the above conditions are met.
 
==The Sampling Theorem==
 
The complete reconstruction of the analogue signal  $y(t)$  from the sampled signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is only possible if the sampling rate  $f_{\rm A}$  corresponding to the bandwidth  $B_{\rm NF}$  of the message signal has been chosen correctly.

From the graph of the  [[Signal_Representation/Time_Discrete_Signal_Representation#Signalrekonstruktion|last page]] , it can be seen that the following condition must be fulfilled:

:$$f_{\rm A} - B_{\rm NF} > B_{\rm NF} \hspace{0.3cm}\Rightarrow \hspace{0.3cm}f_{\rm A} > 2 \cdot B_{\rm NF}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Sampling Theorem:}$  If an analogue signal  $x(t)$  has spectral components in the range  $\vert f \vert < B_{\rm NF}$, it can only be completely reconstructed from its sampled signal if the sampling rate is sufficiently large:
:$$f_{\rm A} ≥ 2 \cdot B_{\rm NF}.$$

Accordingly, the following must apply to the distance between two samples:

:$$T_{\rm A} \le \frac{1}{ 2 \cdot B_{\rm NF} }\hspace{0.05cm}.$$}}

If the largest possible value   ⇒   $T_{\rm A} = 1/(2B_{\rm NF})$  is used for sampling,
*then, in order to reconstruct the analogue signal from its sampled values,
*one must use an ideal, rectangular low-pass filter with cut-off frequency  $f_{\rm G} = f_{\rm A}/2 = 1/(2T_{\rm A})$ .

{{GraueBox|TEXT=
$\text{Example 3:}$  The graph above shows the spectrum  $\pm\text{ 5 kHz}$  of an analogue signal limited to  $X(f)$  below the spectrum  $X_{\rm A}(f)$  of the signal sampled at distance  $T_{\rm A} =\,\text{ 100 µs}$  ⇒   $f_{\rm A}=\,\text{ 10 kHz}$.
[[File:P_ID1125__Sig_T_5_1_S6_neu.png|right|frame|Sampling Theorem in the Frequency Domain]]
 Additionally drawn is the frequency response  $H(f)$  of the low-pass filter for signal reconstruction, whose cut-off frequency must be   $f_{\rm G} = f_{\rm A}/2 = 5\,\text{ kHz}$ .

*With any other  $f_{\rm G}$ value, the result would be  $Y(f) \neq X(f)$.
*For  $f_{\rm G} < 5\,\text{ kHz}$  the upper  $X(f)$ portions are missing.
* At  $f_{\rm G} > 5\,\text{ kHz}$  there are unwanted spectral components in  $Y(f)$ due to convolution operations.
 
If the sampling at the transmitter had been done with a sampling rate  $f_{\rm A} < 10\,\text{ kHz}$    ⇒   $T_{\rm A} >100 \,{\rm µ s}$, the analogue signal  $y(t) = x(t)$  would not be reconstructible from the samples  $y_{\rm A}(t)$  in any case. }}

''Note'':   There is an interactive applet on the topic covered here:   [[Applets:Abtastung_periodischer_Signale_und_Signalrekonstruktion_(Applet)|Sampling of Analogue Signals and Signal Reconstruction]]

==Exercises For the Chapter==
 
[[Aufgaben:Exercise 5.1: Sampling Theorem|Exercise 5.1: Sampling Theorem]]

[[Aufgaben:Exercise 5.1Z: Sampling of Harmonic Oscillations|Exercise 5.1Z: Sampling of Harmonic Oscillations]]

{{Display}}

Signal Representation/Discrete-Time Signal Representation

2020-12-27T22:41:51Z

Oezdemir:

{{Header
|Untermenü=Time and Frequency-Discrete Signal Representation
|Vorherige Seite=Equivalent Low Pass Signal and Its Spectral Function
|Nächste Seite=Discrete Fourier Transform (DFT)
}}

== # OVERVIEW OF THE FIFTH MAIN CHAPTER # ==
 
A prerequisite for the system-theoretical investigation of digital systems or for their computer simulation is a suitable discrete-time signal description. This chapter clarifies the mathematical transition from time-continuous to time-discrete signals, starting from  [[Signal_Representation/Fourier_Transform_and_Its_Inverse|Fourier Transform and Its Inverse]] .

The chapter includes in detail:
*the ''time and frequency domain representation''  of discrete-time signals,
*the ''sampling theorem'', which must be strictly observed in time discretization,
*the ''reconstruction of the analog signal''  from the time-discrete representation,
*the ''Discrete Fourier Transform''  (DFT) and its inverse (IDFT),
*the ''possibilities of error''  when applying DFT and IDFT,
*the application of ''spectral analysis''  to the improvement of metrological procedures, and.
*the ''FFT algorithm'' particularly suitable for computer implementation.

For more information on the subject, as well as tasks, simulations, and programming exercises, see

*Chapter 7:     ''Discrete Fourier Transform'', program dft,
*Chapter 8:     ''Spectral Analysis'', program stp, and
*Chapter 12:   ''Pulse code modulation'', program pcm

of the laboratory course &bdquo;Simulation Methods in Communications Engineering”. This (former) LNT course at the TU Munich is based on
*the teaching software package  [http://en.lntwww.de/downloads/Sonstiges/Programme/LNTsim.zip LNTsim]   ⇒   link refers to the ZIP version of the program,
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_A.pdf Lab Instruction - Part A]   ⇒   link refers to the PDF version; Chapter 7: page 119-144, Chapter 8: page 145-164, and
*the   [http://en.lntwww.de/downloads/Sonstiges/Texte/Praktikum_LNTsim_Teil_B.pdf Lab Instruction - Part B]   ⇒   link refers to the PDF version; Chapter 12: page 271-294.

==Principle and Motivation==
 
Many message signals are analog and thus simultaneously  [[Signal_Representation/Signal_classification#Zeitkontinuierliche_und_zeitdiskrete_Signale|time-continuous]]  and  [[Signal_Representation/Signal_classification#Wertkontinuierliche_und_wertdiskrete_Signale|continuous in value]]. If such an analog signal is to be transmitted by means of a digital system, the following preprocessing steps are required:
*the  '''sampling'''  of the message signal  $x(t)$, which is expediently - but not necessarily - performed at equidistant times   ⇒   '''time discretization''',
*the  '''quantization'''  of the samples, so as to limit the number  $M$  of possible values to a finite value   ⇒   '''value discretization'''.

Quantization is not discussed in detail until the chapter  [[Modulation_Methods/Pulscodemodulation|Pulse Code Modulation]] of the book "Modulation Methods".

[[File:P_ID1120__Sig_T_5_1_S1_neu.png|center|frame|On Time Discretization of the Time-Continuous Signal   $x(t)$]]

In the following, we use the following nomenclature to describe the sampling:
*let the continuous-time signal be  $x(t)$.
*Let the time-discretized signal sampled at equidistant intervals  $T_{\rm A}$  be  $x_{\rm A}(t)$.
*outside the sampling time points  $\nu \cdot T_{\rm A}$  always holds  $x_{\rm A}(t) = 0$.
*The iterating variable  $\nu$  be  [[Signal_Representation/Calculating_With_Complex_Numbers#Reelle_Zahlenmengen|an integer]]:     $\nu \in \mathbb{Z} = \{\hspace{0.05cm} \text{...}\hspace{0.05cm} , –3, –2, –1, \hspace{0.2cm}0, +1, +2, +3, \text{...} \hspace{0.05cm}\} $.
*In contrast, at the equidistant sampling times with the constant  $K$, the result is:

:$$x_{\rm A}(\nu \cdot T_{\rm A}) = K \cdot x(\nu \cdot T_{\rm A})\hspace{0.05cm}.$$

The constant depends on the type of time discretization. For the above sketch  $K = 1$ holds.

==Time Domain Representation==
 
{{BlaueBox|TEXT=
$\text{Definition:}$  Throughout $\rm LNTwww$, the   '''sampling''''  shall be understood as the multiplication of the time-continuous signal  $x(t)$  by the  ''Dirac pulse'''  $p_{\delta}(t)$:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.05cm}.$$}}

AIt should be noted that other forms of description are found in the literature. However, to the authors, the form chosen here appears to be the most appropriate in terms of spectral representation and derivation of the  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Discrete Fourier Transform]]  (DFT).

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Dirac comb (in the time domain)'''  consists of infinitely many Dirac pulses, each equally spaced  $T_{\rm A}$  and all with equal pulse weight  $T_{\rm A}$:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$}}

Based on this definition, the sampled signal has the following properties:
*The sampled signal at the considered time  $(\nu \cdot T_{\rm A})$  is equal  $T_{\rm A} \cdot x(\nu \cdot T_{\rm A}) - \delta (0)$.
*Since the Dirac function  $\delta (t)$  is infinite at time  $t = 0$  actually all signal values  $x_{\rm A}(\nu \cdot T_{\rm A})$  are also infinite.
*Thus, the factor  $K$  introduced on the last page is actually infinite as well.
*Two samples  $x_{\rm A}(\nu_1 \cdot T_{\rm A})$  and  $x_{\rm A}(\nu_2 \cdot T_{\rm A})$  however, differ in the same proportion as the signal values  $x(\nu_1 \cdot T_{\rm A})$  and  $x(\nu_2 \cdot T_{\rm A})$.
*The samples of  $x(t)$  appear in the momentum weights of the Dirac functions:

:$$x_{\rm A}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot x(\nu \cdot T_{\rm A})\cdot
\delta (t- \nu \cdot T_{\rm A}
)\hspace{0.05cm}.$$

*The additional multiplication by  $T_{\rm A}$  is necessary so that  $x(t)$  and  $x_{\rm A}(t)$  have the same unit. Note here that  $\delta (t)$  itself has the unit "1/s".

The following pages will show that these equations, which take some getting used to, do lead to reasonable results, if they are applied consistently.

==Dirac Comb in Time and Frequency Domain==
 
{{BlaueBox|TEXT=
$\text{Theorem:}$  Developing the  '''Dirac comb''''  into a  [[Signal_Representation/Fourier_Series|Fourier Series]]  and transforming it into the frequency domain using the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|Shift Theorem]]  gives the following correspondence:

:$$p_{\delta}(t) = \sum_{\nu = - \infty }^{+\infty} T_{\rm A} \cdot
\delta(t- \nu \cdot T_{\rm A}
)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm} P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A} ).$$

Here  $f_{\rm A} = 1/T_{\rm A}$  gives the distance between two adjacent dirac lines in the frequency domain. }}

{{BlaueBox|TEXT=
$\text{Proof:}$  The derivation of the spectral function given here  $P_{\delta}(f)$  is done in several steps:

'''(1)'''   Since  $p_{\delta}(t)$  is periodic with the constant distance  $T_{\rm A}$  between two dirac lines, the  [[[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|complex Fourier Series]]  can be applied:

:$$p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} D_{\mu} \cdot
{\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }
\hspace{0.3cm}{\rm mit}\hspace{0.3cm}
D_{\mu} = \frac{1}{T_{\rm A} } \cdot \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}p_{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$

'''(2)'''   In the range from  $-T_{\rm A}/2$  to  $+T_{\rm A}/2$  holds for the Dirac comb in the time domain:   $p_{\delta}(t) = T_{\rm A} \cdot \delta(t)$. Thus one can write for the complex Fourier coefficients:  
:$$D_{\mu} = \int_{-T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \cdot {\rm e}^{- {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}
\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.1cm} {\rm d}t\hspace{0.05cm}.$$
'''(3)'''   Considering that for  $t \neq 0$  the Dirac momentum is zero and for  $t = 0$  the complex angular factor is equal to  $1$, it holds further:
:$$D_{\mu} = \int_{- T_{\rm A}/2
}^{+T_{\rm A}/2}{\delta}(t) \hspace{0.1cm} {\rm d}t = 1\hspace{0.5cm}{\Rightarrow}\hspace{0.5cm}
p_{\delta}(t) = \sum_{\mu = - \infty }^{+\infty} {\rm e}^{ {\rm j} \hspace{0.05cm}
\cdot 2 \hspace{0.05cm} \pi \cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}t/T_{\rm A} }\hspace{0.05cm}.
$$
'''(4)'''   The   [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem in the frequency domain]]  is   $f_{\rm A} = 1/T_{\rm A}$:
:$${\rm e}^{ {\rm j} \hspace{0.05cm}
\hspace{0.05cm} \cdot 2 \hspace{0.05cm} \pi \hspace{0.05cm}\cdot \hspace{0.05cm}\mu \hspace{0.05cm}\cdot \hspace{0.05cm}
f_{\rm A}\hspace{0.05cm}\cdot \hspace{0.05cm}t}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
\delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
'''(5)'''   If you apply the result to each individual summand, you finally get:

:$$P_{\delta}(f) = \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$
<div align="right">q.e.d.</div>}}

The result states:
*The Dirac comb  $p_{\delta}(t)$  in the time domain consists of infinitely many Dirac impulses, each at the same distance  $T_{\rm A}$  and all with the same pulse weight  $T_{\rm A}$.
*The Fourier transform of  $p_{\delta}(t)$  again gives a Dirac comb, but now in the frequency range   ⇒   $P_{\delta}(f)$.
*$P_{\delta}(f)$  also consists of infinitely many Dirac pulses, but now in the respective distance  $f_{\rm A} = 1/T_{\rm A}$  and all with momentum weight  $1$.
*The distances of the diraclines in the time and frequency domain representation thus follow the  [[Signal_Representation/Fourier_Transform_Laws#Reziprozit.C3.A4tsgesetz_von_Zeitdauer_und_Bandbreite|reciprocity theorem]]:  
:$$T_{\rm A} \cdot f_{\rm A} = 1 \hspace{0.05cm}.$$

[[File:EN_Sig_T_5_1_S3.png|right|frame|Dirac Comb in the Time- and Frequency Domain]]
{{GraueBox|TEXT=
$\text{Example 1:}$  The graph illustrates the above statements for
*$T_{\rm A} = 50\,{\rm µs}$,
*$f_{\rm A} = 1/T_{\rm A} = 20\,\text{kHz}$ .

One can also see from this sketch the different momentum weights of  $p_{\delta}(t)$  and  $P_{\delta}(f)$.}}

==Frequency Domain Representation==
 
The spectrum of the sampled signal  $x_{\rm A}(t)$  is obtained by applying the  [[Signal_Representation/The_Convolution_Theorem_and_Operation#Faltung_im_Frequenzbereich|convolution theorem in the frequency domain]].This states that multiplication in the time domain corresponds to convolution in the spectral domain:

:$$x_{\rm A}(t) = x(t) \cdot p_{\delta}(t)\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.2cm}
X_{\rm A}(f) = X(f) \star P_{\delta}(f)\hspace{0.05cm}.$$

From the spectrum  $X(f)$  by convolution with the diracline shifted by  $\mu \cdot f_{\rm A}$  we get:

:$$X(f) \star \delta
(f- \mu \cdot f_{\rm A}
)= X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

Applying this result to all diraclines of the Dirac pulse, we finally obtain:

:$$X_{\rm A}(f) = X(f) \star \sum_{\mu = - \infty }^{+\infty} \delta
(f- \mu \cdot f_{\rm A}
) = \sum_{\mu = - \infty }^{+\infty} X (f- \mu \cdot f_{\rm A}
)\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
The sampling of the analogue time signal  $x(t)$  at equidistant intervals  $T_{\rm A}$  leads in the spectral domain to a  '''periodic continuation'''  of  $X(f)$  with frequency spacing of   $f_{\rm A} = 1/T_{\rm A}$. }}

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The upper graph shows  (schematically!)  the spectrum  $X(f)$  of an analogue signal  $x(t)$, which includes frequencies up to  $5 \text{ kHz}$ .

[[File:P_ID1122__Sig_T_5_1_S4_neu.png|center|frame|Spectrum of the Sampled Signal]]

Sampling the signal at the sampling rate  $f_{\rm A}\,\text{ = 20 kHz}$, i.e. at the respective distance  $T_{\rm A}\, = {\rm 50 \, µs}$  we obtain the periodic spectrum  $X_{\rm A}(f)$ sketched below.
*Since the Dirac functions are infinitely narrow, the sampled signal  $x_{\rm A}(t)$  also contains arbitrary high-frequency components.
*Accordingly, the spectral function  $X_{\rm A}(f)$  of the sampled signal is extended to infinity.}

==Signal Reconstruction==
 
Signal sampling is not an end in itself in a digital transmission system; it must be reversed at some point. Consider, for example, the following system:

[[File:P_ID1123__Sig_T_5_1_S5a_neu.png|center|frame|Sampling and Reconstruction of a Signal]]

*The analogue signal  $x(t)$  with bandwidth  $B_{\rm NF}$  is sampled as described above.
*At the output of an ideal transmission system, the likewise time-discrete signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is present.
*The question now is how the block  '''signal reconstruction'''  is to be designed so that also  $y(t) = x(t)$  applies.

The solution is relatively simple if one considers the spectral functions:   One obtains from  $Y_{\rm A}(f)$  the spectrum  $Y(f) = X(f)$  by a low-pass with the  [[Linear_and_Time_Invariant_Systems/Systembeschreibung_im_Frequenzbereich#.C3.9Cbertragungsfunktion_-_Frequenzgang|Frequency Response]]  $H(f)$, which 
[[File:P_ID1124__Sig_T_5_1_S5b_neu.png|right|frame|Frequency Domain Representation of the Signal Reconstruction Process]]
*passes the low frequencies unaltered:
:$$H(f) = 1 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \le B_{\rm
NF}\hspace{0.05cm},$$
*suppresses the high frequencies completely:
:$$H(f) = 0 \hspace{0.3cm}{\rm{f\ddot{u}r}} \hspace{0.3cm} |f| \ge f_{\rm A} - B_{\rm
NF}\hspace{0.05cm}.$$

Further it can be seen from the graph that the frequency response  $H(f)$  in the range of  $B_{\rm NF}$  to  $f_{\rm A}-B_{\rm NF}$  can be arbitrarily shaped,
*for example, linearly sloping (dashed line)
*or also rectangular,

as long as both of the above conditions are met.
 
==The Sampling Theorem==
 
The complete reconstruction of the analogue signal  $y(t)$  from the sampled signal  $y_{\rm A}(t) = x_{\rm A}(t)$  is only possible if the sampling rate  $f_{\rm A}$  corresponding to the bandwidth  $B_{\rm NF}$  of the message signal has been chosen correctly.

From the graph of the  [[Signal_Representation/Time_Discrete_Signal_Representation#Signalrekonstruktion|last page]] , it can be seen that the following condition must be fulfilled:

:$$f_{\rm A} - B_{\rm NF} > B_{\rm NF} \hspace{0.3cm}\Rightarrow \hspace{0.3cm}f_{\rm A} > 2 \cdot B_{\rm NF}\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Sampling Theorem:}$  If an analogue signal  $x(t)$  has spectral components in the range  $\vert f \vert < B_{\rm NF}$, it can only be completely reconstructed from its sampled signal if the sampling rate is sufficiently large:
:$$f_{\rm A} ≥ 2 \cdot B_{\rm NF}.$$

Accordingly, the following must apply to the distance between two samples:

:$$T_{\rm A} \le \frac{1}{ 2 \cdot B_{\rm NF} }\hspace{0.05cm}.$$}}

If the largest possible value   ⇒   $T_{\rm A} = 1/(2B_{\rm NF})$  is used for sampling,
*then, in order to reconstruct the analogue signal from its sampled values,
*one must use an ideal, rectangular low-pass filter with cut-off frequency  $f_{\rm G} = f_{\rm A}/2 = 1/(2T_{\rm A})$ .

{{GraueBox|TEXT=
$\text{Example 3:}$  The graph above shows the spectrum  $\pm\text{ 5 kHz}$  of an analogue signal limited to  $X(f)$  below the spectrum  $X_{\rm A}(f)$  of the signal sampled at distance  $T_{\rm A} =\,\text{ 100 µs}$  ⇒   $f_{\rm A}=\,\text{ 10 kHz}$.
[[File:P_ID1125__Sig_T_5_1_S6_neu.png|right|frame|Sampling Theorem in the Frequency Domain]]
 Additionally drawn is the frequency response  $H(f)$  of the low-pass filter for signal reconstruction, whose cut-off frequency must be   $f_{\rm G} = f_{\rm A}/2 = 5\,\text{ kHz}$ .

*With any other  $f_{\rm G}$ value, the result would be  $Y(f) \neq X(f)$.
*For  $f_{\rm G} < 5\,\text{ kHz}$  the upper  $X(f)$ portions are missing.
* At  $f_{\rm G} > 5\,\text{ kHz}$  there are unwanted spectral components in  $Y(f)$ due to convolution operations.
 
If the sampling at the transmitter had been done with a sampling rate  $f_{\rm A} < 10\,\text{ kHz}$    ⇒   $T_{\rm A} >100 \,{\rm µ s}$, the analogue signal  $y(t) = x(t)$  would not be reconstructible from the samples  $y_{\rm A}(t)$  in any case. }}

''Note'':   There is an interactive applet on the topic covered here:   [[Applets:Abtastung_periodischer_Signale_und_Signalrekonstruktion_(Applet)|Sampling of Analogue Signals and Signal Reconstruction]]

==Exercises For the Chapter==
 
[[Aufgaben:Exercise 5.1: Sampling Theorem|Exercise 5.1: Sampling Theorem]]

[[Aufgaben:Exercise 5.1Z: Sampling of Harmonic Oscillations|Exercise 5.1Z: Sampling of Harmonic Oscillations]]

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-12-04T22:04:55Z

Oezdemir:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Information content and entropy ==
 
We now waive the previous requirement that all  $M$  possible results of an experiment are equally probable.  In order to keep the spelling as compact as possible, we define for this page only:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

We now consider the ''information content''  of the individual symbols, where we denote the "logarithm dualis" with $\log_2$:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (unit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}or\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

You can see:
*because of  $p_μ ≤ 1$  the information content is never negative.  In the borderline case  $p_μ \to 1$  goes  $I_μ \to 0$.
*However for  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  the decision content is also  $H_0 = 0$.
*For decreasing probabilities  $p_μ$  the information content increases continuously:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''The more improbable an event is, the greater is its information content'''.  This fact is also found in daily life:
*"6 right ones" in the lottery are more likely to be noticed than "3 right ones" or no win at all.
*A tsunami in Asia also dominates the news in Germany for weeks as opposed to the almost standard Deutsche Bahn delays.
*A series of defeats of Bayern Munich leads to huge headlines in contrast to a winning series.  With 1860 Munich exactly the opposite is the case.}}

However, the information content of a single symbol (or event) is not very interesting.  On the other hand
*by ensemble averaging over all possible symbols  $q_μ$  bzw. 
*by time averaging over all elements of the sequence  $\langle q_ν \rangle$

one of the central variables of information theory.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Entropy'''  $H$  of a source indicates the ''mean information content of all symbols'' :

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(unit: bit, more precisely: bit/symbol)}
\hspace{0.05cm}.$$

The overline marks again a time averaging and  $\rm E[\text{...}]$  a ensemble averaging.}}

Entropy is among other things a measure for
*the mean uncertainty about the outcome of a statistical event,
*the "randomness" of this event,  and
*the average information content of a random variable.

==Binary entropy function ==
 
At first we will restrict ourselves to the special case  $M = 2$  and consider a binary source, which returns the two symbols  $\rm A$  and  $\rm B$    The occurrence probabilities are   $p_{\rm A} = p$  and  $p_{\rm B} = 1 - p$.

For the entropy of this binary source applies:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (unit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}or\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

The function is called  $H_\text{bin}(p)$  the  '''binary entropy function'''.  The entropy of a source with a larger symbol range  $M$  can often be expressed using  $H_\text{bin}(p)$ .

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The figure shows the binary entropy function for the values  $0 ≤ p ≤ 1$  of the symbol probability of  $\rm A$  $($or also of  $\rm B)$.  You can see

[[File:Inf_T_1_1_S4_vers2.png|frame|Binary entropy function as function of  $p$|right]]
*The maximum value  $H_\text{max} = 1\; \rm bit$  results for  $p = 0.5$, thus for equally probable binary symbols.  Then   $\rm A$  and  $\rm B$  contribute the same amount to entropy.
* $H_\text{bin}(p)$  is symmetrical about  $p = 0.5$.  A source with  $p_{\rm A} = 0.1$  and  $p_{\rm B} = 0. 9$  has the same entropy  $H = 0.469 \; \rm bit$  as a source with  $p_{\rm A} = 0.9$  and  $p_{\rm B} = 0.1$.
*The difference  $ΔH = H_\text{max} - H$ gives  the  ''redundancy''  of the source and  $r = ΔH/H_\text{max}$  the  ''relative redundancy''.   In the example,  $ΔH = 0.531\; \rm bit$  and  $r = 53.1 \rm \%$.
*For  $p = 0$  this results in  $H = 0$, since the symbol sequence  $\rm B \ B \ B \text{...}$  can be predicted with certainty.   Actually, the symbol range is now only  $M = 1$.  The same applies to  $p = 1$   ⇒   symbol sequence  $\rm A \ A \ A \ text{...}$.
*$H_\text{bin}(p)$  is always a  ''concave function'', since the second derivative after the parameter  $p$  is negative for all values of  $p$ :
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Message sources with a larger symbol range==
 
In the  [[Information_Theory/Sources with Memory#Model_and_Prerequisites|first section]]  of this chapter we have a quaternary message source  $(M = 4)$  with the symbol probabilities  $p_{\rm A} = 0. 4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   and  $ p_{\rm D} = 0.1$  considered.  This source has the following entropy:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

For numerical calculation, the detour via the decimal logarithm  $\lg \ x = {\rm log}_{10} \ x$ , is often necessary. Since the ''logarithm dualis''  $ {\rm log}_2 \ x$  is mostly not found on pocket calculators.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2} + 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now there are certain symmetries between the symbol probabilities:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropy of binary source and quaternary source]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm with} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In this case, the binary entropy function can be used to calculate the entropy:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

The graphic shows as a function of  $p$
*the entropy of the quaternary source (blue)
*in comparison to the entropy course of the binary source (red).

For the quaternary source only the abscissa  $0 ≤ p ≤ 0.5$  is allowed.
 
You can see from the blue curve for the quaternary source:
*The maximum entropy  $H_\text{max} = 2 \; \rm bit/symbol$  results for  $p = 0.25$   ⇒   equally probable symbols:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*With  $p = 0$  resp.  $p = 0.5$  the quaternary source degenerates to a binary source with  $p_{\rm B} = p_{\rm C} = 0. 5$  and  $p_{\rm A} = p_{\rm D} = 0$   ⇒   entropy  $H = 1 \; \rm bit/symbol$.
*The source with  $p_{\rm A} = p_{\rm D} = 0.1$  and  $p_{\rm B} = p_{\rm C} = 0.4$  has the following characteristics (each with the pseudo unit "bit/symbol"):

:     '''(1)'''   entropy:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundancy:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative redundancy:   $r ={\rm \delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*The redundancy of the quaternary source with  $p = 0.1$  is equal to  $ΔH = 0.278 \; \rm bit/symbol$  and thus exactly the same as the redundancy of the binary source with  $p = 0.2$.}}

== Exercises for chapter==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==List of sources==
<references />

{{Display}}

Information Theory/Discrete Memoryless Sources

2020-12-04T22:04:29Z

Oezdemir:

{{FirstPage}}
{{Header
|Untermenü=Entropie wertdiskreter Nachrichtenquellen
|Vorherige Seite=
|Nächste Seite=Nachrichtenquellen mit Gedächtnis
}}

== # OVERVIEW OF THE FIRST MAIN CHAPTER # ==
 
This first chapter describes the calculation and the meaning of entropy.  According to the Shannonian information definition, entropy is a measure of the mean uncertainty about the outcome of a statistical event or the uncertainty in the measurement of a stochastic quantity.  Somewhat casually expressed, the entropy of a random quantity quantifies its "randomness".

In detail are discussed:

*the ''decision content''  and the ''entropy''  of a memoryless news source,
*the ''binary entropy function''  and its application to ''non-binary sources'',
*the entropy calculation for ''memory sources''  and suitable approximations,
*the peculiarities of ''Markov sources''  regarding the entropy calculation,
*the procedure for sources with a large number of symbols, for example ''natural texts'',
*the ''entropy estimates''  according to Shannon and Küpfmüller.

Further information on the topic as well as Exercises, simulations and programming exercises can be found in the experiment "Value Discrete Information Theory" of the practical course "Simulation Digitaler Übertragungssysteme" (english: Simulation of Digital Transmission Systems).  This (former) LNT course at the TU Munich is based on

*the Windows program  [http://en.lntwww.de/downloads/Sonstiges/Programme/WDIT.zip WDIT]   ⇒   the link points to the ZIP version of the program and
*the associated  [http://en.lntwww.de/downloads/Sonstiges/Texte/Wertdiskrete_Informationstheorie.pdf Internship guide]   ⇒   the link refers to the PDF version.

== Model and requirements ==
 
We consider a value discrete message source  $\rm Q$, which gives a sequence  $ \langle q_ν \rangle$  of symbols.
*For the run variable  $ν = 1$, ... , $N$, where  $N$  should be "sufficiently large".
*Each individual source symbol  $q_ν$  comes from a symbol set  $\{q_μ \}$  where  $μ = 1$, ... , $M$, where  $M$  denotes the symbol range:

:$$q_{\nu} \in \left \{ q_{\mu} \right \}, \hspace{0.25cm}{\rm with}\hspace{0.25cm} \nu = 1, \hspace{0.05cm} \text{ ...}\hspace{0.05cm} , N\hspace{0.25cm}{\rm and}\hspace{0.25cm}\mu = 1,\hspace{0.05cm} \text{ ...}\hspace{0.05cm} , M \hspace{0.05cm}.$$

The figure shows a quaternary message source  $(M = 4)$  with the alphabet  $\rm \{A, \ B, \ C, \ D\}$  and an exemplary sequence of length  $N = 100$.

[[File:P_ID2227_Inf_T_1_1_S1a_neu.png|frame|Memoryless Quaternary Message Source]]

The following requirements apply:
*The quaternary news source is fully described by  $M = 4$  symbol probabilities  $p_μ$.  In general it applies:
:$$\sum_{\mu = 1}^M \hspace{0.1cm}p_{\mu} = 1 \hspace{0.05cm}.$$
*The message source is memoryless, i.e., the individual sequence elements are  [[Theory_of_Stochastic_Signals/Statistical Dependence and Independence#General_definition_of_statistical_dependence|statistically independent of each other]]:
:$${\rm Pr} \left (q_{\nu} = q_{\mu} \right ) = {\rm Pr} \left (q_{\nu} = q_{\mu} \hspace{0.03cm} | \hspace{0.03cm} q_{\nu -1}, q_{\nu -2}, \hspace{0.05cm} \text{ ...}\hspace{0.05cm}\right ) \hspace{0.05cm}.$$
*Since the alphabet consists of symbols  (and not of random variables) , the specification of  [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments|expected values]]  (linear mean, quadratic mean, dispersion, etc.) is not possible here, but also not necessary from an information-theoretical point of view.

These properties will now be illustrated with an example.

[[File:Inf_T_1_1_S1b_vers2.png|right|frame|Relative frequencies as a function of  $N$]]
{{GraueBox|TEXT=
$\text{Example 1:}$ 
For the symbol probabilities of a quaternary source applies:
:$$p_{\rm A} = 0.4 \hspace{0.05cm},\hspace{0.2cm}p_{\rm B} = 0.3 \hspace{0.05cm},\hspace{0.2cm}p_{\rm C} = 0.2 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D} = 0.1\hspace{0.05cm}.$$
For an infinitely long sequence  $(N \to \infty)$
*the  [[Theory_of_Stochastic_Signals/From_Random_Experiment_to_Random_Variable#Bernoulli's_Law_of_Large_Numbers|relative frequencies]]  $h_{\rm A}$,  $h_{\rm B}$,  $h_{\rm C}$,  $h_{\rm D}$   ⇒   a-posteriori parameters
*were identical to the  [[Theory_of_Stochastic_Signals/Some_Basic_Definitions#Event_and_Event_set|probabilities]]  $p_{\rm A}$,  $p_{\rm B}$,  $p_{\rm C}$,  $p_{\rm D}$   ⇒   a-priori parameters.

With smaller  $N$  deviations may occur, as the adjacent table (result of a simulation) shows.

*In the graphic above an exemplary sequence is shown with  $N = 100$  symbols.
*Due to the set elements  $\rm A$,  $\rm B$,  $\rm C$  and  $\rm D$  no mean values can be given.

However, if you replace the symbols with numerical values, for example  $\rm A \Rightarrow 1$,   $\rm B \Rightarrow 2$,   $\rm C \Rightarrow 3$,   $\rm D \Rightarrow 4$, then you will get     time averaging   ⇒   crossing line     or     ensemble averaging   ⇒   expected value formation
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Linear_Average_-_Direct_Component|linear average]] :
:$$m_1 = \overline { q_{\nu} } = {\rm E} \big [ q_{\mu} \big ] = 0.4 \cdot 1 + 0.3 \cdot 2 + 0.2 \cdot 3 + 0.1 \cdot 4
= 2 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Moments of a Discrete Random Variable#Square_mean_.E2.80.93_Variance_.E2.80.93_Scattering |square mean]]:
:$$m_2 = \overline { q_{\nu}^{\hspace{0.05cm}2} } = {\rm E} \big [ q_{\mu}^{\hspace{0.05cm}2} \big ] = 0.4 \cdot 1^2 + 0.3 \cdot 2^2 + 0.2 \cdot 3^2 + 0.1 \cdot 4^2
= 5 \hspace{0.05cm},$$
*for the [[Theory_of_Stochastic_Signals/Expected_Values_and_Moments#Some_often_used_Central_Moments|standard deviation]] (scattering) according to the "Theorem of Steiner":
:$$\sigma = \sqrt {m_2 - m_1^2} = \sqrt {5 - 2^2} = 1 \hspace{0.05cm}.$$}}

==Decision content - Message content==
 
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  defined in 1948 in the standard work of information theory  [Sha48]<ref name='Sha48'>Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), pp. 379-423 and pp. 623-656.</ref>  the concept of information as "decrease of uncertainty about the occurrence of a statistical event".

Let us make a mental experiment with  $M$  possible results, which are all equally probable:   $p_1 = p_2 = \hspace{0.05cm} \text{ ...}\hspace{0.05cm} = p_M = 1/M \hspace{0.05cm}.$

Under this assumption applies:
*Is  $M = 1$, then each individual attempt will yield the same result and therefore there is no uncertainty about the output.
*On the other hand, an observer learns about an experiment with  $M = 2$, for example the "coin toss" with the set of events  $\big \{\rm \boldsymbol{\rm Z}, \rm \boldsymbol{\rm W} \big \}$  and the probabilities  $p_{\rm Z} = p_{\rm W} = 0. 5$, a gain in information; The uncertainty regarding  $\rm Z$  resp.  $\rm W$  is resolved.
*In the experiment "dice"  $(M = 6)$  and even more in roulette  $(M = 37)$  the gained information is even more significant for the observer than in the "coin toss" when he learns which number was thrown or which ball fell.
*Finally it should be considered that the experiment  "triple coin toss"  with the  $M = 8$  possible results  $\rm ZZZ$,  $\rm ZZW$,  $\rm ZWZ$,  $\rm ZWW$,  $\rm WZZ$,  $\rm WZW$,  $\rm WWZ$,  $\rm WWW$  provides three times the information as the single coin toss  $(M = 2)$.

The following definition fulfills all the requirements listed here for a quantitative information measure for equally probable events, indicated only by the symbol range  $M$.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''decision content'''   of a message source depends only on the symbol range  $M$  and results in

:$$H_0 = {\rm log}\hspace{0.1cm}M = {\rm log}_2\hspace{0.1cm}M \hspace{0.15cm} {\rm (in \ “bit")}
= {\rm ln}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “nat")}
= {\rm lg}\hspace{0.1cm}M \hspace{0.15cm}\text {(in “Hartley")}\hspace{0.05cm}.$$

*The term  ''message content'' is also commonly used for this.
*Since  $H_0$  indicates the maximum value of the  [[Information_Theory/Sources with Memory#Information_Content_and_Entropy|Entropy]]  $H$ , $H_\text{max}$  is also used in our tutorial as short notation . }}

Please note our nomenclature:
*The logarithm will be called "log" in the following, independent of the base.
*The relations mentioned above are fulfilled due to the following properties:

:$${\rm log}\hspace{0.1cm}1 = 0 \hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}37 > {\rm log}\hspace{0.1cm}6 > {\rm log}\hspace{0.1cm}2\hspace{0.05cm},\hspace{0.2cm}
{\rm log}\hspace{0.1cm}M^k = k \cdot {\rm log}\hspace{0.1cm}M \hspace{0.05cm}.$$

* Usually we use the logarithm to the base  $2$   ⇒   ''Logarithm dualis''  $\rm (ld)$, where the pseudo unit "bit", more precisely:  "bit/symbol", is then added:

:$${\rm ld}\hspace{0.1cm}M = {\rm log_2}\hspace{0.1cm}M = \frac{{\rm lg}\hspace{0.1cm}M}{{\rm lg}\hspace{0.1cm}2}
= \frac{{\rm ln}\hspace{0.1cm}M}{{\rm ln}\hspace{0.1cm}2}
\hspace{0.05cm}.$$

*In addition, you can find in the literature some additional definitions, which are based on the natural logarithm  $\rm (ln)$  or the logarithm  $\rm (lg)$ .

==Information content and entropy ==
 
We now waive the previous requirement that all  $M$  possible results of an experiment are equally probable.  In order to keep the spelling as compact as possible, we define for this page only:

:$$p_1 > p_2 > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_\mu > \hspace{0.05cm} \text{ ...}\hspace{0.05cm} > p_{M-1} > p_M\hspace{0.05cm},\hspace{0.4cm}\sum_{\mu = 1}^M p_{\mu} = 1 \hspace{0.05cm}.$$

We now consider the ''information content''  of the individual symbols, where we denote the "logarithm dualis" with $\log_2$:

:$$I_\mu = {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}= -\hspace{0.05cm}{\rm log_2}\hspace{0.1cm}{p_\mu}
\hspace{0.5cm}{\rm (unit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}or\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

You can see:
*because of  $p_μ ≤ 1$  the information content is never negative.  In the borderline case  $p_μ \to 1$  goes  $I_μ \to 0$.
*However for  $I_μ = 0$   ⇒   $p_μ = 1$   ⇒   $M = 1$  the decision content is also  $H_0 = 0$.
*For decreasing probabilities  $p_μ$  the information content increases continuously:

:$$I_1 < I_2 < \hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_\mu <\hspace{0.05cm} \text{ ...}\hspace{0.05cm} < I_{M-1} < I_M \hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Conclusion:}$  '''The more improbable an event is, the greater is its information content'''.  This fact is also found in daily life:
*"6 right ones" in the lottery are more likely to be noticed than "3 right ones" or no win at all.
*A tsunami in Asia also dominates the news in Germany for weeks as opposed to the almost standard Deutsche Bahn delays.
*A series of defeats of Bayern Munich leads to huge headlines in contrast to a winning series.  With 1860 Munich exactly the opposite is the case.}}

However, the information content of a single symbol (or event) is not very interesting.  On the other hand
*by ensemble averaging over all possible symbols  $q_μ$  bzw. 
*by time averaging over all elements of the sequence  $\langle q_ν \rangle$

one of the central variables of information theory.

{{BlaueBox|TEXT=
$\text{Definition:}$  The  '''Entropy'''  $H$  of a source indicates the ''mean information content of all symbols'' :

:$$H = \overline{I_\nu} = {\rm E}\hspace{0.01cm}[I_\mu] = \sum_{\mu = 1}^M p_{\mu} \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{p_\mu}=
-\sum_{\mu = 1}^M p_{\mu} \cdot{\rm log_2}\hspace{0.1cm}{p_\mu} \hspace{0.5cm}\text{(unit: bit, more precisely: bit/symbol)}
\hspace{0.05cm}.$$

The overline marks again a time averaging and  $\rm E[\text{...}]$  a ensemble averaging.}}

Entropy is among other things a measure for
*the mean uncertainty about the outcome of a statistical event,
*the "randomness" of this event,  and
*the average information content of a random variable.

==Binary entropy function ==
 
At first we will restrict ourselves to the special case  $M = 2$  and consider a binary source, which returns the two symbols  $\rm A$  and  $\rm B$    The occurrence probabilities are   $p_{\rm A} = p$  and  $p_{\rm B} = 1 - p$.

For the entropy of this binary source applies:

:$$H_{\rm bin} (p) = p \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm log_2}\hspace{0.1cm}\frac{1}{1-p} \hspace{0.5cm}{\rm (Einheit\hspace{-0.15cm}: \hspace{0.15cm}bit\hspace{0.15cm}oder\hspace{0.15cm}bit/Symbol)}
\hspace{0.05cm}.$$

The function is called  $H_\text{bin}(p)$  the  '''binary entropy function'''.  The entropy of a source with a larger symbol range  $M$  can often be expressed using  $H_\text{bin}(p)$ .

{{GraueBox|TEXT=
$\text{Example 2:}$ 
The figure shows the binary entropy function for the values  $0 ≤ p ≤ 1$  of the symbol probability of  $\rm A$  $($or also of  $\rm B)$.  You can see

[[File:Inf_T_1_1_S4_vers2.png|frame|Binary entropy function as function of  $p$|right]]
*The maximum value  $H_\text{max} = 1\; \rm bit$  results for  $p = 0.5$, thus for equally probable binary symbols.  Then   $\rm A$  and  $\rm B$  contribute the same amount to entropy.
* $H_\text{bin}(p)$  is symmetrical about  $p = 0.5$.  A source with  $p_{\rm A} = 0.1$  and  $p_{\rm B} = 0. 9$  has the same entropy  $H = 0.469 \; \rm bit$  as a source with  $p_{\rm A} = 0.9$  and  $p_{\rm B} = 0.1$.
*The difference  $ΔH = H_\text{max} - H$ gives  the  ''redundancy''  of the source and  $r = ΔH/H_\text{max}$  the  ''relative redundancy''.   In the example,  $ΔH = 0.531\; \rm bit$  and  $r = 53.1 \rm \%$.
*For  $p = 0$  this results in  $H = 0$, since the symbol sequence  $\rm B \ B \ B \text{...}$  can be predicted with certainty.   Actually, the symbol range is now only  $M = 1$.  The same applies to  $p = 1$   ⇒   symbol sequence  $\rm A \ A \ A \ text{...}$.
*$H_\text{bin}(p)$  is always a  ''concave function'', since the second derivative after the parameter  $p$  is negative for all values of  $p$ :
:$$\frac{ {\rm d}^2H_{\rm bin} (p)}{ {\rm d}\,p^2} = \frac{- 1}{ {\rm ln}(2) \cdot p \cdot (1-p)}< 0
\hspace{0.05cm}.$$}}

==Message sources with a larger symbol range==
 
In the  [[Information_Theory/Sources with Memory#Model_and_Prerequisites|first section]]  of this chapter we have a quaternary message source  $(M = 4)$  with the symbol probabilities  $p_{\rm A} = 0. 4$,   $p_{\rm B} = 0.3$,   $p_{\rm C} = 0.2$   and  $ p_{\rm D} = 0.1$  considered.  This source has the following entropy:

:$$H_{\rm quat} = 0.4 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.2}+ 0.1 \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.1}.$$

For numerical calculation, the detour via the decimal logarithm  $\lg \ x = {\rm log}_{10} \ x$ , is often necessary. Since the ''logarithm dualis''  $ {\rm log}_2 \ x$  is mostly not found on pocket calculators.

:$$H_{\rm quat}=\frac{1}{{\rm lg}\hspace{0.1cm}2} \cdot \left [ 0.4 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.4} + 0.3 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0. 3} + 0.2 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.2} + 0.1 \cdot {\rm lg}\hspace{0.1cm}\frac{1}{0.1} \right ] = 1.845\,{\rm bit}
\hspace{0.05cm}.$$

{{GraueBox|TEXT=
$\text{Example 3:}$ 
Now there are certain symmetries between the symbol probabilities:
[[File:Inf_T_1_1_S5_vers2.png|frame|Entropy of binary source and quaternary source]]

:$$p_{\rm A} = p_{\rm D} = p \hspace{0.05cm},\hspace{0.4cm}p_{\rm B} = p_{\rm C} = 0.5 - p \hspace{0.05cm},\hspace{0.3cm}{\rm with} \hspace{0.15cm}0 \le p \le 0.5 \hspace{0.05cm}.$$

In this case, the binary entropy function can be used to calculate the entropy:

:$$H_{\rm quat} = 2 \cdot p \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm} } + 2 \cdot (0.5-p) \cdot {\rm log}_2\hspace{0.1cm}\frac{1}{0.5-p}$$
$$\Rightarrow \hspace{0.3cm} H_{\rm quat} = 1 + H_{\rm bin}(2p) \hspace{0.05cm}.$$

The graphic shows as a function of  $p$
*the entropy of the quaternary source (blue)
*in comparison to the entropy course of the binary source (red).

For the quaternary source only the abscissa  $0 ≤ p ≤ 0.5$  is allowed.
 
You can see from the blue curve for the quaternary source:
*The maximum entropy  $H_\text{max} = 2 \; \rm bit/symbol$  results for  $p = 0.25$   ⇒   equally probable symbols:   $p_{\rm A} = p_{\rm B} = p_{\rm C} = p_{\rm A} = 0.25$.
*With  $p = 0$  resp.  $p = 0.5$  the quaternary source degenerates to a binary source with  $p_{\rm B} = p_{\rm C} = 0. 5$  and  $p_{\rm A} = p_{\rm D} = 0$   ⇒   entropy  $H = 1 \; \rm bit/symbol$.
*The source with  $p_{\rm A} = p_{\rm D} = 0.1$  and  $p_{\rm B} = p_{\rm C} = 0.4$  has the following characteristics (each with the pseudo unit "bit/symbol"):

:     '''(1)'''   entropy:   $H = 1 + H_{\rm bin} (2p) =1 + H_{\rm bin} (0.2) = 1.722,$

:     '''(2)'''   Redundancy:   ${\rm \Delta }H = {\rm log_2}\hspace{0.1cm} M - H =2- 1.722= 0.278,$

:     '''(3)'''   relative redundancy:   $r ={\rm \delta }H/({\rm log_2}\hspace{0.1cm} M) = 0.139\hspace{0.05cm}.$

*The redundancy of the quaternary source with  $p = 0.1$  is equal to  $ΔH = 0.278 \; \rm bit/symbol$  and thus exactly the same as the redundancy of the binary source with  $p = 0.2$.}}

== Exercises for chapter==
 
[[Aufgaben:1.1 Wetterentropie|Aufgabe 1.1: Wetterentropie]]

[[Aufgaben:1.1Z Binäre Entropiefunktion|Aufgabe 1.1Z: Binäre Entropiefunktion]]

[[Aufgaben:1.2 Entropie von Ternärquellen|Aufgabe 1.2: Entropie von Ternärquellen]]

==List of sources==
<references />

{{Display}}

Signal Representation/Fast Fourier Transform (FFT)

2020-11-29T21:02:02Z

Oezdemir:

{{LastPage}}
{{Header
|Untermenü=Zeit- und frequenzdiskrete Signaldarstellung
|Vorherige Seite=Spektralanalyse
|Nächste Seite=
}}

==Rechenaufwand von DFT bzw. IDFT==
 
Ein Nachteil der direkten Berechnung der (im Allgemeinen komplexen) DFT–Zahlenfolgen

:$$\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d(\nu)\hspace{0.1cm} \rangle$$

gemäß den in Kapitel  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Diskrete Fouriertransformation (DFT)]]  angegebenen Gleichungen ist der große Rechenaufwand. Wir betrachten als Beispiel die DFT, also die Berechnung der  $D(\mu)$  aus den  $d(\nu)$:

:$$N \cdot D(\mu) = \sum_{\nu = 0 }^{N-1}
d(\nu) \cdot {w}^{\hspace{0.03cm}\nu \hspace{0.03cm} \cdot \hspace{0.05cm}\mu}
=
d(0) \cdot w^{\hspace{0.03cm}0} + d(1) \cdot w^{\hspace{0.03cm}\mu}+ d(2) \cdot w^{\hspace{0.03cm}2\mu}+\hspace{0.05cm}\text{ ...} \hspace{0.05cm}+ d(N-1) \cdot w^{\hspace{0.03cm}(N-1)\cdot \mu}$$

Der hierfür erforderliche Rechenaufwand soll abgeschätzt werden, wobei wir davon ausgehen, dass die Potenzen des komplexen Drehfaktors  $w = {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi/N}$  bereits in Real– und Imaginärteilform in einer Lookup–Tabelle vorliegen. Zur Berechnung eines einzelnen Koeffizienten benötigt man dann  $N-1$  komplexe Multiplikationen und ebenso viele komplexe Additionen, wobei zu beachten ist:
*Jede komplexe Addition erfordert zwei reelle Additionen:
:$$(R_1 + {\rm j} \cdot I_1) + (R_2 + {\rm j} \cdot I_2) = (R_1 +
R_2) + {\rm j} \cdot (I_1 + I_2)\hspace{0.05cm}.$$
*Jede komplexe Multiplikation erfordert vier reelle Multiplikationen und zwei reelle Additionen (eine Subtraktion wird wie eine Addition behandelt):
:$$(R_1 + {\rm j} \cdot I_1) (R_2 + {\rm j} \cdot I_2) = (R_1 \cdot
R_2 - I_1 \cdot I_2) + {\rm j} \cdot (R_1 \cdot I_2 + R_2 \cdot
I_1)\hspace{0.05cm}.$$
*Somit sind zur Berechnung aller  $N$  Koeffizienten insgesamt die folgende Anzahl  $M$  reeller Multiplikationen und die Anzahl  $A$  reeller Additionen erforderlich:
:$$M = 4 \cdot N \cdot (N-1),$$
:$$A = 2 \cdot N \cdot
(N-1)+2 \cdot N \cdot (N-1)=M \hspace{0.05cm}.$$
*In heutigen Rechnern benötigen Multiplikationen und Additionen/Subtraktionen etwa die gleiche Rechenzeit. Es genügt, die Gesamtzahl  $\mathcal{O} = M + A$  aller Operationen zu betrachten:
:$$\mathcal{O} = 8 \cdot N \cdot (N-1) \approx 8 \cdot N^2\hspace{0.05cm}.$$

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Man benötigt bereits für eine  ''Diskrete Fouriertransformation''  (DFT) mit  $N = 1000$  knapp acht Millionen Rechenoperationen. Gleiches gilt für eine IDFT.
*Mit  $N =16 $  sind immerhin noch  $1920$  Rechenoperationen erforderlich.}}

Ist der Parameter  $N$  eine Potenz zur Basis  $2$, so können rechenzeitgünstigere Algorithmen angewendet werden. Die Vielzahl solcher aus der Literatur bekannten Verfahren werden unter dem Sammelbegriff  '''Fast–Fouriertransformation'''  – abgekürzt  '''FFT'''  – zusammengefasst. Alle diese Methoden basieren auf dem Überlagerungssatz der DFT.

==Überlagerungssatz der DFT==
 
Die Grafik verdeutlicht den so genannten Überlagerungssatz der DFT am Beispiel  $N = 16$. Dargestellt ist hier der Übergang vom Zeit– in den Spektralbereich, also die Berechnung der Spektralbereichskoeffizienten aus den Zeitbereichskoeffizienten:   $\langle \hspace{0.1cm}D(\mu)\hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} d(\nu) \hspace{0.1cm}\rangle.$

[[File:EN_Sig_T_5_5_S2.png|center|frame|Überlagerungssatz der DFT]]

Der dadurch beschriebene Algorithmus ist durch folgende Schritte gekennzeichnet:
*Die Folge  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle$  der Länge  $N$  wird in zwei Teilfolgen  $\langle \hspace{0.1cm}d_1(\nu)\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm} d_2(\nu)\hspace{0.1cm}\rangle$  jeweils halber Länge separiert (in der Garafik gelb bzw. grün hinterlegt). Mit  $0 \le \nu \lt N/2$  erhält man so die Folgenelemente
:$$d_1(\nu) = d(2\nu), $$
:$$d_2(\nu) = d(2\nu+1)
\hspace{0.05cm}.$$
*Die Ausgangsfolgen  $\langle \hspace{0.1cm}D_1(\mu )\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm}D_2(\mu )\hspace{0.1cm}\rangle$  der beiden Teilblöcke ergeben sich daraus jeweils durch eine eigene DFT, aber nun nur noch mit halber Länge  $N/2 = 8$:
:$$\langle \hspace{0.1cm}D_1(\mu) \hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N/2)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d_1(\nu) \hspace{0.1cm}\rangle , $$
:$$ \langle \hspace{0.1cm}D_2(\mu)\hspace{0.1cm} \rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N/2)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm}d_2(\nu) \hspace{0.1cm}\rangle \hspace{0.05cm}.$$
*Die Ausgangswerte  $\langle \hspace{0.1cm} D_2(\mu )\hspace{0.1cm}\rangle$  der unteren (grünen) DFT $($mit  $0 \le \mu \lt N/2)$  werden danach im rot umrandeten Block durch komplexe Drehfaktoren hinsichtlich der Phasenlage verändert:
:$$D_2(\mu) \hspace{0.3cm} \Rightarrow \hspace{0.3cm}D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}, \hspace{0.2cm}{\rm wobei}\hspace{0.1cm}w =
{\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi/N} \hspace{0.05cm}.$$
*Jeder einzelne  '''Butterfly'''  im blau umrandeten Block (in der Grafikmitte) liefert durch Addition bzw. Subtraktion zwei Elemente der gesuchten Ausgangsfolge. Mit  $0 \le \mu \lt N/2$  gilt dabei:
:$$D(\mu) = {1}/{2}\cdot \big[D_1(\mu) + D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}\big],$$
:$$D(\mu +{N}/{2}) = {1}/{2}\cdot \big[D_1(\mu) - D_2(\mu) \cdot w^{\hspace{0.04cm}\mu}\big]\hspace{0.05cm}.$$

Durch  '''diese erste Anwendung des Überlagerungssatzes halbiert sich somit in etwa der Rechenaufwand'''.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die DFT–Koeffizienten  $d(\nu)$  zur Beschreibung des Zeitverlaufs seien entsprechend der  '''Zeile 2'''  der folgenden Tabelle „dreieckförmig” belegt. Beachten Sie hierbei die periodische Fortsetzung der DFT, so dass der lineare Anstieg für  $t \lt 0$  durch die Koeffizienten  $d(8), \hspace{0.05cm}\text{ ...} \hspace{0.05cm}, d(15)$  ausgedrückt wird.

Durch Anwendung des DFT–Algorithmus mit  $N = 16$  erhält man die in der  '''Zeile 3'''  angegebenen Spektralkoeffizienten  $D(\mu )$, die bei Vernachlässigung des Aliasingfehlers gleich  $D(\mu ) = 4 \cdot \text{si}^2(\pi \cdot \mu/2)$  wären. Man erkennt, dass sich der Aliasingfehler nur auf die ungeradzahligen Koeffizienten auswirkt (schraffierte Felder). Beispielsweise müsste  $D(1) = 16/ \pi^2 \approx 1.621\neq 1.642$  sein.

[[File:Sig_T_5_5_S2b_Version2.png|center|frame|Ergebnistabelle zum  $\text{Beispiel 1}$  zum Überlagerungssatz der DFT]]

Spaltet man die Gesamtfolge  $\langle \hspace{0.1cm}d(\nu)\hspace{0.1cm}\rangle$  in zwei Teilfolgen  $\langle \hspace{0.1cm}{d_1}'(\nu)\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm} {d_2}'(\nu)\hspace{0.1cm}\rangle$  auf, und zwar derart, dass die erste (gelb hinterlegte) Teilfolge nur geradzahlige Koeffizienten  $(\nu = 0, 2, \hspace{0.03cm}\text{ ...} \hspace{0.1cm}, N–2)$  und die zweite (grün hinterlegt) nur ungeradzahlige Koeffizienten  $(\nu = 1, 3, \hspace{0.03cm}\text{ ...} \hspace{0.1cm} , N–1)$  beinhalten und alle anderen zu Null gesetzt sind, so erhält man die zugehörigen Folgen im Spektralbereich:

:$$ \langle \hspace{0.1cm}{D_1}'(\mu)\hspace{0.1cm} \rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle \hspace{0.1cm} {d_1}'(\nu) \hspace{0.1cm}\rangle , $$
:$$ \langle \hspace{0.1cm}{D_2}'(\mu) \hspace{0.1cm}\rangle \hspace{0.2cm}\bullet\!\!-\!\!\!-(N)\!-\!\!\!-\!\!\hspace{0.05cm}\circ\, \hspace{0.2cm} \langle\hspace{0.1cm} {d_2}'(\nu) \rangle \hspace{0.1cm}\hspace{0.05cm}.$$

In den gelb bzw. grün hinterlegten Zeilen  $4\hspace{0.05cm}\text{ ...} \hspace{0.05cm}7$  erkennt man:
*Wegen  $d(\nu) = {d_1}'(\nu) + {d_2}'(\nu)$  gilt auch  $D(\mu ) = {D_1}'(\mu ) + {D_2}'(\mu )$. Dies lässt sich zum Beispiel mit dem  [[Signal_Representation/Fourier_Transform_Laws#Multiplikation_mit_Faktor_-_Additionssatz|Additionstheorem linearer Systeme]]  begründen.
*Die Periode der Folge  $\langle \hspace{0.1cm}{D_1}'(\mu )\hspace{0.1cm}\rangle$  ist aufgrund des Nullsetzens eines jeden zweiten Zeitkoeffizienten nun  $N/2$  im Gegensatz zur Periode  $N$  der Folge  $\langle \hspace{0.1cm} D(\mu )\hspace{0.1cm}\rangle$:
:$${D_1}'(\mu + {N}/{2}) ={D_1}'(\mu)\hspace{0.05cm}.$$
* $\langle \hspace{0.1cm} {D_2}'(\mu )\hspace{0.1cm}\rangle$  beinhaltet zusätzlich einen Phasenfaktor (Verschiebung um einen Abtastwert), der einen Vorzeichenwechsel zweier um  $N/2$  auseinanderliegender Koeffizienten bewirkt:
:$${D_2}'(\mu + {N}/{2}) = - {D_2}'(\mu)\hspace{0.05cm}.$$
*Die Berechnung von  $\langle \hspace{0.1cm}{D_1}'(\mu )\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm} {D_2}'(\mu )\hspace{0.1cm}\rangle$  ist aber jeweils ebenso aufwändig wie die Bestimmung von  $\langle \hspace{0.1cm}D(\mu )\hspace{0.1cm}\rangle$, da  $\langle \hspace{0.1cm}{d_1}'(\nu)\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm}{d_2}'(\nu)\hspace{0.1cm}\rangle$  ebenfalls aus  $N$  Elementen bestehen, auch wenn einige Null sind.}}

{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Zur Fortsetzung des ersten Beispiels wird nun die bisherige Tabelle um die Zeilen  $8$  bis  $12$  erweitert.

[[File:Sig_T_5_5_S2c_Version2.png|center|frame|Ergebnistabelle zum  $\text{Beispiel 2}$  zum Überlagerungssatz der DFT]]

Verzichtet man auf die Koeffizienten  ${d_1}'(\nu) = 0$  mit ungeraden sowie auf  ${d_2}'(\nu) = 0$  mit geraden Indizes, so kommt man zu den Teilfolgen  $\langle \hspace{0.1cm}d_1(\nu)\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm}d_2(\nu)\hspace{0.1cm}\rangle$  entsprechend den Zeilen  $9$  und  $11$ . Man erkennt:
*Die Zeitfolgen  $\langle \hspace{0.1cm}{d_1}(\nu )\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm}{d_2}(\nu )\hspace{0.1cm}\rangle$  weisen ebenso wie die dazugehörigen Spektralfolgen  $\langle \hspace{0.1cm}{D_1}(\mu )\hspace{0.1cm}\rangle$  und  $\langle \hspace{0.1cm}{D_2}(\mu )\hspace{0.1cm}\rangle$  nur noch die Dimension $N/2$ auf.
*Ein Vergleich der Zeilen  $5$,  $7$,  $10$  und  $12$  zeigt für  $0 \le \mu \lt N/2$  folgenden Zusammenhang:
:$${D_1}'(\mu) = {1}/{2}\cdot {D_1}(\mu)\hspace{0.05cm},$$
:$$ {D_2}'(\mu) = {1}/{2}\cdot {D_2}(\mu)\cdot w^{\hspace{0.04cm}\mu}\hspace{0.05cm}.$$
*Entsprechend ergibt sich für  $N/2 \le \mu \lt N$:
:$${D_1}'(\mu) = {1}/{2}\cdot {D_1}(\mu - {N}/{2})\hspace{0.05cm},$$
:$$ {D_2}'(\mu) = {1}/{2}\cdot {D_2}(\mu {-} {N}/{2})\cdot w^{\hspace{0.04cm}\mu}
= { - } {1}/{2}\cdot {D_2}(\mu-N/2)\cdot w^{\hspace{0.04cm}\mu {-} N/2}\hspace{0.05cm}.
$$

*Zum Beispiel erhält man mit  $N = 16$   ⇒   $w = {\rm e}^{ – {\rm j}\hspace{0.04cm} \cdot \hspace{0.04cm}\pi/8}$  für die Indizes  $\mu = 1$  bzw.  $\mu = 9$: 
:$${D_1}'(1) = {1.708}/{2} = 0.854,\hspace{0.8cm}
{D_2}'(1) ={1}/{2}\cdot (1.456 + {\rm j} 0.603) \cdot {\rm e}^{ - {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}
\pi/8} = 0.788$$
:$$\Rightarrow D(1) = {D_1}'(1)+ {D_2}'(1)= 1.642 \hspace{0.05cm}.$$
:$${D_9}'(1) = {1.708}/{2} = 0.854,\hspace{0.8cm}
{D_2}'(9) = - {1}/{2}\cdot (1.456 + {\rm j} 0.603) \cdot {\rm e}^{ - {\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}
\pi/8} = - 0.788$$
:$$\Rightarrow D(9) = {D_1}'(9)+ {D_2}'(9)= 0.066 \hspace{0.05cm}.$$}}

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Durch diese erste Anwendung des Überlagerungssatzes halbiert sich nahezu der Rechenaufwand.
*Statt  $\mathcal{O}= 1920$  benötigt man nur noch  $\mathcal{O} = 2 · 448 + 8 \cdot (4+2) + 16 \cdot 2 = 976$  reelle Operationen.
*Der erste Summand berücksichtigt die beiden DFT–Berechnungen mit  $N/2 = 8$.
*Der Rest wird für die acht komplexen Multiplikationen und die  $16$  komplexen Additionen bzw. Subtraktionen benötigt.}}

==Radix-2-Algorithmus nach Cooley und Tukey==
 
Ebenso wie andere FFT–Algorithmen baut das hier vorgestellte Verfahren  [CT65]<ref name ='CT65'>Cooley, J.W.; Tukey, J.W.: ''An Algorithm for the Machine Calculation of Complex Fourier Series''. In: Mathematics of Computation, Vol. 19, No. 90. (Apr., 1965), pp. 297-301.</ref>  von  [https://de.wikipedia.org/wiki/James_Cooley James W. Cooley]  und  [https://en.wikipedia.org/wiki/John_Tukey John W. Tukey]  auf dem Überlagerungssatz der DFT auf. Es funktioniert nur dann, wenn die Stützstellenzahl  $N$  eine Zweierpotenz ist.

Die Grafik verdeutlicht den Algorithmus für  $N = 8$, wobei wieder die Transformation vom Zeit– in den Frequenzbereich dargestellt ist.
[[File:P_ID1173__Sig_T_5_5_S3a_neu.png|right|frame|frame|Radix-2-Algorithmus (Flussdiagramm)]]

*Vor dem eigentlichen FFT-Algorithmus müssen zunächst die Eingangswerte  $d(0), \hspace{0.05cm}\text{...} \hspace{0.1cm}, d( N - 1)$  im grauen Block &bdquo;Bitumkehroperation” umsortiert werden.
*Die Berechnung erfolgt in  $\text{log}_2 N = 3$  Stufen, wobei in jeder Stufe  $N/2 = 4$  gleiche Berechnungen mit verschiedenen  $\mu$–Werten (= Exponent des komplexen Drehfaktors) ausgeführt werden. Eine solche Basisoperation bezeichnet man auch als  '''Butterfly'''.
*Jeder Butterfly berechnet aus zwei (im Allgemeinen komplexen) Eingangsgrößen  $A$  und  $B$  die beiden Ausgangsgrößen  $A + B \cdot w^{\mu}$  sowie  $A – B \cdot w^{\mu}$  entsprechend der folgenden Skizze.

[[File:P_ID1174__Sig_T_5_5_S3b_neu.png|center|frame|Butterfly des DFT-Algorithmus]]

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Die komplexen Spektralkoeffizienten  $D(0), \hspace{0.05cm}\text{...} \hspace{0.1cm}, D( N - 1)$  erhält man am Ausgang der letzten Stufe nach Division durch  $N$.
*Wie in der  [[Aufgaben:Aufgabe_5.5Z:_Rechenaufwand_für_die_FFT|Aufgabe 5.5Z]]  gezeigt wird, ergibt sich gegenüber der DFT eine deutlich kürzere Rechenzeit, zum Beispiel für  $N = 1024$  um mehr als den Faktor  $150$.

*Die inverse DFT zur Berechnung der Zeit– aus den Spektralkoeffizienten geschieht mit dem gleichen Algorithmus und nur geringfügigen Modifizierungen.}}

[[File:EN_Sig_Programm.png|right|frame|Radix-2-Algorithmus (C-Programm)]]
{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Abschließend wird ein C–Programm 
:$$\text{fft(N, Re, Im)}$$
gemäß dem oben beschriebenen Radix–2–Algorithmus angegeben:

*Beim Aufruf beinhalten die beiden Float–Arrays „Re” und „Im” die  $N$  Real– und Imaginärteile der komplexen Zeitkoeffizienten  $d(0)$, ... , $d( N - 1)$.
*In den gleichen Feldern „Re” und „Im” werden am Programmende die komplexen Koeffizienten  $D(0)$, ... , $D( N - 1)$  an das aufrufende Programm zurückgegeben.
*Aufgrund der „In–Place”–Programmierung reichen somit für diesen Algorithmus  $N$  komplexe Speicherplätze aus, allerdings nur, wenn zu Beginn die Eingangswerte umsortiert werden.
*Dies geschieht durch das Programm „bitumkehr”, wobei die Inhalte von  ${\rm Re}( \nu)$  und  ${\rm Im}( \nu)$  in die Elemente  ${\rm Re}( \kappa)$  und  ${\rm Im}( \kappa)$  eingetragen werden. $\text{Beispiel 4}$  verdeutlicht die Vorgehensweise.}}

[[File:P_ID1176__Sig_T_5_5_S3d_neu.png|right|frame|Radix-2-Algorithmus $($Bitumkehroperation für  $N = 8)$]]
{{GraueBox|TEXT=
$\text{Beispiel 4: Bitumkehroperation}$ 

*Der neue Index  $\kappa$  ergibt sich, wenn man den Index  $\nu$  als Dualzahl schreibt und anschließend die  $\text{log}_2 \hspace{0.05cm} N$  Bit in umgekehrter Reihenfolge darstellt.
*Zum Beispiel wird aus  $\nu = 3$  der neue Index  $\kappa = 6$.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Exercise 5.5: Fast Fourier Transform|Exercise 5.5: Fast Fourier Transform]]

[[Aufgaben:Exercise 5.5Z: Complexity of The FFT|Exercise 5.5Z: Complexity of The FFT]]

==Quellenverzeichnis==

{{Display}}

Aufgaben:Exercise 5.5Z: Complexity of the FFT

2020-11-29T21:01:50Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.5Z: Rechenaufwand für die FFT to Aufgaben:Exercise 5.5Z: Complexity of The FFT

{{quiz-Header|Buchseite=Signal_Representation/Fast_Fourier_Transform_(FFT)
}}

[[File:P_ID1179__Sig_Z_5_5.png|right|frame|Letzte Stufe der FFT für $N=8$]]
Der FFT–Algorithmus  (''Fast Fourier Transform'')  realisiert eine  ''Diskrete Fouriertransformation''  mit dem kleinstmöglichen Rechenaufwand, wenn der Parameter  $N$  eine Zweierpotenz ist. Im Einzelnen sind zur Durchführung einer FFT folgende Rechenschritte notwendig:
*Die FFT geschieht in  ${\rm log_2} \ N$  Stufen, wobei in jeder Stufe die genau gleiche Anzahl an Rechenoperationen durchzuführen ist.
*Die Grafik zeigt die dritte und letzte Stufe für das Beispiel  $N = 8$. Man erkennt, dass in dieser und auch den anderen Stufen jeweils  $N/2$  Basisoperationen durchzuführen sind.
*In jeder Basisoperation, die man häufig auch als  '''Butterfly'''  bezeichnet, werden aus den beiden komplexen Eingangsgrößen  $E_1$  und  $E_2$  zwei komplexe Ausgänge berechnet:
:$$ A_1 = E_1 + E_2 \cdot w^{\hspace{0.04cm}\mu}, $$
:$$ A_2 = E_1 - E_2 \cdot w^{\hspace{0.04cm} \mu}\hspace{0.05cm}.$$
*Hierbei bezeichnet  $w = {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm} 2\pi/N}$  den komplexen Drehfaktor. Für  $N = 8$  ergibt sich der Wert  $w = {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm} \pi/4} = \cos(45^\circ) - {\rm j} \cdot \sin(45^\circ)\hspace{0.05cm}.$
*Der Exponent  $\mu$  für diesen komplexen Drehfaktor kann alle ganzzahligen Werte zwischen  $0$  und  $N/2-1$  annehmen. Für  $N = 8$  gilt:
:$$w^0 = 1,\hspace{0.2cm}w^1 = {1}/{\sqrt{2}}- {\rm j}
\cdot{1}/{\sqrt{2}},\hspace{0.2cm}w^2 = - {\rm
j},\hspace{0.2cm}w^3 = -{1}/{\sqrt{2}}- {\rm j}
\cdot{1}/{\sqrt{2}} \hspace{0.05cm}.$$

Mit dieser Aufgabe sollen die für die FFT erforderliche Anzahl von Rechenoperationen  $(\mathcal{O}_{\rm FFT})$  ermittelt und mit dem für die DFT angebbaren Wert  $\mathcal{O}_{\rm DFT} ≈ 8\cdot N^2$  verglichen werden.

Zu beachten ist:
*Sinnvollerweise werden die Potenzen von  $w$  vor dem eigentlichen Algorithmus berechnet und in einer Lookup–Tabelle abgelegt.
*Die hierfür notwendigen Operationen sollen deshalb unberücksichtigt bleiben.
*Die Bitumkehroperation – eine Umsortierung, die vor der ersten Stufe durchzuführen ist – soll bei dieser Abschätzung ebenfalls nicht berücksichtigt werden.

''Hinweis:''
*Die Aufgabe gehört zum Kapitel  [[Signal_Representation/Fast_Fourier_Transform_(FFT)|Fast-Fouriertransformation (FFT)]].

===Fragebogen===

<quiz display=simple>
{Wieviele reelle Additionen  $(A_{\rm A})$  erfordert eine komplexe Addition?
|type="{}"}
$A_{\rm A} \hspace{0.3cm} = \ $ { 2 }

{Wieviele reelle Additionen  $(A_{\rm M})$  und Multiplikationen  $(M_{\rm M})$  sind für eine komplexe Multiplikation erforderlich?
|type="{}"}
$A_{\rm M} \hspace{0.3cm} = \ $ { 2 }
$M_{\rm M} \hspace{0.2cm} = \ $ { 4 }

{Wieviele komplexe Additionen/Subtraktionen  $(a_{\rm B})$  erfordert eine einzige Basisoperation (&bdquo;Butterfly”)?
 Wieviele komplexe Multiplikationen  $(m_{\rm B})$  sind pro Basisoperation notwendig?
|type="{}"}
$a_{\rm B} \hspace{0.32cm} = \ $ { 2 }
$m_{\rm B} \hspace{0.2cm} = \ $ { 1 }

{Wieviele Rechenoperationen  (Additionen, Subtraktionen, Multiplikationen gleichermaßen)  erfordert eine Basisoperation?
|type="{}"}
$\mathcal{O}_{\rm B} \ = \ $ { 10 }

{Wieviele reelle Operationen  $(\mathcal{O}_{\rm FFT})$  erfordert der gesamte FFT–Algorithmus? Welche Werte ergeben sich für  $N = 16$  und  $N = 1024$?
|type="{}"}
$N = 16\text{:} \hspace{0.65cm} \mathcal{O}_{\rm FFT} \ = \ $ { 320 3% }
$N = 1024\text{:} \hspace{0.2cm} \mathcal{O}_{\rm FFT} \ = \ $ { 51200 3% }

{Wie groß ist der Zeitgewinn  $G_{\rm FFT} = \mathcal{O}_{\rm DFT} - \mathcal{O}_{\rm FFT}$  für  $N = 16$  und  $N = 1024$?
|type="{}"}
$N = 16\text{:} \hspace{0.65cm} G_{\rm FFT} \ = \ $ { 6.4 3% }
$N = 1024\text{:} \hspace{0.2cm} G_{\rm FFT} \ = \ $ { 164 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Jede komplexe Addition erfordert zwei reelle Additionen:
:$$(R_1 + {\rm j} \cdot I_1) + (R_2 + {\rm j} \cdot I_2) = (R_1 +
R_2) + {\rm j} \cdot (I_1 + I_2)\hspace{0.3cm}\Rightarrow \hspace{0.3cm}
\hspace{0.15 cm}\underline{ A_{\rm A} =
2}\hspace{0.05cm}.$$

'''(2)'''  Eine jede komplexe Multiplikation benötigt vier reelle Multiplikationen und zwei reelle Additionen:
:$$(R_1 + {\rm j} \cdot I_1) (R_2 + {\rm j} \cdot I_2) = (R_1 \cdot
R_2 - I_1 \cdot I_2) + {\rm j} \cdot (R_1 \cdot I_2 + R_2 \cdot
I_1)\hspace{0.3cm}
\Rightarrow \hspace{0.3cm}\hspace{0.15 cm}\underline{A_{\rm M} = 2,\hspace{0.3cm}M_{\rm M} =
4} \hspace{0.05cm}.$$

'''(3)'''  Die Basisoperationen lauten mit den komplexen Eingangsgrößen  $E_1$,  $E_2$  und  $w^{\hspace{0.04cm}\mu}$:
:$$ A_1 = E_1 + E_2 \cdot w^{\hspace{0.04cm}\mu},\hspace{0.5cm} A_2 = E_1 - E_2 \cdot w^{\hspace{0.04cm} \mu}\hspace{0.05cm}.$$
*Dies bedeutet eine komplexe Multiplikation und zwei komplexe Additionen:   $\hspace{0.15 cm}\underline{a_{\rm B} = 2, \hspace{0.2cm}m_{\rm B} = 1}
\hspace{0.05cm}.$

'''(4)'''  Im Gegensatz zu den ersten Computern nimmt heute eine Multiplikation keine wesentlich größere Rechenzeit in Anspruch als eine Addition bzw. Subtraktion.

*Mit den Ergebnissen der Teilaufgaben  '''(1)''',  '''(2)'''  und  '''(3)'''  erhält man für die Gesamtzahl der Rechenoperationen:
:$$ \mathcal{O}_{\rm B} = a_{\rm B}\cdot A_{\rm A} + a_{\rm B}\cdot (A_{\rm M}
+M_{\rm M} ) = 2 \cdot 2 + 1 \cdot 6\hspace{0.15 cm}\underline{ = 10}
\hspace{0.05cm}.$$

'''(5)'''  Insgesamt gibt es  ${\rm log_2} \ N$ Stufen, in denen jeweils  $N/2$  Basisoperationen auszuführen sind:
:$$\mathcal{O}_{\rm FFT} = {\rm log_2}\hspace{0.1cm}N \cdot \frac{N}{2}\cdot
\mathcal{O}_{\rm B} = 5 \cdot N \cdot {\rm log_2}\hspace{0.1cm}N$$
:$$\Rightarrow \hspace{0.3cm}\mathcal{O}_{\rm FFT}\hspace{0.1cm}(N=16) = 5\cdot 16 \cdot
4 \hspace{0.15 cm}\underline{= 320}, \hspace{0.5cm}\mathcal{O}_{\rm FFT}\hspace{0.1cm}(N=1024) = 5\cdot 1024
\cdot 10 \hspace{0.15 cm}\underline{= 51200}
\hspace{0.05cm}.$$

'''(6)'''  Der Rechenzeitgewinn der FFT gegenüber der herkömmlichen DFT ergibt sich zu:
:$$G_{\rm FFT} = \frac{\mathcal{O}_{\rm DFT}}{\mathcal{O}_{\rm FFT}} = \frac{8 \cdot N^2} {5 \cdot
N \cdot {\rm log_2}\hspace{0.1cm}N }= 1.6 \cdot \frac{N}{ {\rm
log_2}\hspace{0.1cm}N}$$
:$$\Rightarrow \hspace{0.3cm}G_{\rm FFT} \hspace{0.1cm}(N=16) = 1.6 \cdot
\frac{16}{ 4} \hspace{0.15 cm}\underline{= 6.4}, \hspace{0.5cm}G_{\rm FFT} \hspace{0.1cm}(N=1024) = 1.6 \cdot\frac{1024}{ 10}\hspace{0.15 cm}\underline{ \approx 164}
\hspace{0.05cm}.$$

{{ML-Fuß}}

[[Category:Exercises for Signal Representation|^5.5 Fast Fourier Transform ^]]

Aufgaben:Aufgabe 5.5Z: Rechenaufwand für die FFT

2020-11-29T21:01:50Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.5Z: Rechenaufwand für die FFT to Aufgaben:Exercise 5.5Z: Complexity of The FFT

#REDIRECT [[Aufgaben:Exercise 5.5Z: Complexity of The FFT]]

Aufgaben:Exercise 5.5: Fast Fourier Transform

2020-11-29T21:00:58Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.5: Fast-Fouriertransformation to Aufgaben:Exercise 5.5: Fast Fourier Transform

{{quiz-Header|Buchseite=Signal_Representation/Fast_Fourier_Transform_(FFT)
}}

[[File:EN_Sig_A_5_5.png|right|frame|FFT-Algorithmus für  $N=8$]]

Die Grafik zeigt den Signalflussplan der FFT für  $N = 8$. Aus den Zeitkoeffizienten  $d(0), \hspace{0.03cm}\text{...} \hspace{0.1cm}, d(7)$  werden die dazugehörigen Spektralkoeffizienten  $D(0), \hspace{0.03cm}\text{...} \hspace{0.1cm} , D(7)$  ermittelt. Für diese gilt mit  $0 ≤ μ ≤ 7$:

:$$D(\mu) = \frac{1}{N}\cdot \sum_{\nu = 0 }^{N-1}
d(\nu) \cdot {w}^{\hspace{0.03cm}\nu \hspace{0.05cm} \cdot
\hspace{0.05cm}\mu}\hspace{0.05cm},$$

wobei der komplexe Drehfaktor  $w = \text{e}^{-\text{j}\hspace{0.05cm} \cdot
\hspace{0.05cm}2\pi /N}$  zu verwenden ist, also  $w = \text{e}^{-\text{j}\hspace{0.05cm} \cdot
\hspace{0.05cm}\pi /4}$  für  $N = 8$.

*Am Eingang wird die alternierende $±1$–Folge  $\langle\hspace{0.05cm} d(ν)\hspace{0.05cm}\rangle$  angelegt.
*Nach der Bitumkehroperation ergibt sich daraus die Folge  $\langle \hspace{0.05cm}b(\kappa)\hspace{0.05cm}\rangle$.

Es gilt  $b(κ) = d(ν)$, wenn man  $ν$  als Dualzahl darstellt und die resultierenden drei Bit als  $κ$  in umgekehrter Reihenfolge geschrieben werden. Beispielsweise
* folgt aus  $ν = 1$  $($binär  $001)$  die Position  $κ = 4$  $($binär  $100)$,
* verbleibt  $d(2)$  an der gleichen Position  $2$  $($binär  $010)$.

Der eigentliche FFT–Algorithmus geschieht für das Beispiel  $N = 8$  in  $\log_2 N = 3$  Stufen, die mit  $L = 1$,  $L =2$  und  $L = 3$  bezeichnet werden. Weiter gilt:
* In jeder Stufe sind vier Basisoperationen – so genannte ''Butterflies'' – durchzuführen.
* Die Werte am Ausgang der ersten Stufe werden in dieser Aufgabe mit  $X(0),\hspace{0.03cm}\text{...} \hspace{0.1cm} , X(7)$  bezeichnet, die der zweiten mit  $Y(0), \hspace{0.03cm}\text{...} \hspace{0.1cm} , Y(7)$.
* Nach der dritten und letzten Stufe sind alle Werte noch durch  $N$  zu dividieren. Hier liegt dann das endgültige Ergebnis  $D(0), \hspace{0.03cm}\text{...} \hspace{0.1cm} , D(7)$  vor.

''Hinweis:''
*Die Aufgabe gehört zum Kapitel  [[Signal_Representation/Fast_Fourier_Transform_(FFT)|Fast-Fouriertransformation (FFT)]].

===Fragebogen===

<quiz display=simple>

{Berechnen Sie den DFT–Koeffizienten  $D(3)$.
|type="{}"}
$D(3) \ = \ $ { 0. }

{Berechnen Sie den DFT–Koeffizienten  $D(4)$.
|type="{}"}
$D(4) \ = \ $ { 1 3% }

{Ermitteln Sie die Ausgangswerte  $X(0)$, ... , $X(7)$  der ersten Stufe. Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
- Alle  $X$–Werte mit geradzahligen Indizes sind gleich  $2$.
+ Alle  $X$–Werte mit ungeradzahligen Indizes sind gleich  $0$.

{Ermitteln Sie die Ausgangswerte  $Y(0)$, ... , $Y(7)$  der zweiten Stufe. Geben Sie zur Kontrolle die Werte  $Y(0)$  und  $Y(4)$  ein.
|type="{}"}
$Y(0) \ = \ $ { 4 3% }
$Y(4) \ = \ $ { -4.12--3.88 }

{Berechnen Sie alle  $N$  Spektralwerte  $D(\mu)$, insbesondere
|type="{}"}
$D(\mu = 4) \ = \ $ { 1 3% }
$D(\mu \neq 4) \ = \ $ { 0. }

{Welche Spektralkoeffizienten würden sich für  $d(ν = 4) = 1$  und  $d(ν \neq 4) = 0$  ergeben? Geben Sie zur Kontrolle die Werte  $D(3)$  und  $D(4)$  ein.
|type="{}"}
$D(\mu = 3) \ = \ $ { -1.03--0.97 }
$D(\mu = 4) \ = \ $ { 1 3% }

</quiz>

===Musterlösung===

{{ML-Kopf}}
'''(1)'''  Entsprechend der auf dem Angabenblatt gegebenen allgemeinen DFT–Gleichung gilt mit  $w = \text{e}^{-\text{j}\hspace{0.05cm} \cdot
\hspace{0.05cm}\pi /4}$  unter Berücksichtigung der alternierenden Zeitkoeffizienten:

:$$8 \cdot D(3) = w^0 - w^3 + w^6- w^9+ w^{12}- w^{15}+ w^{18}-
w^{21} = w^0 - w^3 + w^2- w^1+ w^{4}- w^{7}+ w^{6}-
w^{5}\hspace{0.05cm}.$$

*Hierbei ist berücksichtigt, dass aufgrund der Periodizität  $w_9 = w_1$,  $w_{12} = w_4$,  $w_{15} = w_7$,  $w_{18} = w_2$  und  $w_{21} = w_5$  ist.
*Nach Umsortieren gilt in gleicher Weise:

:$$8 \cdot D(3) = (w^0 + w^4) - (w^1 + w^5)+ (w^2 + w^6) - (w^3 + w^7) = (1 + w + w^2+ w^3) \cdot (w^0 + w^4)\hspace{0.05cm}.$$

*Wegen  $w_0 = 1$  und  $w_4 = \text{e}^{-\text{j}\pi } = \hspace{0.08cm} - \hspace{-0.08cm}1$  erhält man somit  $\underline {D(3) = 0}$.

'''(2)'''  In analoger Weise zur Teilaufgabe  '''(1)'''  ergibt sich nun:

:$$ 8 \cdot D(4) = w^0 - w^4 + w^8- w^{12}+ w^{16}- w^{20}+
w^{24}- w^{28}= 4 \cdot (w^0 - w^4)= 8 \hspace{0.3cm}
\Rightarrow \hspace{0.3cm}\hspace{0.15 cm}\underline{D(4) = 1}\hspace{0.05cm}.$$

[[File:P_ID1178__Sig_A_5_5c_neu.png|right|frame|Beispiel für den FFT-Algorithmus]]
'''(3)'''  Richtig ist der Lösungsvorschlag 2:
*Der Term  $w^0 = 1$  muss nicht berücksichtigt werden.
*Alle Ausgangswerte mit ungeraden Indizes sind durch die Subtraktion zweier identischer Eingangswerte Null.
*Die erste Aussage trifft nicht zu:   Es gilt  $X(0) = X(2) = +2$  und  $X(4) = X(6) = - 2$.

'''(4)'''  Auf die Multiplikation mit  $w^{2} = -{\rm j}$  kann verzichtet werden, da im Signalflussplan die entsprechenden Eingangsgrößen Null sind.
*Man erhält somit  $Y(0) \;\underline{= 4}$  und  $Y(4) \;\underline{= - \hspace{-0.03cm}4}$.
*Alle anderen Werte sind Null.

'''(5)'''  Wegen  $Y(5) = Y(6) =Y(7) = 0$  spielen auch in der dritten Stufe die Multiplikationen mit  $w$,  $w^2$  und  $w^3$  keine Rolle. Alle Spektralkoeffizienten  $D(\mu)$  ergeben sich deshalb zu Null mit Ausnahme von

:$$\hspace{0.15 cm}\underline{D(4)} = {1}/{N}\cdot \left[Y(0) - Y(4) \right ] \hspace{0.15 cm}\underline{= 1}
\hspace{0.05cm}.$$

Dieses Ergebnis stimmt mit den Ergebnissen aus  '''(1)'''  und  '''(2)'''  überein.

'''(6)'''  Nachdem sowohl die Zeitkoeffizienten  $d(ν)$  als auch alle Spektralkoeffizienten  $D(\mu)$  rein reell sind, besteht kein Unterschied zwischen der FFT und der IFFT.
*Das bedeutet gleichzeitig:  Die Eingangs– und Ausgangswerte können vertauscht werden.

*Die Teilaufgabe  '''(5)'''  hat das folgende Ergebnis geliefert:

:$$d({\rm gerades}\hspace{0.15cm}\nu) = +1, \hspace{0.2cm}d({\rm
ungerades}\hspace{0.15cm}\nu)= -1$$
:$$\Rightarrow
\hspace{0.3cm}D(\mu = 4)= 1,\hspace{0.2cm}D(\mu \ne 4)= 0.$$

*Durch Vertauschen der Eingangs– und Ausgangswerte kommt man zur Aufgabenstellung  '''(6)''':

:$$d(\nu = 4)= 1, \hspace{0.2cm}d(\nu \ne 4)= 0 \hspace{0.3cm}
\Rightarrow \hspace{0.3cm}D({\rm gerades}\hspace{0.15cm}\mu) = +1,
\hspace{0.2cm}D({\rm ungerades}\hspace{0.15cm}\mu)= -1
\hspace{0.05cm}.$$

*Insbesondere ergibt sich sich  $D(3) \; \underline{= -1}$  und  $D(4) \; \underline{= +1}$.
{{ML-Fuß}}

__NOEDITSECTION__
[[Category:Exercises for Signal Representation|^5.5 Fast Fourier Transform ^]]

Aufgaben:Aufgabe 5.5: Fast-Fouriertransformation

2020-11-29T21:00:58Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.5: Fast-Fouriertransformation to Aufgaben:Exercise 5.5: Fast Fourier Transform

#REDIRECT [[Aufgaben:Exercise 5.5: Fast Fourier Transform]]

Aufgaben:Exercise 5.5Z: Complexity of the FFT

2020-11-29T21:00:33Z

Oezdemir:

Aufgaben:Exercise 5.5: Fast Fourier Transform

2020-11-29T21:00:27Z

Oezdemir:

Signal Representation/Spectrum Analysis

2020-11-29T20:59:22Z

Oezdemir:

{{Header
|Untermenü=Zeit- und frequenzdiskrete Signaldarstellung
|Vorherige Seite=Fehlermöglichkeiten bei Anwendung der DFT
|Nächste Seite=Fast-Fouriertransformation (FFT)
}}

==Spektraler Leckeffekt==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
Als  '''spektralen Leckeffekt'''  bezeichnet man die Verfälschung des Spektrums eines periodischen und damit zeitlich unbegrenzten Signals aufgrund der impliziten Zeitbegrenzung der Diskreten Fouriertransformation (DFT). Dadurch werden zum Beispiel von einem Spektrumanalyzer
*im Zeitsignal nicht vorhandene Frequenzanteile vorgetäuscht, und/oder
*tatsächlich vorhandene Spektralkomponenten durch Seitenkeulen verdeckt.}}

Das folgende  $\text{Beispiel 1}$  wird zeigen, dass bei einem periodischen Signal die Anwendung der  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Diskreten Fouriertransformation]]  (DFT) ohne Zusatzmaßnahmen nicht sinnvoll ist. Die Güte der Spektralanalyse – das heißt die Richtigkeit des gefundenen Spektrums – wird hier hauptsächlich durch die (mehr oder weniger geglückte) Anpassung der DFT-Parameter an die vorliegenden Signalparameter bestimmt.
*Ist die Periodendauer  $T_0$  des Signals bekannt, so sollte die Dauer  $T_{\rm P}$  des für die DFT verwendeten Signalausschnittes ein ganzzahliges Vielfaches von  $T_0$  betragen. Aufgabe der Spektralanalyse ist aber gerade das Auffinden beliebiger Signalanteile, so dass die Kenntnis von  $T_0$  im allgemeinen nicht vorausgesetzt werden kann.
*Eine Maßnahme zur Verbesserung des Spektralanalyse ist die Fensterung mit einer „geeigneten” Zeitfunktion  $w(t)$. Analysiert wird dann das Produktsignal  $x(t) \cdot w(t)$.
*Aus der Literatur sind eine Vielzahl solcher Fensterfunktionen  $w(t)$  bekannt, die je nach Aufgabenstellung zu guten oder weniger befriedigenden Ergebnissen führen.

Auf den nächsten Seiten wird der spektrale Leckeffekt an Beispielen verdeutlicht und es wird auf die Vorteile und Nachteile der verschiedenen Fensterfunktionen eingegangen. So viel vorneweg:   '''Es gibt keine „beste” Fensterfunktion für alle Anwendungen'''.

{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Die obere Grafik  '''(a)'''  aus  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>  zeigt das zeitdiskrete Signal  $d(\nu)$  einer harmonischen Schwingung mit der Frequenz  $f_0 = 125\,\text{ kHz}$   ⇒   Periodendauer  $T_0 = 8 \,{\rm µ s}$. Der Abstand zweier aufeinanderfolgender Zeitabtastwerte ist bei diesem Beispiel zu  $T_{\rm A} = 1 \,{\rm µ s}$  gewählt.

Rechts ist in logarithmierter Form (in dB) das frequenzdiskrete Spektrum  $\vert D(\mu) \vert$  nach einer DFT mit  $N = 32$  Abtastwerten dargestellt, woraus sich die weiteren DFT–Parameter wie folgt ergeben:
*Dauer des Zeitausschnitts:   $T_{\rm P} = 32 \,{\rm µ s}$,
*Rasterung der Frequenzachse:   $f_{\rm A} = 31.25 \,\text{ kHz}$.

Da hier durch die Intervallbreite  $T_{\rm P}$  ein ganzzahliges Vielfaches der Periodendauer  $T_0$  erfasst wird, liefert die DFT das richtige Ergebnis. Die beiden Diracfunktionen liegen genau bei  $\pm4 \cdot f_{\rm A}$.

[[File:P_ID1160__Sig_T_5_4_S1_neu.png|center|frame|Beispiel für die Anwendung der Spektralanalyse]]

Vermisst man mit der gleichen Anordnung eine Schwingung der Frequenz  $f_0 = 109.375\,\text{ kHz}$   ⇒   Periodendauer $T_0 = 9.14 \,{\rm µ s}$  entsprechend der unteren Grafik  '''(b)''', so kommt es zu signifikanten Verfälschungen des Spektrums.

*Da nun  $T_{\rm P}/T_0 = 3.5$  nicht mehr ganzzahlig ist, entstehen durch die periodische Fortsetzung des Zeitausschnittes Phasensprünge, in unserem Beispiel um  $\pi$.
*Der Spektralbereich besteht nun nicht mehr aus zwei Diracfunktionen wie im Beispiel  '''(a)''', sondern aus einer annähernd „kontinuierlichen” Frequenzfunktion mit dem Maximum in der Nähe der tatsächlichen Signalfrequenz und einer Reihe weiterer Anteile, die man  '''Seitenkeulen'''  (englisch:  ''Side Lobes'') nennt.}}

==Systemtheoretische Beschreibung der Fensterung==
 
[[File:EN_Sig_T_5_4_S2.png|right|frame|Rechteck-Fenster und Bartlett-Fenster]]
Das Zustandekommen solcher unerwünschter Seitenkeulen soll nun anhand der folgenden Grafik systemtheoretisch erklärt werden. Auch diese Grafik wurde dem Buch  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>  entnommen.

Betrachten Sie zunächst die obere Grafik  '''(a)'''  für das  '''Rechteckfenster'''.
*Die in der DFT implizit enthaltene Zeitbegrenzung entspricht der Multiplikation des Signals  $x(t)$  mit einer Rechteck–Fensterfunktion  $w(t)$  der Höhe  $1$  und der Dauer  $T_{\rm P}$. Das linke obere Bild zeigt die zeitdiskrete Darstellung dieser Rechteckfunktion mit der normierten Zeitvariablen  $\nu= t/T_{\rm A}$:

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$

*Aus der Multiplikation  $y(t) = x(t) \cdot w(t)$  des zu analysierenden Signals  $x(t)$  und der Fensterfunktion  $w(t)$  folgt für die Spektralfunktion  $Y(f) = X(f) \ast W(f)$, wobei bei rechteckförmiger Fensterfunktion mit  $f_{\rm A} = 1/T_{\rm P}$  gilt (die Funktion  $W(f)$  ist in der rechten oberen Grafik in logarithmierter Form dargestellt):

:$$W(f) = T_{\rm P} \cdot {\rm si}(\pi \cdot f \cdot T_{\rm P}) = {1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot {f}/{f_{\rm A}})\hspace{0.05cm}.$$

*Liegen alle Spektralanteile vons  $x(t)$  im Frequenzraster  $\mu \cdot f_{\rm A}$, so bleiben die frequenzdiskreten Spektralwerte  $D(\mu )$  durch die Faltung mit  $W(f)$  unverändert.
*Andernfalls führt die Faltung mit  $W(f)$  zu Verfälschungen, da die Nullstellen der  $\rm si$–Funktion nun nicht mehr zu den diskreten Werten des Eingangsspektrums passen.

Die durch Begrenzung und periodische Fortsetzung entstehendenen Unstetigkeiten im Zeitbereich werden vermindert, wenn statt der konstanten Eins–Bewertung durch das Rechteck die beiden Randbereiche des Fensters schwächer gewichtet werden als die Mitte.

Betrachten Sie dazu die untere Grafik  '''(b)'''  für das  '''Bartlett–Fenster''' – auch Dreieckfenster genannt:
*Die zeitdiskrete Beschreibung des Bartlett–Fensters lautet mit  $\nu = t/T_{\rm A}$:
:$${w} (\nu) = \left\{ \begin{array}{c} 1 - {2 \hspace{0.05cm} \cdot \hspace{0.05cm} |\nu|}/{N} \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}. \\
\end{array}$$
*Daraus folgt für die zeitkontinuierliche Fensterfunktion  $w(t)$  und die Spektraldarstellung  $W(f)$:
:$${w} (t) = \left\{ \begin{array}{c} 1 -{|t|}/{(T_{\rm P}/2)} \\
0 \\ \end{array} \right.\hspace{0.05cm}
\begin{array}{*{20}c}
|t| \le T_{\rm P}/2\\
{\rm sonst} \\
\end{array}\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}W(f) ={1}/({2f_{\rm A}})\cdot {\rm si}^2(\pi \cdot
{f}/({2f_{\rm A}}))\hspace{0.05cm}.$$
*Durch die geringere Bewertung der bei unbegrenzten Signalen besonders problematischen Randbereiche hat das (logarithmisch gezeichnete) Spektrum  $W(f)$  geringere Seitenschwinger als die  $\rm si$–Funktion im oberen Bild, was zu geringeren Leckkomponenten führt.
*Die bessere Unterdrückung der Seitenkeulen geht allerdings auf Kosten einer merkbaren Verkleinerung und Verbreiterung der Hauptkeule, wodurch das Auflösungsvermögen des Bartlett–Fensters gegenüber der Rechteck–Fensterung eingeschränkt wird.

==Spezielle Fensterfunktionen==
 
[[File:EN_Sig_T_5_4_S3.png|right|frame|Hanning-, Hamming- und Kaiser-Bessel-Fenster]]
Nun werden einige häufig eingesetzte  [https://de.m.wikipedia.org/wiki/Fensterfunktion Fensterfunktionen], nämlich
*das Hanning–Fenster,
*das Hamming–Fenster und
*das Kaiser–Bessel–Fenster

anhand von Grafiken und darin enthaltenen Gleichungen beschrieben. Für die Laufvariable im Zeitbereich gilt stets  $–N/2 ≤ \nu < N/2$.

''Hinweise:''
*Beim Kaiser–Bessel–Fenster sind die Funktionen im Zeit– und Frequenzbereich jeweils für  $\alpha = 3.5$  dargestellt.
* ${\rm I}_0(.)$  bezeichnet die  [https://de.wikipedia.org/wiki/Besselsche_Differentialgleichung Modifizierte Besselfunktion nullter Ordnung].
*Weitere Fensterfunktionen wie das Blackman–Harris–Fenster, das  [https://de.wikipedia.org/wiki/Raised-Cosine-Filter Cosinus–Rolloff–Fenster]  (auch Tukey–Fenster genannt) und noch viele andere mehr finden Sie im Buch  [Söd93]<ref name='Söd93'>Söder, G.: ''Modellierung, Simulation und Optimierung von Nachrichtensystemen.'' In: Berlin – Heidelberg: Springer, 1993.</ref>.

Die Eignung dieser Fensterfunktionen für verschiedenartige Aufgaben der Spektralanalyse nennen wir auf der nächsten Seite.
 
==Gütekriterien von Fensterfunktionen==
 
[[File:EN_Sig_T_5_4_S4_neu.png|right|frame|Zusammenstellung wichtiger Gütekriterien von Fensterfunktionen]]
Die Tabelle gibt Gütekriterien für die auf den letzten Seiten beschriebenen Fensterfunktionen wieder. Die Auswahl einer geeigneten Fensterfunktion sollte nach folgenden Gesichtspunkten erfolgen:
*Der  '''minimale Abstand zwischen Hauptkeule und Seitenkeulen'''  sollte möglichst groß sein, um den Einfluss des Leckeffektes gering zu halten und die Amplitudenauflösung zu verbessern.
*Aus Gründen einer guten Frequenzselektivität sollte die  '''6dB–Bandbreite'''  gering sein. Ist diese zu groß, so überdeckt eine dominante Spektrallinie kleinere Anteile in der Umgebung.
*Der  '''maximale Prozessverlust'''  (in dB) beinhaltet den maximalen Skalierungsfehler und die äquivalente Rauschbandbreite. Diese Größe sollte auf keinen Fall  $\text{3.7 dB}$  überschreiten.

Diese wichtigsten Gütekriterien sind in nebenstehender Tabelle durch rote Schrift hervorgehoben.
*In jeder Zeile sind eher günstige Fensterfunktionen grün und eher ungünstigste grau hinterlegt.
*Aus der Verteilung der grünen und grauen Flächen ist bereits ersichtlich, dass es die optimale Fensterfunktion nicht gibt.
 
Nun werden die in der Tabelle angegebenen Gütekriterien etwas genauer beschrieben:
*Je größer der ''minimale Haupt–zu–Seitenkeulen–Abstand''   ⇒   Verhältnis der Hauptkeule zur höchsten Seitenkeule, desto besser ist die Amplitudenauflösung einer Fensterfunktion. Beim Rechteck ist dieser Abstand erwartungsgemäß am kleinsten  $\text{(13 dB)}$. Das beste Ergebnis liefert mit  $\text{92 dB}$  das Blackman–Harris–Fenster vierter Ordnung.
*Da jedoch nicht nur die höchste, sondern auch alle weiteren Seitenkeulen zum Leckeffekt beitragen, ist der  '''Seitenkeulenabfall'''  ein weiteres Maß für das Auflösungsvermögen. Von den angegebenen Fensterfunktionen weisen diesbezüglich das Hanning–Fenster sowie das Cosinus–Rolloff–Fenster mit Rolloff  $r = 0.5$  die günstigsten Werte auf  $\text{(18 dB/Oktave)}$.
*Die  '''6 dB–Bandbreite''', die aus der logarithmierten Spektralfunktion abgelesen werden kann, ist ein wichtiges Maß für das Frequenzauflösungsvermögen. Zwei im Signal vorhandene Spektralanteile bei  $f_1$  und  $f_2$  können nur dann aufgelöst werden, wenn die Differenz  $f_2 - f_1$  größer als die  $\text{6 dB}$–Bandbreite der verwendeten Fensterfunktion ist (siehe nachfolgende rechte Grafik).

[[File:EN_Sig_T_5_4_S4b.png|center|frame|Zur Verdeutlichung der  $\text{6 dB}$-Bandbreite]]
*Die  '''Fensterfläche'''  der Funktion  $w(t)$  gibt zugleich die Höhe  $W(0)$  im Spektralbereich an. Bei allen Fenstern mit Ausnahme des Rechtecks ergibt sich aufgrund der Unterdrückung der äußeren Abtastwerte eine Fensterfläche kleiner  $1$  und damit ein Fehler in der Amplitude des DFT–Ergebnisses, der jedoch bei Kenntnis von  $w(t)$  vollständig korrigierbar ist.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Ein guter Kompromiss ist das  '''Hanning–Fenster'''  (in der Tabelle blau hervorgehoben), das bezüglich der drei Hauptkriterien (rote Markierungen) nie mit „Grau” abschneidet.
*Das  '''Hamming–Fenster'''  unterscheidet sich hiervon im Zeitbereich nur geringfügig, aber im Spektralbereich beträchtlich. So beträgt der Seitenkeulenabfall pro Oktave nur mehr  $\text{6 dB}$  $($statt  $\text{18 dB})$.}}

==Maximaler Prozessverlust==
 
Dieses kombinierte Gütekriterium berücksichtigt den  '''maximalen Skalierungsfehler'''  ebenso wie die (normierte)  '''äquivalente Rauschbandbreite'''. Der maximale Prozessverlust wird meist in  $\text{dB}$  angegeben und sollte entsprechend seines Namens eher klein sein:

:$$10 \cdot {\rm lg}\hspace{0.15cm}V_{\rm P}\hspace{0.15cm}{\rm (in}\hspace{0.15cm}{\rm dB)}= 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(f=0)|}{|W(f=f_{\rm A}/2)|} + 10 \cdot {\rm lg}\hspace{0.15cm}
\frac{\int_{-\infty}^{\infty}|W(f)|^2\hspace{0.05cm}{\rm d}f}{f_{\rm A} \cdot |W(f=0)|^2} \hspace{0.05cm}.$$

Aus der  [[Signal_Representation/Spectrum_Analysis#G.C3.BCtekriterien_von_Fensterfunktionen|Tabelle]]  erkennt man, dass  $V_{\rm P}$  für die betrachteten Fensterfunktionen Werte zwischen  $\text{3 dB}$  und  $\text{4 dB}$  annimmt, wobei Fensterfunktionen mit  $V_{\rm P} > 3.7 \,\text{dB}$  (Rechteck, Blackman–Harris, Kaiser–Bessel)  nicht verwendet werden sollten. Gerade diese sind aber bezüglich des Haupt–zu–Seitenkeulen–Abstands am besten.

Die beiden Anteile sind wie folgt zu interpretieren:
*Der ''maximale Skalierungsfehler''  ist das Verhältnis, um das sich die mit der DFT ermittelte Amplitude von der tatsächlichen Signalamplitude unterscheidet. Der Amplitudenfehler aufgrund einer Fensterfläche kleiner als  $1$  wird dabei als korrigiert vorausgesetzt.
*Je breiter die Hauptkeule der Fensterfunktion ist, um so kleiner ist dieser Skalierungsfehler. Der Fehler ist am größten, wenn die Frequenz  $f_0$  einer harmonischen Schwingung in der Mitte zwischen zwei DFT–Stützstellen liegt   ⇒   Quotient $|W(f = 0)| / |W(f = f_{\rm A}/2)|$.

*Die ''äquivalente Rauschbandbreite''  der verwendeten Fensterfunktion – berechenbar als Breite des flächengleichen Rechtecks bezüglich dem Betragsquadrat  $|W(f)|^2$  der Spektralfunktion – erfasst den störenden Einfluss von weißem Rauschen und sollte möglichst gering sein.
*Die kleinste Rauschbandbreite ergibt sich für das Rechteck. Alle anderen Fensterfunktionen besitzen eine größere Rauschbandbreite und damit bei Vorhandensein von Rauschstörungen auch ein (deutlich) ungünstigeres Signal–zu–Rausch–Leistungsverhältnis.

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
Die Ergebnisse dieses Abschnitts können wie folgt zusammengefasst werden:
*Eine ideale Fensterfunktion gibt es nicht. Je nach Aufgabenstellung  (gute Amplituden– bzw. Frequenzauflösung)  liefern unterschiedliche Fenster das jeweils beste Ergebnis. Zu empfehlen ist deshalb, dass man zur Spektralanalyse stets mehrere Fensterfunktionen heranzieht oder zumindest eine Fensterfunktion mit verschiedenen Parametern verwendet.
*Ein tragbarer Kompromiss hinsichtlich aller Kriterien ist das  '''Hamming–Fenster''', das lediglich beim Seitenkeulenabfall  $($nur  $\text{6 dB pro Oktave})$  einen ungünstigen Wert liefert. Obwohl sich das  '''Hanning–Fenster'''  im Zeitbereich vom Hamming-Fenster nur mariginal unterscheidet, ist im Spektralbereich  (minimaler Abstand zwischen Hauptkeule und Seitenkeulen)  der Unterschied zwischen beiden beträchtlich.}}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window |Exercise 5.4: Comparison of Rectangular And Hanning Window ]]

[[Aufgaben:Exercise 5.4Z: On The Hanning Window|Exercise 5.4Z: On The Hanning Window]]

==References==

{{Display}}

Aufgaben:Exercise 5.4Z: On the Hanning Window

2020-11-29T20:58:59Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.4Z: Zum Hanning-Fenster to Aufgaben:Exercise 5.4Z: On The Hanning Window

{{quiz-Header|Buchseite=Signal_Representation/Spectrum_Analysis
}}

[[File:P_ID1168__Sig_Z_5_4.png|250px|right|frame|Charakterisierung des Hanning-Fensters]]

In dieser Aufgabe sollen wichtige Eigenschaften des häufig verwendeten Hanning–Fensters hergeleitet werden. Die zeitkontinuierliche Darstellung im Intervall von  $-T_{\rm P}/2$  bis  $+T_{\rm P}/2$  lautet hier wie folgt:
:$$w(t)= {\rm cos}^2(\pi \cdot
{t}/{T_{\rm P}})= 0.5\cdot \big(1 + {\rm cos}(2\pi \cdot
{t}/{T_{\rm P}}) \big )
\hspace{0.05cm}.$$
Außerhalb des symmetrischen Zeitbereichs der Dauer  $T_{\rm P}$  ist $w (t) \equiv 0$.

Die obere Grafik zeigt die zeitdiskrete Darstellung  $w(\nu) = w({\nu} \cdot T_{\rm A})$, wobei  $T_{\rm A}$  um den Faktor  $N = 32$  kleiner ist als  $T_{\rm P}$. Der Definitionsbereich der diskreten Zeitvariablen  $ν$  reicht von  $-16$  bis  $+15$.

In der unteren Grafik ist die Fouriertransformierte  $W(f)$  der zeitkontinuierlichen Fensterfunktion  $w(t)$  logarithmisch dargestellt. Die Abszisse ist hierbei auf  $f_{\rm A} = 1/T_{\rm P}$  normiert ist. Man erkennt:
*Die äquidistanten Werte  $W({\mu} \cdot f_{\rm A})$  sind Null mit Ausnahme von  $μ = 0$  und  $μ = ±1$.
*Die Hauptkeule erstreckt sich somit auf den Frequenzbereich  $|f| ≤ 2 · f_{\rm A}$.
*$W(f)$  ist außerhalb der Hauptkeule betragsmäßig für  $f = ±2.5 · f_{\rm A}$  am größten.
*Somit gilt hier für den minimalen Abstand zwischen Haupt– und Seitenkeulen:

:$$A_{\rm H/S} = 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(0)|}{|W(2.5 \cdot f_{\rm A})|} \hspace{0.15cm}{\rm (in}\hspace{0.1cm}{\rm dB)}\hspace{0.05cm}.$$

''Hinweise:''
*Die Aufgabe gehört zum Kapitel  [[Signal_Representation/Spectrum_Analysis|Spektralanalyse]].
*Beachten Sie, dass die Frequenzauflösung  $f_{\rm A}$  gleich dem Kehrwert des einstellbaren Parameters  $T_{\rm P}$  ist.

===Fragebogen===

<quiz display=simple>

{Geben Sie die zeitdiskreten Koeffizienten  $w(ν)$  des Hanning–Fensters analytisch an. Welche Zahlenwerte ergeben sich für  $ν = 0$,  $ν = 1$  und  $ν = -\hspace{0.05cm}8$?
|type="{}"}
$w(ν = 0) \hspace{0.37cm} = \ $ { 1 1% }
$w(ν = 1) \hspace{0.37cm} = \ $ { 0.99 1% }
$w(ν = -8) \hspace{0.03cm} = \ $ { 0.5 1% }

{Berechnen Sie die Spektralfunktion  $W(f)$  allgemein. Welche der folgenden Aussagen sind zutreffend??
|type="[]"}
- $W(f)$  liefert für spezielle Frequenzwerte komplexe Ergebnisse.
+ $W(f)$  ist bezüglich  $f$  gerade, das heißt, es gilt stets  $W(-f) = W(+f)$.
+ Der Spektralwert  $W(f = 0)$  ist gleich  $0.5/f_{\rm A}$  und somit reell.

{Wie groß sind  $W(f = ±f_{\rm A})$  und die auf  $f_{\rm A}$  normierte $\text{6 dB}$–Bandbreite?
|type="{}"}
$W(±f_{\rm A}) \hspace{0.15cm} = \ $ { 0.25 1% } $\ \cdot \ 1/f_{\rm A}$
$B_{\rm 6\hspace{0.05cm}dB}\hspace{-0.05cm}/\hspace{-0.05cm}f_{\rm A} \hspace{0.2cm} = \ $ { 2 1% }

{Wie groß ist der minimale Abstand zwischen Hauptkeule und Seitenkeule.
|type="{}"}
$A_{\rm H/S} \ = \ $ { 32.3 1% } $\ \rm dB$

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Nach trigonometrischer Umformung ergibt sich für die zeitkontinuierliche Fensterfunktion:
:$$w(t) = {\rm cos}^2(\pi \cdot
{t}/{T_{\rm P}}) = 0.5+ 0.5\cdot {\rm
cos}(2\pi \cdot {t}/{T_{\rm P}})\hspace{0.05cm}.$$
*Nach Zeitdiskretisierung mit  $ν = t/T_{\rm A}$  und  $T_{\rm P}/T_{\rm A} = N = 32$  erhält man für das zeitdiskrete Fenster:
:$$w(\nu) = w(\nu \cdot T_{\rm A}) = 0.5+ 0.5\cdot {\rm
cos}(2\pi \cdot {\nu}/{N})\hspace{0.8cm}
\Rightarrow \hspace{0.3cm}w(\nu = 0) \hspace{0.15 cm}\underline{= 1},$$
:$$w(\nu = 1) = 0.5+ 0.5\cdot {\rm cos}(
\frac{\pi}{16})\hspace{0.15 cm}\underline{ = 0.99}, $$
:$$w(\nu = -8)=0.5+
0.5\cdot {\rm cos}( \frac{-\pi}{2}) \hspace{0.15 cm}\underline{=
0.5}\hspace{0.05cm}.$$

'''(2)'''  Richtig sind die Lösungsvorschläge 2 und 3:
*Die periodische Fortsetzung von  $w(t)$  entsprechend der Periodendauer  $T_{\rm P}$  liefert ein (periodisches) Signal mit einem Gleich– und einem Cosinusanteil.
*Daraus folgt mit  $f_{\rm A} = 1/T_{\rm P}$:
:$${\rm P}\{w(t)\} = 0.5+0.5\cdot {\rm
cos}(2\pi \cdot f_{\rm A} \cdot t)
\hspace{0.2cm}\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
\hspace{0.2cm}0.5\cdot {\rm \delta}(f) + 0.25\cdot {\rm
\delta}(f \pm f_{\rm A}))\hspace{0.05cm}.$$
*Das zeitbegrenzte Signal  $w(t)$  ergibt sich aus  ${\rm P}\{w(t)\}$  durch Multiplikation mit einem Rechteck der Amplitude  $1$  und der Dauer  $T_{\rm P}$.
*Dessen Spektrum  $W(f)$  erhält man somit aus der Faltung der obigen Spektralfunktion mit der Funktion  $T_{\rm P} · {\rm si}(π \cdot f \cdot T_{\rm P}) = 1/f_{\rm A} · {\rm si}(π \cdot f/f_{\rm A})$:
:$$w(t)
\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,
W(f) = \frac{0.5}{f_{\rm A}}\cdot {\rm si}( \frac{\pi f}{f_{\rm
A}})+ \frac{0.25}{f_{\rm A}}\cdot {\rm si}(\pi \cdot
\frac{f-f_{\rm A}}{f_{\rm A}})+ \frac{0.25}{f_{\rm A}}\cdot {\rm
si}(\pi \cdot \frac{f+f_{\rm A}}{f_{\rm A}})\hspace{0.05cm}.$$
*Diese Spektralfunktion ist gerade und für alle Frequenzen  $f$  auch reell. Der Spektralwert bei der Frequenz  $f = 0$  ergibt die Fensterfläche:
:$$W(f=0) =
\frac{0.5}{f_{\rm A}}=
\int_{-\infty}^{+\infty}w(t)\hspace{0.05cm}{\rm
d}t\hspace{0.05cm}.$$

'''(3)'''  Aus dem Ergebnis der Teilaufgabe  '''(2)'''  folgt auch:
:$$W(f = ±f_{\rm A}) = W(0)/2\hspace{0.15cm}\underline{ = 0.25} \cdot 1/{f_{\rm A}}.$$
*Aufgrund des monotonen Verlaufs im Bereich  $|f| < f_{\rm A}$  ist die Betragsfunktion  $|W(f)|$  genau bei  $± f_{\rm A}$  zum ersten Mal auf die Hälfte des Maximums abgefallen.
*Damit gilt  $B_{\rm 6\hspace{0.05cm}dB}\hspace{-0.05cm}/\hspace{-0.05cm}f_{\rm A} \;\underline{=2}$.

'''(4)'''  Der größte Spektralbetrag außerhalb der Hauptkeule tritt bei  $f = ±2.5 f_{\rm A}$  auf. Mit dem Ergebnis der Teilaufgabe  '''(2)'''  gilt:
:$$W(f = 2.5 \cdot f_{\rm A}) = \frac{0.5}{f_{\rm A}}\cdot {\rm si}(2.5 \pi )
+\frac{0.25}{f_{\rm A}}\cdot {\rm si}(1.5 \pi )+\frac{0.25}{f_{\rm A}}\cdot {\rm si}(3.5 \pi )= \frac{0.25}{\pi \cdot f_{\rm A}}\left[ \frac{2}{2.5}-\frac{1}{1.5}-\frac{1}{3.5}\right] \approx -\frac{0.0121}{ f_{\rm A}}\hspace{0.05cm}.$$
*Damit erhält man für den minimalen Abstand zwischen Hauptkeule und Seitenkeulen:
:$$A_{\rm H/S} = 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{|W(0)|}{|W(2.5 \cdot f_{\rm A})|} = 20 \cdot {\rm lg}\hspace{0.15cm}
\frac{0.5}{0.0121}\hspace{0.15 cm}\underline{\approx 32.3\,\,{\rm dB}}\hspace{0.05cm}.$$

{{ML-Fuß}}

__NOEDITSECTION__
[[Category:Exercises for Signal Representation|^5.4 Spectrum Analysis^]]

Aufgaben:Aufgabe 5.4Z: Zum Hanning-Fenster

2020-11-29T20:58:59Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.4Z: Zum Hanning-Fenster to Aufgaben:Exercise 5.4Z: On The Hanning Window

#REDIRECT [[Aufgaben:Exercise 5.4Z: On The Hanning Window]]

Aufgaben:Exercise 5.4: Comparison of Rectangular and Hanning Window

2020-11-29T20:57:53Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.4: Vergleich von Rechteck- und Hanningfenster to Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window

{{quiz-Header|Buchseite=Signal_Representation/Spectrum_Analysis
}}

[[File:P_ID1166__Sig_A_5_4_neu.png|250px|right|frame|Beispiele für die Spektralanalyse]]

Gegeben sei der prinzipielle Zeitverlauf eines periodischen Signals:

:$$x(t) = A_1 \cdot \cos (2 \pi \cdot f_1 \cdot t) + A_2 \cdot \cos (2 \pi \cdot f_2 \cdot t) \hspace{0.05cm}.$$

Unbekannt und damit zu schätzen sind dessen Parameter  $A_1$,  $f_1$,  $A_2$  und  $f_2$.

Nach Gewichtung des Signals mit der Fensterfunktion  $w(t)$  wird das Produkt  $y(t) = x(t) \cdot w(t)$  einer  [[Signal_Representation/Discrete_Fourier_Transform_(DFT)|Diskreten Fouriertransformation]]  (DFT) mit den Parametern  $N = 512$  und  $T_{\rm P}$  unterworfen. Die Zeitdauer  $T_{\rm P}$  des zu analysierenden Signalausschnitts kann vom Benutzer beliebig eingestellt werden.

Für die Fensterung stehen zwei Funktionen zur Verfügung, die für  $|t| > T_{\rm P}/2$  jeweils Null sind:
*Das  '''Rechteckfenster''':

:$${w} (\nu) = \left\{ \begin{array}{c} 1 \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}, \\
\end{array}$$

:$$W(f) ={1}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot
{f}/{f_{\rm A}})\hspace{0.05cm},$$

*das  '''Hanning–Fenster''':

:$${w} (\nu) = \left\{ \begin{array}{c} 0.5 + 0.5 \cdot \cos (2 \pi \cdot {\nu}/{N}) \\
0 \\ \end{array} \right.\quad
\begin{array}{*{10}c} {\rm{f\ddot{u}r}}
\\ \\ \end{array}\begin{array}{*{20}c}
-N/2 \le \nu < N/2 \hspace{0.05cm}, \\
{\rm sonst} \hspace{0.05cm}, \\
\end{array}$$

:$$W(f) ={0.5}/{f_{\rm A}}\cdot {\rm si}(\pi \cdot
\frac{f}{f_{\rm A}})+ {0.25}/{f_{\rm A}}\cdot {\rm si}(\pi
\cdot \frac{f-f_{\rm A}}{f_{\rm A}})+ {0.5}/{f_{\rm A}}\cdot
{\rm si}(\pi \cdot \frac{f+f_{\rm A}}{f_{\rm A}})\hspace{0.05cm}.$$

$W(f)$  ist hierbei die Fouriertransformierte der zeitkontinuierlichen Fensterfunktion  $w(t)$, während  $w(ν)$  die zeitdiskrete Gewichtungsfunktion angibt.

In der Aufgabe wird auf verschiedene Spektralfunktionen  $Y(f)$  Bezug genommen, zum Beispiel auf

:$$Y_{\rm A}(f) = 1\, {\rm V}\cdot {\rm \delta} (f \pm 1\,\,{\rm kHz})+
0.5\,\, {\rm V}\cdot {\rm \delta} (f \pm 1.125\,\,{\rm kHz})
\hspace{0.05cm}.$$

In der obigen Grafik sind zwei weitere Spektralfunktionen  $Y_{\rm B}(f)$  und  $Y_{\rm C}(f)$  abgebildet, die sich ergeben, wenn ein  $1 \ \text{kHz}$–Signal  mittels DFT analysiert wird und der DFT–Parameter  $T_{\rm P} = 8.5 \ \text{ms}$  ungünstig gewählt ist.

*Für eines der Bilder ist das Rechteckfenster zugrunde gelegt, für das andere das Hanning–Fenster.
*Nicht angegeben wird, welche Grafik zu welchem Fenster gehört.

''Hinweise:''
*Die Aufgabe gehört zum Kapitel  [[Signal_Representation/Spectrum_Analysis|Spektralanalyse]].
*Beachten Sie, dass die Frequenzauflösung  $f_{\rm A}$  gleich dem Kehrwert des einstellbaren Parameters  $T_{\rm P}$  ist.

===Fragebogen===

<quiz display=simple>

{Welche der folgenden Aussagen treffen mit Sicherheit zu, wenn die DFT das Ausgangsspektrum  $Y_{\rm A}(f)$  anzeigt?
|type="[]"}
+ Zur Gewichtung wurde das Rechteckfenster verwendet.
- Zur Gewichtung wurde das Hanning–Fenster verwendet.
- Es wurde der DFT–Parameter  $T_{\rm P} = 4\ \text{ms}$  verwendet.
+ Das DFT–Spektrum $Y_{\rm A}(f)$ ist identisch mit dem tatsächlichen Spektrum $X(f)$.

{Wie lautet  $Y(f)$  bei Verwendung des Hanning–Fensters und  $T_{\rm P} = 8 \ \text{ms}$, wenn das Eingangsspektrum  $X(f) = Y_{\rm A}(f)$  anliegt? Geben Sie die Gewichte der Diraclinien bei  $f_1= 1\ \text{kHz}$  und  $f_2 = 1.125\ \text{kHz}$  an.
|type="{}"}
$G(f_1 = 1.000 \ \text{kHz})\ = \ $ { 0.625 3% }  $\text{V}$
$G(f_2 = 1.125 \ \text{kHz})\ = \ $ { 0.5 3% }  $\text{V}$

{Wir betrachten das  $1\ \text{kHz}$–Cosinussignal  $x(t)$. Welches Spektrum -  $Y_{\rm B}(f)$  oder  $Y_{\rm C}(f)$  – ergibt sich mit dem Rechteck– bzw. dem Hanning–Fenster, wenn der DFT-Parameter  $T_{\rm P} = 8.5 \ \text{ms}$  ungünstig gewählt ist?
|type="()"}
- $Y_{\rm B}(f)$ ergibt sich bei Rechteckfensterung.
+ $Y_{\rm B}(f)$ ergibt sich mit dem Hanning-Fenster.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig sind die Lösungsvorschläge 1 und 4:
*Bei Verwendung des Hanning–Fensters müssten selbst dann drei Diracfunktionen zu erkennen sein, wenn  $x(t)$  nur eine Frequenz beinhaltet   ⇒   es wurde das Rechteckfenster verwendet.
*Mit  $T_{\rm P} = 4 \ \text{ms}$  ergibt sich für die Frequenzauflösung  $f_{\rm A}= 1/T_{\rm P} = 0.25 \ \text{kHz}$. Damit liegt die Frequenz  $f_2$  nicht im vorgegebenen Raster und  $Y(f)$  würde sich aus sehr vielen Diraclinien zusammensetzen. Das heißt:   die dritte Aussage ist falsch.
[[File:P_ID1167__Sig_A_5_4a.png|right|frame|$\text{Beispielsignal 1}$  zur Spektralanalyse]]

*Wie aus der Grafik hervorgeht, hat  $x(t)$  die Periodendauer  $T_{\rm 0} = 8 \ \text{ms}$. Wählt man den DFT–Parameter gleich  $T_{\rm P} = 4 \ \text{ms}$  (oder ein ganzzahliges Vielfaches davon), so stimmt die periodische Fortsetzung  ${\rm P}\{ x(t)\} $  im Intervall  $|t| \leq T_{\rm P}/2$  mit  $x(t)$  überein, so dass sich die Gewichtungsfunktion  $w(t)$  nicht störend auswirkt:  
*Das DFT–Spektrum  $Y(f)$  stimmt somit mit dem tatsächlichen Spektrum überein.

'''(2)'''  Wegen $T_{\rm 0} = 8 \ \text{ms}$  setzt sich das Hanning–Spektrum  $W(f)$ 
*aus drei Diracfunktionen bei positiven Frequenzen
*und drei dazu achsensymmetrischen Diracs bei negativen Frequenzen

zusammen. Für die positiven Frequenzen lautet die Spektralfunktion:

:$$W(f) =0.5\cdot {\rm \delta}(f) + 0.25\cdot {\rm \delta}(f-f_{\rm A})+ 0.25\cdot {\rm \delta}(f+f_{\rm A})\hspace{0.05cm}.$$

Das Ausgangsspektrum ergibt sich aus der Faltung zwischen  $X(f)$  und  $W(f)$. Bei positiven Frequenzen ergeben sich nun vier Diracs mit folgenden Gewichten:
[[File:P_ID1169__Sig_A_5_4b.png|right|frame|$\text{Beispielsignal 2}$  zur Spektralanalyse]]

:$$\begin{align*} G(f = 0.875\,{\rm kHz}) & = 1\, {\rm V}\cdot 0.25 = 0.250\, {\rm
V}, \\
G(f = f_1 = 1.000\,{\rm kHz}) & = 1\, {\rm V}\cdot 0.5 + 0.5\, {\rm V}\cdot 0.25 \hspace{0.15 cm}\underline{ = 0.625\, {\rm
V}}, \\
G(f = f_2 = 1.125\,{\rm kHz}) & = 1\, {\rm V}\cdot 0.25 + 0.5\, {\rm V}\cdot 0.5 \hspace{0.15 cm}\underline{= 0.500\, {\rm
V}}, \\
G(f = 1.250\,{\rm kHz}) & = 0.5\, {\rm V}\cdot 0.25 = 0.125\, {\rm
V}
\hspace{0.05cm}.\end{align*}$$

Die Grafik zeigt die Abschwächung der Ränder durch die Gewichtungsfunktion  $w(t)$  des Hanning–Fensters.

'''(3)'''  Richtig ist der zweite Lösungsvorschlag:
*Das Rechteck–Fenster liefert dann ein sehr stark verfälschtes Ergebnis, wenn die Fensterbreite  $T_{\rm P}$  (wie hier) nicht an die Frequenz des Cosinussignals angepasst ist.
*In diesem Fall ist das Hanning–Fenster besser geeignet.
{{ML-Fuß}}

__NOEDITSECTION__
[[Category:Exercises for Signal Representation|^5.4 Spectrum Analysis^]]

Aufgaben:Aufgabe 5.4: Vergleich von Rechteck- und Hanningfenster

2020-11-29T20:57:53Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.4: Vergleich von Rechteck- und Hanningfenster to Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window

#REDIRECT [[Aufgaben:Exercise 5.4: Comparison of Rectangular And Hanning Window]]

Aufgaben:Exercise 5.4Z: On the Hanning Window

2020-11-29T20:57:02Z

Oezdemir:

Aufgaben:Exercise 5.4: Comparison of Rectangular and Hanning Window

2020-11-29T20:56:53Z

Oezdemir:

Signal Representation/Equivalent Low-Pass Signal and its Spectral Function

2020-11-29T20:54:58Z

Oezdemir:

{{Header
|Untermenü=Bandpass Signals
|Vorherige Seite=Analytical Signal and Its Spectral Function
|Nächste Seite=Time Discrete Signal Representation
}}

==Motivation for Describing in the Equivalent Low Pass Range==
 
The following figure shows a possible structure of a message transmission system:
*Often the low frequency source signal  $q(t)$  is converted into a bandpass signal  $s(t)$    ⇒   '''modulation''.
*After transmission, the received signal  $r(t)$  - compared to the transmit signal  $s(t)$  possibly distorted and with (noise) interference applied - must be reset to the original frequency range   ⇒   '''Demodulation''.
*The sink signal  $v(t)$, which should match the source signal  $q(t)$  as closely as possible, is then again a low pass signal.

[[File:EN_Sig_T_4_3_S1.png|center|frame|Block Diagram of a Bandpass Transmission System]]

Modulation and demodulation are therefore fundamental components of a transmission system, which are dealt with in detail in the book  [[Modulation_Methods]] . A short summary can be found in the first chapter    [[Signal_Representation/Principles_of_Communication|Principles of Message Transmission]]  of this book.

The investigation, simulation, optimization, and dimensioning of bandpass systems are mostly done in the  '''equivalent low pass range'', for which the following reasons can be given
*If quality characteristics (bandwidth efficiency, signal-to-noise ratio, bit error rate, power requirements, etc.) of a low pass system are known, the corresponding values of related bandpass systems can be derived from them relatively easily. Examples are the digital modulation methods  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Amplitude Shift Keying]]  (ASK) and  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#BPSK_.E2.80.93_Binary_Phase_Shift_Keying|Binary Phase Shift Keying]]  (BPSK), whose performance variables can be "extrapolated" from the comparable  [[Digital_Signal_Transmission/Systemkomponenten_eines_Basisbandübertragungssystems#Vereinfachtes_Systemmodell|baseband system]]  (i.e., without modulator and demodulator).

*Individual subchannels in a so-called [[Modulation_Methods/Zielsetzung_von_Modulation_und_Demodulation#B.C3.BCndelung_von_Kan.C3.A4len_.E2.80.93_Frequenzmultiplex|frequency division multiplex system]], which differ by different carrier frequencies, can often be considered qualitatively equivalent. Therefore, it is sufficient to limit the calculation and dimensioning to a single channel and to perform these investigations in the equivalent low-pass range - i.e. without considering the specific carrier frequency.

*t is often the case that the bandwidth of a communication connection is orders of magnitude smaller than the carrier frequency. For example, in the  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM standard]]&nbsp the individual channels are located in the frequency range around  $900\ \rm MHz$  (&bdquo;D-Network”) and   $1800\ \rm MHz$  (&bdquo;E-Network”), while each channel has only a small bandwidth of  $200\ \rm kHz$  available. Therefore a simulation in the equivalent low pass range is much less complex than a simulation of the corresponding bandpass signals.

==Definition in the Frequency Domain==
 
We consider a real bandpass signal  $x(t)$  with the spectrum  $X(f)$. Furthermore we want to apply:
*The bandpass signal  $x(t)$  is said to result from the modulation of a low-frequency message signal  $q(t)$  with the carrier signal  $z(t)$  the frequency  $f_{\rm T}$ . The type of modulation (whether analog or digital, amplitudes– or angle modulation, single sideband or double sideband) is not specified.
*The spectral function  $X_+(f)$  of the corresponding analytical signal  $x_+(t)$  exists only for positive frequencies and is twice as large as  $X(f)$. For the derivation of  $X_+(f)$  the carrier frequency  $f_{\rm T}$  of the system does not need be known.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
If the spectrum of the analytical signal  $x_+(t)$  is shifted to the left for   $f_{\rm T}$  , the result is called the  '''Spectrum of the Equivalent Low-Pass Signal''':

:$$X_{\rm TP}(f) = X_{\rm +}(f + f_{\rm T}).$$

In general  $X(f)$,  $X_+(f)$  and  $X_{\rm TP}(f)$  are complex-valued. However, if  $X(f)$  is purely real, then the spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$  are also purely real, because they result from  $X(f)$  only from the operations "Cut and Double" or "Frequency Shift" respectively.}}}

For the calculation of the equivalent low-pass spectrum  $X_{\rm TP}(f)$  - in contrast to  $X_+(f)$  - the knowledge of the carrier frequency  $f_{\rm T}$  is absolutely necessary. For other values of  $f_{\rm T}$  other low-pass spectra will also result.

If one transforms the above equation into the time domain, one obtains after applying the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem]]:

:$$x_{\rm TP}(t) = x_{\rm +}(t)\cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t}.$$

The relation  $x(t) = \text{Re}\big[x_+(t)\big]$  yields the procedure to determine the actual physical bandpass signal from the equivalent lowpass signal:

:$$x(t) = {\rm Re}[x_{\rm +}(t)] = {\rm Re}\big[x_{\rm TP}(t)\cdot {\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2\pi \hspace{0.05cm}\cdot\hspace{0.05cm} f_{\rm T}\hspace{0.05cm} \cdot \hspace{0.05cm} \hspace{0.05cm}t}\big].$$

{{GraueBox|TEXT=
$\text{Example 1:}$ 
The upper figure shows the purely real spectral function  $X(f)$  of a bandpass signal  $x(t)$ which is the result of modulating a low frequency signal  $q(t)$  with the carrier frequency  $f_{\rm T}$ .
[[File:P_ID749__Sig_T_4_3_S2_neu.png|right|frame|Construction of The Equivalent Low Pass Signals in The Frequeny Domain]]

Below that, the two likewise real spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$ are shown. Due to the asymmetries concerning the frequency origin  $(f = 0)$  the corresponding time functions are complex.
*The continuous green spectral function  $X_{\rm TP}(f)$  is shifted to the left with respect to  $X_{+}(f)$  by the  carrier frequency $f_{\rm T}$ .

*If the spectrum  $X(f)$  is the modulation result of another message signal  $q\hspace{0.05cm}'(t)$  with a different carrier frequency  ${f_{\rm T} }\hspace{0.05cm}'$, this would also result in another equivalent TP signal  ${X_{\rm TP} }\hspace{0.05cm}'(f)$.

*An exemplary spectral function  ${X_{\rm TP} }\hspace{0.05cm}'(f)$  is drawn in the graphic with green-dashed lines.}}

==Description in The Time Domain==
 
To simplify the representation we now assume a line spectrum, so that the analytical signal can be represented as  '''pointer compound''   ⇒   sum of complex rotating pointers:

:$$X_{+}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - f_i) \hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm}
x_{+}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}f_i\hspace{0.05cm}\cdot \hspace{0.05cm} t
\hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

By shifting the frequency by  $f_{\rm T}$  to the left the equivalent low pass signal in frequency and time domain is thus:

:$$X_{\rm TP}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - \nu_i)\hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm} x_{\rm TP}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}
\nu_i \hspace{0.05cm}\cdot \hspace{0.05cm} t \hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

The following relation   is valid between the frequency values   $f_i$  and  $\nu_i$  $(i = 1, \ \text{...} \ , I)$:

:$$\nu_i = f_i - f_{\rm T} .$$

These equations can be interpreted as follows:
*At time  $t = 0$  the equivalent low-pass signal is identical to the analytical signal:
:$$x_{\rm TP}(t = 0) = x_{\rm +}(t = 0)= \sum_{i=1}^{I} A_i \cdot {\rm e}^{{-\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm} \varphi_i}.$$
*At this point in time, the pointer group is thus defined by the  $I$  amplitude parameter  $A_i$  and the  $I$  phase positions  $\varphi_i$  alone.
*All pointers of the analytical signal  $x_+(t)$  rotate for  $t > 0$  corresponding to the (always positive) frequencies  $f_i$  counterclockwise.
*For the equivalent low-pass signal, the rotation speeds are lower. Hands with  $\nu_i > 0$  turn in mathematically positive direction (counterclockwise), those with  $\nu_i < 0$  in counterclockwise direction (clockwise).
*If the frequency parameter is   $\nu_i = 0$ for a pointer, this pointer rests in the complex plane corresponding to its initial position.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We consider a spectrum consisting of three spectral lines at  $40\,\text{kHz}$,  $50\,\text{kHz}$  and $60\,\text{kHz}$  consisting of spectrum  $X_+(f)$. With the amplitude and phase parameters recognizable from the graphic you obtain the analytical signal  $x_+(t)$  corresponding to the lower left sketch.

[[File:P_ID739__Sig_T_4_3_S3neu.png|center|frame|Construction of The Equivalent Low Pass Signals in The Time Domain]]

The snapshot of the lower left graph   ⇒   '''analytical signal'''   $x_+(t)$  applies to the time  $t = 0$. All hands then turn counterclockwise at a constant angular velocity.
*The blue pointer rotates with  $60000$  rotations per second are fastest and the green pointer rotates with the angular frequency  $\omega_{40} = 2\pi \cdot 40000 \hspace{0.1cm} 1/\text{s}$  is the slowest.
*The violet sum point of all three pointers moves for  $t > 0$  in the complex plane in a complicated manner, for the above numerical values first roughly in the direction drawn.

The graphics on the right describe the  '''equivalent low-pass signal'''  in the frequency domain (top) and in the time domain (bottom), valid for  $f_{\rm T} = 50\,\text{kHz}$.
*The carrier is now at  $f = 0$  and the corresponding red rotating pointer does not move.
*The blue pointer (OSB) rotates here with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm}1/\text{s}$  counterclockwise.
*The green pointer (USB) rotates counterclockwise at the same speed  ($-\omega_{10}$).}}

==Definition of The Locus Curve==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
As   '''locus curve'''  we call the curve on which the  '''equivalent low-pass signal'''  $x_{\rm TP}(t)$  moves in the  ''' complex plane'''  }}

''Notes:''   In other technical literature this term is rarely used. Therefore, initially, an example is shown.

[[File:P_ID744__Sig_T_4_3_S4_neu.png|right|frame|Definition of The Locus Curve]]
{{GraueBox|TEXT=
$\text{Example 3:}$ 
We consider the equivalent low-pass signal  $x_{\rm TP}(t)$  of  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{Example 2}$]],
consisting of
*the resting pointer of length  $3$  (red)
*the pointer with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm} 1/\text{s}$  in mathematical positive direction rotating blue pointer with the complex amplitude  '''j''',
*the green pointer of length  $2$, which is currently  $t = 0$  in the direction of the negative imaginary axis. This rotates with the same angular velocity  $\omega_{10}$  as the blue pointer, but in the opposite direction  ($-\omega_{10}$).

The blue and the green pointer each require exactly one period duration  $T_0 = 100 \,{\rm µ}\text{s}$ for one rotation. The further course of the process can be seen in the above illustration:
*The violet pointer sum is at time  $t = 0$  equals  $3 - \text{j}$.
*After  $t = T_0/4 = 25 \,{\rm µ}\text{s}$  the resulting pointer group has the value &bdquo;Null”, since now the two rotating pointers lie in the opposite direction to the carrier and compensate it exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}

exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}}

In this example the locus curve is an ellipse, which is traversed by the equivalent low pass signal once per period.
*The representation applies to the  [[Modulation_Methods/Double Sideband Amplitude Modulation#ZSB-Amplitude Modulation_with_Tr.C3.A4ger|Double Sideband Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Tasks:Task_4.5:_Locus Curve_at_ZSB-AM|Task 4.5]].
*In the book  [[Modulation_Methods/Evelope Demodulation|Modulation Methods]]  the locus curves of different system variants are treated in detail.

In this example the locus curve is an ellipse, which is traversed by the equivalent low pass signal once per period.
*The representation applies to the [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Double-Sideband–Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Aufgaben:Aufgabe_4.5:_Ortskurve_bei_ZSB-AM|Task 4.5]].
*In the book  [[Modulation_Methods/Hüllkurvendemodulation|Modulation Methods]] ,the locus curves of different system variants are treated in detail.

==Representing with Magnitude and Phase==
 
The equivalent low-pass signal of the band-pass signal  $x(t)$  is generally complex and can therefore be expressed in the form
:$$x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}$$.

Note the plus sign in the argument of the exponential function, which differs from the    [[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|Complex Fourier Series]] . This is because the equation with the positive sign for the phase is usually used to describe the modulation method for the physical signal as well:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t)).$$

In many textbooks this equation is used with plus or minus signs depending on the application, but always with the same &bdquo;phase identifier”. By using two different symbols  $(\varphi$  and  $\phi)$  we try to avoid this ambiguity in our learning tutorial  $\rm LNTww$.

{{GraueBox|TEXT=
$\text{Example 4:}$ The same prerequisites apply as in the  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{second example }$]]  and in the 
[[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Definition_der_Ortskurve|$\text{third one}$]]. InHowever, instead of the complex function  $x_{\rm TP}(t)$  the two real functions  $a(t)$  and  $\phi(t)$  are now displayed in the graphic.

[[File:P_ID748__Sig_T_4_3_S5.png|center|frame|Magnitude and Phase of The Equivalent Lowpass-Signal]]

It should be noted that this is a representation:
*The  '''Magnitude function'''  shows the time dependence of the pointer length:

:$$a(t)= \vert x_{\rm TP}(t)\vert =\sqrt{ {\rm Re}\left[x_{\rm TP}(t)\right]^2 +
{\rm Im}\left[x_{\rm TP}(t)\right]^2 }.$$

:The magnitude function  $a(t)$  is in this example like the complex equivalent low pass signal  $x_{\rm TP}(t)$  periodic with  $T_0$  and takes values between  $0$  and  $6$ .

*The  '''phase function'''   describes the time-dependent angle of the equivalent low pass signal  $x_{\rm TP}(t)$, related to the coordinate origin:

:$$\phi(t)= {\rm arc} \left[x_{\rm TP}(t)\right]= {\rm arctan}
\hspace{0.1cm}\frac{ {\rm Im}\left[x_{\rm TP}(t)\right]}{ {\rm
Re}\left[x_{\rm TP}(t)\right]}.$$

Hier noch einige numerische Ergebnisse für die Phasenwerte:
Here are some numerical results for the phase values:
*The phase at start time is  $\phi (t = 0) =\hspace{0.1cm} -\arctan (1/3) ≈ \hspace{0.1cm} -18.43^{\circ} = \hspace{0.1cm}-0.32\,\text{rad}$.
*At  $t = 25\,{\rm µ}\text{s}$  as well as at all equidistant times thereof in the distance  $T_0 = 100 \,{\rm µ}\text{s}$  is  $x_{\rm TP}(t) = 0$ so that at these times the phase  $\phi(t)$  changes abruptly from  $-\pi /2$  to  $+\pi /2$ .
*At the time  $t = 60\,{\rm µ}\text{s}$  the phase has a slightly positive value.
 }}

==Relation Between Equivalent LP-Signal and BP-Signal==
 
A bandpass signal  $x(t)$ resulting from the modulation of a low-frequency message signal  $q(t)$  with a carrier signal  $z(t)$  of frequency  $f_{\rm T}$  can be represented as follows:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t))
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}.$$

It should be noted here:
* $a(t)$  is the  ''time-dependent amplitude'', which is often also called  '''envelope''' . This is equal to the amount  $|x_{\rm TP}(t)|$  of the equivalent low pass signal.
* $\phi(t)$  is the  '''phase function'', i.e., the  ''time-dependent phase'', which can also be determined from the equivalent low-pass signal as the angle to the coordinate origin of the complex plane.
*In the physical signal  $x(t)$ , the phase  $\phi(t)$  can be recognized by the  '''zero crossings''. With  $\phi(t) > 0$  the zero crossing occurs in  $x(t)$  in the range of time  $t$  earlier than with the carrier signal  $z(t)$. In contrast,  $\phi(t) < 0$  means a shift of the zero crossing to a later time.
*One speaks of  '''amplitude modulation'' if all information about the message signal is contained in the envelope  $a(t)$  while  $\phi(t)$  is constant.
*Conversely, with  '''Phase modulation'''  the phase function  $\phi(t)$  contains all information about the message signal, while  $a(t)$  is constant.

{{GraueBox|TEXT=
$\text{Example 5:}$ 
The upper part of the following figure describes the  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Double Sideband Amplitude Modulation (DSB-AM) With Carrier]]:
*The equivalent TP signal  $x_{\rm TP}(t)$  is here always real   ⇒   the locus curve is a horizontal straight line.
*Therefore the zero crossings of the blue DSB-AM signal  $x(t)$  correspond exactly to those of the red carrier signal  $z(t)$ .
*This means:   the phase function  $\phi(t)$  is identical to zero   ⇒   the envelope  $a(t)$  contains all information about the message signal.

[[File:EN_Sig_T_4_3_S6.png|center|frame|$x_{\rm TP}(t)$ For Double-Sideband Amplitude Modulation and Phase Modulation]]

However, the lower part of the graphic applies to the  [[Modulation_Methods/Phasenmodulation_(PM)|Phase Modulation (PM)]]:
*The PM signal  $y(t)$  always has a constant envelope   ⇒   the locus curve is an arc.
*The phase value here is initially smaller than zero   ⇒   the  $y(t)$–zero crossings occur later than those of the carrier  $z(t)$    ⇒   the zero crossings are "trailing".
*For positive values of the message signal also  $\phi (t) > 0$   ⇒   the zero crossings occur earlier than those of the carrier signal   ⇒   they are "leading".
*With phase modulation, therefore, all information about the message signal  $q(t)$  is contained in the positions of the zero crossings.}}

==Why Multiple Representations of The Same Signal Exist ==
 
Finally, and hopefully not too late, we want to turn to the question why the two complex and less comprehensible signals  $x_+(t)$  and  $x_{\rm TP}(t)$  are actually necessary to describe the actual bandpass signal  $x(t)$ . They were not introduced in communications engineering in order to unsettle students, but:

{{BlaueBox|TEXT=
$\text{Conclusion:}$ 
*The envelope curve  $a(t)$  and the phase function  $\phi (t)$  can be extracted directly and easily from the actual, physical BP signal  $x(t)$  only in some special cases
*The real non existing equivalent low-pass signal  $x_{\rm TP}(t)$  is a mathematical tool to determine the time histories  $a(t)$  and  $\phi (t)$  by simple geometrical considerations. We will come back to this later in the book  [[Modulation_Methods]] .
*The analytical signal  $x_+(t)$  is an intermediate step in the transition from  $x(t)$  to  $x_{\rm TP}(t)$. While  $x_+(t)$  is always complex,  $x_{\rm TP}(t)$  can be real in special cases, for example, with ideal amplitude modulation according to the chapter  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation|Double-Sideband Amplitude Modulation]]  (DSB-AM).

The same principle applies as often used in the natural sciences and technology:

*The introduction of  $x_+(t)$  and  $x_{\rm TP}(t)$  brings rather a complication for simple problems.
*The advantages of this approach can only be seen in more difficult problems, which could not be solved with the physical bandpass signal  $x(t)$  alone or only with much more effort.}}

For further clarification we provide two interactive applets:

*[[Applets:Physikalisches_Signal_%26_Analytisches_Signal|Physical & Analytical Signal]]   ⇒   &bdquo;Vector Diagram”,
*[[Applets:Physikalisches_Signal_%26_Äquivalentes_TP-Signal|Physical & Equivalent TP-Signal]]   ⇒   &bdquo;Loot Curve”.

==Representation According to Real and Imaginary Part==
 
Especially for the description of  [[Modulation_Methods/Quadratur–Amplitudenmodulation|Quadrature Amplitude Modulation]]  (QAM), the representation of the equivalent low pass signal according to real and imaginary part is suitable:

:$$x_{\rm TP}(t) = x_{\rm I}(t)+ {\rm j} \cdot x_{\rm Q}(t).$$

In this representation,
*the real part  $x_{\rm I}(t)$  describes the  '''in-phase component'''  (normal component), whereas
*the imaginary part  $x_{\rm Q}(t)$  describes the  '''quadrature component''

of   $x_{\rm TP}(t)$. With the absolute value function  $a(t) = |x_{\rm TP}(t)|$  and the  phase function  $\phi (t) = \text{arc}\,x_{\rm TP}(t)$  according to the definitions on the previous pages:

:$$\begin{align*}x_{\rm I}(t) & = {\rm Re}[x_{\rm TP}(t)] = a(t) \cdot \cos
(\phi(t)),\\
x_{\rm Q}(t) & = {\rm Im}[x_{\rm TP}(t)] = a(t) \cdot \sin
(\phi(t)).\end{align*}$$

[[File:P_ID1150__Sig_T_4_3_S7a_neu.png|right|frame|Real And Imaginary Part of The Equivalent Lowpass-Signal]]
{{GraueBox|TEXT=
$\text{Example 6:}$  At the considered time  $t_0$  applies to the equivalent low pass signal:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot {\rm e}^{- {\rm j \hspace{0.05cm}\cdot \hspace{0.05cm} 60
^\circ} }.$$

With the  [[Signal_Representation/Calculating_With_Complex_Numbers#Darstellung_nach_Betrag_und_Phase|Euler's Theorem]] , it can be written like this:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60
^\circ).$$

This applies to the in-phase and quadrature component:

:$$x_{\rm I}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) = 1\text{V}, $$
:$$x_{\rm Q}(t = t_0) = \hspace{0.05cm} - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60^\circ) =\hspace{0.05cm}-1.733\text{V}.$$}}

By applying trigonometric transformations it can be shown that the real, physical bandpass signal can also be represented in the following way:

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t + \phi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )-x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ). $$

The minus sign results from the use of the phase function  $\phi (t)$. A comparison with the page  [[ Signal_Representation/Harmonic_Oscillation#Darstellung_mit_Cosinus-_und_Sinusanteil|Representation With Cosine- and Sine Component]]  in the second main chapter shows that instead of the difference, the sum results when referring to  $\varphi (t) = -\phi (t)$ . Adapted to our example, you then get

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t - \varphi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )+x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ).$$

The quadrature component  $x_{\rm Q}(t)$  thus differs from the above equation in the sign.

==Determination of the equivalent TP signal from the BP signal==
 
The following figure shows two arrangements to determine the complex low-pass signal split into inphase and quadrature components from the real bandpass signal  $x(t)$  for display on an oscilloscope, for example Let us first look at the upper model:

*The analytical signal  $x_+(t)$  is first generated here by adding the  [[Signal_Representation/Analytical_Signal_and_Its_Spectral_Function#Darstellung_mit_der_Hilberttransformation|Hilbert Transformed]] .
*Multiplication with the complex exponential function (with negative exponent!) yields the equivalent low-pass signal  $x_{\rm TP}(t)$.
*The sought components  $x_{\rm I}(t)$  and  $x_{\rm Q}(t)$  are then obtained by forming real or imaginary parts.

[[File:P_ID1151__Sig_T_4_3_S7b_neu.png|center|frame|Division of the Equivalent Low-Pass Signal Into In-phase and Quadrature Components]]

With the lower (more practical) arrangement, you get for the upper or lower branch after the respective multiplications:

:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot 2 \cdot \cos (\omega_{\rm T} \cdot t ) = a(t)\cdot \cos ( \phi(t)) + \varepsilon_{\rm oben}(t),$$
:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot (-2) \cdot \sin (\omega_{\rm T} \cdot t ) = a(t)\cdot \sin ( \phi(t)) + \varepsilon_{\rm unten}(t)).$$

The respective second parts are in the range around twice the carrier frequency and are removed by the low-pass filters with the respective cut-off frequency  $f_{\rm T}$ :

:$$\varepsilon_{\rm oben}(t) = a(t)\cdot \cos (2\omega_{\rm T} \cdot t +
\phi(t)),\hspace{0.8cm}
\varepsilon_{\rm unten}(t) = - a(t)\cdot \sin (2\omega_{\rm T} \cdot t +
\phi(t)).$$

A comparison with the above equations shows that the desired components  $x_{\rm I}(t)$  and  $x_{\rm Q}(t)$  can be tapped at the output:

:$$x_{\rm I}(t) = a(t)\cdot \cos ( \phi(t)) ,$$
:$$x_{\rm Q}(t) = a(t)\cdot \sin ( \phi(t)) .$$

==Power and Energy of a Bandpass Signal==
 
We look at the (blue) bandpass signal  $x(t)$  according to the graph, which results for example from  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Binary Amplitude Shift Keying]] . This digital modulation method is also known as  '''On-Off-Keying'''.

[[File:P_ID1152__Sig_T_4_3_S8a.png|right|frame|Power and Energy of a Bandpass Signal]]

The signal power related to  $1 \,\Omega$  is given by the explanations on page  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energy Limited and Power Limited Signals]]  to

:$$P_x = \lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}} \cdot \int^{+T_{\rm M}/2} _{-T_{\rm M}/2}\hspace{-0.1cm} x^2(t)\,{\rm d}t.$$

If the binary zeros and ones are equally probable, then the infinite integration range and the boundary crossing can be omitted, and you get for the above sketched pattern signal 

:$$P_x = \frac{1}{2T} \cdot \int ^{2T} _{0} x^2(t)\,{\rm d}t =
\frac{4\,{\rm V}^2}{2T} \cdot \int^{T} _{0} \cos^2(\omega_{\rm T} \cdot t)\,{\rm d}t= 1\,{\rm V}^2.$$
 
From the sketch below you can see that by averaging over the squared envelope  $a^2(t)$  - i.e. over the magnitude square of the equivalent lowpass signal  $x_{\rm TP}(t)$  - you get a result twice as large. Therefore the same holds here likewise:

:$$P_x = { {1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} |x_{\rm TP}(t)|^2\,{\rm
d}t =
{{1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} a^2(t)\,{\rm d}t.$$

This result can be generalized and applied to energy limited signals. In this case, the energy according to page  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energy Limited and Power Limited Signals]]:

:$$E_x = \int ^{+\infty} _{-\infty} x^2(t)\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} |x_{\rm TP}(t)|^2\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t.$$

However, this equation only applies exactly if the carrier frequency  $f_{\rm T}$  is much larger than the bandwidth  $B_{\rm BP}$  of the bandpass..

{{GraueBox|TEXT=
$\text{Example 7:}$ 
We look at the bandpass signal  $x(t)$  with  $A = 2\,\text{V}$,  $B = 1\,\text{kHz}$  and  $f_{\rm T} = 10\,\text{kHz}$:

[[File:P_ID1154__Sig_T_4_3_S8b_neu.png|right|frame|Power Calculation in the Equivalent Lowpass Range]]

:$$x(t) = A \cdot {\rm si}(\pi \cdot B \cdot t) \cdot \cos(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t + \phi(t)).$$

The amount spectrum  $x(t)$  belonging to the signal  $x(t)$  $\vert X(f) \vert$  is displayed in the upper right corner. The blue label applies:
* $X(f)$  is purely real due to the symmetry relations:
:$$\vert X(f) \vert = X(f).$$

* $\vert X(f) \vert$  s thus composed of two rectangles around  $\pm f_{\rm T}$ .

* In the range around the carrier frequency applies:
$$\vert X(f) \vert = A/(2B) = 10^{-3}\text{V/Hz}.$$
 
The energy of this bandpass signal could in principle be calculated by the following equation:

:$$E_x = \int^{+\infty} _{-\infty} A^2 \cdot \frac{ {\rm
sin}^2(\pi \cdot B \cdot t)}{ (\pi \cdot B \cdot t)^2}\cdot
\cos^2(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t +
\phi(t))\,{\rm
d}t .$$

According to the above equations, with the envelope curve  $a(t)$  but also with the envelope curve&nbsp drawn in red in the upper left corner:

:$$E_x = { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t= { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} \vert A \cdot {\rm si}(\pi \cdot B \cdot t)\vert^2\,{\rm
d}t $$
:$$\Rightarrow \hspace{0.3cm} E_x = A^2\cdot \int^{+\infty} _{0} {\rm si}^2(\pi \cdot B \cdot t)\,{\rm
d}t =A^2\cdot \frac {\pi}{2}\cdot \frac {1}{\pi B} = \frac {A^2}{2 B}= 2 \cdot 10^{-3}\,{\rm V}^2/{\rm Hz}.$$

According to the above equations, with the envelope  $a(t)$  but also with the envelope drawn in red in the upper left corner:

A second solution with the same result is offered by the   [https://en.wikipedia.org/wiki/Parseval%27s_theorem Parseval's theorem]:

:$$\int ^{+\infty} _{-\infty} a^2(t)\,{\rm d}t= \int
^{+\infty} _{-\infty} \vert A(f) \vert ^2\,{\rm d}f \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
E_x = {1}/{2}\cdot ( {A}/{B})^2 \cdot B = {A^2}/(2
B).$$

This is taken into account:
*The following applies  $\vert A(f) \vert = \vert X_{\rm TP}(f) \vert $.
*Inside the bandwidth  $B$  around the frequency  $f = 0$  is  $X_{\rm TP}(f)$  twice as large as  $X(f)$  around the frequency  $f = f_{\rm T}$, namely  $A/B$.
*This is related to the definition of the spectrum  $X_+(f)$  the analemic signal from which  $X_{\rm TP}(f)$  is created by shifting.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 4.5: Locus Curve for DSB-AM|Exercise 4.5: Locus Curve for DSB-AM]]

[[Aufgaben:Exercise 4.5Z: Simple Phase Modulator|Exercise 4.5Z: Simple Phase Modulator]]

[[Aufgaben:Exercise 4.6: Loot Curve for ESB-AM|Exercise 4.6: Loot Curve for ESB-AM]]

[[Aufgaben:Exercise 4.6Z: Loot Curve for Phase Modulation|Exercise 4.6Z: Loot Curve for Phase Modulation]]

{{Display}}

Signal Representation/Equivalent Low-Pass Signal and its Spectral Function

2020-11-29T19:29:09Z

Oezdemir:

{{Header
|Untermenü=Bandpass Signals
|Vorherige Seite=Analytical Signal and Its Spectral Function
|Nächste Seite=Time Discrete Signal Representation
}}

==Motivation for Describing in the Equivalent Low Pass Range==
 
The following figure shows a possible structure of a message transmission system:
*Often the low frequency source signal  $q(t)$  is converted into a bandpass signal  $s(t)$    ⇒   '''modulation''.
*After transmission, the received signal  $r(t)$  - compared to the transmit signal  $s(t)$  possibly distorted and with (noise) interference applied - must be reset to the original frequency range   ⇒   '''Demodulation''.
*The sink signal  $v(t)$, which should match the source signal  $q(t)$  as closely as possible, is then again a low pass signal.

[[File:EN_Sig_T_4_3_S1.png|center|frame|Block Diagram of a Bandpass Transmission System]]

Modulation and demodulation are therefore fundamental components of a transmission system, which are dealt with in detail in the book  [[Modulation_Methods]] . A short summary can be found in the first chapter    [[Signal_Representation/Principles_of_Communication|Principles of Message Transmission]]  of this book.

The investigation, simulation, optimization, and dimensioning of bandpass systems are mostly done in the  '''equivalent low pass range'', for which the following reasons can be given
*If quality characteristics (bandwidth efficiency, signal-to-noise ratio, bit error rate, power requirements, etc.) of a low pass system are known, the corresponding values of related bandpass systems can be derived from them relatively easily. Examples are the digital modulation methods  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Amplitude Shift Keying]]  (ASK) and  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#BPSK_.E2.80.93_Binary_Phase_Shift_Keying|Binary Phase Shift Keying]]  (BPSK), whose performance variables can be "extrapolated" from the comparable  [[Digital_Signal_Transmission/Systemkomponenten_eines_Basisbandübertragungssystems#Vereinfachtes_Systemmodell|baseband system]]  (i.e., without modulator and demodulator).

*Individual subchannels in a so-called [[Modulation_Methods/Zielsetzung_von_Modulation_und_Demodulation#B.C3.BCndelung_von_Kan.C3.A4len_.E2.80.93_Frequenzmultiplex|frequency division multiplex system]], which differ by different carrier frequencies, can often be considered qualitatively equivalent. Therefore, it is sufficient to limit the calculation and dimensioning to a single channel and to perform these investigations in the equivalent low-pass range - i.e. without considering the specific carrier frequency.

*t is often the case that the bandwidth of a communication connection is orders of magnitude smaller than the carrier frequency. For example, in the  [[Examples_of_Communication_Systems/Allgemeine_Beschreibung_von_GSM|GSM standard]]&nbsp the individual channels are located in the frequency range around  $900\ \rm MHz$  (&bdquo;D-Network”) and   $1800\ \rm MHz$  (&bdquo;E-Network”), while each channel has only a small bandwidth of  $200\ \rm kHz$  available. Therefore a simulation in the equivalent low pass range is much less complex than a simulation of the corresponding bandpass signals.

==Definition in the Frequency Domain==
 
We consider a real bandpass signal  $x(t)$  with the spectrum  $X(f)$. Furthermore we want to apply:
*The bandpass signal  $x(t)$  is said to result from the modulation of a low-frequency message signal  $q(t)$  with the carrier signal  $z(t)$  the frequency  $f_{\rm T}$ . The type of modulation (whether analog or digital, amplitudes– or angle modulation, single sideband or double sideband) is not specified.
*The spectral function  $X_+(f)$  of the corresponding analytical signal  $x_+(t)$  exists only for positive frequencies and is twice as large as  $X(f)$. For the derivation of  $X_+(f)$  the carrier frequency  $f_{\rm T}$  of the system does not need be known.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
If the spectrum of the analytical signal  $x_+(t)$  is shifted to the left for   $f_{\rm T}$  , the result is called the  '''Spectrum of the Equivalent Low-Pass Signal''':

:$$X_{\rm TP}(f) = X_{\rm +}(f + f_{\rm T}).$$

In general  $X(f)$,  $X_+(f)$  and  $X_{\rm TP}(f)$  are complex-valued. However, if  $X(f)$  is purely real, then the spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$  are also purely real, because they result from  $X(f)$  only from the operations "Cut and Double" or "Frequency Shift" respectively.}}}

For the calculation of the equivalent low-pass spectrum  $X_{\rm TP}(f)$  - in contrast to  $X_+(f)$  - the knowledge of the carrier frequency  $f_{\rm T}$  is absolutely necessary. For other values of  $f_{\rm T}$  other low-pass spectra will also result.

If one transforms the above equation into the time domain, one obtains after applying the  [[Signal_Representation/Fourier_Transform_Laws#Verschiebungssatz|shifting theorem]]:

:$$x_{\rm TP}(t) = x_{\rm +}(t)\cdot {\rm e}^{-{\rm j} \hspace{0.05cm}\cdot \hspace{0.05cm}2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t}.$$

The relation  $x(t) = \text{Re}\big[x_+(t)\big]$  yields the procedure to determine the actual physical bandpass signal from the equivalent lowpass signal:

:$$x(t) = {\rm Re}[x_{\rm +}(t)] = {\rm Re}\big[x_{\rm TP}(t)\cdot {\rm e}^{\hspace{0.05cm}{\rm j} \hspace{0.05cm} \cdot 2\pi \hspace{0.05cm}\cdot\hspace{0.05cm} f_{\rm T}\hspace{0.05cm} \cdot \hspace{0.05cm} \hspace{0.05cm}t}\big].$$

{{GraueBox|TEXT=
$\text{Example 1:}$ 
The upper figure shows the purely real spectral function  $X(f)$  of a bandpass signal  $x(t)$ which is the result of modulating a low frequency signal  $q(t)$  with the carrier frequency  $f_{\rm T}$ .
[[File:P_ID749__Sig_T_4_3_S2_neu.png|right|frame|Construction of The Equivalent Low Pass Signals in The Frequeny Domain]]

Below that, the two likewise real spectral functions  $X_+(f)$  and  $X_{\rm TP}(f)$ are shown. Due to the asymmetries concerning the frequency origin  $(f = 0)$  the corresponding time functions are complex.
*The continuous green spectral function  $X_{\rm TP}(f)$  is shifted to the left with respect to  $X_{+}(f)$  by the  carrier frequency $f_{\rm T}$ .

*If the spectrum  $X(f)$  is the modulation result of another message signal  $q\hspace{0.05cm}'(t)$  with a different carrier frequency  ${f_{\rm T} }\hspace{0.05cm}'$, this would also result in another equivalent TP signal  ${X_{\rm TP} }\hspace{0.05cm}'(f)$.

*An exemplary spectral function  ${X_{\rm TP} }\hspace{0.05cm}'(f)$  is drawn in the graphic with green-dashed lines.}}

==Description in The Time Domain==
 
To simplify the representation we now assume a line spectrum, so that the analytical signal can be represented as  '''pointer compound''   ⇒   sum of complex rotating pointers:

:$$X_{+}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - f_i) \hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm}
x_{+}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}f_i\hspace{0.05cm}\cdot \hspace{0.05cm} t
\hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

By shifting the frequency by  $f_{\rm T}$  to the left the equivalent low pass signal in frequency and time domain is thus:

:$$X_{\rm TP}(f) = \sum_{i=1}^{I} {A_i} \cdot {\rm e}^{-{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\varphi_i}\cdot\delta (f - \nu_i)\hspace{0.3cm}\bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm} x_{\rm TP}(t) = \sum_{i=1}^{I} A_i \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}( 2 \pi \hspace{0.05cm}\cdot \hspace{0.05cm}
\nu_i \hspace{0.05cm}\cdot \hspace{0.05cm} t \hspace{0.05cm}-\hspace{0.05cm} \varphi_i)}.$$

The following relation   is valid between the frequency values   $f_i$  and  $\nu_i$  $(i = 1, \ \text{...} \ , I)$:

:$$\nu_i = f_i - f_{\rm T} .$$

These equations can be interpreted as follows:
*At time  $t = 0$  the equivalent low-pass signal is identical to the analytical signal:
:$$x_{\rm TP}(t = 0) = x_{\rm +}(t = 0)= \sum_{i=1}^{I} A_i \cdot {\rm e}^{{-\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm} \varphi_i}.$$
*At this point in time, the pointer group is thus defined by the  $I$  amplitude parameter  $A_i$  and the  $I$  phase positions  $\varphi_i$  alone.
*All pointers of the analytical signal  $x_+(t)$  rotate for  $t > 0$  corresponding to the (always positive) frequencies  $f_i$  counterclockwise.
*For the equivalent low-pass signal, the rotation speeds are lower. Hands with  $\nu_i > 0$  turn in mathematically positive direction (counterclockwise), those with  $\nu_i < 0$  in counterclockwise direction (clockwise).
*If the frequency parameter is   $\nu_i = 0$ for a pointer, this pointer rests in the complex plane corresponding to its initial position.

{{GraueBox|TEXT=
$\text{Example 2:}$ 
We consider a spectrum consisting of three spectral lines at  $40\,\text{kHz}$,  $50\,\text{kHz}$  and $60\,\text{kHz}$  consisting of spectrum  $X_+(f)$. With the amplitude and phase parameters recognizable from the graphic you obtain the analytical signal  $x_+(t)$  corresponding to the lower left sketch.

[[File:P_ID739__Sig_T_4_3_S3neu.png|center|frame|Construction of The Equivalent Low Pass Signals in The Time Domain]]

The snapshot of the lower left graph   ⇒   '''analytical signal'''   $x_+(t)$  applies to the time  $t = 0$. All hands then turn counterclockwise at a constant angular velocity.
*The blue pointer rotates with  $60000$  rotations per second are fastest and the green pointer rotates with the angular frequency  $\omega_{40} = 2\pi \cdot 40000 \hspace{0.1cm} 1/\text{s}$  is the slowest.
*The violet sum point of all three pointers moves for  $t > 0$  in the complex plane in a complicated manner, for the above numerical values first roughly in the direction drawn.

The graphics on the right describe the  '''equivalent low-pass signal'''  in the frequency domain (top) and in the time domain (bottom), valid for  $f_{\rm T} = 50\,\text{kHz}$.
*The carrier is now at  $f = 0$  and the corresponding red rotating pointer does not move.
*The blue pointer (OSB) rotates here with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm}1/\text{s}$  counterclockwise.
*The green pointer (USB) rotates counterclockwise at the same speed  ($-\omega_{10}$).}}

==Definition of The Locus Curve==
 
{{BlaueBox|TEXT=
$\text{Definition:}$ 
As   '''locus curve'''  we call the curve on which the  '''equivalent low-pass signal'''  $x_{\rm TP}(t)$  moves in the  ''' complex plane'''  }}

''Notes:''   In other technical literature this term is rarely used. Therefore, initially, an example is shown.

[[File:P_ID744__Sig_T_4_3_S4_neu.png|right|frame|Definition of The Locus Curve]]
{{GraueBox|TEXT=
$\text{Example 3:}$ 
We consider the equivalent low-pass signal  $x_{\rm TP}(t)$  of  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{Example 2}$]],
consisting of
*the resting pointer of length  $3$  (red)
*the pointer with  $\omega_{10} = 2\pi \cdot 10000 \hspace{0.1cm} 1/\text{s}$  in mathematical positive direction rotating blue pointer with the complex amplitude  '''j''',
*the green pointer of length  $2$, which is currently  $t = 0$  in the direction of the negative imaginary axis. This rotates with the same angular velocity  $\omega_{10}$  as the blue pointer, but in the opposite direction  ($-\omega_{10}$).

The blue and the green pointer each require exactly one period duration  $T_0 = 100 \,{\rm µ}\text{s}$ for one rotation. The further course of the process can be seen in the above illustration:
*The violet pointer sum is at time  $t = 0$  equals  $3 - \text{j}$.
*After  $t = T_0/4 = 25 \,{\rm µ}\text{s}$  the resulting pointer group has the value &bdquo;Null”, since now the two rotating pointers lie in the opposite direction to the carrier and compensate it exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}

exactly.
*After a period  $(t = T_0 = 100 \,{\rm µ}\text{s})$  the initial state is reached again:   $x_{\rm TP}(t = T_0) = x_{\rm TP}(t=0) = 3 - \text{j}$.}}}

In this example the locus curve is an ellipse, which is traversed by the equivalent low pass signal once per period.
*The representation applies to the  [[Modulation_Methods/Double Sideband Amplitude Modulation#ZSB-Amplitude Modulation_with_Tr.C3.A4ger|Double Sideband Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Tasks:Task_4.5:_Locus Curve_at_ZSB-AM|Task 4.5]].
*In the book  [[Modulation_Methods/Evelope Demodulation|Modulation Methods]]  the locus curves of different system variants are treated in detail.

In this example the locus curve is an ellipse, which is traversed by the equivalent low pass signal once per period.
*The representation applies to the [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Double-Sideband–Amplitude Modulation with Carrier]]  of a sinusoidal  $10\ \rm kHz$ signal with a cosinusoidal carrier of any frequency, where the upper sideband (blue pointer) is attenuated.
*If the lengths of the blue and the green rotating pointer were equal, the locus curve would be a horizontal one on the real axis - see  [[Aufgaben:Aufgabe_4.5:_Ortskurve_bei_ZSB-AM|Task 4.5]].
*In the boo  [[Modulation_Methods/Hüllkurvendemodulation|Modulation Methods]] ,the locus curves of different system variants are treated in detail.

==Representing with Magnitude and Phase==
 
The equivalent low-pass signal of the band-pass signal  $x(t)$  is generally complex and can therefore be expressed in the form
:$$x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}$$.

Note the plus sign in the argument of the exponential function, which differs from the    [[Signal_Representation/Fourier_Series#Komplexe_Fourierreihe|Complex Fourier Series]] . This is because the equation with the positive sign for the phase is usually used to describe the modulation method for the physical signal as well:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t)).$$

In many textbooks this equation is used with plus or minus signs depending on the application, but always with the same &bdquo;phase identifier”. By using two different symbols  $(\varphi$  and  $\phi)$  we try to avoid this ambiguity in our learning tutorial  $\rm LNTww$.

{{GraueBox|TEXT=
$\text{Example 4:}$ The same prerequisites apply as in the  [[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Beschreibung_im_Zeitbereich|$\text{second example }$]]  and in the 
[[Signal_Representation/Equivalent_Low_Pass_Signal_and_Its_Spectral_Function#Definition_der_Ortskurve|$\text{third one}$]]. InHowever, instead of the complex function  $x_{\rm TP}(t)$  the two real functions  $a(t)$  and  $\phi(t)$  are now displayed in the graphic.

[[File:P_ID748__Sig_T_4_3_S5.png|center|frame|Magnitude and Phase of The Equivalent Lowpass-Signal]]

It should be noted that this is a representation:
*The  '''Magnitude function'''  shows the time dependence of the pointer length:

:$$a(t)= \vert x_{\rm TP}(t)\vert =\sqrt{ {\rm Re}\left[x_{\rm TP}(t)\right]^2 +
{\rm Im}\left[x_{\rm TP}(t)\right]^2 }.$$

:The magnitude function  $a(t)$  is in this example like the complex equivalent low pass signal  $x_{\rm TP}(t)$  periodic with  $T_0$  and takes values between  $0$  and  $6$ .

*Die  '''Phasenfunktion'''  beschreibt den zeitabhängigen Winkel des äquivalenten Tiefpass-Signals  $x_{\rm TP}(t)$, bezogen auf den Koordinatenursprung:

:$$\phi(t)= {\rm arc} \left[x_{\rm TP}(t)\right]= {\rm arctan}
\hspace{0.1cm}\frac{ {\rm Im}\left[x_{\rm TP}(t)\right]}{ {\rm
Re}\left[x_{\rm TP}(t)\right]}.$$

Hier noch einige numerische Ergebnisse für die Phasenwerte:
*Die Phase im Startzeitpunkt ist  $\phi (t = 0) =\hspace{0.1cm} -\arctan (1/3) ≈ \hspace{0.1cm} -18.43^{\circ} = \hspace{0.1cm}-0.32\,\text{rad}$.
*Bei  $t = 25\,{\rm µ}\text{s}$  sowie zu allen äquidistanten Zeiten davon im Abstand  $T_0 = 100 \,{\rm µ}\text{s}$  ist  $x_{\rm TP}(t) = 0$, so dass zu diesen Zeitpunkten die Phase  $\phi(t)$  sprungartig von  $-\pi /2$  auf  $+\pi /2$  wechselt.
*Zum violett eingezeichneten Zeitpunkt  $t = 60\,{\rm µ}\text{s}$  hat die Phase einen leicht positiven Wert.
 }}

==Zusammenhang zwischen äquivalentem TP-Signal und BP-Signal==
 
Ein bandpassartiges Signal  $x(t)$, das sich aus der Modulation eines niederfrequenten Nachrichtensignals  $q(t)$  mit einem Trägersignal  $z(t)$  der Frequenz  $f_{\rm T}$  ergeben hat, kann wie folgt dargestellt werden:

:$$x(t) = a(t) \cdot {\cos} ( 2 \pi f_{\rm T} t + \phi(t))
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
x_{\rm TP}(t) = a(t) \cdot {\rm e}^{{\rm j}\hspace{0.05cm}\cdot \hspace{0.05cm}
\phi(t)}.$$

Hierzu ist anzumerken:
* $a(t)$  ist die  ''zeitabhängige Amplitude'', die man oft auch als  '''Hüllkurve'''  bezeichnet. Diese ist gleich dem Betrag  $|x_{\rm TP}(t)|$  des äquivalenten Tiefpass–Signals.
* $\phi(t)$  ist die  '''Phasenfunktion''', also die  ''zeitabhängige Phase'', die ebenfalls aus dem äquivalenten Tiefpass–Signal als der Winkel zum Koordinatenursprung der komplexen Ebene ermittelt werden kann.
*Im physikalischen Signal  $x(t)$  erkennt man die Phase  $\phi(t)$  an den  '''Nulldurchgängen'''. Bei  $\phi(t) > 0$  tritt der Nulldurchgang in  $x(t)$  im Bereich der Zeit  $t$  früher auf als beim Trägersignal  $z(t)$. Dagegen bedeutet  $\phi(t) < 0$  eine Verschiebung des Nulldurchgangs auf einen späteren Zeitpunkt.
*Man spricht von  '''Amplitudenmodulation''', wenn die gesamte Information über das Nachrichtensignal in der Hüllkurve  $a(t)$  steckt, während  $\phi(t)$  konstant ist.
*Dagegen beinhaltet bei  '''Phasenmodulation'''  die Phasenfunktion  $\phi(t)$  die gesamte Information über das Nachrichtensignal, während  $a(t)$  konstant ist.

{{GraueBox|TEXT=
$\text{Beispiel 5:}$ 
Der obere Teil der folgenden Grafik beschreibt die  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation#ZSB-Amplitudenmodulation_mit_Tr.C3.A4ger|Zweiseitenband–Amplitudenmodulation (ZSB-AM) mit Träger]]:
*Das äquivalente TP–Signal  $x_{\rm TP}(t)$  ist hier stets reell   ⇒   die Ortskurve ist eine horizontale Gerade.
*Deshalb stimmen die Nulldurchgänge des blauen ZSB–AM–Signals  $x(t)$  mit denen des roten Trägersignals  $z(t)$  exakt überein.
*Das heißt:   Die Phasenfunktion  $\phi(t)$  ist identisch Null   ⇒   die Hüllkurve  $a(t)$  beinhaltet die gesamte Information über das Nachrichtensignal.

[[File:EN_Sig_T_4_3_S6.png|center|frame|$x_{\rm TP}(t)$ bei Zweiseitenband-Amplitudenmodulation und Phasenmodulation]]

Der untere Grafikteil gilt dagegen für die  [[Modulation_Methods/Phasenmodulation_(PM)|Phasenmodulation (PM)]]:
*Das PM-Signal  $y(t)$  hat stets eine konstante Einhüllende   ⇒   die Ortskurve ist ein Kreisbogen.
*Der Phasenwert ist hier zunächst kleiner Null   ⇒   die  $y(t)$–Nulldurchgänge treten später auf als die des Trägers  $z(t)$    ⇒   die Nulldurchgänge sind „nachlaufend”.
*Bei positiven Werten des Nachrichtensignals gilt auch  $\phi (t) > 0$   ⇒   die Nulldurchgänge treten früher auf als beim Trägersignal   ⇒   sie sind „vorlaufend”.
*Bei Phasenmodulation steckt also die gesamte Information über das Nachrichtensignal  $q(t)$  in den Lagen der Nulldurchgänge.}}

==Warum gibt es für das gleiche Signal drei Darstellungsformen?==
 
Abschließend – hoffentlich nicht zu spät – wollen wir uns noch der Frage zuwenden, warum die beiden komplexen und im Verständnis komplizierteren Signale  $x_+(t)$  und  $x_{\rm TP}(t)$  zur Beschreibung des tatsächlichen Bandpass–Signals  $x(t)$  eigentlich notwendig sind. Sie wurden nicht deshalb in der Nachrichtentechnik eingeführt, um Studierende zu verunsichern, sondern:

{{BlaueBox|TEXT=
$\text{Fazit:}$ 
*Die Hüllkurve  $a(t)$  und die Phasenfunktion  $\phi (t)$  können aus dem tatsächlichen, physikalischen BP–Signal  $x(t)$  nur in einigen Sonderfällen direkt und in einfacher Weise extrahiert werden.
*Das real nicht existierende äquivalente Tiefpass–Signal  $x_{\rm TP}(t)$  ist ein mathematisches Hilfsmittel, mit dem die Zeitverläufe  $a(t)$  und  $\phi (t)$  durch einfache geometrische Überlegungen bestimmt werden können. Im Buch  [[Modulation_Methods]]  werden wir darauf zurückkommen.
*Das analytische Signal  $x_+(t)$  ist ein Zwischenschritt beim Übergang von  $x(t)$  auf  $x_{\rm TP}(t)$. Während  $x_+(t)$  stets komplex ist, kann  $x_{\rm TP}(t)$  in Sonderfällen reell sein, zum Beispiel bei idealer Amplitudenmodulation entsprechend dem Kapitel  [[Modulation_Methods/Zweiseitenband-Amplitudenmodulation|Zweiseitenband-Amplitudenmodulation]]  (ZSB-AM).

Es gilt das gleiche Prinzip wie häufig in den Naturwissenschaften und Technik:

*Die Einführung von  $x_+(t)$  und  $x_{\rm TP}(t)$  bringt für einfache Probleme eher eine Verkomplizierung.
*Deren Vorteile erkennt man erst bei schwierigeren Aufgabenstellungen, die allein mit dem physikalischen Bandpass-Signal  $x(t)$  nicht gelöst werden könnten oder nur mit sehr viel größerem Aufwand.}}

Zur weiteren Verdeutlichung stellen wir noch zwei interaktive Applets bereit:

*[[Applets:Physikalisches_Signal_%26_Analytisches_Signal|Physikalisches Signal & AnalytischesSignal]]   ⇒   &bdquo;Zeigerdiagramm”,
*[[Applets:Physikalisches_Signal_%26_Äquivalentes_TP-Signal|Physikalisches Signal & Äquivalentes TP-Signal]]   ⇒   &bdquo;Ortskurve”.

==Darstellung nach Real- und Imaginärteil==
 
Insbesondere zur Beschreibung der  [[Modulation_Methods/Quadratur–Amplitudenmodulation|Quadratur-Amplitudenmodulation]]  (QAM) eignet sich die Darstellung des äquivalenten Tiefpass–Signals nach Real– und Imaginärteil:

:$$x_{\rm TP}(t) = x_{\rm I}(t)+ {\rm j} \cdot x_{\rm Q}(t).$$

In dieser Darstellung bezeichnet
*der Realteil  $x_{\rm I}(t)$  die  '''Inphasekomponente'''  (Normalkomponente),
*der Imaginärteil  $x_{\rm Q}(t)$  die  '''Quadraturkomponente'''

von  $x_{\rm TP}(t)$. Mit der Betragsfunktion  $a(t) = |x_{\rm TP}(t)|$  und der  Phasenfunktion  $\phi (t) = \text{arc}\,x_{\rm TP}(t)$  entsprechend den Definitionen auf den vorangegangenen Seiten gilt:

:$$\begin{align*}x_{\rm I}(t) & = {\rm Re}[x_{\rm TP}(t)] = a(t) \cdot \cos
(\phi(t)),\\
x_{\rm Q}(t) & = {\rm Im}[x_{\rm TP}(t)] = a(t) \cdot \sin
(\phi(t)).\end{align*}$$

[[File:P_ID1150__Sig_T_4_3_S7a_neu.png|right|frame|Real- und Imaginärteil des äquivalenten Tiefpass-Signals]]
{{GraueBox|TEXT=
$\text{Beispiel 6:}$  Zum betrachteten Zeitpunkt  $t_0$  gilt für das äquivalente Tiefpass–Signal:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot {\rm e}^{- {\rm j \hspace{0.05cm}\cdot \hspace{0.05cm} 60
^\circ} }.$$

Mit dem  [[Signal_Representation/Calculating_With_Complex_Numbers#Darstellung_nach_Betrag_und_Phase|Satz von Euler]]  kann hierfür geschrieben werden:

:$$x_{\rm TP}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60
^\circ).$$

Damit gilt für die Inphasekomponente und für die Quadraturkomponente:

:$$x_{\rm I}(t = t_0) = 2\,{\rm V} \cdot \cos(60 ^\circ) = 1\text{V}, $$
:$$x_{\rm Q}(t = t_0) = \hspace{0.05cm} - {\rm j} \cdot 2\,{\rm V} \cdot \sin(60^\circ) =\hspace{0.05cm}-1.733\text{V}.$$}}

Durch Anwendung trigonometrischer Umformungen kann gezeigt werden, dass man das reelle, physikalische Bandpass–Signal auch in folgender Weise darstellen kann:

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t + \phi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )-x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ). $$

Das Minuszeichen ergibt sich wegen der Verwendung der Phasenfunktion  $\phi (t)$. Ein Vergleich mit der Seite  [[ Signal_Representation/Harmonic_Oscillation#Darstellung_mit_Cosinus-_und_Sinusanteil|Darstellung mit Cosinus- und Sinusanteil]]  im zweiten Hauptkapitel zeigt, dass sich anstelle der Differenz die Summe ergibt, wenn man sich auf  $\varphi (t) = -\phi (t)$  bezieht. Angepasst auf unser Beispiel erhält man dann:

:$$x(t) = a(t) \cdot \cos (2 \pi \cdot f_{\rm T} \cdot t - \varphi(t)) = x_{\rm I}(t)\cdot \cos (2 \pi \cdot f_{\rm T} \cdot t )+x_{\rm Q}(t)\cdot \sin (2 \pi \cdot f_{\rm T} \cdot t ).$$

Die Quadraturkomponente  $x_{\rm Q}(t)$  unterscheidet sich gegenüber der oberen Gleichung also im Vorzeichen.

==Ermittlung des äquivalenten TP-Signals aus dem BP-Signal==
 
Die folgende Grafik zeigt zwei Anordnungen, um aus dem reellen Bandpass–Signal  $x(t)$  das komplexe Tiefpass–Signal aufgespalten nach Inphase– und Quadraturkomponente zu ermitteln, beispielsweise zur Darstellung auf einem Oszilloskop. Betrachten wir zuerst das obere Modell:

*Hier wird zunächst das analytische Signal  $x_+(t)$  durch Hinzufügen der  [[Signal_Representation/Analytical_Signal_and_Its_Spectral_Function#Darstellung_mit_der_Hilberttransformation|Hilberttransformierten]]  erzeugt.
*Durch Multiplikation mit der komplexen Exponentialfunktion (mit negativem Exponenten!) kommt man zum äquivalenten Tiefpass–Signal  $x_{\rm TP}(t)$.
*Die gesuchten Komponenten  $x_{\rm I}(t)$  und  $x_{\rm Q}(t)$  erhält man dann durch Real– bzw. Imaginärteilbildung.

[[File:P_ID1151__Sig_T_4_3_S7b_neu.png|center|frame|Aufteilung des äquivalenten Tiefpass-Signals in Inphase- und Quadraturkomponente]]

Bei der unteren (praxisrelevanteren) Anordnung erhält man für den oberen bzw. unteren Zweig nach den jeweiligen Multiplikationen:

:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot 2 \cdot \cos (\omega_{\rm T} \cdot t ) = a(t)\cdot \cos ( \phi(t)) + \varepsilon_{\rm oben}(t),$$
:$$a(t)\cdot \cos (\omega_{\rm T} \cdot t + \phi(t)) \cdot (-2) \cdot \sin (\omega_{\rm T} \cdot t ) = a(t)\cdot \sin ( \phi(t)) + \varepsilon_{\rm unten}(t)).$$

Die jeweils zweiten Anteile liegen im Bereich um die doppelte Trägerfrequenz und werden durch die Tiefpässe mit jeweiliger Grenzfrequenz  $f_{\rm T}$  entfernt:

:$$\varepsilon_{\rm oben}(t) = a(t)\cdot \cos (2\omega_{\rm T} \cdot t +
\phi(t)),\hspace{0.8cm}
\varepsilon_{\rm unten}(t) = - a(t)\cdot \sin (2\omega_{\rm T} \cdot t +
\phi(t)).$$

Ein Vergleich mit obigen Gleichungen zeigt, dass am Ausgang die gewünschten Komponenten  $x_{\rm I}(t)$  und  $x_{\rm Q}(t)$  abgegriffen werden können:

:$$x_{\rm I}(t) = a(t)\cdot \cos ( \phi(t)) ,$$
:$$x_{\rm Q}(t) = a(t)\cdot \sin ( \phi(t)) .$$

==Leistung und Energie eines Bandpass-Signals==
 
Wir betrachten das (blaue) Bandpass-Signal  $x(t)$  gemäß der Grafik, das sich zum Beispiel bei  [[Modulation_Methods/Lineare_digitale_Modulationsverfahren#ASK_.E2.80.93_Amplitude_Shift_Keying|Binary Amplitude Shift Keying]]  ergibt. Dieses digitale Modulationsverfahren ist auch bekannt unter dem Namen  '''On–Off–Keying'''.

[[File:P_ID1152__Sig_T_4_3_S8a.png|right|frame|Leistung und Energie eines Bandpass-Signals]]

Die auf  $1 \,\Omega$  bezogene Signalleistung ergibt sich nach den Ausführungen auf der Seite  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energiebegrenzte und leistungsbegrenzte Signale]]  zu

:$$P_x = \lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}} \cdot \int^{+T_{\rm M}/2} _{-T_{\rm M}/2}\hspace{-0.1cm} x^2(t)\,{\rm d}t.$$

Sind die binären Nullen und Einsen gleichwahrscheinlich, so kann man auf den unendlichen Integrationsbereich und den Grenzübergang verzichten, und man erhält für das oben skizzierte Mustersignal  $x(t)$:

:$$P_x = \frac{1}{2T} \cdot \int ^{2T} _{0} x^2(t)\,{\rm d}t =
\frac{4\,{\rm V}^2}{2T} \cdot \int^{T} _{0} \cos^2(\omega_{\rm T} \cdot t)\,{\rm d}t= 1\,{\rm V}^2.$$
 
Aus der unteren Skizze ist zu erkennen, dass man durch Mittelung über die quadrierte Hüllkurve  $a^2(t)$  – also über das Betragsquadrat des äquivalenten Tiefpass–Signals  $x_{\rm TP}(t)$  – ein doppelt so großes Ergebnis erhält. Deshalb gilt in gleicher Weise:

:$$P_x = { {1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} |x_{\rm TP}(t)|^2\,{\rm
d}t =
{{1}/{2} \hspace{0.08cm}\cdot }\lim_{T_{\rm M} \to \infty} \frac{1}{T_{\rm M}}
\cdot \int^{T_{\rm M}/2} _{-T_{\rm M}/2} a^2(t)\,{\rm d}t.$$

Dieses Resultat lässt sich verallgemeinern und es auch auf energiebegrenzte Signale anwenden. In diesem Fall gilt für die Energie entsprechend der Seite  [[Signal_Representation/Signal_classification#Energiebegrenzte_und_leistungsbegrenzte_Signale|Energiebegrenzte und leistungsbegrenzte Signale]]:

:$$E_x = \int ^{+\infty} _{-\infty} x^2(t)\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} |x_{\rm TP}(t)|^2\,{\rm
d}t = { {1}/{2} \hspace{0.08cm}\cdot }\int ^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t.$$

Diese Gleichung gilt allerdings nur dann exakt, wenn die Trägerfrequenz  $f_{\rm T}$  sehr viel größer als die Bandbreite  $B_{\rm BP}$  des Bandpasses ist.

{{GraueBox|TEXT=
$\text{Beispiel 7:}$ 
Wir betrachten das in der Grafik links oben blau skizzierte Bandpass–Signal  $x(t)$  mit  $A = 2\,\text{V}$,  $B = 1\,\text{kHz}$  und  $f_{\rm T} = 10\,\text{kHz}$:

[[File:P_ID1154__Sig_T_4_3_S8b_neu.png|right|frame|Leistungsberechnung im äquivalenten Tiefpass-Bereich]]

:$$x(t) = A \cdot {\rm si}(\pi \cdot B \cdot t) \cdot \cos(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t + \phi(t)).$$

Oben rechts ist das zum Signal  $x(t)$  gehörige Betragsspektrum  $\vert X(f) \vert$  dargestellt. Es gilt die blaue Beschriftung:
* $X(f)$  ist aufgrund der Symmetrieverhältnisse rein reell:
:$$\vert X(f) \vert = X(f).$$

* $\vert X(f) \vert$  setzt sich also aus zwei Rechtecken um  $\pm f_{\rm T}$  zusammen.

* Im Bereich um die Trägerfrequenz gilt:
:$$\vert X(f) \vert = A/(2B) = 10^{-3}\text{V/Hz}.$$
 
Die Energie dieses Bandpass–Signals könnte prinzipiell nach folgender Gleichung berechnet werden:

:$$E_x = \int^{+\infty} _{-\infty} A^2 \cdot \frac{ {\rm
sin}^2(\pi \cdot B \cdot t)}{ (\pi \cdot B \cdot t)^2}\cdot
\cos^2(2 \pi \cdot f_{\rm T}\cdot \hspace{0.05cm}t +
\phi(t))\,{\rm
d}t .$$

Entsprechend den obigen Gleichungen gilt mit der oben links rot eingezeichneten Hüllkurve  $a(t)$  aber auch:

:$$E_x = { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} a^2(t)\,{\rm
d}t= { {1}/{2} \hspace{0.08cm}\cdot }\int^{+\infty} _{-\infty} \vert A \cdot {\rm si}(\pi \cdot B \cdot t)\vert^2\,{\rm
d}t $$
:$$\Rightarrow \hspace{0.3cm} E_x = A^2\cdot \int^{+\infty} _{0} {\rm si}^2(\pi \cdot B \cdot t)\,{\rm
d}t =A^2\cdot \frac {\pi}{2}\cdot \frac {1}{\pi B} = \frac {A^2}{2 B}= 2 \cdot 10^{-3}\,{\rm V}^2/{\rm Hz}.$$

Aus dieser Gleichung erkennt man sofort, dass die Signalenergie  $E_x$  unabhängig von der Trägerphase  $\phi$  ist.

Eine zweite Lösungsmöglichkeit mit gleichem Ergebnis bietet schließlich der  [https://de.wikipedia.org/wiki/Satz_von_Parseval Satz von Parseval]:

:$$\int ^{+\infty} _{-\infty} a^2(t)\,{\rm d}t= \int
^{+\infty} _{-\infty} \vert A(f) \vert ^2\,{\rm d}f \hspace{0.3cm} \Rightarrow \hspace{0.3cm}
E_x = {1}/{2}\cdot ( {A}/{B})^2 \cdot B = {A^2}/(2
B).$$

Hierbei ist berücksichtigt:
*Es gilt  $\vert A(f) \vert = \vert X_{\rm TP}(f) \vert $.
*Innerhalb der Bandbreite  $B$  um die Frequenz  $f = 0$  ist  $X_{\rm TP}(f)$  doppelt so groß wie  $X(f)$  um die Frequenz  $f = f_{\rm T}$, nämlich  $A/B$.
*Dies hängt mit der Definition des Spektrums  $X_+(f)$  des analtischen Signals zusammen, aus dem  $X_{\rm TP}(f)$  durch Verschiebung entsteht.}}

==Exercises for The Chapter==
 
[[Aufgaben:Exercise 4.5: Locus Curve for DSB-AM|Exercise 4.5: Locus Curve for DSB-AM]]

[[Aufgaben:Exercise 4.5Z: Simple Phase Modulator|Exercise 4.5Z: Simple Phase Modulator]]

[[Aufgaben:Exercise 4.6: Loot Curve for ESB-AM|Exercise 4.6: Loot Curve for ESB-AM]]

[[Aufgaben:Exercise 4.6Z: Loot Curve for Phase Modulation|Exercise 4.6Z: Loot Curve for Phase Modulation]]

{{Display}}

Signal Representation/Possible Errors when using DFT

2020-11-29T18:54:46Z

Oezdemir:

{{Header
|Untermenü=Zeit- und frequenzdiskrete Signaldarstellung
|Vorherige Seite=Diskrete Fouriertransformation (DFT)
|Nächste Seite=Spektralanalyse
}}

==Der mittlere quadratische Fehler als Qualitätskriterium==
 
Im Folgenden werden einige Fehlermöglichkeiten bei Anwendung der DFT kurz diskutiert, wobei wir uns auf die Transformation vom Zeit– in den Frequenzbereich beschränken. Auch in seinen Abtastwerten wird sich im Allgemeinen das über die DFT ermittelte Spektrum  $D(\mu )/f_{\rm A}$  vom tatsächlichen Spektrum  $X(\mu \cdot f_{\rm A})$  unterscheiden, was auf zwei Prozesse zurückzuführen ist:
*die  '''Abtastung''', also die Reduzierung der Information über  $x(t)$  auf  $N$  Zahlenwerte,
*die  '''Fensterung''', die das Signal  $x(t)$  eventuell fälschlicherweise begrenzt.

{{BlaueBox|TEXT=
$\text{Definition:}$ 
Ein Gütekriterium, das beide Fehlerarten berücksichtigt, ist der  '''mittlere quadratische Fehler''':

:$${\rm MQF} = \frac{1}{N}\cdot \sum_{\mu = 0 }^{N-1}
\left\vert X(\mu \cdot f_{\rm A})-\frac{D(\mu)}{f_{\rm A} }\right \vert^2 \hspace{0.05cm}.$$

Es ist stets  ${\rm MQF} \ne 0$, da sich bei endlichem  $N$  nicht gleichzeitig die Degradation durch die Abtastung und durch die Fensterung zu Null machen lassen.}}

Die Größe dieser Bewertungsgröße  ${\rm MQF}$  hängt von folgenden Parametern ab:
*den Eigenschaften der vorliegenden Zeitfunktion  $x(t)$  bzw. des Spektrums  $X(f)$,
*dem DFT–Parameter  $N$;  je größer  $N$  gewählt wird, umso kleiner wird  ${\rm MQF}$,
*einem der vier weiteren DFT–Parameter, zum Beispiel  $f_{\rm A}$.

Die weiteren DFT–Parameter sind bei gegebenem  $N$  über die Gleichungen  $f_{\rm P} = N \cdot f_{\rm A}$,  $T_{\rm P} = 1/f_{\rm A}$  und  $T_{\rm A} = T_{\rm P}/N$  festgelegt.

Wir weisen Sie bereits hier auf das Lernvideo  [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Fehlermöglichkeiten bei Anwendung der DFT]]  hin, das den Inhalt dieses Kapitels verdeutlicht.

[[File:EN_Sig_T_5_1_S1.png|right|frame|Quasi-fehlerfreie DFT mit  $N = 16$]]
{{GraueBox|TEXT=
$\text{Beispiel 1:}$ 
Wir betrachten beispielhaft einen Gaußimpuls mit der äquivalenten Impulsdauer  $\Delta t = T$, wobei  $T$  gleichzeitig als Normierungsparameter verwendet wird:

:$$x(t) = {\rm e}^{- \pi (t/T)^2} \hspace{0.05cm}.$$

Der Gaußimpuls eignet sich aufgrund des schnellen, exponentiellen Abklingens sowohl im Zeit– als auch im Frequenzbereich sehr gut für die Anwendung der DFT.

Die untere Grafik zeigt das DFT–Ergebnis
*für  $N = 16$  und
*$T_{\rm A}/T = 0.25$   ⇒   $f_{\rm A} \cdot T = 0.25$.
 
Zu dieser Darstellung ist Folgendes anzumerken:
*Die berücksichtigten Abtastwerte von  $x(t)$  liegen im Bereich  $\vert t/T \vert≤ 2$.  Da  $x(\pm 2T)$  sehr klein ist, führt die Periodifizierung im Zeitbereich mit  $T_{\rm P}/T = N \cdot T_{\rm A}/T = 2$  zu keinen gravierenden Fehlern.
*Mit  $f_{\rm A} \cdot T = 0.25$  sowie  $N = 16$  ergibt sich der (normierte) DFT–Parameter  $f_{\rm P} \cdot T = 4$.
*Die diskreten Spektrallinien der DFT liegen somit im Bereich  $–2/T ≤ f < +2/T$.
*Der mittlere quadratrische Fehler ist relativ klein  $\text{(MQF} \approx 10^{–12})$, was auf die günstige Wahl von  $f_{\rm A} \cdot T = 0.25$  $($bei gegebenem  $N = 16)$  zurückzuführen ist.
*Die DFT–Genauigkeit kann durch Vergrößerung von  $N$  verbessert werden:
:*Für  $N = 1024$  erhält man den kleinstmöglichen Wert  $\text{MQF} \approx 8 \cdot 10^{–17}$, wenn  $f_{\rm A} \cdot T = 0.125$  gewählt wird. Für die weiteren DFT–Parameter gilt dann:
:: $$f_{\rm P} \cdot T = 128, \hspace{0.5cm}T_{\rm A}/T = 1/128, \hspace{0.5cm} T_{\rm P}/T = N \cdot T_{\rm A}/T= 8.$$
:*Bei einem 32–Bit–Prozessor (das bedeutet:  kleinere Quantisierungsfehler des Rechners)  wäre  $\text{MQF}$  noch kleiner, aber niemals Null. }}

==DFT-Verfälschung durch Fensterung – Abbruchfehler==
 
Ein typischer Fehler bei Anwendung der DFT ist auf die  '''Fensterung'''  zurückzuführen. Diese als  ''Abbruchfehler''  bekannte Verfälschung lässt sich folgendermaßen erklären:
*Die im DFT–Algorithmus implizit enthaltene Fensterung entspricht der Multiplikation des Signals  $x(t)$ mit  einer Rechteckfunktion der Höhe  $1$  und der Dauer  $T_{\rm P} = N \cdot T_{\rm A}$.
*Ist das Zeitsignal  $x(t)$  nicht auf den Bereich  $T_{\rm P}$  begrenzt, so stimmt das DFT–Ergebnis nicht mit dem tatsächlichen Spektrum  $X(f)$  überein, sondern ergibt sich aus diesem durch Faltung mit der Spektralfunktion  $T_{\rm P} \cdot \text{si}(\pi fT_{\rm P})$.
*Im Grenzfall  $T_{\rm P} \to \infty$, was bei gegebenem Abstand  $T_{\rm A}$  der Abtastwerte auch eine unendlich große Stützstellenzahl  $N$  bedeuten würde, entartet  $T_{\rm P} \cdot \text{si}(\pi fT_{\rm P})$  zu einer Diracfunktion und das Originalspektrum  $X(f)$  bliebe erhalten.
*Die DFT eines zeitlich unbegrenzten Signals – zum Beispiel eines periodischen Signals – wird immer einen Abbruchfehler hervorrufen, der nur durch besondere Maßnahmen in Grenzen gehalten werden kann. Hierauf wird im Kapitel  [[Signal_Representation/Spectrum_Analysis|Spektralanalyse]]  näher eingegangen.
*Bei zeitlich begrenzten, impulsartigen Signalen lässt sich der Abbruchfehler vermeiden, wenn man  $T_{\rm P}$  hinreichend groß wählt. Durch weitere Vergrößerung des Fensters in Bereiche mit  $x(t) \approx 0$  ergibt sich kein zusätzlicher Informationsgewinn   ⇒   $\text{MQF}$  wird nicht kleiner.
*Durch dieses Anfügen von Nullen  '''(zero–padding)'''  treten nun die Abtastwerte von  $X(f)$  in kleinerem Abstand  $f_{\rm A} = 1/T_{\rm A}$  auf. Durch  $T_{\rm P}$–Verdopplung erreicht man eine Interpolation der Frequenzabtastwerte genau in der Mitte zwischen zwei vorherigen Stützstellen.

Das folgende Beispiel zeigt einen Abbruchfehler aufgrund ungünstig gewählter DFT–Parameter.

[[File:EN_Sig_T_5_1_S2.png|right|frame|Abbruchfehler bei einer DFT mit  $N = 16$]]
{{GraueBox|TEXT=
$\text{Beispiel 2:}$ 
Die Grafik zeigt das Ergebnis der DFT für gleiches  $x(t)$  und  $X(f)$  sowie gleiches  $N = 16$  wie im  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|$\text{Beispiel 1}$]], aber nun mit demgegenüber um den Faktor  $2$  feinerer Abtastung im Zeitbereich:
:$$T_{\rm A}/T = 0.125     ⇒     f_{\rm A} \cdot T = 0.5.$$

Der Vergleich mit  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|Beispiel 1]]  $(T_{\rm A}/T = 0.25 \ \Rightarrow \ f_{\rm A} \cdot T = 0.25)$  zeigt:
*Der Abstand der Frequenzabtastwerte wird größer:  $f_{\rm A} \cdot T = 0.5$.
*Gleichzeitig verringert sich  $T_{\rm P}/T$  von  $4$  auf  $2$.
*Damit werden nun nur noch die Signalanteile im Bereich  $\vert t \vert < T$  durch die DFT erfasst.

'''Zusammengefasst:''' Mit diesen DFT–Parametern entsteht ein  '''Abbruchfehler''', durch den der mittlere quadratische Fehler  $\rm (MQF)$  signifikant von  $10^{-12}$ auf $4 \cdot 10^{-5}$  vergrößert wird.

Wir verweisen nochmals auf das Lernvideo [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Fehlermöglichkeiten bei Anwendung der DFT]]. }}

==DFT-Verfälschung durch Abtastung – Aliasingfehler==
 
Auch eine ungeeignete Abtastung der Zeitfunktion  $x(t)$  kann das DFT–Ergebnis signifikant verfälschen. Dieser so genannte  '''Aliasingfehler'''  lässt sich wie folgt erklären:
*Die Abtastung von  $x(t)$  im Abstand  $T_{\rm A}$  bewirkt eine periodische Fortsetzung des Spektrums bei Vielfachen der Periodisierungsfrequenz  $f_{\rm P} = 1/T_{\rm A}$.
*Besitzt das Spektrum  $X(f)$  auch Spektralanteile bei  $|f| > f_{\rm P}/2$, so ist das Abtasttheorem nicht erfüllt und es kommt zu Überlappungen der zu addierenden, verschobenen Frequenzanteile.
*Nur bei bandbegrenztem Signal kann der Aliasingfehler durch geeignete DFT–Parameter vermieden werden. Dagegen ist bei zeitlich begrenzten, impulsartigen Signalen dieser Fehler unvermeidbar, da zeitbegrenzte Signale nicht gleichzeitig bandbegrenzt sein können.
*Der Aliasingfehler wird durch eine feinere Abtastung  $($also:   kleineres  $T_{\rm A} = 1/f_{\rm P})$  kleiner. Dies erreicht man bei gleichbleibendem  $T_{\rm A}$  – um den Abbruchfehler nicht anwachsen zu lassen – allerdings nur durch ein größeres  $N$  und damit einen größeren Rechenaufwand.

Das folgende  $\text{Beispiel 3}$  zeigt einen solchen Aliasingfehler aufgrund falsch gewählter DFT–Parameter:
*Gegenüber dem &bdquo;Vergleichssystem” gemäß  [[Signal_Representation/Possible_Errors_When_Using_DFT#Der_mittlere_quadratische_Fehler_als_Qualit.C3.A4tskriterium|$\text{Beispiel 1}$]]  ist  $T_{\rm A}$  zu groß und  $f_{\rm A}$  zu klein dimensioniert.
*Die Stützstellenanzahl ist in beiden Fällen  $N = 16$.

[[File:EN_Sig_T_5_1_S3._neu.png|right|frame|Aliasingfehler bei einer DFT mit  $N = 16$]]
{{GraueBox|TEXT=
$\text{Beispiel 3:}$ 
Die DFT–Parameter seien  $N = 16$  und  $f_{\rm A} \cdot T= 0.125$. Somit ergibt sich für die drei anderen DFT–Parameter:
* $T_{\rm P}/T = 8.0 \hspace{0.5cm} \text{(Beispiel 1:} \ \ T_{\rm P}/T = 4)$,
* $f_{\rm P} \cdot T = 2.0 \hspace{0.45cm} \text{(Beispiel 1:} \ \ f_{\rm P} \cdot T = 4)$,
* $T_{\rm A}/T = 0.5\hspace{0.45cm} \text{(Beispiel 1:} \ \ T_{\rm A}/T = 0.25)$.

Daraus ergeben sich folgende Konsequenzen:
*Der Abbruchfehler spielt wegen  $T_{\rm P} /T = 8$  weiterhin keine Rolle (schon  $T_{\rm P} /T = 4$  war ausreichend).
*Wegen  $f_{\rm P} \cdot T = 2$  entsteht nun allerdings Aliasing, weil die DFT von der Summe vieler Gaußfunktionen im Abstand  $f_{\rm P} \cdot T = 2$  ausgeht (dünn gestrichelte Kurven in der Grafik ).
*Die einzelnen DFT–Koeffizienten werden unterschiedlich verfälscht:   Der mittlere DFT–Koeffizient  $($für die Frequenz  $f = 0)$  ist nahezu richtig, während die Fehler der DFT–Koeffizienten zu den Rändern hin deutlich zunehmen.
*Im betrachteten Beispiel ist der DFT–Koeffizient für  $f \cdot T = -1$  doppelt so groß als er sein sollte, da die Gaußfunktion mit dem Zentrum bei  $f \cdot T = -2$  den gleichen Beitrag liefert wie die eigentliche Gaußfunktion um  $f \cdot T = 0$  (siehe gelbe Hinterlegung).

Somit ergibt sich hier mit  $\text{MQF} \approx 2 \cdot 10^{-4}$  ein viermal größerer Fehlerwert als durch den Abbruchfehler im  [[Signal_Representation/Possible_Errors_When_Using_DFT#DFT-Verf.C3.A4lschung_durch_Fensterung_.E2.80.93_Abbruchfehler|$\text{Beispiel 2}$]].

Wir verweisen nochmals auf das Lernvideo  [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Fehlermöglichkeiten bei Anwendung der DFT]]. }}

==Aufgaben zum Kapitel==
 
[[Aufgaben:Exercise 5.3: Mean Square Error|Exercise 5.3: Mean Square Error]]

[[Aufgaben:Exercise 5.3Z: Zero-Padding|Exercise 5.3Z: Zero-Padding]]

{{Display}}

Aufgaben:Exercise 5.3Z: Zero-Padding

2020-11-29T18:53:40Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.3Z: Zero-Padding to Aufgaben:Exercise 5.3Z: Zero-Padding

{{quiz-Header|Buchseite=Signal_Representation/Possible_Errors_When_Using_DFT
}}

[[File:P_ID1146__Sig_Z_5_3_neu.png|right|frame|$\rm MQF$–Werte als Funktion von  $T_{\rm A} /T$  und  $N$]]
Wir betrachten die DFT eines Rechteckimpulses  $x(t)$  der Höhe  $A =1$  und der Dauer  $T$. Damit hat die Spektralfunktion  $X(f)$  einen  $\sin(f)/f$–förmigen Verlauf.

Für diesen Sonderfall soll der Einfluss des DFT–Parameters  $N$  analysiert werden, wobei der Stützstellenabstand im Zeitbereich stets  $T_{\rm A} = 0.01T$  bzw.  $T_{\rm A} = 0.05T$  betragen soll.

Nebenstehend sind für unterschiedliche Werte von  $N$  die sich ergebenden Werte für den ''mittleren quadratischen Fehler''  (MQF) der Stützwerte im Frequenzbereich angegeben:
:$${\rm MQF} = \frac{1}{N}\cdot \sum_{\mu = 0 }^{N-1}
\left|X(\mu \cdot f_{\rm A})-\frac{D(\mu)}{f_{\rm A}}\right|^2 \hspace{0.05cm}.$$
Für  $T_A/T = 0.01$  sind somit stets  $101$  der DFT–Koeffizienten  $d(ν)$  von Null verschieden.

:* Davon besitzen  $99$  den Wert  $1$  und die beiden Randkoeffizienten sind jeweils gleich  $0.5$.

:* Vergrößert man  $N$, so wird das DFT–Koeffizientenfeld mit Nullen aufgefüllt.

:*Man spricht dann von ''„Zero–Padding”''.

''Hinweise:''
*Die Aufgabe gehört zum Kapitel  [[Signal_Representation/Possible_Errors_When_Using_DFT|Fehlermöglichkeiten bei Anwendung der DFT]].

*Die Theorie zu diesem Kapitel ist im Lernvideo  [[Fehlermöglichkeiten_bei_Anwendung_der_DFT_(Lernvideo)|Fehlermöglichkeiten bei Anwendung der DFT]]  zusammengefasst.

===Fragebogen===

<quiz display=simple>
{Welche Aussagen können aus den angegebenen MQF-Werten  $($gültig für  $T_{\rm A}/T = 0.01$  und  $N ≥ 128)$  abgeleitet werden?
|type="[]"}
+ Der  $\rm MQF$–Wert ist hier nahezu unabhängig von  $N$.
- Der  $\rm MQF$–Wert wird durch den Abbruchfehler bestimmt.
+ Der  $\rm MQF$–Wert wird durch den Aliasingfehler bestimmt.

{Es gelte  $T_{\rm A}/T = 0.01$. Wie groß ist der Abstand  $f_{\rm A}$  benachbarter Abtastwerte im Frequenzbereich für  $N = 128$  und  $N = 512$?
|type="{}"}
$N = 128$:     $f_{\rm A} \cdot T \ = \ $ { 0.781 3% }
$N = 512$:     $f_{\rm A} \cdot T \ = \ $ { 0.196 3% }

{Was sagt das Produkt  $\text{MQF} \cdot f_{\rm A}$  hinsichtlich der DFT–Qualität aus?
|type="[]"}
+ Das Produkt  $\text{MQF} \cdot f_{\rm A}$  berücksichtigt die Genauigkeit und die Dichte der DFT–Werte.
- Das Produkt  $\text{MQF} \cdot f_{\rm A}$  sollte möglichst groß sein.

{Es wird nun  $N = 128$  fest vorgegeben. Welche Aussagen gelten für den Vergleich der DFT–Ergebnisse mit  $T_{\rm A}/T = 0.01$  und  $T_{\rm A}/T = 0.05$ ?
|type="[]"}
+ Mit  $T_{\rm A}/T = 0.05$  erhält man eine feinere Frequenzauflösung.
- Mit  $T_{\rm A}/T = 0.05$  ist der  $\rm MQF$–Wert kleiner.
- Mit  $T_{\rm A}/T = 0.05$  nimmt der Einfluss des Abbruchfehlers ab.
+ Mit  $T_{\rm A}/T = 0.05$  wächst der Einfluss des Aliasingfehlers.

{Nun gelte  $N = 64$. Welche Aussagen treffen für den Vergleich der DFT–Ergebnisse mit  $T_{\rm A}/T = 0.01$  und  $T_{\rm A}/T = 0.05$  zu?
|type="[]"}
+ Mit  $T_{\rm A}/T = 0.05$  erhält man eine feinere Frequenzauflösung.
+ Mit  $T_{\rm A}/T = 0.05$  ist der  $\rm MQF$–Wert kleiner.
+ Mit  $T_{\rm A}/T = 0.05$  nimmt der Einfluss des Abbruchfehlers ab.
+ Mit  $T_{\rm A}/T = 0.05$  wächst der Einfluss des Aliasingfehlers.

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''(1)'''  Richtig sind die Lösungsvorschläge 1 und 3:
*Bereits mit  $N = 128$  ist  $T_{\rm P} = 1.28 \cdot T$, also größer als die Breite des Rechtecks.
*Somit spielt hier der Abbruchfehler überhaupt keine Rolle.
*Der  $\rm MQF$–Wert wird allein durch den Aliasingfehler bestimmt.
*Die Zahlenwerte bestätigen eindeutig, dass  $\rm MQF$  (nahezu) unabhängig von  $N$  ist.

'''(2)'''  Aus  $T_{\rm A}/T = 0.01$  folgt  $f_{\rm P} \cdot T = 100$.
*Die Stützwerte von  $X(f)$ liegen also im Bereich  $–50 ≤ f \cdot T < +50$.
*Für den Abstand zweier Abtastwerte im Frequenzbereich gilt  $f_{\rm A} = f_{\rm P}/N$. Daraus ergeben sich folgende Ergebnisse:
:*$N = 128$:   $f_{\rm A} \cdot T \; \underline{\approx 0.780}$,
:*$N = 512$:   $f_{\rm A} \cdot T \; \underline{\approx 0.195}$.

'''(3)'''  Richtig ist die erste Aussage:
*Für  $N = 128$  ergibt sich für das Produkt  $\text{MQF} \cdot f_{\rm A} \approx 4.7 \cdot 10^{-6}/T$. Für  $N = 512$  ist das Produkt etwa um den Faktor  $4$  kleiner.
*Das heißt:   Durch „Zero–Padding” wird keine größere DFT-Genauigkeit erzielt, dafür aber eine feinere „Auflösung” des Frequenzbereichs.
*Das Produkt  $\text{MQF} \cdot f_{\rm A}$  berücksichtigt diese Tatsache; es sollte stets möglichst klein sein.

'''(4)'''  Richtig sind die Lösungsvorschläge 1 und 4:
*Wegen  $T_{\rm A} \cdot f_{\rm A} \cdot N = 1$  ergibt sich bei konstantem  $N$  immer dann ein kleinerer  $f_{\rm A}$–Wert, wenn man $T_{\rm A}$ vergrößert.
*Aus der Tabelle auf der Angabenseite erkennt man, dass damit der mittlere quadratische Fehler  $\rm (MQF)$  signifikant  $($etwa um den Faktor  $400)$  vergrößert wird.
*Der Effekt geht auf den Aliasingfehler zurück, da durch den Übergang von  $T_{\rm A}/T = 0.01$  auf  $T_{\rm A}/T = 0.05$  die Frequenzperiode um den Faktor  $5$  kleiner wird.
*Der Abbruchfehler spielt dagegen beim Rechteckimpuls weiterhin keine Rolle, solange  $T_{\rm P} = N \cdot T_{\rm A}$  größer ist als die Impulsdauer  $T$.

'''(5)'''  Alle Aussagen treffen zu:
* Mit den Parameterwerten  $N = 64$  und  $T_{\rm A}/T = 0.01$  tritt ein extrem großer Abbruchfehler auf.
*Alle Zeitkoeffizienten sind hier  $1$, so dass die DFT fälschlicherweise ein Gleichsignal anstelle der Rechteckfunktion interpretiert.
{{ML-Fuß}}

__NOEDITSECTION__
[[Category:Exercises for Signal Representation|^5.3 Possible DFT Errors^]]

Aufgaben:Aufgabe 5.3Z: Zero-Padding

2020-11-29T18:53:40Z

Oezdemir: Oezdemir moved page Aufgaben:Aufgabe 5.3Z: Zero-Padding to Aufgaben:Exercise 5.3Z: Zero-Padding

#REDIRECT [[Aufgaben:Exercise 5.3Z: Zero-Padding]]