Digital Signal Transmission/Basics of Coded Transmission

1. Digital Signal Transmission
2. Codierte und mehrstufige Übertragung
3. Basics of Coded Transmission

• Previous page
• Next page

• Previous page
• Next page

Informationsgehalt – Entropie – Redundanz (1)

Wir gehen von einer M–stufigen digitalen Nachrichtenquelle aus, die das Quellensignal

\(q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, ... , a_\mu , ... , a_{ M}\}\)

abgibt. Die Quellensymbolfolge 〈q_ν〉 ist auf die Folge 〈a_ν〉 der dimensionslosen Amplitudenkoeffizienten abgebildet. Vereinfachend wird zunächst für die Zeitlaufvariable ν = 1, ... , N gesetzt, während der Vorratsindex μ stets Werte zwischen 1 und M annehmen kann.

Ist das ν–te Folgenelement gleich a_μ, so kann dessen Informationsgehalt mit der Wahrscheinlichkeit p_νμ = Pr(a_ν = a_μ) wie folgt berechnet werden: \[I_\nu = \log_2 \frac{1}{p_{\nu \mu}}= {\rm ld} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.\]
Der Logarithmus zur Basis 2  ⇒  log₂ wird oft auch mit „ld(x)”  ⇒  Logarithmus dualis bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit „bit” hinzugefügt. Mit dem Zehner-Logarithmus lg(x) bzw. dem natürlichen Logarithmus ln(x) gilt: \[{\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.\]
Nach dieser auf C. E. Shannon zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.

: Die Entropie ist der mittlere Informationsgehalt eines Folgenelements (Symbols). Diese wichtige informationstheoretische Größe lässt sich als Zeitmittelwert wie folgt ermitteln:

\[H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.\]
Natürlich kann die Entropie auch durch Scharmittelung berechnet werden.

Sind die Folgenelemente a_ν statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten p_νμ = p_μ unabhängig von ν und man erhält in diesem Sonderfall für die Entropie: \[H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{ \mu}}\hspace{0.05cm}.\]
Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten a_ν, so muss zur Entropieberechnung die kompliziertere Definitionsgleichung herangezogen werden.

Informationsgehalt – Entropie – Redundanz (2)

Der Maximalwert der Entropie ergibt sich immer dann, wenn die M Auftrittswahrscheinlichkeiten (der statistisch unabhängigen Symbole) alle gleich sind (p_μ = 1/M):

\(H_{\rm max} = \sum_{\mu = 1}^M \hspace{0.1cm}\frac{1}{M} \cdot {\rm log_2} (M) = {\rm log_2} (M) \cdot \sum_{\mu = 1}^M \hspace{0.1cm} \frac{1}{M} = {\rm log_2} (M) \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.\)

Man bezeichnet H_max als den Entscheidungsgehalt (bzw. als Nachrichtengehalt) und den Quotienten

\(r = \frac{H_{\rm max}-H}{H_{\rm max}}\)

als dierelative Redundanz. Da stets 0 ≤ H ≤ H_max gilt, kann die relative Redundanz Werte zwischen 0 und 1 (einschließlich dieser Grenzwerte) annehmen.

Aus der Herleitung dieser Beschreibungsgrößen ist offensichtlich, dass ein redundanzfreies Digitalsignal (r = 0) folgende Eigenschaften erfüllen muss:

• Die Amplitudenkoeffizienten a_ν sind statistisch unabhängig; Pr(a_ν = a_μ) ist für alle ν identisch.
  
• Die M möglichen Koeffizienten a_μ treten mit gleicher Wahrscheinlichkeit p_μ = 1/M auf.
  
  

: Analysiert man einen zur Übertragung anstehenden deutschen Text auf der Basis von M = 32 Zeichen (a, ... , z, ä, ö, ü, ß, Leerzeichen, Interpunktion, keine Unterscheidung zwischen Groß– und Kleinschreibung), so ergibt sich der Entscheidungsgehalt H_max = 5 bit/Symbol. Aufgrund

• der unterschiedlichen Häufigkeiten (beispielsweise tritt „e” deutlich häufiger auf als „u”) und
  
• von statistischen Bindungen (zum Beispiel folgt auf „q” der Buchstabe „u” viel öfters als „e”)
  

beträgt nach Karl Küpfmüller die Entropie der deutschen Sprache nur H = 1.3 bit/Zeichen. Daraus ergibt sich die relative Redundanz zu r ≈ (5 – 1.3)/5 = 74%. Für englische Texte wurde von Claude E. Shannon die Entropie mit H = 1 bit/Zeichen angegeben (r = 80%).

\(\)



[[File:||class=fit]]