Difference between revisions of "Digital Signal Transmission/Basics of Coded Transmission"
(Die Seite wurde neu angelegt: „ {{Header |Untermenü= |Vorherige Seite= |Nächste Seite= }} Hier Wiki-Artikel einfügen. <math></math><br> <br> <br><br> [[File:||class=fit]]<br><br>…“) |
|||
| Line 1: | Line 1: | ||
{{Header | {{Header | ||
| − | |Untermenü= | + | |Untermenü=Codierte und mehrstufige Übertragung |
| − | |Vorherige Seite= | + | |Vorherige Seite=Lineare digitale Modulation – Kohärente Demodulation |
| − | |Nächste Seite= | + | |Nächste Seite=Redundanzfreie Codierung |
}} | }} | ||
| + | |||
| + | == Informationsgehalt – Entropie – Redundanz (1) == | ||
| + | <br> | ||
| + | Wir gehen von einer <i>M</i>–stufigen digitalen Nachrichtenquelle aus, die das Quellensignal | ||
| + | <br><br><math>q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, ... , a_\mu , ... , a_{ M}\}</math><br><br> | ||
| + | abgibt. Die Quellensymbolfolge 〈<i>q<sub>ν</sub></i>〉 ist auf die Folge 〈<i>a<sub>ν</sub></i>〉 der dimensionslosen Amplitudenkoeffizienten abgebildet. Vereinfachend wird zunächst für die Zeitlaufvariable <i>ν</i> = 1, ... , <i>N</i> gesetzt, während der Vorratsindex <i>μ</i> stets Werte zwischen 1 und <i>M</i> annehmen kann.<br><br> | ||
| + | Ist das <i>ν</i>–te Folgenelement gleich <i>a<sub>μ</sub></i>, so kann dessen Informationsgehalt mit der Wahrscheinlichkeit <i>p<sub>νμ</sub></i> = Pr(<i>a<sub>ν</sub></i> = <i>a<sub>μ</sub></i>) wie folgt berechnet werden: | ||
| + | :<math>I_\nu = \log_2 \frac{1}{p_{\nu \mu}}= {\rm ld} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.</math><br> | ||
| + | Der Logarithmus zur Basis 2 ⇒ log<sub>2</sub> wird oft auch mit „ld(<i>x</i>)” ⇒ <i>Logarithmus dualis</i> bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit „bit” hinzugefügt. Mit dem Zehner-Logarithmus lg(<i>x</i>) bzw. dem natürlichen Logarithmus ln(<i>x</i>) gilt: | ||
| + | :<math>{\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.</math><br> | ||
| + | Nach dieser auf C. E. Shannon zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.<br> | ||
| + | {{Definition}}''':''' Die Entropie ist der mittlere Informationsgehalt eines Folgenelements (Symbols). Diese wichtige informationstheoretische Größe lässt sich als Zeitmittelwert wie folgt ermitteln: | ||
| + | :<math>H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu = | ||
| + | \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.</math><br> | ||
| + | Natürlich kann die Entropie auch durch Scharmittelung berechnet werden. | ||
| + | {{end}}<br> | ||
| + | Sind die Folgenelemente <i>a<sub>ν</sub></i> statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten <i>p<sub>νμ</sub></i> = <i>p<sub>μ</sub></i> unabhängig von <i>ν</i> und man erhält in diesem Sonderfall für die Entropie: | ||
| + | :<math>H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{ \mu}}\hspace{0.05cm}.</math><br> | ||
| + | Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten <i>a<sub>ν</sub></i>, so muss zur Entropieberechnung die kompliziertere Definitionsgleichung herangezogen werden.<br> | ||
| − | |||
<math></math><br> | <math></math><br> | ||
<br> | <br> | ||
Revision as of 18:00, 20 December 2016
Informationsgehalt – Entropie – Redundanz (1)
Wir gehen von einer M–stufigen digitalen Nachrichtenquelle aus, die das Quellensignal
\(q(t) = \sum_{(\nu)} a_\nu \cdot {\rm \delta} ( t - \nu \cdot T)\hspace{0.3cm}{\rm mit}\hspace{0.3cm}a_\nu \in \{ a_1, ... , a_\mu , ... , a_{ M}\}\)
abgibt. Die Quellensymbolfolge 〈qν〉 ist auf die Folge 〈aν〉 der dimensionslosen Amplitudenkoeffizienten abgebildet. Vereinfachend wird zunächst für die Zeitlaufvariable ν = 1, ... , N gesetzt, während der Vorratsindex μ stets Werte zwischen 1 und M annehmen kann.
Ist das ν–te Folgenelement gleich aμ, so kann dessen Informationsgehalt mit der Wahrscheinlichkeit pνμ = Pr(aν = aμ) wie folgt berechnet werden:
\[I_\nu = \log_2 \frac{1}{p_{\nu \mu}}= {\rm ld} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.\]
Der Logarithmus zur Basis 2 ⇒ log2 wird oft auch mit „ld(x)” ⇒ Logarithmus dualis bezeichnet. Bei der numerischen Auswertung wird die Hinweiseinheit „bit” hinzugefügt. Mit dem Zehner-Logarithmus lg(x) bzw. dem natürlichen Logarithmus ln(x) gilt:
\[{\rm log_2}(x) = \frac{{\rm lg}(x)}{{\rm lg}(2)}= \frac{{\rm ln}(x)}{{\rm ln}(2)}\hspace{0.05cm}.\]
Nach dieser auf C. E. Shannon zurückgehenden Definition von Information ist der Informationsgehalt eines Symbols umso größer, je kleiner dessen Auftrittswahrscheinlichkeit ist.
\[H = \lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N I_\nu =
\lim_{N \to \infty} \frac{1}{N} \cdot \sum_{\nu = 1}^N \hspace{0.1cm}{\rm log_2}\hspace{0.05cm} \frac{1}{p_{\nu \mu}} \hspace{1cm}{\rm (Einheit: \hspace{0.15cm}bit)}\hspace{0.05cm}.\]
Natürlich kann die Entropie auch durch Scharmittelung berechnet werden.
Sind die Folgenelemente aν statistisch voneinander unabhängig, so sind die Auftrittswahrscheinlichkeiten pνμ = pμ unabhängig von ν und man erhält in diesem Sonderfall für die Entropie:
\[H = \sum_{\mu = 1}^M p_{ \mu} \cdot {\rm log_2}\hspace{0.1cm} \frac{1}{p_{ \mu}}\hspace{0.05cm}.\]
Bestehen dagegen statistische Bindungen zwischen benachbarten Amplitudenkoeffizienten aν, so muss zur Entropieberechnung die kompliziertere Definitionsgleichung herangezogen werden.
\(\)
[[File:||class=fit]]
