Difference between revisions of "Information Theory/Discrete Memoryless Sources"
From LNTwww
| Line 10: | Line 10: | ||
Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet: | Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet: | ||
| − | Die Grafik zeigt eine quaternäre Nachrichtenquelle (M = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge N = 100 angegeben. | + | Die Grafik zeigt eine quaternäre Nachrichtenquelle ( $M$ = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge $N$ = 100 angegeben. |
Es gelten folgende Voraussetzungen: | Es gelten folgende Voraussetzungen: | ||
| − | Die quaternäre Nachrichtenquelle wird durch M = 4 Symbolwahrscheinlichkeiten | + | *Die quaternäre Nachrichtenquelle wird durch $M$ = 4 Symbolwahrscheinlichkeiten $p_μ$ vollständig beschrieben. Allgemein gilt: |
| − | Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig: | + | *Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig: |
| − | Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig. | + | *Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig. |
| − | Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht. | + | |
| + | Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht. | ||
| + | |||
==Entscheidungsgehalt – Nachrichtengehalt== | ==Entscheidungsgehalt – Nachrichtengehalt== | ||
==Informationsgehalt und Entropie == | ==Informationsgehalt und Entropie == | ||
Revision as of 19:04, 13 May 2016
Contents
Modell und Voraussetzungen
Wir betrachten eine wertdiskrete Nachrichtenquelle Q, die eine Folge 〈 $q_ν $ 〉 von Symbolen abgibt. Für die Laufvariable gilt $ν$ = 1, ... , $N$, wobei $N$ „hinreichend groß” sein sollte. Jedes einzelne Quellensymbol $q_ν$ entstammt einem Symbolvorrat { $q_μ$ } mit $μ$ = 1, ... , $M$, wobei $M$ den Symbolumfang bezeichnet:
Die Grafik zeigt eine quaternäre Nachrichtenquelle ( $M$ = 4) mit dem Alphabet {A, B, C, D}. Rechts ist eine beispielhafte Folge der Länge $N$ = 100 angegeben.
Es gelten folgende Voraussetzungen:
- Die quaternäre Nachrichtenquelle wird durch $M$ = 4 Symbolwahrscheinlichkeiten $p_μ$ vollständig beschrieben. Allgemein gilt:
- Die Nachrichtenquelle sei gedächtnislos, das heißt, die einzelnen Folgenelemente seien statistisch voneinander unabhängig:
- Da das Alphabet aus Symbolen (und nicht aus Zufallsgrößen) besteht, ist hier die Angabe von Erwartungswerten (linearer Mittelwert, quadratischer Mittelwert, Streuung, usw.) nicht möglich, aber auch aus informationstheoretischer Sicht nicht nötig.
Diese Eigenschaften werden auf der nächsten Seite mit einem Beispiel verdeutlicht.
