LNTwww - User contributions [en]

Biographies and Bibliographies/LNTwww members from LNT

2016-12-05T13:54:45Z

Markus: /* Dr.-Ing. Markus Stinner (am LNT von 2011-2016) */

{{Header|
|Untermenü=An LNTwww beteiligte Mitarbeiter und Dozenten
|Nächste Seite= An_LNTwww_beteiligte_Studierende
|Vorherige Seite=Lehrstuhlinhaber_des_LNT
}}

Bei der Erstellung von &bdquo;LNTwww” haben uns viele Kolleginnen und Kollegen am LNT großartig unterstützt. Hierfür bedanken wir uns herzlich. Insbesondere sollen erwähnt werden:

*Frau '''Doris Dorn''', die seit 2004 eine fast unabzählbare Menge an Datenbankeinträgen gemacht hat, akribisch und nahezu fehlerfrei,
*die Kollegen '''Winfried Kretzinger''', '''Manfred Jürgens''', '''Martin Kontny''' und '''Robert Schetterer''' für ihre Unterstützung bei der Audio-, Foto- und Videobearbeitung bzw. bei der Systemadministration.

Vom wissenschaftlichen Personal möchten wir uns besonders bei folgenden (ehemaligen) Kollegen bedanken :

==Dr.-Ing. Ronald Böhnke (am LNT von 2012-2014)==
[[File:P_ID802__Sig_Z_1_3.png|right|]]

Ronald Böhnke, 1976 in Bremen geboren, studierte Elektro- und Informationstechnik an der Universität Bremen und war dort ab September 2002 als wissenschaftlicher Mitarbeiter im Bereich Nachrichtentechnik tätig, wo er über Sende- und Empfangsstrategien für Mehrantennensysteme promovierte. Während seines Studiums absolvierte er ein dreimonatiges Praktikum im Forschungszentrum der Intel Corporation in Santa Clara, Kalifornien. Darüber hinaus war er 2002 für zwei Monate als Gastwissenschaftler am Fraunhofer Institut für Telekommunikation am Heinrich-Hertz-Institut in Berlin.

Im September 2010 wurde Ronald Böhnke wissenschaftlicher Mitarbeiter am Lehrstuhl für Kommunikation und Navigation (NAV) der TU München, wo er an der Konzeption eines geostationären Relais-Satellitensystems mitwirkte. Nach Abschluss des Projekts wechselte er im Februar 2012 an den LNT, und seit Juni 2014 ist er im Bereich Mobilfunk am European Research Center der Huawei Technologies Düsseldorf GmbH in München tätig.

Ronald Böhnke war Mitglied der Studienstiftung des deutschen Volkes und erhielt den Karl-Nix-Preis für das Abitur, den VDE-Preis für das Diplom
und einen ''Best Paper Award'' beim ''IEEE International Workshop on Cross-Layer Design 2007''.

Im LNTwww-Projekt war er beratend und korrigierend für die Bücher &bdquo;Informationstherie” und &bdquo;Kanalcodierung” im Einsatz.

==Dr.-Ing. Joschi Brauchle (am LNT von 2007-2015)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Joschi Brauchle, 1982 in Bad Reichenhall geboren, studierte an der TU München von 2002 bis 2007 Elekrotechnik und Informationstechnik. Nach Abschluss des Vordiploms absolvierte er von 2005 bis 2006 ein einjähriges Masterstudium am Georgia Institute of Technology in Atlanta, Georgia, USA. In seiner Diplomarbeit am LNT beschäftigte er sich mit der ''Soft-Input-Decodierung von Reed-Solomon- Codes in verketteten Systemen'' und mit der ''Soft-Output Listen-Decodierung von inneren Faltungscodes''.

Nach Abschluss seiner Diplomarbeit war Joschi Brauchle von Ende 2007 bis Mitte 2015 wissenschaftlicher Assistent von Prof. Kötter und Prof. Kramer. Seine Forschungsarbeiten beschäftigten sich vorwiegend mit der algebraische Codierungstheorie und hier insbesondere mit den Eigenschaften von bivariaten, interpolationsbasierten Decodierverfahren für Reed-Solomon-Codes sowie mit der Fehlerkorrekturleistung von mehrdimensionalen Verfahren bei verwandten Codekonstruktionen. Im Winter 2013 verbrachte er einen dreimonatigen Forschungsaufenthalt an der University of Toronto, Kanada.

In der Lehre konzipierte und betreute Joschi Brauchle von 2008 bis 2013 die Übung für die Vorlesung ''Channel Coding'' im Masterstudiengang, wofür ihm 2013 der von den Studierenden vergebene Dozentenpreis der Fachschaft für Elektro- und Informationstechnik verliehen wurde. Er betreute während seiner gesamten Assistentenzeit verschiedene studentische Arbeiten im ''Hauptseminar Digitale Kommunikationssysteme'', im ''Seminar on Topics in Communications Engineering'' sowie etliche Bachelor- und Masterarbeiten. 2015 organisierte er das Hauptseminar.

Neben Forschung und Lehre war Joschi Brauchle von 2009 bis 2015 als Systemadministrator für Konzeption und Wartung des Computernetzes und sämtlicher IT-Systeme am LNT mitverantwortlich. In dieser Eigenschaft machte sich Joschi auch um unser &bdquo;altes LNTwww” (Version 2) verdient und er machte sich grundlegende und gute Gedanken zur Portierung in die vorliegende Wiki-Form (Version 3).

==Dr.-Ing. Klaus Eichin (am LNT von 1972-2011)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Klaus Eichin wurde 1946 in Wolfach geboren. Er studierte ab 1965 an der Technischen Universität München im Fach Elektrotechnik und erwarb 1972 den Titel Dipl.–Ing.. Im Jahr 1984 wurde er zum Dr.–Ing. promoviert.

Seit 1973 war er am Lehrstuhl für Nachrichtentechnik an der TU München tätig und beschäftigte sich in den letzten Jahren schwerpunktmäßig mit dem Forschungsbereich Digitaler Mobilfunk. Des Weiteren hielt Dr. Eichin als Akademischer Direktor Veranstaltungen für Studierende des Lehramts an beruflichen Schulen (LB). Seit September 2011 ist er in Ruhestand.

Bereits während seiner Diplomarbeit beschäftigte er sich gemeinsam mit seinem späteren Doktorvater Prof. Karlheinz Tröndle intensiv mit dem Thema &bdquo;Einsatz des Computers in der Lehre”. Klaus Eichin war gemeinsam mit seinem Kollegen Günter Söder Initiator von LNTwww.

==Dr.-Ing. Bernhard Göbel (am LNT von 2004-2010)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Bernhard Göbel, 1978 in München geboren, beendete 2004 sein Studium der Elektrotechnik und Informationstechnik an der Technischen Universität München nach Auslandssemestern in Southampton und Princeton mit einer Diplomarbeit zur Untersuchung genetischer Krankheiten mittels der Informationstheorie. Von Herbst 2004 bis Ende 2010 war Bernhard Göbel Assistent von Prof. Norbert Hanik im Fachgebiet &bdquo;Leitungsgebundene Übertragungstechnik”, der an der TU München dem LNT zugeordnet ist. Er promovierte 2010 zum Thema &bdquo;Informationstheoretische Eigenschaften faser–optischer Nachrichtenkanäle”. Zu seinen weiteren Aufgaben gehörte neben der Betreuung von Lehrveranstaltungen die Verwaltung des CITPER–Projekts, das von der Europäischen Union initiiert wurde.

Nach seiner Promotion wechselte Dr. Göbel zu der Volkswagen AG nach Wolfsburg. 2014 kehrte er nach München zurück und machte bei der BMW AG eine Ausbildung zum Patentanwalt.

Innerhalb des LNTwww–Projektes wurde Bernhard immer dann eingesetzt, wenn die Autoren merkten, dass manches mit „MATLAB” doch besser geht als ohne. Desweiteren war er ein fachkundiger Berater bei mehreren Lernvideos und Interaktionsmodulen, zum Beispiel &bdquo;Dämpfung von Kupferkabeln”, &bdquo;Zeitverhalten von Kupferkabeln” sowie &bdquo;Viterbi–Empfänger”. Wir bedanken uns bei Bernhard auch dafür, dass er unser Lerntutorial als Übungsassistent zur ''Leitungsgebundenen Übertragungstechnik'' bei vielen Studenten der TU München bekannt gemacht hat.

==Prof. Dr.-Ing. Norbert Hanik (am LNT von 1989-1995 und seit 2004)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Norbert Hanik wurde 1962 im bayerischen Wemding im Donau–Ries geboren und studierte ab 1983 an der Fakultät für Elektrotechnik und Informationstechnik der TU München mit dem Schwerpunkt Nachrichtentechnik. 1995 promovierte er bei Prof. Marko am LNT über ''Nichtlineare Effekte in der optischen Signalübertragung''. Danach arbeitete er am Technologiezentrum der Deutschen Telekom AG auf dem Fachgebiet der optischen Übertragungstechnik, seit 1999 als Leiter der Forschungsgruppe &bdquo;Systemkonzepte photonischer Netze ”. 2002 war er als Gastprofessor am Forschungszentrum COM der Technical University of Denmark (TUD) in Kopenhagen.

Mit Wirkung zum 01. April 2004 wurde Herr Prof. Hanik als Extraordinarius für das Fachgebiet &bdquo;Leitungsgebundene Übertragungstechnik” an die Fakultät für Elektro– und Informationstechnik der TUM berufen. Er ist damit nach neun Jahren in Berlin an seinen Heimatlehrstuhl zurückgekehrt. Nach dem Tod unseres Lehrstuhlinhabers Prof. Ralf Kötter wurde Prof. Hanik im Frühjahr 2009 zum Kommissarischen Leiter des LNT bestellt.

Die Schwerpunkte seiner Forschungstätigkeit liegen im Bereich der physikalischen Modellierung, Simulation und Optimierung von optischen Komponenten, optischen Wellenlängenmultiplex–Übertragungssystemen und transparenten optischen Netzen.

Innerhalb des LNTwww-Projektes war Prof. Hanik häufig ein äußerst kompetenter fachlicher Berater. Bei einigen Büchern war er Co–Autor, zum Beispiel bei „Lineare zeiinvariante Systeme” und bei einzelnen Kapiteln von „Digitalsignalübertragung” und „Beispiele von Nachrichtensystemen”.
Insbesondere bedanken sich die Initiatoren von LNTwww bei Norbert, dass er unser Lerntutorial in all seinen Lehrveranstaltungen vielseitig einsetzt. Viele seiner Studenten sind Jahr für Jahr intensive Nutzer von LNTwww.

==Dr.-Ing. Thomas Hindelang (am LNT von 1994-2000 und 2007-2012)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Thomas Hindelang schloss das 1988 an der TU München begonnene Studium der Elektrotechnik 1994 als Diplomingenieur ab. Anschließend arbeitete er bis 2000 als wissenschaftlicher Assistent am LNT. Er behandelte Themen der gemeinsamen Quellen- und Kanalcodierung, wobei ein Schwerpunkt die Sprachübertragung im Mobilfunk war. 1999 war er für ein halbes Jahr bei den AT&T Shannon Labs in Florham Park, New Jersey, als freier Mitarbeiter tätig. Er beendete die Zeit an der TU München mit der Promotion im Jahr 2001.

Ab 2000 war Dr. Hindelang bei der Siemens AG im Bereich der Mobiltelefone tätig und befasste sich im Rahmen der Standardisierung und der Signalverarbeitung für die Produkte mit ''Algorithmen und Empfängertechniken für Mobilfunksysteme'' der 3. Generation (UMTS).
2004 wechselte er in die Netzwerksparte der Siemens AG, die 2007 in die Nokia Siemens Networks überging. Dort war er in der Vorfeldentwicklung maßgeblich an der Standardisierung des UMTS-Nachfolgers 3G LTE (''3rd Generation Long Term Evolution'') beteiligt. Von 2006 bis 2008 war Herr Dr. Hindelang Dienststellenleiter der Gruppe „Basisband Simulationen und Algorithmen” in der Produktentwicklung für Basisstationen. Er koordinierte dort die Algorithmenentwicklung in allen relevanten Mobilfunkstandards (GSM, UMTS, WiMAX, LTE) und leitete ein Team von ca. 15 Mitarbeitern.

Seit November 2008 arbeitet er als Patentprüfer am Europäischen Patentamt im München. Die von ihm zu prüfenden Patente liegen im Bereich der bi-direktionalen Video-Übertragungstechnik. Themen dabei sind netzwerkangepasste Video-Codierung (Adaptive Streaming), Verschlüsselung und Kopierschutz, sowie nutzerangepasste Werbung und Bedienoberflächen.

Ein großes Hobby von Herrn Hindelang ist der Ausdauersport. Als Erfolge sind Platzierungen in den vorderen 10% bei mehreren Marathonläufen in München und Berlin zu erwähnen, die Platzierung im vorderen Drittel bei den Bergläufen Jungfraumarathon (42 km, 1800 Hm) und Swiss Alpine (78 km, 2300 Hm) und die Zeit von 10:35 h beim Ironman in Regensburg 2011.

Von 2007 – 2012 hielt Dr. Hindelang als Lehrbeauftragter die Vorlesung „Mobilfunk” am Lehrstuhl für Nachrichtentechnik. Aus dieser Zeit stammen auch seine Beiträge zu LNTwww, insbesondere zu den Büchern „Mobile Kommunikation” und „Beispiele von Nachrichtensystemen”.

==Tasnad Kernetzky, M.Sc. (am LNT seit 2014)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Tasnád Kernetzky wurde 1987 in Marosvásárhely (heute: Târgu Mureș, Rumänien) geboren. Er studierte ab ??? Elektrotechnik und Informationstechnik an der Technischen Universität München und schloss sein Studium 2014 mit einer Masterarbeit über die Übertragungseigenschaften von ''Powerline Communication'' (PLC) Systemen ab. Seit Dezember 2014 arbeitet er als Doktorand bei Prof. Hanik in der Professur Leitungsgebundene Übertragungssysteme in Kooperation mit der SIEMENS AG auf dem gleichen Thema weiter. Sein Fokus liegt auf der Optimierung der PLC-Technologie bei industriellen Anwendungen.

In der Lehre ist Tasnad verantwortlich für die Übungen zur Vorlesung &bdquo;Grundlagen der Informationstechnik (LB)” von Prof. Hanik undin den Sommersemestern organisiert er das &bdquo;Hauptseminar Digitale Kommunikationssysteme”.

Seit Anfang 2016 ist Tasnad auch in die Systemadministration eingebunden und im Dezember 2016 hat er von Markus Stinner die Aufgabe übernommen, das Studenten-Team bei der Portierung des &bdquo;altes LNTwww” (Version 2) in die vorliegende Wiki-Form (Version 3) zu unterstützen.

==Prof. Dr.-Ing. habil. Günter Söder (am LNT seit 1974)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Günter Söder wurde am 21.03.1946 in Nürnberg geboren. Er studierte ab 1964 Elektrotechnik und Informationstechnik am damaligen Ohm–Polytechnikum Nürnberg und später an der Technischen Universität München. Er erhielt die akademischen Titel Ing.–grad. (1967), Dipl.–Ing. (1974), Dr.–Ing. (1981) und Dr.–Ing. habil. (1993).

Günter Söder arbeitet seit 1974 am Lehrstuhl für Nachrichtentechnik der Technischen Universität München, schwerpunktmäßig auf den Fachgebieten &bdquo;Digitale Übertragungssysteme” und &bdquo;Stochastische Signaltheorie” . Er hielt als Akademischer Direktor und Apl. Professor (seit 2004) verschiedene Vorlesungen und Praktika zu diesen Themen.

Günter Söder veröffentlichte die Fachbücher &bdquo;Digitale Übertragungssysteme – Theorie, Optimierung und Dimensionierung der Basisbandsysteme” (1985 im Springer–Verlag Berlin) und die englische Fassung &bdquo;Optimization of Digital Transmission Systems” (1987 bei Artech House Inc., Boston), jeweils gemeinsam mit seinem Doktorvater, Prof. Karlheinz Tröndle. Seine Habilitationsschrift &bdquo;Modellierung, Simulation und Optimierung von Nachrichtensystemen” erschien 1993 ebenfalls im Springer-Verlag.

Seit 1984 beschäftigt sich G. Söder intensiv mit der Erstellung von Lehrprogrammen, und es entstanden die beiden Lehrsoftwarepakete ''LNTsim'' und ''LNTwin''. Gemeinsam mit Dr.–Ing. Klaus Eichin ist er Initiator und Verantwortlicher des Lerntutorial ''LNTwww'' und an allen Büchern als Autor beteiligt. Er betreut dieses e-Learning-Projekt auch noch nach seinem Ruhestand (2011) und möchte es 2017 zu einem (guten) Ende bringen.

==Dr.-Ing. Markus Stinner (am LNT von 2011-2016)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Markus Stinner wurde 1986 in Ulm geboren. Er studierte an der Universtität Ulm von 2006 bis 2011 Elektrotechnik. Das Studium beinhaltete 2008 auch ein Auslandssemester an der University of Adelaide, Australien.

Nach Abschluss seiner Diplomarbeit am Institut für Telekommunikation und Angewandte Informationstechnik, die sich mit ''Partial Unit Memory Codes'' basierend auf Gabidulin-Codes befasste, war er ab 2011 wissenschaftlicher Assistent von Prof. Kramer am LNT. Sein Schwerpunkt lag dabei auf der Analyse von ''Spatially Coupled Low-Density Parity-Check Codes'' für endliche Längen. Im Juni 2012 war er zu einem Forschungsaufenthalt an der ENSEA in Cergy-Pontoise nahe Paris, im November 2015 an der Universität Lund in Schweden und im April 2016 an der EPFL in Lausanne.

In der Lehre betreute Markus Stinner viele Jahre den ''Basic Laboratory Course on Telelecommunications'' und seit 2014 die Übungen zur Vorlesung ''Channel Codes for Iterative Decoding''. Zudem war er 2015 für die Vorlesung ''Communications Technology 1'' an der TUM¬Asia in Singapur zuständig. Zu seinen weiteren Aufgaben am LNT zählte 2011/2012 die Bearbeitung des Projekts ''CONE - Coding for Networks'' in Zusammenarbeit mit Alcatel Lucent Bell Labs, in dem effiziente Channel Codes und Modulationen für kabellose Verbindungen wie Backhaul- und 5G-Systeme entwickelt und verglichen wurden.

Markus war neben Forschung und Lehre war mehrere Jahre als Systemadministrator für Konzeption und Wartung des Computernetzes und sämtlicher IT-Systeme am LNT mitverantwortlich. 2016 leitete Markus mit einem Studenten-Team die Portierung des &bdquo;altes LNTwww” (Version 2) in die vorliegende Wiki-Form (Version 3).

[https://www.linkedin.com/in/markusstinner Ende 2016 hat Dr. Stinner den LNT verlassen]. Wir hoffen, dass wir aufbauend auf Markus Arbeit das &bdquo;neue LNTwww” bald fertig migrieren können.

==Dr.-Ing. Johannes Zangl (am LNT von 2000-2006)==

[[File:P_ID802__Sig_Z_1_3.png|right|]]

Johannes Zangl, geboren 1974 in Augsburg, studierte Elektro- und Informationstechnik an der TUM und war ab 2000 wissenschaftlicher Mitarbeiter
des LNT. In dieser Zeit bearbeitete er unter Anderem ein mehrjähriges DFG-Projekt im Schwerpunktprogramm „Adaptivität in heterogenen Kommunikationsnetzen mit drahtlosem Zugang (AKOM)“. Er promovierte 2005 zum Thema

Im Bereich der Lehre betreute Johannes Zangl über viele Jahre die Vorlesungen „Grundlagen der Informationstechnik“ und das „Mobile Communications Lab“ sowie im Sommersemester 2005 die „Kanalcodierung“. Zudem war er als Systemverwalter für die Betreuung des LNT-Rechnernetzes und des Mobilfunklabors verantwortlich.

Ab Dezember 2005 war Dr. Zangl Mitarbeiter bei Infineon Technologies in München und als Entwicklungsingenieur in der Verifikation von
VDSL2 tätig. ??? wechselte er zur Fa. Rohde & Schwarz in München ...

Sein großer Verdienst in Bezug auf LNTwww war, dass er 2005 unsere gecrashte Festplatte Bit für Bit nach LNTwww-Teilen absuchte und so die Arbeit von vier Jahren großteils retten konnte. Seitdem wissen wir, dass es nicht genügt, ein Backup zu machen, sondern dass dieses auch richtig konfiguriert sein muss.

==Assi Huber==

LNTwww:Über LNTwww

2016-12-05T13:50:06Z

Markus: /* Überschrift 2 */

===Adresse===
Technische Universität München 
Lehrstuhl für Nachrichtentechnik 
Theresienstrasse 90 
80333 München 
Tel: +49 89 289-23466

LNTwww:Über LNTwww

2016-12-05T13:50:00Z

Markus: /* Überschrift 1 */

===Adresse===
Technische Universität München 
Lehrstuhl für Nachrichtentechnik 
Theresienstrasse 90 
80333 München 
Tel: +49 89 289-23466

===Überschrift 2===

Linear and Time Invariant Systems/Classification of the Distortions

2016-12-05T13:29:35Z

Markus: Änderung 7357 von Markus (Diskussion) rückgängig gemacht.

{{Header|
Untermenü=Signalverzerrungen und Entzerrung
|Vorherige Seite=Einige systemtheoretische Tiefpassfunktionen
|Nächste Seite=Nichtlineare Verzerrungen
}}
==Voraussetzungen für Kapitel 2==
Wir betrachten im Folgenden ein System, an dessen Eingang das Signal $x(t)$ mit zugehörigem Spektrum $X(f)$ anliegt. Das Ausgangssignal bezeichnen wir mit $y(t)$ und dessen Spektrum mit $Y(f).$

[[File:P_ID873__LZI_T_2_1_S1_neu.png| Beschreibung eines linearen Systems|right||class=fit]]

Der mit „System” bezeichnete Block kann ein Teil einer elektrischen Schaltung sein oder ein komplettes Übertragungssystem, bestehend aus Sender, Kanal und Empfänger.

Für das gesamte Kapitel 2 soll gelten:
*Das System sei zeitinvariant. Führt das Eingangssignal $x(t)$ zum Signal $y(t)$, so wird ein späteres Eingangssignal gleicher Form, nämlich $x(t – t_0)$, das Signal $y(t – t_0)$ zur Folge haben.
*Es werden keine Rauschprozesse betrachtet, die bei realen Systemen stets vorhanden sind. Zur Beschreibung dieser Phänomene wird auf das Buch [[Stochastische Signaltheorie]] verwiesen.
*Es werden keine Detailkenntnisse über das System vorausgesetzt. Alle Systemeigenschaften werden im Folgenden allein aus den Signalen $x(t)$ und $y(t)$ bzw. deren Spektren abgeleitet.
*Insbesondere seien vorerst keine Festlegungen hinsichtlich der Linearität gegeben. Das „System” kann linear (Voraussetzung für die Anwendung des Superpositionsprinzips) oder nichtlinear sein.
*Aus einem einzigen Testsignal $x(t)$ und dessen Antwort $y(t)$ sind nicht alle Systemeigenschaften erkennbar. Daher müssen ausreichend viele Testsignale zur Bewertung herangezogen werden.

Nachfolgend werden wir solche Systeme näher klassifizieren.

==Ideales und verzerrungsfreies System==
{{Definition}}
Man spricht immer dann von einem idealen System, wenn das Ausgangssignal $y(t)$ exakt gleich dem Eingangssignal $x(t)$ ist:
$$y(t) = x(t)$$
{{end}}

Anzumerken ist, dass es ein solches ideales System in der Realität nicht gibt, auch wenn man die stets existenten, in diesem Buch aber nicht betrachteten statistischen Störungen und Rauschvorgänge außer Acht lässt. Ein jedes Übertragungsmedium weist Verluste (Dämpfungen) und Laufzeiten auf. Selbst wenn diese physikalischen Phänomene sehr klein sind, so sind sie jedoch niemals 0. Deshalb ist es notwendig, ein etwas weniger strenges Qualitätsmerkmal einzuführen.

{{Definition}}
Ein verzerrungsfreies System liegt vor, wenn folgende Bedingung erfüllt ist:
$$y(t) = \alpha \cdot x(t - \tau).$$
Hierbei beschreibt $α$ den Dämpfungsfaktor und $τ$ die Laufzeit.
{{end}}

Ist diese Bedingung nicht erfüllt, so spricht man von einem verzerrenden System.

{{Beispiel}}
Die folgende Grafik zeigt das Eingangssignal $x(t)$ und das Ausgangssignal $y(t)$ eines zwar nicht idealen, aber verzerrungsfreien Systems. Die Systemparameter sind $α$ = 0.8 und $τ$ = 0.25 ms.

[[File:P_ID874__LZI_T_2_1_S2_neu.png|Beispielhafte Signale eines verzerrungsfreien Systems|class=fit]]

{{end}}

Der Dämpfungsfaktor $α$ kann durch eine empfängerseitige Verstärkung um 1/ $α$ vollständig rückgängig gemacht werden, doch ist zu berücksichtigen, dass damit auch etwaiges Rauschen angehoben wird.

Dagegen kann die Laufzeit $τ$ aus Kausalitätsgründen nicht kompensiert werden. Es hängt nun von der Anwendung ab, ob eine solche Laufzeit subjektiv als störend empfunden wird. Beispielsweise wird man selbst bei einer Laufzeit von einer Sekunde die (unidirektionale) TV–Übertragung einer Veranstaltung noch immer als „live” bezeichnen. Dagegen werden bei einer bidirektionalen Kommunikation – zum Beispiel bei einem Telefonat – schon Laufzeiten von 300 Millisekunden als sehr störend empfunden. Man wartet entweder auf die Reaktion des Gesprächspartners oder beide Teilnehmer fallen sich ins Wort.

==Quantitatives Maß für die Signalverzerrungen==
Wir betrachten nun ein verzerrendes System anhand von Eingangs– und Ausgangssignal. Dabei setzen wir zunächst voraus, dass außer den Signalverzerrungen nicht zusätzlich noch ein für alle Frequenzen konstanter Dämpfungsfaktor $α$ und eine für alle Frequenzen konstante Laufzeit $τ$ wirksam sind. Bei den nachfolgend skizzierten Signalausschnitten sind diese Voraussetzungen erfüllt.

[[File:P_ID875__LZI_T_2_1_S3_neu.png| Ein– und Ausgang eines verzerrenden Systems und Fehlersignal|class=fit]]

In der Grafik ist zusätzlich zu den Signalen $x(t)$ und $y(t)$ auch das Differenzsignal
$$\varepsilon(t) = y(t) - x(t)$$
eingezeichnet. Als ein quantitatives Maß für die Stärke der Verzerrungen eignet sich zum Beispiel der quadratische Mittelwert dieses Differenzsignals:
$$\overline{\varepsilon^2(t)} = \frac{1}{T_{\rm M}} \cdot \int\limits_{ 0 }^{ T_{\rm M}} {\varepsilon^2(t) }\hspace{0.1cm}{\rm d}t\hspace{0.4cm} \left( = P_{\rm V} \right).$$

Zu dieser Gleichung ist Folgendes zu bemerken:
*Die Messdauer $T_{\rm M}$ zur Bestimmung dieses Mittelwertes muss hinreichend groß gewählt werden. Eigentlich müsste diese Gleichung mit Grenzübergang formuliert werden.
*Der oben angegebene quadratische Mittelwert wird oft auch als der mittlere quadratische Fehler (MQF) oder als die Verzerrungsleistung $P_{\rm V}$ bezeichnet.
*Sind $x(t)$ und $y(t)$ Spannungssignale, so besitzt $P_{\rm V}$ die Einheit $„{\rm V}^2”$, das heißt, die Leistung ist nach obiger Definition auf den Widerstand 1 Ω bezogen.
*Mit der in gleicher Weise definierten Leistung $P_x$ des Eingangssignals $x(t)$ – also ebenfalls auf 1 Ω bezogen – kann das Signal–zu–Verzerrungs–Leistungsverhältnis angegeben werden:
$$\rho_{\rm V} = \frac{ P_{x}}{P_{\rm V}} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot \lg \hspace{0.1cm}\rho_{\rm V} =
10 \cdot \lg \hspace{0.1cm}\frac{ P_{x}}{P_{\rm V}}\hspace{0.3cm} \left( {\rm in \hspace{0.15cm} dB} \right).$$

Bei den in der Grafik dargestellten Signalen gilt $P_x$ = 4 ${\rm V}^2$, $P_{\rm V}$ = 0.04 ${\rm V}^2$ und damit 10 · lg $ρ_{\rm V}$ = 20 dB.

==Berücksichtigung von Dämpfung und Laufzeit==
Die auf der letzten Seite angegebenen Gleichungen führen dann nicht zu verwertbaren Aussagen, wenn zusätzlich eine Dämpfung $α$ und/oder eine Laufzeit $τ$ im System wirksam ist.

[[File:P_ID876__LZI_T_2_1_S4_neu.png| Berücksichtigung von Dämpfung und Laufzeit|class=fit]]

Die obere Grafik zeigt das gedämpfte, verzögerte und verzerrte Signal
$$y(t) = \alpha \cdot x(t - \tau) + \varepsilon_1(t),$$
wobei im Term $ε_1(t)$ alle Verzerrungen zusammengefasst sind. Man erkennt an der grünen Fläche, dass das Fehlersignal $ε_1(t)$ relativ klein ist.

Sind dagegen die Dämpfung $α$ und die Laufzeit $τ$ unbekannt, so ist Folgendes zu beachten:
*Das so ermittelte Fehlersignal $ε_2(t) = y(t) – x(t)$ ist trotz kleiner Verzerrungen $ε_1(t)$ relativ groß.
*Anstelle der Verzerrungsleistung muss hier die Verzerrungsenergie betrachtet werden, da $x(t)$ und $y(t)$ energiebegrenzte Signale sind.
*Die Verzerrungsenergie erhält man, in dem die unbekannten Größen $α$ und $τ$ variiert werden und auf diese Weise das Minimum des mittleren quadratischen Fehlers ermittelt wird:
$$E_{\rm V} = \min_{\alpha, \tau} \int\limits_{ - \infty }^{ + \infty}
{\left[y(t) - \left(\alpha \cdot x(t - \tau) \right) \right]^2}\hspace{0.1cm}{\rm d}t.$$
*Die Energie des gedämpften und verzögerten Signals $α · x(t – τ)$ ist unabhängig von der Laufzeit $τ$ gleich $α^2 · E_x$. Somit gilt hier für das Signal–zu–Verzerrungs–Leistungsverhältnis:
$$\rho_{\rm V} = \frac{ \alpha^2 \cdot E_{x}}{E_{\rm V}}\hspace{0.3cm}{\rm bzw.}\hspace{0.3cm}\rho_{\rm V}= \frac{ \alpha^2 \cdot P_{x}}{P_{\rm V}} .$$
*Die erste dieser beiden Gleichungen gilt für zeitlich begrenzte und damit energiebegrenzte Signale, die zweite für zeitlich unbegrenzte, also leistungsbegrenzte Signale.

==Lineare und nichtlineare Verzerrungen==
Man unterscheidet zwischen linearen und nichtlinearen Verzerrungen:

Ist das System linear und zeitinvariant (LZI), so wird es vollständig durch seinen Frequenzgang $H(f)$ charakterisiert, und es lässt sich Folgendes feststellen:
*Entspechend der $H(f)$-Definition gilt für das Ausgangsspektrum: $Y(f)$ = $X(f) · H(f)$. Daraus folgt, dass $Y(f)$ keine Frequenzanteile beinhalten kann, die nicht auch in $X(f)$ enthalten sind.
*Die Umkehrung besagt: Das Ausgangssignal $y(t)$ kann jede Frequenz $f_0$ beinhalten, die bereits im Eingangssignal $x(t)$ enthalten ist. Voraussetzung ist also, dass $X(f_0) ≠$ 0 gilt.
*Bei einem LZI–System ist die absolute Bandbreite des Ausgangssignals $(B_y)$ nie größer als die des Eingangssignals $(B_x)$:
$$B_y \le B_x .$$

In der oberen Grafik gilt $B_y$ = $B_x$. Lineare Verzerrungen liegen vor, da sich in diesem Frequenzband $X(f)$ und $Y(f)$ unterscheiden. Eine Bandbegrenzung $(B_y < B_x)$ ist eine Sonderform linearer Verzerrungen, die im Kapitel 2.3 ausführlich behandelt werden.

[[File:P_ID877__LZI_T_2_1_S5_neu.png | Lineare und nichtlineare Verzerrungen|class=fit]]

Die untere Grafik zeigt ein Beispiel für nichtlineare Verzerrungen, da $B_y$ größer als $B_x$ ist. Für ein solches System kann kein Frequenzgang $H(f)$ angegeben werden. Welche Beschreibungsgrößen für nichtlineare Systeme geeignet sind, wird im Kapitel 2.2 dargelegt.

Bei den meisten realen Übertragungskanälen treten sowohl lineare als auch nichtlineare Verzerrungen auf. Für eine ganze Reihe von Problemstellungen ist jedoch die klare Trennung der beiden Verzerrungsarten essentiell. In [Kam04]<ref>Kammeyer, K.D.: ''Nachrichtenübertragung''. Stuttgart: B.G. Teubner, 4. Auflage, 2004.</ref> wird ein entsprechendes Ersatzmodell angegeben.

==Quellenverzeichnis==
<references/>

{{Display}}

Linear and Time Invariant Systems/Classification of the Distortions

2016-12-05T13:28:36Z

Markus:

{{Header|
Untermenü=Signalverzerrungen und Entzerrung
|Vorherige Seite=Einige systemtheoretische Tiefpassfunktionen
|Nächste Seite=Nichtlineare Verzerrungen
}}
==Voraun für Kapitel 2==
Wir betrachten im Folgenden ein System, an dessen Eingang das Signal $x(t)$ mit zugehörigem Spektrum $X(f)$ anliegt. Das Ausgangssignal bezeichnen wir mit $y(t)$ und dessen Spektrum mit $Y(f).$

[[File:P_ID873__LZI_T_2_1_S1_neu.png| Beschreibung eines linearen Systems|right||class=fit]]

Der mit „System” bezeichnete Block kann ein Teil einer elektrischen Schaltung sein oder ein komplettes Übertragungssystem, bestehend aus Sender, Kanal und Empfänger.

Für das gesamte Kapitel 2 soll gelten:
*Das System sei zeitinvariant. Führt das Eingangssignal $x(t)$ zum Signal $y(t)$, so wird ein späteres Eingangssignal gleicher Form, nämlich $x(t – t_0)$, das Signal $y(t – t_0)$ zur Folge haben.
*Es werden keine Rauschprozesse betrachtet, die bei realen Systemen stets vorhanden sind. Zur Beschreibung dieser Phänomene wird auf das Buch [[Stochastische Signaltheorie]] verwiesen.
*Es werden keine Detailkenntnisse über das System vorausgesetzt. Alle Systemeigenschaften werden im Folgenden allein aus den Signalen $x(t)$ und $y(t)$ bzw. deren Spektren abgeleitet.
*Insbesondere seien vorerst keine Festlegungen hinsichtlich der Linearität gegeben. Das „System” kann linear (Voraussetzung für die Anwendung des Superpositionsprinzips) oder nichtlinear sein.
*Aus einem einzigen Testsignal $x(t)$ und dessen Antwort $y(t)$ sind nicht alle Systemeigenschaften erkennbar. Daher müssen ausreichend viele Testsignale zur Bewertung herangezogen werden.

Nachfolgend werden wir solche Systeme näher klassifizieren.

==Ideales und verzerrungsfreies System==
{{Definition}}
Man spricht immer dann von einem idealen System, wenn das Ausgangssignal $y(t)$ exakt gleich dem Eingangssignal $x(t)$ ist:
$$y(t) = x(t)$$
{{end}}

Anzumerken ist, dass es ein solches ideales System in der Realität nicht gibt, auch wenn man die stets existenten, in diesem Buch aber nicht betrachteten statistischen Störungen und Rauschvorgänge außer Acht lässt. Ein jedes Übertragungsmedium weist Verluste (Dämpfungen) und Laufzeiten auf. Selbst wenn diese physikalischen Phänomene sehr klein sind, so sind sie jedoch niemals 0. Deshalb ist es notwendig, ein etwas weniger strenges Qualitätsmerkmal einzuführen.

{{Definition}}
Ein verzerrungsfreies System liegt vor, wenn folgende Bedingung erfüllt ist:
$$y(t) = \alpha \cdot x(t - \tau).$$
Hierbei beschreibt $α$ den Dämpfungsfaktor und $τ$ die Laufzeit.
{{end}}

Ist diese Bedingung nicht erfüllt, so spricht man von einem verzerrenden System.

{{Beispiel}}
Die folgende Grafik zeigt das Eingangssignal $x(t)$ und das Ausgangssignal $y(t)$ eines zwar nicht idealen, aber verzerrungsfreien Systems. Die Systemparameter sind $α$ = 0.8 und $τ$ = 0.25 ms.

[[File:P_ID874__LZI_T_2_1_S2_neu.png|Beispielhafte Signale eines verzerrungsfreien Systems|class=fit]]

{{end}}

Der Dämpfungsfaktor $α$ kann durch eine empfängerseitige Verstärkung um 1/ $α$ vollständig rückgängig gemacht werden, doch ist zu berücksichtigen, dass damit auch etwaiges Rauschen angehoben wird.

Dagegen kann die Laufzeit $τ$ aus Kausalitätsgründen nicht kompensiert werden. Es hängt nun von der Anwendung ab, ob eine solche Laufzeit subjektiv als störend empfunden wird. Beispielsweise wird man selbst bei einer Laufzeit von einer Sekunde die (unidirektionale) TV–Übertragung einer Veranstaltung noch immer als „live” bezeichnen. Dagegen werden bei einer bidirektionalen Kommunikation – zum Beispiel bei einem Telefonat – schon Laufzeiten von 300 Millisekunden als sehr störend empfunden. Man wartet entweder auf die Reaktion des Gesprächspartners oder beide Teilnehmer fallen sich ins Wort.

==Quantitatives Maß für die Signalverzerrungen==
Wir betrachten nun ein verzerrendes System anhand von Eingangs– und Ausgangssignal. Dabei setzen wir zunächst voraus, dass außer den Signalverzerrungen nicht zusätzlich noch ein für alle Frequenzen konstanter Dämpfungsfaktor $α$ und eine für alle Frequenzen konstante Laufzeit $τ$ wirksam sind. Bei den nachfolgend skizzierten Signalausschnitten sind diese Voraussetzungen erfüllt.

[[File:P_ID875__LZI_T_2_1_S3_neu.png| Ein– und Ausgang eines verzerrenden Systems und Fehlersignal|class=fit]]

In der Grafik ist zusätzlich zu den Signalen $x(t)$ und $y(t)$ auch das Differenzsignal
$$\varepsilon(t) = y(t) - x(t)$$
eingezeichnet. Als ein quantitatives Maß für die Stärke der Verzerrungen eignet sich zum Beispiel der quadratische Mittelwert dieses Differenzsignals:
$$\overline{\varepsilon^2(t)} = \frac{1}{T_{\rm M}} \cdot \int\limits_{ 0 }^{ T_{\rm M}} {\varepsilon^2(t) }\hspace{0.1cm}{\rm d}t\hspace{0.4cm} \left( = P_{\rm V} \right).$$

Zu dieser Gleichung ist Folgendes zu bemerken:
*Die Messdauer $T_{\rm M}$ zur Bestimmung dieses Mittelwertes muss hinreichend groß gewählt werden. Eigentlich müsste diese Gleichung mit Grenzübergang formuliert werden.
*Der oben angegebene quadratische Mittelwert wird oft auch als der mittlere quadratische Fehler (MQF) oder als die Verzerrungsleistung $P_{\rm V}$ bezeichnet.
*Sind $x(t)$ und $y(t)$ Spannungssignale, so besitzt $P_{\rm V}$ die Einheit $„{\rm V}^2”$, das heißt, die Leistung ist nach obiger Definition auf den Widerstand 1 Ω bezogen.
*Mit der in gleicher Weise definierten Leistung $P_x$ des Eingangssignals $x(t)$ – also ebenfalls auf 1 Ω bezogen – kann das Signal–zu–Verzerrungs–Leistungsverhältnis angegeben werden:
$$\rho_{\rm V} = \frac{ P_{x}}{P_{\rm V}} \hspace{0.3cm} \Rightarrow \hspace{0.3cm} 10 \cdot \lg \hspace{0.1cm}\rho_{\rm V} =
10 \cdot \lg \hspace{0.1cm}\frac{ P_{x}}{P_{\rm V}}\hspace{0.3cm} \left( {\rm in \hspace{0.15cm} dB} \right).$$

Bei den in der Grafik dargestellten Signalen gilt $P_x$ = 4 ${\rm V}^2$, $P_{\rm V}$ = 0.04 ${\rm V}^2$ und damit 10 · lg $ρ_{\rm V}$ = 20 dB.

==Berücksichtigung von Dämpfung und Laufzeit==
Die auf der letzten Seite angegebenen Gleichungen führen dann nicht zu verwertbaren Aussagen, wenn zusätzlich eine Dämpfung $α$ und/oder eine Laufzeit $τ$ im System wirksam ist.

[[File:P_ID876__LZI_T_2_1_S4_neu.png| Berücksichtigung von Dämpfung und Laufzeit|class=fit]]

Die obere Grafik zeigt das gedämpfte, verzögerte und verzerrte Signal
$$y(t) = \alpha \cdot x(t - \tau) + \varepsilon_1(t),$$
wobei im Term $ε_1(t)$ alle Verzerrungen zusammengefasst sind. Man erkennt an der grünen Fläche, dass das Fehlersignal $ε_1(t)$ relativ klein ist.

Sind dagegen die Dämpfung $α$ und die Laufzeit $τ$ unbekannt, so ist Folgendes zu beachten:
*Das so ermittelte Fehlersignal $ε_2(t) = y(t) – x(t)$ ist trotz kleiner Verzerrungen $ε_1(t)$ relativ groß.
*Anstelle der Verzerrungsleistung muss hier die Verzerrungsenergie betrachtet werden, da $x(t)$ und $y(t)$ energiebegrenzte Signale sind.
*Die Verzerrungsenergie erhält man, in dem die unbekannten Größen $α$ und $τ$ variiert werden und auf diese Weise das Minimum des mittleren quadratischen Fehlers ermittelt wird:
$$E_{\rm V} = \min_{\alpha, \tau} \int\limits_{ - \infty }^{ + \infty}
{\left[y(t) - \left(\alpha \cdot x(t - \tau) \right) \right]^2}\hspace{0.1cm}{\rm d}t.$$
*Die Energie des gedämpften und verzögerten Signals $α · x(t – τ)$ ist unabhängig von der Laufzeit $τ$ gleich $α^2 · E_x$. Somit gilt hier für das Signal–zu–Verzerrungs–Leistungsverhältnis:
$$\rho_{\rm V} = \frac{ \alpha^2 \cdot E_{x}}{E_{\rm V}}\hspace{0.3cm}{\rm bzw.}\hspace{0.3cm}\rho_{\rm V}= \frac{ \alpha^2 \cdot P_{x}}{P_{\rm V}} .$$
*Die erste dieser beiden Gleichungen gilt für zeitlich begrenzte und damit energiebegrenzte Signale, die zweite für zeitlich unbegrenzte, also leistungsbegrenzte Signale.

==Lineare und nichtlineare Verzerrungen==
Man unterscheidet zwischen linearen und nichtlinearen Verzerrungen:

Ist das System linear und zeitinvariant (LZI), so wird es vollständig durch seinen Frequenzgang $H(f)$ charakterisiert, und es lässt sich Folgendes feststellen:
*Entspechend der $H(f)$-Definition gilt für das Ausgangsspektrum: $Y(f)$ = $X(f) · H(f)$. Daraus folgt, dass $Y(f)$ keine Frequenzanteile beinhalten kann, die nicht auch in $X(f)$ enthalten sind.
*Die Umkehrung besagt: Das Ausgangssignal $y(t)$ kann jede Frequenz $f_0$ beinhalten, die bereits im Eingangssignal $x(t)$ enthalten ist. Voraussetzung ist also, dass $X(f_0) ≠$ 0 gilt.
*Bei einem LZI–System ist die absolute Bandbreite des Ausgangssignals $(B_y)$ nie größer als die des Eingangssignals $(B_x)$:
$$B_y \le B_x .$$

In der oberen Grafik gilt $B_y$ = $B_x$. Lineare Verzerrungen liegen vor, da sich in diesem Frequenzband $X(f)$ und $Y(f)$ unterscheiden. Eine Bandbegrenzung $(B_y < B_x)$ ist eine Sonderform linearer Verzerrungen, die im Kapitel 2.3 ausführlich behandelt werden.

[[File:P_ID877__LZI_T_2_1_S5_neu.png | Lineare und nichtlineare Verzerrungen|class=fit]]

Die untere Grafik zeigt ein Beispiel für nichtlineare Verzerrungen, da $B_y$ größer als $B_x$ ist. Für ein solches System kann kein Frequenzgang $H(f)$ angegeben werden. Welche Beschreibungsgrößen für nichtlineare Systeme geeignet sind, wird im Kapitel 2.2 dargelegt.

Bei den meisten realen Übertragungskanälen treten sowohl lineare als auch nichtlineare Verzerrungen auf. Für eine ganze Reihe von Problemstellungen ist jedoch die klare Trennung der beiden Verzerrungsarten essentiell. In [Kam04]<ref>Kammeyer, K.D.: ''Nachrichtenübertragung''. Stuttgart: B.G. Teubner, 4. Auflage, 2004.</ref> wird ein entsprechendes Ersatzmodell angegeben.

==Quellenverzeichnis==
<references/>

{{Display}}

Category:Aufgaben zu Informationstheorie

2016-12-05T13:25:22Z

Markus:

Biographies and Bibliographies/Students involved in LNTwww

2016-12-05T13:17:15Z

Markus:

{{Header|
|Untermenü= An LNTwww beteiligte Studierende
|Vorherige Seite=An_LNTwww_beteiligte_Mitarbeiter_und_Dozenten
|Nächste Seite= Externe_Beteiligte_am_LNTwww
}}

Daneben haben uns bei der Erstellung von ''LNTwww'' auch viele Studierende im Rahmen von Abschlussarbeiten unterstützt, namentlich (in alphabetischer Reihenfolge):

*Hedi Abbes, Thorsten Bürgstein, Nabil El Haleq, Markus Elsberger, Cem Gencyilmaz, Thomas Großer
*Alexander Happach, Bettina Hirner, Hichem Kallel, Thorsten Kalweit, Franz-Josef Kaupert, Nejib Kchouk
*Roland Kiefl, Franz Kohl, Dominik Kopp, Felix Kristl, Slim Lamine, Ji Li, Eugen Mehlmann, Stefan Müller
*Matthias Riedel, Thomas Pfeuffer, Johannes Schmidt, Sebastian Seitz, Reinhold Sixt, Khaled Soussi
*Jürgen Veitenhansl, Martin Völkl, Martin Winkler, Yven Winter

==Yven Winter (Diplomarbeit 2004, seitdem freie Mitarbeit) ==

[[File:YvenWinter.png|right|]]

Biographies and Bibliographies/Students involved in LNTwww

2016-12-05T13:16:53Z

Markus: /* Yven Winter (Diplomarbeit 2004, seitdem freie Mitarbeit) */

LNTwww:Über LNTwww

2016-12-05T13:11:10Z

Markus: Markus verschob die Seite lntwww:Über lntwww nach lntwww:Über LNTwww, ohne dabei eine Weiterleitung anzulegen: Namensänderung

===Überschrift 1===
'''Adresse''' 
Technische Universität München 
Lehrstuhl für Nachrichtentechnik 
Theresienstrasse 90 
80333 München 
Tel: +49 89 289-23466

===Überschrift 2===

User:Markus

2016-12-05T09:33:54Z

Markus: Die Seite wurde neu angelegt: „Test-Ton“

[[File:Test.ogg|miniatur|links|Test-Ton]]

User talk:Markus

2016-12-05T09:33:07Z

Markus:

==Allgemeines==

[[Spezial:Spezialseiten]]:
* [[Special:ApprovedRevs]]
* [[MediaWiki:Sidebar]]
History Installation:
* installierte Pakete: composer lokal, php53-phar ohne Repo
* composer verschoben nach /usr/local/bin
* composer update für bootstraph + chameleon
* Quiz, Stubmanager + Preloadmanager
* MathJax in htdocs/mediawiki abgelegt
* weitere Plugins: UploadLocal,MsUpload,MwEmbedSupport,TimedMediaHandler

Nomenklatur:
* Kapitel 1
* Unterkapitel 1.1
*Abschnitt

== Todo ==
* Literaturverweise einfügen, bei Personen auf Wikipedia verweisen
* Hover-Einblendung für Literaturverweise
* Formeln: Konsistenzen bei Sub-Indizes, diese ohne kursiv: $T_{\rm A}$ anstatt $T_A$
* Bildordnung: untereinander bei kleinen Bildschirmgrößen
[http://en.lntwww.de/Aufgaben:3.1_Spektrum_des_Exponentialimpulses]
* Signaldarstellung: Überarbeitung Bilder + Formeln

Aufgaben:
* Korrekte Verlinkung von Kapiteln
* Unterstreichung/Highlighting des korrekten Wertes in der Musterlösung?
* Nummerierung der Lösung passend zu Nummerierung der Quizaufgaben
* Audio/Video-Unterstützung
* Links zu Büchern
* Links zu Literaturstellen?

 
== Günters offene Punkte ==
* $\checkmark$ done
* '''X''' to do
* - cancelled

=== Juni 2016 ===
offen:
* '''X''' Können bei den Aufgaben die „Links“ zu den entsprechenden Theorieteilen beibehalten?
* '''X''' Links zu Literaturstellen? Wie?
* '''X''' Noch eine Frage zu den Links. Ich schreibe da oft sowas wie "siehe Kapitel 3.5". Gibt es diese Nummerierung in Zukunft eigentlich noch? -> wir linken + nennen direkt das Kapitel
* '''X''' Quellen fehlen immer noch komplett
* '''X''' Kapitel-Verknüpfungen fehlen
* '''X''' Bei Aufgabe A1.1 von Signaldarstellung kommt weder die Grafik noch das Audio-Bedienfeld.
* '''X''' Die Teilaufgaben werden mit 1, 2, 3, … nummeriert, in den Musterlösungen steht aber im Text häufig a), b), c), … Am liebsten wäre mir (a), (b), (c)
* '''X''' Ich habe bei der ML die richtige Antwort immer unterstrichen. In den Gleichungen ist das immer noch so. Im Text fehlt aber die Unterstreichung.
* '''X''' ''delayed'' Wie werden die Flashmodule behandelt? Sie sollten eine feste Größe haben. Macht das auch Sinn bei einem Smartphone?
* '''X''' Das Buch 4 soll „Einführung in die Informationstheorie“ heißen, das Buch 8 „Einführung in die Kanalcodierung“. Im äußeren Bereich heißt das auch schon im alten LNTwww so. Wenn das große Schwierigkeiten macht, können wir es auch so lassen, wie es jetzt ist.
* '''X''' Noch nicht gelöst ist das Link-Problem  Anlage 3. Ist eigentlich irgendwo schon ein Link gesetzt?
* '''X''' Bei den Links wird häufiger auf Kapitel X.Y verwiesen. Diese Nummerierung kommt aber derzeit gar nicht vor.
* '''X''' Bei „FiT“ sollte es heißen: XBP(f) anstelle von XBP(f), weil dies in den normalen Gleichungen ebenso gehandhabt wird  Anlage 2. Dies lässt sich mit „Ersetzen“ relativ leicht korrigieren. Oft kommt in einem bestimmten Text immer wieder die gleiche Kombination vor. Das geht sicher schnell.
* '''X''' Die Bilder sind in der jetzigen Größe bei „Informationstheorie“ wunderbar, viel besser als die Minibilder bei „Signaldarstellung“. Ist das auch für die Smartphone-Darstellung in Ordnung?
* '''X''' Die Grafik zur Aufgabe kommt derzeit meistens rechts. Man könnte es aber auch links außen anbringen. Ist das günstiger für Smartphones?
* '''X''' Ist das Bild außen angebracht, so kommt es zu Problemen beim Verkleinern  Anlage 2.

wird nicht umgesetzt:
* '''-''' Vorsicht: Oft steht jetzt der Hinweis „siehe Kapitel X.Y“. Trotzdem geht der Link zu einem Abschnitt (nach vorheriger Definition zu einer Seite).
* '''-''' ''delayed'' Ich habe mal einen Vorschlag gemacht, was alles kommen sollte, wenn man das Buch „Signaldarstellung“ aufruft: Signaldarstellung.docx. Markus: Ist nur ein Vorschlag. Darüber diskutieren!
* '''-''' ''delayed'' Man könnte hier die Bildunterschrift bringen. Zusätzlich zum „Drüberfahren“?

=== abgehakte Punkte ===
August 2016:
* $\checkmark$ Umbenennung Informationstheorie
* $\checkmark$ Mein Vorschlag als Grundlage für interne Diskussionen. Beim Buch „Informationstheorie“ ist „Entropie wertdiskreter Nachrichtenquellen“ ein Kapitel (derzeit Kapitel 1), „Gedächtnislose Nachrichtenquellen“ ein Unterkapitel (derzeit Kapitel 1.1) und „Modell und Voraussetzungen“ ein Abschnitt (derzeit Seite 1).
* $\checkmark$ Kann man alle Links bereits jetzt im Text anlegen, obwohl man ihn jetzt noch nicht setzen kann, zum Beispiel, weil das Buch noch gar nicht existiert? Kann man noch nicht gesetzte Links markieren, damit man sie nachtragen kann? Wie?
* $\checkmark$ ''neusortieren bei breiter Buchübersicht'' Bei der Bücherauswahl sollte man die Reihenfolge wählen: Buch 1, daneben Buch 2. Darunter Buch 3 und Buch 4 bis schließlich „Beispiele von Nachrichtensystemen“ sowie „Biografien …“.
* $\checkmark$ Gibt es ein Backup? Was kann man als Eingeber alles falsch machen? Kann man auch andere Eingaben ungewollt löschen? Es geht.
* $\checkmark$ Aus meiner Sicht könnte inzwischen auch mit dem letzten Buch „Beispiele von Nachrichtensystemen“ begonnen werden. Ist bereits begonnen.
* $\checkmark$ Bücher 1-5 sind fertig
* $\checkmark$ Buch 6 kann eventuell übernommen werden
* $\checkmark$ Buch 7 eventuell zu überarbeiten
* $\checkmark$ Das Buch Bibliografien - Biografien muss nach meiner Meinung nicht umgesetzt werden.
* $\checkmark$ Wenn es die bisherigen Seiten "Kapitelübersicht" noch gibt, kann man ja da am Ende die die angegebenen Literaturhinweise im Klartext bringen, wie in WIKPEDIA so üblich.

April 2016:
* $\checkmark$ Es gibt ja auf der Startseite ein Punkt Autoren. Da könnte man die Biografien der Autoren unterbringen. Aber für das neue LNTwww würde ich das deutlich kürzen.

Aus Günter Söders Sicht fertig sind:
* Digitalsignalübertragung, Kapitel 1 und 2
* Mobile Kommunikation, Kapitel 1 bis 3
* Kanalcodierung, Kapitel 1 bis 3

* $\checkmark$ Kanalcodierung anstatt Kanalkodierverfahren
* $\checkmark$ Hover bei Bildern: Text anzeigen
* $\checkmark$ Zugriff auf Backend, um Aufgaben und LaTex Formeln zu erhalten

== Spielwiese ==
[{{fullurl:{{FULLPAGENAME}}|action=pdfbook}} download this selection of articles as a PDF book]

User talk:Markus

2016-12-01T17:04:50Z

Markus:

==Allgemeines==

[[Spezial:Spezialseiten]]:
* [[Special:ApprovedRevs]]
* [[MediaWiki:Sidebar]]
History Installation:
* installierte Pakete: composer lokal, php53-phar ohne Repo
* composer verschoben nach /usr/local/bin
* composer update für bootstraph + chameleon
* Quiz, Stubmanager + Preloadmanager
* MathJax in htdocs/mediawiki abgelegt
* weitere Plugins: UploadLocal,MsUpload

Nomenklatur:
* Kapitel 1
* Unterkapitel 1.1
*Abschnitt

== Todo ==
* Literaturverweise einfügen, bei Personen auf Wikipedia verweisen
* Hover-Einblendung für Literaturverweise
* Formeln: Konsistenzen bei Sub-Indizes, diese ohne kursiv: $T_{\rm A}$ anstatt $T_A$
* Bildordnung: untereinander bei kleinen Bildschirmgrößen
[http://en.lntwww.de/Aufgaben:3.1_Spektrum_des_Exponentialimpulses]
* Signaldarstellung: Überarbeitung Bilder + Formeln

Aufgaben:
* Korrekte Verlinkung von Kapiteln
* Unterstreichung/Highlighting des korrekten Wertes in der Musterlösung?
* Nummerierung der Lösung passend zu Nummerierung der Quizaufgaben
* Audio/Video-Unterstützung
* Links zu Büchern
* Links zu Literaturstellen?

 
== Günters offene Punkte ==
* $\checkmark$ done
* '''X''' to do
* - cancelled

=== Juni 2016 ===
offen:
* '''X''' Können bei den Aufgaben die „Links“ zu den entsprechenden Theorieteilen beibehalten?
* '''X''' Links zu Literaturstellen? Wie?
* '''X''' Noch eine Frage zu den Links. Ich schreibe da oft sowas wie "siehe Kapitel 3.5". Gibt es diese Nummerierung in Zukunft eigentlich noch? -> wir linken + nennen direkt das Kapitel
* '''X''' Quellen fehlen immer noch komplett
* '''X''' Kapitel-Verknüpfungen fehlen
* '''X''' Bei Aufgabe A1.1 von Signaldarstellung kommt weder die Grafik noch das Audio-Bedienfeld.
* '''X''' Die Teilaufgaben werden mit 1, 2, 3, … nummeriert, in den Musterlösungen steht aber im Text häufig a), b), c), … Am liebsten wäre mir (a), (b), (c)
* '''X''' Ich habe bei der ML die richtige Antwort immer unterstrichen. In den Gleichungen ist das immer noch so. Im Text fehlt aber die Unterstreichung.
* '''X''' ''delayed'' Wie werden die Flashmodule behandelt? Sie sollten eine feste Größe haben. Macht das auch Sinn bei einem Smartphone?
* '''X''' Das Buch 4 soll „Einführung in die Informationstheorie“ heißen, das Buch 8 „Einführung in die Kanalcodierung“. Im äußeren Bereich heißt das auch schon im alten LNTwww so. Wenn das große Schwierigkeiten macht, können wir es auch so lassen, wie es jetzt ist.
* '''X''' Noch nicht gelöst ist das Link-Problem  Anlage 3. Ist eigentlich irgendwo schon ein Link gesetzt?
* '''X''' Bei den Links wird häufiger auf Kapitel X.Y verwiesen. Diese Nummerierung kommt aber derzeit gar nicht vor.
* '''X''' Bei „FiT“ sollte es heißen: XBP(f) anstelle von XBP(f), weil dies in den normalen Gleichungen ebenso gehandhabt wird  Anlage 2. Dies lässt sich mit „Ersetzen“ relativ leicht korrigieren. Oft kommt in einem bestimmten Text immer wieder die gleiche Kombination vor. Das geht sicher schnell.
* '''X''' Die Bilder sind in der jetzigen Größe bei „Informationstheorie“ wunderbar, viel besser als die Minibilder bei „Signaldarstellung“. Ist das auch für die Smartphone-Darstellung in Ordnung?
* '''X''' Die Grafik zur Aufgabe kommt derzeit meistens rechts. Man könnte es aber auch links außen anbringen. Ist das günstiger für Smartphones?
* '''X''' Ist das Bild außen angebracht, so kommt es zu Problemen beim Verkleinern  Anlage 2.

wird nicht umgesetzt:
* '''-''' Vorsicht: Oft steht jetzt der Hinweis „siehe Kapitel X.Y“. Trotzdem geht der Link zu einem Abschnitt (nach vorheriger Definition zu einer Seite).
* '''-''' ''delayed'' Ich habe mal einen Vorschlag gemacht, was alles kommen sollte, wenn man das Buch „Signaldarstellung“ aufruft: Signaldarstellung.docx. Markus: Ist nur ein Vorschlag. Darüber diskutieren!
* '''-''' ''delayed'' Man könnte hier die Bildunterschrift bringen. Zusätzlich zum „Drüberfahren“?

=== abgehakte Punkte ===
August 2016:
* $\checkmark$ Umbenennung Informationstheorie
* $\checkmark$ Mein Vorschlag als Grundlage für interne Diskussionen. Beim Buch „Informationstheorie“ ist „Entropie wertdiskreter Nachrichtenquellen“ ein Kapitel (derzeit Kapitel 1), „Gedächtnislose Nachrichtenquellen“ ein Unterkapitel (derzeit Kapitel 1.1) und „Modell und Voraussetzungen“ ein Abschnitt (derzeit Seite 1).
* $\checkmark$ Kann man alle Links bereits jetzt im Text anlegen, obwohl man ihn jetzt noch nicht setzen kann, zum Beispiel, weil das Buch noch gar nicht existiert? Kann man noch nicht gesetzte Links markieren, damit man sie nachtragen kann? Wie?
* $\checkmark$ ''neusortieren bei breiter Buchübersicht'' Bei der Bücherauswahl sollte man die Reihenfolge wählen: Buch 1, daneben Buch 2. Darunter Buch 3 und Buch 4 bis schließlich „Beispiele von Nachrichtensystemen“ sowie „Biografien …“.
* $\checkmark$ Gibt es ein Backup? Was kann man als Eingeber alles falsch machen? Kann man auch andere Eingaben ungewollt löschen? Es geht.
* $\checkmark$ Aus meiner Sicht könnte inzwischen auch mit dem letzten Buch „Beispiele von Nachrichtensystemen“ begonnen werden. Ist bereits begonnen.
* $\checkmark$ Bücher 1-5 sind fertig
* $\checkmark$ Buch 6 kann eventuell übernommen werden
* $\checkmark$ Buch 7 eventuell zu überarbeiten
* $\checkmark$ Das Buch Bibliografien - Biografien muss nach meiner Meinung nicht umgesetzt werden.
* $\checkmark$ Wenn es die bisherigen Seiten "Kapitelübersicht" noch gibt, kann man ja da am Ende die die angegebenen Literaturhinweise im Klartext bringen, wie in WIKPEDIA so üblich.

April 2016:
* $\checkmark$ Es gibt ja auf der Startseite ein Punkt Autoren. Da könnte man die Biografien der Autoren unterbringen. Aber für das neue LNTwww würde ich das deutlich kürzen.

Aus Günter Söders Sicht fertig sind:
* Digitalsignalübertragung, Kapitel 1 und 2
* Mobile Kommunikation, Kapitel 1 bis 3
* Kanalcodierung, Kapitel 1 bis 3

* $\checkmark$ Kanalcodierung anstatt Kanalkodierverfahren
* $\checkmark$ Hover bei Bildern: Text anzeigen
* $\checkmark$ Zugriff auf Backend, um Aufgaben und LaTex Formeln zu erhalten

== Spielwiese ==
[{{fullurl:{{FULLPAGENAME}}|action=pdfbook}} download this selection of articles as a PDF book]

User talk:Markus

2016-12-01T16:57:37Z

Markus:

==Allgemeines==

[[Spezial:Spezialseiten]]:
* [[Special:ApprovedRevs]]
* [[MediaWiki:Sidebar]]
History Installation:
* installierte Pakete: composer lokal, php53-phar ohne Repo, htmldoc
* composer verschoben nach /usr/local/bin
* composer update für bootstraph + chameleon
* Quiz, Stubmanager + Preloadmanager
* MathJax in htdocs/mediawiki abgelegt

Nomenklatur:
* Kapitel 1
* Unterkapitel 1.1
*Abschnitt

== Todo ==
* Literaturverweise einfügen, bei Personen auf Wikipedia verweisen
* Hover-Einblendung für Literaturverweise
* Formeln: Konsistenzen bei Sub-Indizes, diese ohne kursiv: $T_{\rm A}$ anstatt $T_A$
* Bildordnung: untereinander bei kleinen Bildschirmgrößen
[http://en.lntwww.de/Aufgaben:3.1_Spektrum_des_Exponentialimpulses]
* Signaldarstellung: Überarbeitung Bilder + Formeln

Aufgaben:
* Korrekte Verlinkung von Kapiteln
* Unterstreichung/Highlighting des korrekten Wertes in der Musterlösung?
* Nummerierung der Lösung passend zu Nummerierung der Quizaufgaben
* Audio/Video-Unterstützung
* Links zu Büchern
* Links zu Literaturstellen?

 
== Günters offene Punkte ==
* $\checkmark$ done
* '''X''' to do
* - cancelled

=== Juni 2016 ===
offen:
* '''X''' Können bei den Aufgaben die „Links“ zu den entsprechenden Theorieteilen beibehalten?
* '''X''' Links zu Literaturstellen? Wie?
* '''X''' Noch eine Frage zu den Links. Ich schreibe da oft sowas wie "siehe Kapitel 3.5". Gibt es diese Nummerierung in Zukunft eigentlich noch? -> wir linken + nennen direkt das Kapitel
* '''X''' Quellen fehlen immer noch komplett
* '''X''' Kapitel-Verknüpfungen fehlen
* '''X''' Bei Aufgabe A1.1 von Signaldarstellung kommt weder die Grafik noch das Audio-Bedienfeld.
* '''X''' Die Teilaufgaben werden mit 1, 2, 3, … nummeriert, in den Musterlösungen steht aber im Text häufig a), b), c), … Am liebsten wäre mir (a), (b), (c)
* '''X''' Ich habe bei der ML die richtige Antwort immer unterstrichen. In den Gleichungen ist das immer noch so. Im Text fehlt aber die Unterstreichung.
* '''X''' ''delayed'' Wie werden die Flashmodule behandelt? Sie sollten eine feste Größe haben. Macht das auch Sinn bei einem Smartphone?
* '''X''' Das Buch 4 soll „Einführung in die Informationstheorie“ heißen, das Buch 8 „Einführung in die Kanalcodierung“. Im äußeren Bereich heißt das auch schon im alten LNTwww so. Wenn das große Schwierigkeiten macht, können wir es auch so lassen, wie es jetzt ist.
* '''X''' Noch nicht gelöst ist das Link-Problem  Anlage 3. Ist eigentlich irgendwo schon ein Link gesetzt?
* '''X''' Bei den Links wird häufiger auf Kapitel X.Y verwiesen. Diese Nummerierung kommt aber derzeit gar nicht vor.
* '''X''' Bei „FiT“ sollte es heißen: XBP(f) anstelle von XBP(f), weil dies in den normalen Gleichungen ebenso gehandhabt wird  Anlage 2. Dies lässt sich mit „Ersetzen“ relativ leicht korrigieren. Oft kommt in einem bestimmten Text immer wieder die gleiche Kombination vor. Das geht sicher schnell.
* '''X''' Die Bilder sind in der jetzigen Größe bei „Informationstheorie“ wunderbar, viel besser als die Minibilder bei „Signaldarstellung“. Ist das auch für die Smartphone-Darstellung in Ordnung?
* '''X''' Die Grafik zur Aufgabe kommt derzeit meistens rechts. Man könnte es aber auch links außen anbringen. Ist das günstiger für Smartphones?
* '''X''' Ist das Bild außen angebracht, so kommt es zu Problemen beim Verkleinern  Anlage 2.

wird nicht umgesetzt:
* '''-''' Vorsicht: Oft steht jetzt der Hinweis „siehe Kapitel X.Y“. Trotzdem geht der Link zu einem Abschnitt (nach vorheriger Definition zu einer Seite).
* '''-''' ''delayed'' Ich habe mal einen Vorschlag gemacht, was alles kommen sollte, wenn man das Buch „Signaldarstellung“ aufruft: Signaldarstellung.docx. Markus: Ist nur ein Vorschlag. Darüber diskutieren!
* '''-''' ''delayed'' Man könnte hier die Bildunterschrift bringen. Zusätzlich zum „Drüberfahren“?

=== abgehakte Punkte ===
August 2016:
* $\checkmark$ Umbenennung Informationstheorie
* $\checkmark$ Mein Vorschlag als Grundlage für interne Diskussionen. Beim Buch „Informationstheorie“ ist „Entropie wertdiskreter Nachrichtenquellen“ ein Kapitel (derzeit Kapitel 1), „Gedächtnislose Nachrichtenquellen“ ein Unterkapitel (derzeit Kapitel 1.1) und „Modell und Voraussetzungen“ ein Abschnitt (derzeit Seite 1).
* $\checkmark$ Kann man alle Links bereits jetzt im Text anlegen, obwohl man ihn jetzt noch nicht setzen kann, zum Beispiel, weil das Buch noch gar nicht existiert? Kann man noch nicht gesetzte Links markieren, damit man sie nachtragen kann? Wie?
* $\checkmark$ ''neusortieren bei breiter Buchübersicht'' Bei der Bücherauswahl sollte man die Reihenfolge wählen: Buch 1, daneben Buch 2. Darunter Buch 3 und Buch 4 bis schließlich „Beispiele von Nachrichtensystemen“ sowie „Biografien …“.
* $\checkmark$ Gibt es ein Backup? Was kann man als Eingeber alles falsch machen? Kann man auch andere Eingaben ungewollt löschen? Es geht.
* $\checkmark$ Aus meiner Sicht könnte inzwischen auch mit dem letzten Buch „Beispiele von Nachrichtensystemen“ begonnen werden. Ist bereits begonnen.
* $\checkmark$ Bücher 1-5 sind fertig
* $\checkmark$ Buch 6 kann eventuell übernommen werden
* $\checkmark$ Buch 7 eventuell zu überarbeiten
* $\checkmark$ Das Buch Bibliografien - Biografien muss nach meiner Meinung nicht umgesetzt werden.
* $\checkmark$ Wenn es die bisherigen Seiten "Kapitelübersicht" noch gibt, kann man ja da am Ende die die angegebenen Literaturhinweise im Klartext bringen, wie in WIKPEDIA so üblich.

April 2016:
* $\checkmark$ Es gibt ja auf der Startseite ein Punkt Autoren. Da könnte man die Biografien der Autoren unterbringen. Aber für das neue LNTwww würde ich das deutlich kürzen.

Aus Günter Söders Sicht fertig sind:
* Digitalsignalübertragung, Kapitel 1 und 2
* Mobile Kommunikation, Kapitel 1 bis 3
* Kanalcodierung, Kapitel 1 bis 3

* $\checkmark$ Kanalcodierung anstatt Kanalkodierverfahren
* $\checkmark$ Hover bei Bildern: Text anzeigen
* $\checkmark$ Zugriff auf Backend, um Aufgaben und LaTex Formeln zu erhalten

== Spielwiese ==
[{{fullurl:{{FULLPAGENAME}}|action=pdfbook}} download this selection of articles as a PDF book]

User talk:Markus

2016-12-01T16:56:16Z

Markus:

==Allgemeines==

[[Spezial:Spezialseiten]]:
* [[Special:ApprovedRevs]]
* [[MediaWiki:Sidebar]]
History Installation:
* installierte Pakete: composer lokal, php53-phar ohne Repo, htmldoc
* composer verschoben nach /usr/local/bin
* composer update für bootstraph + chameleon
* Quiz, Stubmanager + Preloadmanager
* MathJax in htdocs/mediawiki abgelegt

Nomenklatur:
* Kapitel 1
* Unterkapitel 1.1
*Abschnitt

== Todo ==
* Literaturverweise einfügen, bei Personen auf Wikipedia verweisen
* Hover-Einblendung für Literaturverweise
* Formeln: Konsistenzen bei Sub-Indizes, diese ohne kursiv: $T_{\rm A}$ anstatt $T_A$
* Bildordnung: untereinander bei kleinen Bildschirmgrößen
[http://en.lntwww.de/Aufgaben:3.1_Spektrum_des_Exponentialimpulses]
* Signaldarstellung: Überarbeitung Bilder + Formeln

Aufgaben:
* Korrekte Verlinkung von Kapiteln
* Unterstreichung/Highlighting des korrekten Wertes in der Musterlösung?
* Nummerierung der Lösung passend zu Nummerierung der Quizaufgaben
* Audio/Video-Unterstützung
* Links zu Büchern
* Links zu Literaturstellen?

 
== Günters offene Punkte ==
* $\checkmark$ done
* '''X''' to do
* - cancelled

=== Juni 2016 ===
offen:
* '''X''' Können bei den Aufgaben die „Links“ zu den entsprechenden Theorieteilen beibehalten?
* '''X''' Links zu Literaturstellen? Wie?
* '''X''' Noch eine Frage zu den Links. Ich schreibe da oft sowas wie "siehe Kapitel 3.5". Gibt es diese Nummerierung in Zukunft eigentlich noch? -> wir linken + nennen direkt das Kapitel
* '''X''' Quellen fehlen immer noch komplett
* '''X''' Kapitel-Verknüpfungen fehlen
* '''X''' Bei Aufgabe A1.1 von Signaldarstellung kommt weder die Grafik noch das Audio-Bedienfeld.
* '''X''' Die Teilaufgaben werden mit 1, 2, 3, … nummeriert, in den Musterlösungen steht aber im Text häufig a), b), c), … Am liebsten wäre mir (a), (b), (c)
* '''X''' Ich habe bei der ML die richtige Antwort immer unterstrichen. In den Gleichungen ist das immer noch so. Im Text fehlt aber die Unterstreichung.
* '''X''' ''delayed'' Wie werden die Flashmodule behandelt? Sie sollten eine feste Größe haben. Macht das auch Sinn bei einem Smartphone?
* '''X''' Das Buch 4 soll „Einführung in die Informationstheorie“ heißen, das Buch 8 „Einführung in die Kanalcodierung“. Im äußeren Bereich heißt das auch schon im alten LNTwww so. Wenn das große Schwierigkeiten macht, können wir es auch so lassen, wie es jetzt ist.
* '''X''' Noch nicht gelöst ist das Link-Problem  Anlage 3. Ist eigentlich irgendwo schon ein Link gesetzt?
* '''X''' Bei den Links wird häufiger auf Kapitel X.Y verwiesen. Diese Nummerierung kommt aber derzeit gar nicht vor.
* '''X''' Bei „FiT“ sollte es heißen: XBP(f) anstelle von XBP(f), weil dies in den normalen Gleichungen ebenso gehandhabt wird  Anlage 2. Dies lässt sich mit „Ersetzen“ relativ leicht korrigieren. Oft kommt in einem bestimmten Text immer wieder die gleiche Kombination vor. Das geht sicher schnell.
* '''X''' Die Bilder sind in der jetzigen Größe bei „Informationstheorie“ wunderbar, viel besser als die Minibilder bei „Signaldarstellung“. Ist das auch für die Smartphone-Darstellung in Ordnung?
* '''X''' Die Grafik zur Aufgabe kommt derzeit meistens rechts. Man könnte es aber auch links außen anbringen. Ist das günstiger für Smartphones?
* '''X''' Ist das Bild außen angebracht, so kommt es zu Problemen beim Verkleinern  Anlage 2.

wird nicht umgesetzt:
* '''-''' Vorsicht: Oft steht jetzt der Hinweis „siehe Kapitel X.Y“. Trotzdem geht der Link zu einem Abschnitt (nach vorheriger Definition zu einer Seite).
* '''-''' ''delayed'' Ich habe mal einen Vorschlag gemacht, was alles kommen sollte, wenn man das Buch „Signaldarstellung“ aufruft: Signaldarstellung.docx. Markus: Ist nur ein Vorschlag. Darüber diskutieren!
* '''-''' ''delayed'' Man könnte hier die Bildunterschrift bringen. Zusätzlich zum „Drüberfahren“?

=== abgehakte Punkte ===
August 2016:
* $\checkmark$ Umbenennung Informationstheorie
* $\checkmark$ Mein Vorschlag als Grundlage für interne Diskussionen. Beim Buch „Informationstheorie“ ist „Entropie wertdiskreter Nachrichtenquellen“ ein Kapitel (derzeit Kapitel 1), „Gedächtnislose Nachrichtenquellen“ ein Unterkapitel (derzeit Kapitel 1.1) und „Modell und Voraussetzungen“ ein Abschnitt (derzeit Seite 1).
* $\checkmark$ Kann man alle Links bereits jetzt im Text anlegen, obwohl man ihn jetzt noch nicht setzen kann, zum Beispiel, weil das Buch noch gar nicht existiert? Kann man noch nicht gesetzte Links markieren, damit man sie nachtragen kann? Wie?
* $\checkmark$ ''neusortieren bei breiter Buchübersicht'' Bei der Bücherauswahl sollte man die Reihenfolge wählen: Buch 1, daneben Buch 2. Darunter Buch 3 und Buch 4 bis schließlich „Beispiele von Nachrichtensystemen“ sowie „Biografien …“.
* $\checkmark$ Gibt es ein Backup? Was kann man als Eingeber alles falsch machen? Kann man auch andere Eingaben ungewollt löschen? Es geht.
* $\checkmark$ Aus meiner Sicht könnte inzwischen auch mit dem letzten Buch „Beispiele von Nachrichtensystemen“ begonnen werden. Ist bereits begonnen.
* $\checkmark$ Bücher 1-5 sind fertig
* $\checkmark$ Buch 6 kann eventuell übernommen werden
* $\checkmark$ Buch 7 eventuell zu überarbeiten
* $\checkmark$ Das Buch Bibliografien - Biografien muss nach meiner Meinung nicht umgesetzt werden.
* $\checkmark$ Wenn es die bisherigen Seiten "Kapitelübersicht" noch gibt, kann man ja da am Ende die die angegebenen Literaturhinweise im Klartext bringen, wie in WIKPEDIA so üblich.

April 2016:
* $\checkmark$ Es gibt ja auf der Startseite ein Punkt Autoren. Da könnte man die Biografien der Autoren unterbringen. Aber für das neue LNTwww würde ich das deutlich kürzen.

Aus Günter Söders Sicht fertig sind:
* Digitalsignalübertragung, Kapitel 1 und 2
* Mobile Kommunikation, Kapitel 1 bis 3
* Kanalcodierung, Kapitel 1 bis 3

* $\checkmark$ Kanalcodierung anstatt Kanalkodierverfahren
* $\checkmark$ Hover bei Bildern: Text anzeigen
* $\checkmark$ Zugriff auf Backend, um Aufgaben und LaTex Formeln zu erhalten

MediaWiki:Sidebar

2016-12-01T10:34:49Z

Markus:

*Bücher
**Büchersammlung | Übersicht
**Signaldarstellung | Signaldarstellung
**Lineare zeitinvariante Systeme | Lineare zeitinvariante Systeme
**Stochastische Signaltheorie | Stochastische Signaltheorie
**Informationstheorie| Informationstheorie
**Modulationsverfahren | Modulationsverfahren
**Digitalsignalübertragung | Digitalsignalübertragung
**Mobile Kommunikation | Mobile Kommunikation
**Kanalcodierung | Kanalcodierung
**Beispiele von Nachrichtensystemen | Beispiele von Nachrichtensystemen
**Biografien und Bibliografien | Biografien und Bibliografien

*Aufgaben
**Aufgaben:Aufgabensammlung | Übersicht
**Category:Aufgaben zu Signaldarstellung | Aufgaben zu Signaldarstellung
**Category:Aufgaben zu Lineare zeitinvariante Systeme | Aufgaben zu Lineare zeitinvariante Systeme
**Category:Aufgaben zu Stochastische Signaltheorie | Aufgaben zu Stochastische Signaltheorie
**Category:Aufgaben zu Informationstheorie | Aufgaben zu Informationstheorie
**Category:Aufgaben zu Modulationsverfahren | Aufgaben zu Modulationsverfahren
**Category:Aufgaben zu Digitalsignalübertragung | Aufgaben zu Digitalsignalübertragung
**Category:Aufgaben zu Mobile Kommunikation | Aufgaben zu Mobile Kommunikation
**Category:Aufgaben zu Kanalcodierung | Aufgaben zu Kanalcodierung
**Category:Aufgaben zu Beispiele von Nachrichtensystemen | Aufgaben zu Beispiele von Nachrichtensystemen

Aufgaben:Aufgabe 3.5: Kullback-Leibler-Distanz & Binominalverteilung

2016-12-01T10:32:09Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID2759__Inf_A_3_4_A.png|right|]]
Wir gehen hier von der Binomialverteilung aus, die durch die Parameter I und p gekennzeichnet ist ⇒ siehe Buch &bdquo;Stochastische Signaltheorie”:

:* Wertebereich:
:$$X = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} I\hspace{0.05cm}\}\hspace{0.05cm},$$
:* Wahrscheinlichkeiten:
:$$P_X (X = \mu) = {I \choose \mu} \cdot p^{\mu} \cdot (1-p)^{I-\mu} \hspace{0.05cm},$$
:* linearer Mittelwert:
:$$m_X = I \cdot p \hspace{0.05cm},$$
:* Varianz:
:$$\sigma_X^2 = I \cdot p \cdot (1-p)\hspace{0.05cm}.$$
Im rot hinterlegten Teil obiger Tabelle sind die Wahrscheinlichkeiten PX(X = μ) der hier betrachteten Binomialverteilung angegeben. In der Teilaufgabe (a) sollen Sie die dazugehörigen Verteilungsparameter I und p bestimmen.

Diese vorgegebene Binomialverteilung soll hier durch eine Poissonverteilung Y approximiert werden, gekennzeichnet durch die Rate λ:

:* Wertebereich:
:$$Y = \{\hspace{0.05cm}0\hspace{0.05cm}, \hspace{0.05cm} 1\hspace{0.05cm},\hspace{0.05cm}
2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} {\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm}\}\hspace{0.05cm},$$
:* Wahrscheinlichkeiten:
:$$P_Y (Y = \mu) = \frac{\lambda^{\mu}}{\mu !} \cdot {\rm e}^{\lambda} \hspace{0.05cm},$$
:* Erwartungswerte:
:$$m_Y = \sigma_Y^2 = \lambda\hspace{0.05cm}.$$
Um abschätzen zu können, ob die Wahrscheinlichkeitsfunktion PX(X) ausreichend gut durch PY(Y) approximiert wird, kann man auf die so genannten Kullback–Leibler–Distanzen (KLD) zurückgreifen, teilweise in der Literatur auch relative Entropien genannt. Angepasst an das vorliegende Beispiel lauten diese:
:$$D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_X(X)}{P_Y(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{I} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm},\\
D(P_Y \hspace{0.05cm}|| \hspace{0.05cm} P_X) \hspace{0.15cm} = \hspace{0.15cm} {\rm E} \left [ {\rm log}_2 \hspace{0.1cm} \frac{P_Y(X)}{P_X(X)}\right ] \hspace{0.2cm}=\hspace{0.2cm} \sum_{\mu = 0}^{\infty} P_Y(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_Y(\mu)}{P_X(\mu)} \hspace{0.05cm}.$$
Bei Verwendung des Logarithmus dualis (zur Basis 2) ist hierbei dem Zahlenwert die Pseudo–Einheit &bdquo;bit” hinzuzufügen.
[[File:P_ID2760__Inf_A_3_4_B.png|right|]]
In nebenstehender Ergebnistabelle ist die sog. Kullback–Leibler–Distanz D(PX||PY) in &bdquo;bit” zwischen der Binomial–PMF PX und einigen Poisson–Näherungen PY (mit fünf verschiedenen Raten λ) eingetragen. Die jeweilige Entropie H(Y), die ebenfalls von der Rate λ abhängt, ist in der ersten Zeile angegeben.

 Die Spalten für λ = 1 sind in den Teilaufgaben (3) und (4) zu ergänzen. In der Teilaufgabe (f) sollen diese Ergebnisse interpretriert werden.

Hinweis: Die Aufgabe gehört zu Kapitel 3.1. Um die numerischen Berechnungen in Grenzen zu halten, werden folgende Hilfsgrößen vorgegeben; &bdquo;lg” bezeichnet den Logarithmus zur Basis 10:
:$$A' \hspace{0.15cm} = \hspace{0.15cm}
0.4096 \cdot {\rm lg} \hspace{0.1cm} \frac{0.4096}{0.3679} +
0.2048 \cdot {\rm lg} \hspace{0.1cm} \frac{0.2048}{0.1839} +
0.0512 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0512}{0.0613} +\\
+ \hspace{0.15cm}
0.0064 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0064}{0.0153} +
0.0003 \cdot {\rm lg} \hspace{0.1cm} \frac{0.0003}{0.0031} =
\hspace{0.15cm} \underline {= 0.021944} \hspace{0.05cm},$$
:$$B' \hspace{0.15cm} = \hspace{0.15cm}
0.1839 \cdot {\rm lg} \hspace{0.1cm} (0.1839) +
0.0613 \cdot {\rm lg} \hspace{0.1cm} (0.0613) +
0.0153 \cdot {\rm lg} \hspace{0.1cm} (0.0153) +\\
+ \hspace{0.15cm}
0.0031 \cdot {\rm lg} \hspace{0.1cm} (0.0031) +
0.0005 \cdot {\rm lg} \hspace{0.1cm} (0.0005) +
0.0001 \cdot {\rm lg} \hspace{0.1cm} (0.0001)
\hspace{0.15cm} \underline {= -0.24717} \hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Wie lauten die Kenngrößen der vorliegenden Binomialverteilung? Hinweis: Geben Sie (maximal) eine Nachkommastelle ein.
|type="{}"}
$I$ = { 5 3% }
$p$ = { 0.2 3% }
$m_x$ = { 5 3% }
$\sigma^2_x$ = { 5 3% }

{Welche Kullback–Leibler–Distanz sollte man hier verwenden?
|type="[]"}
- Keine der beiden Distanzen ist anwendbar.
+ D(PX||PY) ist besser geeignet.
- D(PY||PX) ist besser geeignet.
- Beide Kullback–Leibler–Distanzen sind anwendbar.

{Berechnen Sie die geeignete Kullback–Leibler–Distanz (hier mit D bezeichnet) für λ = 1. Berücksichtigen Sie die angegebene Hilfsgröße A′.
|type="{}"}
$\lambda = 1:\ D$ = { 0.0182 3% } $bit$

{Berechnen Sie die Entropie H(Y) der Poisson–Näherung mit der Rate λ = 1. Berücksichtigen Sie die angegebene Hilfsgröße B′.
|type="{}"}
$\lambda = 1:\ H(Y)$ = { 1.864 3% } $bit$

{Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ H(Y)–Berechnung: Alle Terme haben gleiches Vorzeichen.
- D(PX||PY)–Berechnung: Alle Terme haben gleiches Vorzeichen.

{Wie interpretieren Sie die vervollständigte Ergebnistabelle?
|type="[]"}
+ Nach der Kullback–Leibler–Distanz sollte man λ = 1 wählen.
- λ = 1 garantiert auch die beste Approximation H(Y) ≈ H(X).

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Bei der Binomialverteilung sind alle Wahrscheinlichkeiten Pr(X > I) = 0  ⇒  I = 5. Damit ergibt sich für die Wahrscheinlichkeit, dass X gleich I = 5 ist:
:$${\rm Pr} (X = 5) = {5 \choose 5} \cdot p^{5} = p^{5} \approx 0.0003 \hspace{0.05cm}.$$
Damit erhält man für

:* die charakteristische Wahrscheinlichkeit:
:$$p= (0.0003)^{1/5} = 0.1974 \hspace{0.15cm} \underline {\approx 0.2}\hspace{0.05cm},$$

:* den linearen Mittelwert (Erwartungswert):
:$$m_X = I \cdot p \hspace{0.15cm} \underline {= 1}\hspace{0.05cm},$$

:* die Varianz:
:$$\sigma_X^2 = I \cdot p \cdot (1-p) \hspace{0.15cm} \underline {= 0.8}\hspace{0.05cm}.$$

2.  Richtig ist der Lösungsvorschlag 2. Bei Verwendung der Kullback–Leibler–Distanz D(PY||PX) würde sich unabhängig von λ stets ein unendlicher Wert ergeben, da für μ ≥ 6 gilt:
:$$P_X (X = \mu) = 0 \hspace{0.05cm},\hspace{0.3cm}P_Y (Y = \mu) \ne 0 \hspace{0.05cm}.$$
Auch wenn die Wahrscheinlichkeiten PY(Y = μ) für große μ sehr klein werden, sind sie doch &bdquo;unendlich viel größer” als PX(X = μ).

3.  Wir verwenden die erste Kullback–Leibler–Distanz:
:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) =\hspace{0.2cm} \sum_{\mu = 0}^{5} P_X(\mu) \cdot {\rm log}_2 \hspace{0.1cm} \frac{P_X(\mu)}{P_Y(\mu)} \hspace{0.05cm}.$$
Bei Verwendung des Zehnerlogarithmus (&bdquo;lg”) erhalten wir für die Poisson–Näherung mit λ = 1:
:$$D \hspace{0.05cm}' = 0.3277 \cdot {\rm lg} \hspace{0.1cm} \frac{0.3277}{0.3679} + A \hspace{0.05cm}' =
-0.016468 + 0.021944 = 0.005476 \hspace{0.05cm}.$$
Nach Umrechnung auf den Zweierlogarithmus (&bdquo;log2”) erhält man:
:$$D = D(P_X \hspace{0.05cm}|| \hspace{0.05cm} P_Y) = \frac{0.005476}{{\rm lg} \hspace{0.1cm}(2)} \hspace{0.15cm} \underline {\approx 0.0182\,{\rm (bit)}}\hspace{0.05cm}.$$

4.  Unter Verwendung des Zehnerlogarithmus lautet die Entropie der Poisson–Näherung (λ = 1):
:$$H\hspace{0.05cm}'(Y) \hspace{0.15cm} = \hspace{0.15cm} -{\rm E} \left [{\rm lg} \hspace{0.1cm} {P_Y(Y)} \right ]
= -2 \cdot 0.3679 \cdot {\rm lg} \hspace{0.1cm} (0.3679) - B\hspace{0.05cm}' =\\
= \hspace{0.15cm} 0.31954 + 0.24717 = 0.56126$$
Die Umrechnung in &bdquo;bit” liefert das gesuchte Ergebnis:
:$$H(Y) = \frac{0.56126}{{\rm lg} \hspace{0.1cm}(2)}
\hspace{0.15cm} \underline {= 1.864\,{\rm (bit)}} \hspace{0.05cm}.$$

5.  Richtig ist die Aussage 1. Bei der numerischen Berechnung der Kullback–Leibler–Distanz ist

:* der Beitrag des μ–ten Terms positiv, falls PY(μ) > PX(μ),

:* der Beitrag des μ–ten Terms negativ, falls PY(μ) < PX(μ).

6.  Zutreffend ist der Lösungsvorschlag 1. Auch aus der nachfolgenden Grafik ist ersichtlich, dass D(PX||PY) = 0.0182 bit von keinem anderen λ–Wert als λ = 1 unterschritten wird (grüne Kreuze).
[[File:P_ID2761__Inf_A_3_4_C.png|center|]]
Weiter erkennt man aus dieser Darstellung, dass man mit λ = 0.9 eine bessere Entropie–Approximation als mit λ = 1 erreicht (blaue Kreise):
:$$H(Y) = 1.795\,{\rm bit} \hspace{0.15cm}\approx \hspace{0.15cm} H(X) = 1.793\,{\rm bit}\hspace{0.05cm}.$$
Der zweite Lösungsvorschlag ist also falsch. Anzumerken ist:

:* Mit λ = 1 stimmen die linearen Mittelwerte der beiden Zufallsgrößen überein: mX = mY = 1.

:* Mit λ = 0.9 stimmen die quadratischen Mittelwerte überein: mX + σX2 = mY + σY2 = 1.8.

Ob diese Aussage relevant ist, lasse ich dahingestellt. Denn: Aufgrund der stetigen Zunahme von H(Y) mit zunehmendem λ ist klar, dass für irgendeinen λ–Wert tatsächlich H(Y) = H(X) gelten muss.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Exercise 3.3: Entropy of Ternary Quantities

2016-12-01T10:31:46Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID2754__Inf_A_3_3.png|right|]]
Rechts sehen Sie die Entropiefunktionen HR(p), HB(p) und HG(p), wobei &bdquo;R” für &bdquo;Rot” steht, usw. Für alle Zufallsgrößen lautet die Wahrscheinlichkeitsfunktion:
:$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, p_2\hspace{0.05cm}, p_3\hspace{0.05cm}]\hspace{0.3cm}\hspace{0.3cm} \Rightarrow \hspace{0.3cm} |X| = 3\hspace{0.05cm}.$$
Es gilt der Zusammenhang p1 = p und p2 = 1 – p3 – p.

Die Wahrscheinlichkeitsfunktion einer Zufallsgröße
:$$X = \{\hspace{0.05cm}x_1\hspace{0.05cm}, \hspace{0.05cm} x_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} x_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} x_{M}\hspace{0.05cm}\}$$
mit dem Symbolumfang |X| = M lautet allgemein:
:$$P_X(X) = [\hspace{0.05cm}p_1\hspace{0.05cm}, \hspace{0.05cm} p_2\hspace{0.05cm},\hspace{0.05cm} ...\hspace{0.1cm} ,\hspace{0.05cm} p_{\mu}\hspace{0.05cm}, \hspace{0.05cm}...\hspace{0.1cm} , \hspace{0.05cm} p_{M}\hspace{0.05cm}]\hspace{0.05cm}.$$
Die Entropie (Unsicherheit) dieser Zufallsgröße berechnet sich entsprechend der Gleichung
:$$H(X) = {\rm E} \left [{\rm log}_2 \hspace{0.1cm} {1}/{P_X(X)} \right ]\hspace{0.05cm},$$
und liegt stets im Bereich 0 ≤ H(X) ≤ log2 |X|. Die untere Schranke H(X) = 0 ergibt sich, wenn eine beliebige Wahrscheinlichkeit pμ = 1 ist und alle anderen 0 sind. Die obere Schranke soll hier wie in [Kra13] hergeleitet werden:

:* Durch Erweiterung obiger Gleichung um |X| in Zähler und Nenner erhält man unter Verwendung von log2(x) = ln(x)/ln(2):
:$$H(X) = \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [{\rm ln} \hspace{0.1cm} \frac{1}{|X| \cdot P_X(X)} \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
:* Wie aus nachfolgender Grafik hervorgeht, gilt die Abschätzung ln(x) ≤ x – 1 mit der Identität für x = 1. Somit kann geschrieben werden:
:$$H(X) \le \frac{1}{{\rm ln}(2)}\cdot {\rm E} \left [\frac{1}{|X| \cdot P_X(X)} -1 \right ] + {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
[[File:P_ID2755__Inf_A_3_3_B_neu.png|right|]]
:* In Aufgabe A3.2 wurde für den Fall, dass pμ ≠ 0 für alle μ gilt, der Erwartungswert E[1/PX(X)] zu |X| berechnet. Damit verschwindet der erste Term und man erhält das bekannte Ergebnis:
:$$H(X) \le {\rm log}_2 \hspace{0.1cm}|X| \hspace{0.05cm}.$$
Hinweis: Die Aufgabe gehört zu Kapitel 3.1. Es wird auf die binäre Entropiefunktion Bezug genommen:
:$$H_{{\rm bin}}(p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} +
(1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p} \hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Welche Aussagen gelten für die rote Entropiefunktion HR(p)?
|type="[]"}
+ HR(p) ergibt sich z.B. mit p3 = 0, p1 = p, p2 = 1 – p.
+ HR(p) ist identisch mit der binären Entropiefunktion Hbin(p).

{Welche Eigenschaften weist die binäre Entropiefunktion auf?
|type="[]"}
+ Hbin(p) ist konkav hinsichtlich des Parameters p.
- Es gilt Max[Hbin(p)] = 2 bit.

{Welche Aussagen gelten für die blaue Entropiefunktion HB(p)?
|type="[]"}
+ HB(p) ergibt sich z.B. mit p3 = 1/2, p1 = p, p2 = 1/2 – p.
+ Es gilt HB(p = 0) = 1 bit.
- Es gilt Max[HB(p)] = log2 (3) bit.

{Welche Aussagen gelten für die grüne Entropiefunktion HG(p)?
|type="[]"}
+ HG(p) ergibt sich z.B. mit p3 = 1/3, p1 = p, p2 = 2/3 – p.
- Es gilt HG(p = 0) = 1 bit.
+ Es gilt Max[HG(p)] = log2 (3) bit.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Beide Aussagen sind richtig. Setzt man p3 = 0 und formal p1 = p  ⇒  p2 = 1 – p, so ergibt sich die binäre Entropiefunktion
:$$H_{\rm bin}(p) = p \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{p} +
(1-p) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{1-p} \hspace{0.05cm}.$$

2.  Man kann die binäre Entropiefunktion wegen log2(x) = ln(x)/ln(2) auch in die folgende Form bringen:
:$$H_{\rm bin}(p) = \frac{-1}{{\rm ln}(2)} \cdot \left [ p \cdot {\rm ln}(p) +
(1-p) \cdot {\rm ln}(1-p) \right ] \hspace{0.05cm}.$$
Die erste Ableitung führt zum Ergebnis
:$$\frac {\rm dH_{\rm bin}(p)}{\rm dp} \hspace{0.15cm} = \hspace{0.15cm} \frac{-1}{{\rm ln}(2)} \cdot \left [ {\rm ln}(p) + p \cdot \frac{1}{p} -
{\rm ln}(1-p) - (1-p) \cdot \frac{1}{1-p} \right ] =\\
= \hspace{0.15cm} \frac{1}{{\rm ln}(2)} \cdot \left [ {\rm ln}(1-p) - {\rm ln}(p) \right ] = {\rm log}_2 \hspace{0.1cm} \frac{1-p}{p} \hspace{0.05cm}.$$
Durch Nullsetzen dieser Ableitung erhält man den Abszissenwert p = 0.5, der zum Maximum der Entropiefunktion führt: Hbin(p = 0.5) = 1 bit  ⇒  Lösungsvorschlag 2 ist falsch..

Durch nochmaliges Differenzieren erhält man für die zweite Ableitung:
:$$\frac {\rm d^2H_{\rm bin}(p)}{\rm dp^2} = \frac{1}{{\rm ln}(2)} \cdot \left
[ \frac{-1}{1-p} - \frac{1}{p} \right ] =
\frac{-1}{{\rm ln}(2) \cdot p \cdot (1-p)} \hspace{0.05cm}.$$
Diese Funktion ist im gesamten Definitionsgebiet 0 ≤ p ≤ 1 negativ  ⇒  Hbin(p) ist konkav  ⇒  Richtig ist dementsprechend (allein) der Lösungsvorschlag 1.

3.  Richtig sind hier die Aussagen 1 und 2:

:* Für p = 0 erhält man die Wahrscheinlichkeitsfunktion PX(X) = [0, 1/2, 1/2]  ⇒  H(X) = 1 bit.

:* Das Maximum unter der Voraussetzung p3 = 1/2 ergibt sich für p1 = p2 = 1/4:
:$$P_X(X) = [\hspace{0.05cm}1/4\hspace{0.05cm}, \hspace{0.05cm} 1/4\hspace{0.05cm},\hspace{0.05cm} 1/2 \hspace{0.05cm}]
\hspace{0.3cm} \Rightarrow \hspace{0.3cm}
{\rm Max} [H_{\rm B}(p)] = 1.5\,{\rm bit}
\hspace{0.05cm}.$$
[[File:P_ID2756__Inf_A_3_3_ML.png|right|]]
In kompakter Form lässt sich HB(p) mit der Einschränkung 0 ≤ p ≤ 1/2 wie folgt darstellen:
:$$H_{\rm B}(p) = 1.0\,{\rm bit} + {1}/{2} \cdot H_{\rm bin}(2p)
\hspace{0.05cm}.$$

4.  Richtig sind die erste und letzte Aussage. Der grüne Kurvenzug beinhaltet mit p = 1/3 auch die Gleichverteilung aller Wahrscheinlichkeiten ⇒ Max[HG(p)] = log2 (3) bit. Allgemein lässt sich der gesamte Kurvenverlauf im Bereich 0 ≤ p ≤ 2/3 wie folgt ausdrücken:
:$$H_{\rm G}(p) = H_{\rm G}(p= 0) + {2}/{3} \cdot H_{\rm bin}(3p/2)
\hspace{0.05cm}.$$
Aus der Grafik auf der Angabenseite erkennt man auch, dass folgende Bedingung erfüllt sein muss:
:$$H_{\rm G}(p = 0) + {2}/{3}= {\rm log}_2 \hspace{0.01cm} (3)
\hspace{0.3cm} \Rightarrow \hspace{0.3cm}
H_{\rm G}(p= 0) = 1.585 - 0.667 = 0.918 \,{\rm bit}
\hspace{0.05cm}.$$
Der Lösungsvorschlag 2 ist hier somit falsch. Zum gleichen Ergebnis gelangt man über die Gleichung
:$$H_{\rm G}(p = 0) = {1}/{3} \cdot {\rm log}_2 \hspace{0.01cm} (3)
+{2}/{3} \cdot {\rm log}_2 \hspace{0.01cm} (3/2) = {\rm log}_2 \hspace{0.01cm} (3) -2/3 \cdot
{\rm log}_2 \hspace{0.01cm} (2)
\hspace{0.05cm}.$$
Die Grafik zeigt nochmals die Ausgangsgrafik, aber nun mit Bemaßungen.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Exercise 3.2Z: Two-dimensional Probability Mass Function

2016-12-01T10:31:39Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID2752__Inf_Z_3_2_neu.png|right|]]
Wir betrachten die Zufallsgrößen

$X$ = { 0, 1, 2, 3 },

$Y$ = { 0, 1, 2 },

deren gemeinsame Wahrscheinlichkeitsfunktion $P_{X,Y}(X,Y)$ gegeben ist. Aus dieser 2D–Wahrscheinlichkeitsfunktion sollen die eindimensionalen Wahrscheinlichkeitsfunktionen $P_X(X)$ und $P_Y(Y)$ ermittelt werden. Man nennt eine solche manchmal auch Randwahrscheinlichkeit (englisch: Marginal Probability).

Gilt $P_{X,Y}(X,Y)$ = $P_X(X)$ . $P_Y(Y)$, so sind die beiden Zufallsgrößen X und Y statistisch unabhängig. Andernfalls bestehen statistische Bindungen zwischen $X$ und $Y$.

Im zweiten Teil der Aufgabe betrachten wir die Zufallsgrößen

$U$ = { 0, 1 }, $V$ = { 0, 1 },

die sich aus $X$ und $Y$ durch Modulo–2–Operationen ergeben:

$U$ = $X$ mod 2, $V$ = $Y$ mod 2.

'''Hinweis:''' Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie_und_Quellencodierung/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen Kapitel 3.1]. Ausgegangen wird hier von der gleichen Konstellation wie in [http://en.lntwww.de/Aufgaben:3.02_Erwartungswertberechnungen Aufgabe 3.02]. Dort wurde die Zufallsgrößen $Y$ = { 0, 1, 2, 3 } betrachtet, allerdings mit dem Zusatz $Pr(Y = 3)$ = 0. Die so erzwungene Eigenschaft $|X| = |Y|$ war in Aufgabe [http://en.lntwww.de/Aufgaben:3.02_Erwartungswertberechnungen Aufgabe 3.02] zur formalen Berechnung des Erwartungswertes $E[P_X(X)]$ von Vorteil.

===Fragebogen===

<quiz display=simple>

{Wie lautet die Wahrscheinlichkeitsfunktion $P_X(X)$ ?
|type="{}"}
$P_X(0)$ = { 0.5 3% }
$P_X(1)$ = { 0.125 3% }
$P_X(2)$ = { 0 3% }
$P_X(3)$ = { 0.375 3% }

{Wie lautet die Wahrscheinlichkeitsfunktion $P_Y(Y)$ ?
|type="{}"}
$P_Y(0)$ = { 0.5 3% }
$P_Y(1)$ = { 0.25 3% }
$P_Y(2)$ = { 0.25 3% }

{Sind die Zufallsgrößen $X$ und $Y$ statistisch unabhängig
|type="[]"}
+ Falsch
- Richtig

{Ermitteln Sie die Wahrscheinlichkeiten $P_{UV}( U, V)$.
|type="{}"}
$P_{UV}( U = 0, V = 0)$ = { 0.375 3% }
$P_{UV}( U = 0, V = 1)$ = { 0.375 3% }
$P_{UV}( U = 1, V = 0)$ = { 0.125 3% }
$P_{UV}( U =1, V = 1)$ = { 0.125 3% }

{Sind die Zufallsgrößen $U$ und $V$ statistisch unabhängig
|type="[]"}
- Falsch
+ Richtig

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.''' Man kommt von $P_{XY}(X,Y)$ zur 1D–Wahrscheinlichkeitsfunktion $P_X(X)$ ,indem man alle $Y$-Wahrscheinlichkeiten aufsummiert:

$$P_X(X = x_{\mu}) = \sum_{y \hspace{0.05cm} \in \hspace{0.05cm} Y} \hspace{0.1cm} P_{XY}(x_{\mu}, y)$$

$$\Rightarrow P_X(X = 0) = 1/4+1/8+1/8 = 1/2 = 0.500$$

$$P_X(X = 1)= 0+0+1/8 = 1/8 =0.125$$

$$P_X(X = 2) = 0+0+0 = 0$$

$$P_X(X = 3) = 1/4+1/8+0=3/8 =0.375$$

$$\Rightarrow P_X(X) = [ 1/2, 1/8 , 0 , 3/8 ]$$

'''2.''' Analog zur Teilaufgabe (a) gilt nun:

$$P_Y(Y = y_{\kappa}) = \sum_{x \hspace{0.05cm} \in \hspace{0.05cm} X} \hspace{0.1cm} P_{XY}(x, y_{\kappa})$$

$\Rightarrow P_Y(Y= 0) = 1/4+0+0+1/4 = 1/2 = 0.500$

$P_Y(Y = 1) = 1/8+0+0+1/8 = 1/4 = 0.250$

$P_Y(Y = 2) = 1/8+1/8+0+0 = 1/4 = 0.250$

$\Rightarrow P_Y(Y= 0) = [ 1/2, 1/4 , 1/4 ]$

'''3.''' Bei Unabhängigkeit sollte $P_{XY}(X,Y)= P_X(X) . P_Y(Y)$ sein.Dies trifft hier nicht zu $\Rightarrow$ Antwort Nein.

'''4.''' Ausgehend von $P_{XY}(X,Y)$ $\Rightarrow$ linke Tabelle kommt man zu $P_{UY}(U,Y)$ $\Rightarrow$ mittlere Tabelle, indem man gewisse Wahrscheinlichkeiten entsprechend $U = X$ zusammenfasst. Berücksichtigt man noch $V = Y mod 2$, so erhält man die gesuchten Wahrscheinlichkeiten entsprechend der rechten Tabelle:

$P_{UV}( U = 0, V = 0) = P_{UV}( U = 0, V = 1) = 3/8 = 0.375$

$P_{UV}( U = 1, V = 0) = P_{UV}( U =1, V = 1) = 1/8 = 0.125$

[[File:P_ID2753__Inf_Z_3_2d_neu.png|P_ID2753__Inf_Z_3_2d_neu.png]]

'''5.'''Die 1D–Wahrscheinlichkeitsfunktionen lauten nun:

$P_U(U) = [1/2 , 1/2 ]$, $P_V(V)=[3/4, 1/4]$.

Damit gilt $P_{UV}(U,V) = P_U(U) . P_V(V)$ $\Rightarrow$ $U$ und $V$ sind statistisch unabhängig
$\Rightarrow$ Antwort Ja.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Exercise 3.2: Expected Value Calculations

2016-12-01T10:31:30Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID2751__Inf_A_3_2.png|right|]]
Wir betrachten folgende Wahrscheinlichkeitsfunktionen:

:* PX(X) = [1/2, 1/8, 0, 3/8],

:* PY(Y) = [1/2, 1/4, 1/4, 0],

:* PU(U) = [1/2, 1/2],

:* PV(V) = [3/4, 1/4].

Für die dazugehörigen Zufallsgrößen gelte:

:* X = {0, 1, 2, 3}, Y = {0, 1, 2, 3},

:* U = {0, 1}, V = {0, 1}.

Oft muss man in der Informationstheorie für solche diskreten Zufallsgrößen verschiedene Erwartungswerte der Form
:$${\rm E} \left [ F(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{-0.1cm}
P_{X}(x) \cdot F(x) $$

berechnen. Hierbei bedeuten:

:* PX(X) bezeichnet die Wahrscheinlichkeitsfunktion der diskreten Zufallsgröße X.

:* Der Support von Px umfasst alle diejenigen Realisierungen x der Zufallsgröße X mit nicht verschwindender Wahrscheinlichkeit. Formal kann hierfür geschrieben werden:
:$${\rm supp} (P_X) = \{ x: \hspace{0.25cm}x \in X \hspace{0.15cm}\underline{\rm und} \hspace{0.15cm} P_X(x) \ne 0 \} \hspace{0.05cm}.$$

:* F(X) ist eine (beliebige) reellwertige Funktion, die im gesamten Definitionsgebiet der Zufallsgröße angebbar ist.

In der Aufgabe sollen die Erwartungswerte für verschiedene Funktionen F(X) berechnet werden, unter anderem für

:* F(X) = 1/PX(X),

:* F(X) = PX(X),

:* F(X) = –log2 PX(X).

Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 3.1 dieses Buches. Weiter gilt, ohne dass dies für die Lösung dieser Aufgabe von Interesse ist:

:* Die beiden &bdquo;eindimensionalen” Wahrscheinlichkeitsfunktionen PX(X) und PY(Y) ergeben sich aus der dargestellten 2D–PMF PXY(X, Y), wie in Aufgabe Z3.2 gezeigt werden soll.

:* Zu den binären Wahrscheinlichkeitsfunktionen PU(U) und PV(V) kommt man entsprechend den Modulo–Operationen U = X mod 2 sowie V = Y mod 2 (siehe ebenfalls Aufgabe Z3.2)

===Fragebogen===

<quiz display=simple>
{Welche Ergebnisse liefern die folgenden Erwartungswerte?
|type="{}"}
$E[1/P_X(X)]$ = { 3 3% }
$E[1/P_Y(Y)]$ = { 3 3% }

{Geben Sie die folgenden Erwartungswerte an:
|type="{}"}
$E[P_X(X)]$ = { 0.406 3% }
$E[P_Y(Y)]$ = { 0.375 3% }

{Berechnen Sie nun die folgenden Erwartungswerte:
|type="{}"}
$E[P_Y(X)]$ = { 0.281 3% }
$E[P_X(Y)]$ = { 0.281 3% }

{Welche der folgenden Aussagen sind zutreffend?
|type="[]"}
+ E[–log2 PU(U)] ergibt die Entropie der Zufallsgröße U.
+ E[–log2 PV(V)] ergibt die Entropie der Zufallsgröße V.
- E[–log2 PV(U)] ergibt die Entropie der Zufallsgröße V.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Allgemein gilt für den Erwartungswert der Funktion F(X) hinsichtlich der Zufallsvariablen X:
:$${\rm E} \left [ F(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} {\rm supp} (P_X)} \hspace{0.01cm}
P_{X}(x) \cdot F(x) \hspace{0.05cm}.$$
Im vorliegenden Beispiel gilt X = {0, 1, 2, 3} und PX(X) = [1/2, 1/8, 0, 3/8]. Wegen PX(X = 2) = 0 ergibt sich somit für die zu berücksichtigende Menge (&bdquo;Support”) in obiger Summation:
:$${\rm supp} (P_X) = \{ 0\hspace{0.05cm}, 1\hspace{0.05cm}, 3 \} \hspace{0.05cm}.$$
Mit F(X) = 1/PX(X) erhält man weiter:
:$${\rm E} \left [ 1/P_X(X)\right ] = \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.01cm} P_{X}(x) \cdot {1}/{P_X(x)}
= \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{-0.3cm} 1
\hspace{0.15cm}\underline{ = 3} \hspace{0.05cm}.$$
Der zweite Erwartungswert liefert mit supp(PY) = {0, 1, 2} das gleiche Ergebnis: E[1/PY(Y)] = 3.

2.  In beiden Fällen ist der Index der Wahrscheinlichkeitsfunktion mit der Zufallsvariablen (X bzw. Y) identisch und man erhält
:$${\rm E} \left [ P_X(X)\right ] = \hspace{0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.3cm} P_{X}(x) \cdot {P_X(x)}
= (1/2)^2 + (1/8)^2 + (3/8)^2 = 13/32
\hspace{0.15cm}\underline{ \approx 0.406} \hspace{0.05cm},$$
:$${\rm E} \left [ P_Y(Y)\right ] = \hspace{0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{0.3cm} P_Y(y) \cdot P_Y(y) = (1/2)^2 + (1/4)^2 + (1/4)^2
\hspace{0.15cm}\underline{ = 0.375} \hspace{0.05cm}.$$

3.  Hier gelten folgende Gleichungen:
:$${\rm E} \left [ P_Y(X)\right ] = \hspace{0.3cm} \sum_{x \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 3 \}} \hspace{0.3cm} P_{X}(x) \cdot {P_Y(x)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{8} \cdot \frac{1}{4} + \frac{3}{8} \cdot 0 = 9/32
\hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm},$$
Die Erwartungswertbildung bezieht sich hier auf PX(·), also auf die Zufallsgröße X. PY(·) ist dabei die formale Funktion ohne (direkten) Bezug zur Zufallsgröße Y.

Für den zweiten Erwartungswert erhält man den gleichen Zahlenwert (das muss nicht so sein):
:$${\rm E} \left [ P_X(Y)\right ] = \hspace{0.3cm} \sum_{y \hspace{0.05cm}\in \hspace{0.05cm} \{ 0\hspace{0.05cm}, 1\hspace{0.05cm},\hspace{0.05cm} 2 \}} \hspace{0.3cm} P_{Y}(y) \cdot {P_X(y)} = \frac{1}{2} \cdot \frac{1}{2} + \frac{1}{4} \cdot \frac{1}{8} + \frac{1}{4} \cdot 0 = 9/32 \hspace{0.15cm}\underline{ \approx 0.281} \hspace{0.05cm}.$$

4.  Wir berechnen zunächst die drei Erwartungswerte:
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_U(U)\right ]
= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{1} \hspace{0.15cm}\underline{ = 1\,{\rm bit}} \hspace{0.05cm},$$
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(V)\right ]
= \frac{3}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{4} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 0.811\,{\rm bit}} \hspace{0.05cm},$$
:$${\rm E} \left [-{\rm log}_2 \hspace{0.1cm} P_V(U)\right ]
= \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{3} + \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{4}{1} \hspace{0.15cm}\underline{ = 1.208\,{\rm bit}} \hspace{0.05cm}.$$
Richtig sind demnach die beiden ersten Aussagen:

:* Die Entropie H(U) = 1 bit kann entsprechend der ersten Gleichung berechnet werden. Sie gilt für die binäre Zufallsgröße U mit gleichen Wahrscheinlichkeiten.

:* Die Entropie H(V) = 0.811 bit berechnet sich entsprechend der zweiten Gleichung. Aufgrund der Wahrscheinlichkeiten 3/4 und 1/4 ist die Entropie (Unsicherheit) kleiner als für die Zufallsgröße U.

:* Der dritte Erwartungswert kann schon allein vom Ergebnis her (1.208 bit) nicht die Entropie einer binären Zufallsgröße angeben, die stets auf 1 bit begrenzt ist.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Exercise 3.1Z: Drawing Cards

2016-12-01T10:31:22Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID77__Sto_A_1_5.gif|right|]]
Aus einem Kartenspiel mit 32 Karten, darunter 4 Asse, werden nacheinander 3 Karten herausgezogen. Für Frage (a) wird vorausgesetzt, dass nach dem Ziehen einer Karte diese in den Stapel zurückgelegt wird, dieser neu gemischt wird und anschließend die nächste Karte gezogen wird.

Dagegen sollen Sie für die weiteren Teilfragen ab (b) davon ausgehen, dass die drei Karten auf einmal gezogen werden („Ziehen ohne Zurücklegen“).

Im Folgenden bezeichnen wir mit $A_i$das Ereignis, dass die zum Zeitpunkt '''''i''''' gezogene Karte ein Ass ist. Hierbei ist '''''i '''''= 1, 2, 3 zu setzen. Das Komplementärereignis sagt dann aus, dass zum Zeitpunkt ''i'' irgend eine andere Karte gezogen wird.

Hinweis: Die Aufgabe behandelt den Lehrstoff [http://en.lntwww.de/Stochastische_Signaltheorie/Statistische_Abhängigkeit_und_Unabhängigkeit Kapitel 1.3] im Buch „Stochastische Signaltheorie”. Sie wird hier zur Vorbereitung auf die ähnliche Thematik von [http://en.lntwww.de/Informationstheorie_und_Quellencodierung/Einige_Vorbemerkungen_zu_zweidimensionalen_Zufallsgrößen Kapitel 3.1] des Buches „Informationstheorie und Quellencodierung” wiederholt.

Eine Zusammenfassung der theoretischen Grundlagen mit Beispielen bringt folgendes Lernvideo :[http://{{SERVERNAME}}/mediawiki/swf_files/Buch4/InformationundQuellencodierung0.swf Statistische (Un-)Abhängigkeit] (3-teilig: Dauer Teil 1: 4:20 – Teil 2: 3:40 – Teil 3: 3:40)]

===Fragebogen===

<quiz display=simple>

Betrachten Sie zunächst den Fall „Ziehen mit Zurücklegen“. Wie groß ist die Wahrscheinlichkeit $p_a$ , dass drei Asse gezogen werden?
|type="{}"}
$p_a$ = { 0.002 3% }

{Mit welcher Wahrscheinlichkeit $p_b$ werden drei Asse gezogen, wenn man die Karten nicht zurücklegt? Warum ist $p_b$ kleiner/gleich/größer als $p_a$?
|type="{}"}
$p_b$= { 0.0008 3% }

{Betrachten Sie weiterhin den Fall „Ziehen ohne Zurücklegen“. Wie groß ist die Wahrscheinlichkeit $p_c$ , dass kein einziges Ass gezogen wird?
|type="{}"}
$p_c$ ={ 0.6605 3% }

{Wie groß ist die Wahrscheinlichkeit $p_d$, dass genau ein Ass gezogen wird?
|type="{}"}
$p_d$ = { 0.3048 3% }

{Wie groß ist die Wahrscheinlichkeit, dass zwei der drei gezogenen Karten Asse sind? Hinweis: Die Ereignisse „genau '''''i''''' Asse werden gezogen” mit '''''i''''' = 0, 1, 2, 3 beschreiben ein vollständiges System.
|type="{}"}
$p_e$ = { 0.0339 3% }
</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.''' Werden die Karten nach dem Ziehen zurückgelegt, so ist zu jedem Zeitpunkt die Wahrscheinlichkeit für ein Ass gleich groß (1/8):

$$ p_{\rm a} = \rm Pr (3 \hspace{0.1cm} Asse) = \rm Pr (\it A_{\rm 1})\cdot \rm Pr (\it A_{\rm 2})\cdot \rm Pr (\it A_{\rm 3}) = \rm \big({1}/{8}\big)^3 \hspace{0.15cm}\underline{\approx 0.002}.$$

'''2.''' Nun erhält man mit dem allgemeinen Multiplikationstheorem:

$$ p_{\rm b} = \rm Pr (\it A_{\rm 1}\cap \it A_{\rm 2} \cap \it A_{\rm 3} ) = \rm Pr (\it A_{\rm 1}) \cdot \rm Pr (\it A_{\rm 2} |\it A_{\rm 1} ) \cdot \rm Pr (\it A_{\rm 3} |( \it A_{\rm 1}\cap \it A_{\rm 2} )).$$
Die bedingten Wahrscheinlichkeiten können nach der klassischen Definition berechnet werden. Man erhält somit das Ergebnis &bdquo;k/m” (bei m Karten sind noch k Asse enthalten).
$$p_{\rm b} =\rm \frac{4}{32}\cdot \frac{3}{31}\cdot\frac{2}{30}\hspace{0.15cm}\underline{ \approx 0.0008}.$$
pb ist kleiner als pa, da nun das zweite und dritte Ass unwahrscheinlicher sind als zuvor.

'''3.'''Analog zu Punkt (b) erhält man hier:

$$p_{\rm c} = \rm Pr (\overline{\it A_{\rm 1}})\cdot \rm Pr (\overline{\it A_{\rm 2}} \hspace{0.05cm}|\hspace{0.05cm}\overline{\it A_{\rm 1}})\cdot \rm Pr (\overline{\it A_{\rm3}}\hspace{0.05cm}|\hspace{0.05cm}(\overline{\it A_{\rm 1}} \cap \overline{\it A_{\rm 2}} )) =\rm \frac{28}{32}\cdot\frac{27}{31}\cdot\frac{26}{30}\hspace{0.15cm}\underline{\approx 0.6605}.$$

'''4.''' Diese Wahrscheinlichkeit kann man als die Summe dreier Wahrscheinlichkeiten ausdrücken, da die zugehörigen Ereignisse disjunkt sind:

$$p_{\rm d} = \rm Pr (\it D_{\rm 1} \cup \it D_{\rm 2} \cup \it D_{\rm 3}) \rm \hspace{0.1cm}$$ mit :
$$\rm Pr (\it D_{\rm 1}) = \rm Pr (\it A_{\rm 1} \cap \overline{ \it A_{\rm 2}} \cap \overline{\it A_{\rm 3}}) = \rm \frac{4}{32}\cdot \frac{28}{31}\cdot \frac{27}{30}=\rm 0.1016,$$
$$\rm Pr (\it D_{\rm 2}) = \rm Pr ( \overline{\it A_{\rm 1}} \cap \it A_{\rm 2} \cap \overline{\it A_{\rm 3}}) = \rm \frac{28}{32}\cdot \frac{4}{31}\cdot\frac{27}{30}=\rm 0.1016,$$
$$\rm Pr (\it D_{\rm 3}) = \rm Pr ( \overline{\it A_{\rm 1}} \cap \overline{\it A_{\rm 2}} \cap \it A_{\rm 3}) = \rm \frac{28}{32}\cdot \frac{27}{31}\cdot \frac{4}{30}=\rm 0.1016.$$
Diese Wahrscheinlichkeiten sind alle gleich – warum sollte es auch anders sein? Wenn man bei 3 Karten genau ein Ass zieht, ist es genau so wahrscheinlich, ob man dieses als erste, als zweite oder als dritte Karte zieht. Damit erhält man für die Summe $p_d$ = 0.3048.

'''5.'''Definiert man die Ereignisse Ei = &bdquo;es werden genau i Asse gezogen” mit den Indizes i = 0, 1, 2, 3, so beschreiben E0, E1, E2 und E3 ein vollständiges System. Deshalb gilt:
$$p_{\rm e} = \rm Pr (\it E_{\rm 2}) = \rm 1 - \it p_{\rm b} -\it p_{\rm c} - \it p_{\rm d} \hspace{0.15cm}\underline{= \rm 0.0339}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Exercise 3.1: Probabilities when Rolling Dice

2016-12-01T10:31:14Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen
}}

[[File:P_ID2749__Inf_A_3_1.png|right|]]
Wir betrachten das Zufallsexperiment &bdquo;Würfeln mit ein oder zwei Würfeln”. Beide Würfel sind fair (die sechs möglichen Ergebnisse sind gleichwahrscheinlich) und durch ihre Farben unterscheidbar:

:* Die Zufallsgröße R = {1, 2, 3, 4, 5, 6} bezeichnet die Augenzahl des roten Würfels.

:* Die Zufallsgröße B = {1, 2, 3, 4, 5, 6} bezeichnet die Augenzahl des blauen Würfels.

:* Die Zufallsgröße S = R + B steht für die Summe beider Würfel.

In dieser Aufgabe sollen verschiedene Wahrscheinlichkeiten mit Bezug zu den Zufallsgrößen R, B und S berechnet werden, wobei das oben angegebene Schema hilfreich sein kann. Dieses beinhaltet die Summe S in Abhängigkeit von R und B.

Hinweis: Die Aufgabe dient zur Vorbereitung für weitere Aufgaben zum Kapitel 3.1 dieses Buches &bdquo;Einführung in die Informationstheorie”. Wiederholt wird hier insbesondere der Lehrstoff von Kapitel 1.1 und Kapitel 1.3 des Buches &bdquo;Stochastische Signaltheorie”.

===Fragebogen===

<quiz display=simple>
{Geben Sie die folgenden Wahrscheinlichkeiten an:
|type="{}"}
$Pr(R = 6)$ = { 0.1667 3% }
$Pr(B ≤ 2)$ = { 0.3333 3% }
$Pr(R = B)$ = { 0.1667 3% }

{Wie lauten die folgenden Wahrscheinlichkeiten?
|type="{}"}
$Pr(S = 6)$ = { 0.0556 3% }
$Pr(S = 7)$ = { 0.1667 3% }
Pr(S ist ungeradzahlig) = { 0.5 3% }

{Geben Sie die folgenden Wahrscheinlichkeiten an:
|type="{}"}
$Pr[(R = 6)\ \cup \ (B =6)]$ = { 0.3056 3% }
$Pr[(R = 6)\ \cap \ (B =6)]$ = { 0.0278 3% }

{Wie groß ist die Wahrscheinlichkeit, dass beim L–ten Doppelwurf zum ersten Mal eine &bdquo;6” dabei ist?
|type="{}"}
Pr(erste „6” beim 1. WUrf) = { 0.3056 3% } $(L=1)$
Pr(erste „6” beim 2. WUrf) = { 0.2122 3% } $(L=2)$
Pr(erste „6” beim 3. WUrf) = { 0.1474 3% } $(L=3)$

{Wie groß ist die Wahrscheinlichkeit &bdquo;Um die erste &bdquo;6” zu erhalten, benötigt man eine geradzahlige Anzahl an Doppelwürfen”? Mit der Nomenklatur gemäß (d):
|type="{}"}
Pr(L ist geradzahlig) = { 0.4098 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Setzt man faire Würfel voraus, so ergibt sich für die Wahrscheinlichkeit, dass

:* mit dem roten Würfel eine &bdquo;6” geworfen wird:
:$$\underline{{\rm Pr}(R=6) = 1/6} = 0.1667 \hspace{0.05cm},$$
:* mit dem blauen Würfel eine &bdquo;1” oder eine &bdquo;2” geworfen wird:
:$$\underline{{\rm Pr}(B\le 2) = 1/3} = 0.3333 \hspace{0.05cm},$$
:* beide Würfel die gleiche Augenzahl anzeigen:
:$$\underline{{\rm Pr}(R=B) = 6/36} = 0.1667 \hspace{0.05cm}.$$

Letzteres basiert auf der 2D–Darstellung auf dem Augenblatt sowie auf der Klassischen Definition der Wahrscheinlichkeit entsprechend K/M, wobei K = 6 der insgesamt M = 36 gleichwahrscheinlichen Elementarereignisse &bdquo;R ∩ B” dem hieraus abgeleiteten Ereignis &bdquo;R = B” zugeordnet werden können, die auf der Diagonalen liegen. Würfelspieler sprechen in diesem Fall von einem Pasch.

2.  Die Lösung basiert wieder auf der Klassischen Definition der Wahrscheinlichkeit:

:* In K = 2 der M = 36 Elementarfelder steht eine &bdquo;3”: Pr(S = 3) = 2/36 = 0.0556.

:* In K = 6 der M = 36 Elementarfelder steht eine &bdquo;7”: Pr(S = 7) = 6/36 = 0.1667.

:* In K = 18 der M = 36 Felder steht eine ungerade Zahl ⇒ Pr(S ist ungerade) = 18/36 = 0.5.

Dieses letzte Ergebnis könnte man auch auf anderem Wege erhalten:
:$${\rm Pr}(S\hspace{0.15cm}{\rm ist \hspace{0.15cm} ungerade}) =$$
:$$= {\rm Pr}\big [(R\hspace{0.12cm}{\rm ist\hspace{0.12cm} ungerade}) \cap
(B\hspace{0.12cm}{\rm ist\hspace{0.12cm} gerade}) \big ] +
{\rm Pr}\big [(R\hspace{0.12cm}{\rm ist\hspace{0.12cm} gerade}) \cap
(B\hspace{0.12cm}{\rm ist\hspace{0.12cm} ungerade})\big ]\hspace{0.05cm}. $$
Mit Pr(R gerade) = Pr(R ungerade) = Pr(B gerade) = Pr(B ungerade) = 1/2 folgt daraus ebenfalls:
:$${\rm Pr}(S\hspace{0.15cm}{\rm ist \hspace{0.15cm} ungerade}) = 1/2 \cdot 1/2 + 1/2 \cdot 1/2 = 1/2 \hspace{0.05cm}.$$

3.  Die Wahrscheinlichkeit für das Ereignis, dass mindestens einer der beiden Würfel eine &bdquo;6” zeigt, ist:
:$${\rm Pr}\big [(R= 6) \cup (B= 6) \big ] = K/M = 11/36 \hspace{0.15cm} \underline{= 0.3056}
\hspace{0.05cm}.$$
Die zweite Wahrscheinlichkeit steht für den &bdquo;Sechser–Pasch”:
:$${\rm Pr}\big [(R= 6) \cap (B= 6) \big ] = K/M = 1/36 \hspace{0.15cm} \underline{= 0.0278}
\hspace{0.05cm}.$$

4.  Das Ergebnis für L = 1 wurde bereits in der Teilaufgabe (3) ermittelt:
:$$p_1 = {\rm Pr}\big [(R= 6) \cup (B= 6) \big ] = {11}/{36} \hspace{0.15cm} \underline{= 0.3056} \hspace{0.05cm}.$$
Die Wahrscheinlichkeit p2 lässt sich mit p1 wie folgt ausdrücken:
:$$p_2 = (1 - p_1) \cdot p_1 = \frac{25}{36} \cdot \frac{11}{36} \hspace{0.15cm} \underline{= 0.2122} \hspace{0.05cm}. $$
In anderen Worten: Die Wahrscheinlichkeit, dass im zweiten Wurf erstmals eine &bdquo;6” geworfen wird, ist gleich der Wahrscheinlichkeit, dass im ersten Wurf keine &bdquo;6” geworfen wurde ⇒ Wahrscheinlichkeit (1 – p1), aber im zweiten Wurf mindestens eine &bdquo;6” dabei ist  ⇒  Wahrscheinlichkeit p1. Entsprechend gilt für die Wahrscheinlichkeit &bdquo;erste 6 im dritten Wurf”:
:$$p_3 = (1 - p_1)^2 \cdot p_1 = \frac{25}{36} \cdot \frac{25}{36} \cdot\frac{11}{36} \hspace{0.15cm} \underline{= 0.1474} \hspace{0.05cm}.$$

5.  Durch Erweiterung der Musterlösung zur Teilaufgabe (d) erhält man:
:$${\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} geradzahlig})
\hspace{0.15cm} = \hspace{0.15cm} p_2 + p_4 + p_6 + ... = \\
= \hspace{0.15cm}(1 - p_1) \cdot p_1 + (1 - p_1)^3 \cdot p_1 + (1 - p_1)^5 \cdot p_1 + ...
= \\
= \hspace{0.15cm}(1 - p_1) \cdot p_1 \cdot \left [ 1 + (1 - p_1)^2 + (1 - p_1)^4 + ... \hspace{0.15cm} \right ]
\hspace{0.05cm}. $$
Entsprechend erhält man für die Wahrscheinlichkeit des Komplementärereignisses:
:$${\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} ungeradzahlig})
\hspace{0.15cm} = \hspace{0.15cm} p_1 + p_3 + p_5 + ... = \\
= \hspace{0.15cm} p_1 \cdot \left [ 1 + (1 - p_1)^2 + (1 - p_1)^4 + ... \hspace{0.15cm} \right ]
\hspace{0.05cm}$$
:$$\Rightarrow \hspace{0.3cm} \frac{{\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} ungeradzahlig}) } {{\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} geradzahlig})} = \frac{1}{1 - p_1} \hspace{0.05cm}. $$
Weiter muss gelten:
:$${\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} geradzahlig}) +
{\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} ungeradzahlig}) = 1$$
:$$\Rightarrow \hspace{0.3cm} {\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} geradzahlig}) \cdot \left [ 1 + \frac{1}{1 - p_1} \right ] = 1 $$
:$$\Rightarrow \hspace{0.3cm} {\rm Pr}(L\hspace{0.15cm}{\rm ist\hspace{0.15cm} geradzahlig}) = \frac{1 - p_1}{2 - p_1} = \frac{25/36}{61/36} = \frac{25}{61} \hspace{0.15cm} \underline{= 0.4098} \hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^3.1 Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen^]]

Aufgaben:Aufgabe 2.13Z: Kombination BWT & ''Move-to-Front''

2016-12-01T10:31:06Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2480__Inf_Z_2_14.png|right|]]
Wir beziehen und auf die letzte Theorieseite von Kapitel 2.4 und betrachten das rachts skizzierte Codiersystem, bestehend aus den Blöcken.

:* Burrows–Wheeler–Transformation (BWT) gemäß der Beschreibung in Aufgabe A2.14; Zeichenmengen am Ein– und Ausgang sind gleich: {D, E, I, M, N, S};

:* Move–to–Front (MTF), ein Sortieralgorithmus, der eine gleich lange Zeichenfolge (im Beispiel N = 12), aber mit anderem Alphabet {0, 1, 2, 3, 4, 5} ausgibt;

:* RLC0 – eine Lauflängencodierung speziell für die nach BWT und MTF (möglichst) häufige Null; alle anderen Indizes werden durch RLC0 nicht verändert;

:* Huffman als Beispiel eines Entropiecodierers gemäß der Beschreibung in Kapitel 2.3; häufige Zeichen werden durch kurze Binärfolgen dargestellt, seltene durch lange.

Der MTF–Algorithmus lässt sich wie folgt beschreiben:

:* Bei M = 6 Eingangssymbolen ist die Ausgangsfolge des MTF eine Aneinanderreihung von Indizes I aus der Menge I = {0, 1, 2, 3, 4, 5}.

:* Vor Beginn des eigentlichen MTF–Algorithmus werden die möglichen Eingangssymbole lexikografisch sortiert und den folgenden Indizes zugeordnet:
: D → 0, E → 1, I → 2, M → 3, N → 4, S → 5.

:* Der MTF–Eingabestring sei hier N M S D E E E N I I I N. Dies war das BWT–Ergebnis in der Aufgabe A2.14. Das erste N wird gemäß Voreinstellung mit I = 4 dargestellt.

:* Anschließend wird das N in der Sortierung an den Anfang gestellt, so dass nach dem Codierschritt i = 1 folgende Zuordnung gilt:
: N → 0, D → 1, E → 2, I → 3, M → 4, S → 5.

:* In gleicher Weise fährt man fort, bis der gesamte Eingangstext abgearbeitet ist. Steht ein Zeichen bereits an Position 0, so ist keine Neusortierung erforderlich.

Hinweis: Die Aufgabe gehört zu Kapitel 2.4. Informationen zum Huffman–Code finden Sie in Kapitel 2.3. Für die Lösung dieser Aufgabe sind diese Informationen aber nicht erforderlich.

===Fragebogen===

<quiz display=simple>
{Welche Aussagen gelten für den Block &bdquo;BWT” des Codiersystems?
|type="[]"}
+ Die Eingangszeichenmenge ist {D, E, I, M, N, S}.
+ Die Ausgangszeichenmenge ist {D, E, I, M, N, S}.
- In der Ausgangsfolge treten alle M = 6 Zeichen gruppiert auf.

{Welche Aussagen gelten für den Block &bdquo;MTF” des Codiersystems?
|type="[]"}
- Die Ausgangszeichenmenge ist {D, E, I, M, N, S}.
+ Die Ausgangszeichenmenge ist {0, 1, 2, 3, 4, 5}.
+ Die MTF–Ausgangsfolge hat die Länge N = 12.

{Wie lautet die MTF–Ausgangsfolge?
|type="[]"}
- 230000100405,
+ 445340045001,
- 543120345123.

{Welche Aussagen gelten für den Block &bdquo;RLC0” des Codiersystems?
|type="[]"}
+ Der Eingangswert 0 erfährt eine Sonderbehandlung.
+ Je häufiger eine 0 auftritt, um so effektiver ist dieser Block.
- Am besten wäre Pr(0) ≈ Pr(1) ≈ ... ≈ Pr(5).

{Welche Aussagen gelten für den abschließenden Block &bdquo;Huffman”?
|type="[]"}
+ Die Ausgangsfolge ist binär.
+ Er bewirkt eine möglichst kleine mittlere Codewortlänge.
+ Die Dimensionierung richtet sich nach den anderen Blöcken.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die Grafik auf der Angabenseite zeigt, dass die Lösungsvorschläge 1 und 2 richtig sind und der Vorschlag 3 falsch ist. E und I treten zwar gruppiert auf, aber nicht die N–Zeichen.

2.  Richtig sind die Lösungsvorschläge 2 und 3. Die Eingangsfolge wird Zeichen für Zeichen abgearbeitet. Auch die Ausgangsfolge hat somit die Länge N = 12.

Tatsächlich wird die Eingangsmenge {D, E, I, N, M, S} in die Ausgangsmenge {0, 1, 2, 3, 4, 5} gewandelt. Allerdings nicht durch einfaches Mapping, sondern durch einen Algorithmus, der nachfolgend skizziert wird.

3.  Die folgende Tabelle zeigt den MTF–Algorithmus. Der Schritt i = 0 (rote Hinterlegung) gibt die Vorbelegung an. Die Eingabe der MTF ist gelb hinterlegt, die Ausgabe grün.
[[File:P_ID2481__Inf_Z_2_14b.png|center|]]
:* Im Schritt i = 1 wird das Eingangszeichen N entsprechend der Spalte i = 0 durch den Index I = 4 dargestellt. Anschließend wird N nach vorne sortiert, während die Reihenfolge der anderen Zeichen gleich bleibt.

:* Das Eingangszeichen M im zweiten Schritt erhält entsprechend der Spalte i = 1 ebenfalls den Index I = 4. In gleicher Weise macht man weiter bis zum 12. Zeichen N, dem der Index I = 1 zugeordnet wird.

Richtig ist Lösungsvorschlag 2. Man erkennt aus obiger Tabelle weiter, dass zu den Zeitpunkten i = 6, i = 7, i = 10 und i = 11 der Ausgabeindex jeweils I = 0 ist.

4.  Richtig sind die Aussagen 1 und 2. Die Vorverarbeitungsschritte BWT und MTF haben lediglich die Aufgabe, möglichst viele Nullen zu generieren.

5.  Alle Aussagen sind richtig. Nähere Angaben zum Huffman–Algorithmus finden Sie im Kapitel 2.3.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Exercise 2.13: Inverse Burrows-Wheeler Transformation

2016-12-01T10:30:59Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2478__Inf_A_2_14.png|right|]]
Die Burrows–Wheeler–Transformation – abgekürzt BWT – bewirkt eine blockweise Sortierung der Zeichen eines Textes mit dem Ziel, den Text für die effiziente Datenkomprimierung mit Hilfe einer Lauflängencodierung oder einer Entropiecodierung aufzubereiten.

:* Zunächst wird aus einem Block der Länge N eine N×N–Matrix erzeugt, wobei sich jede Zeile dieser ersten BWT–Matrix aus der Vorgängerzeile durch zyklische Linksverschiebung ergibt.

:* Danach wird die Matrix lexikografisch (ohne Sonderzeichen: alphabetisch) sortiert. Das Ergebnis der BWT ist die letzte Zeile der neuen BWT–Matrix, die so genannte L–Spalte.

:* Weiter wird in dieser Aufgabe auf die F–Spalte (erste Zeile der BWT–Matrix) Bezug genommen, die man für die inverse Burrows–Wheeler–Transformation benötigt ⇒ Rekonstruktion des Originaltextes aus der L–Spalte.

:* Für die inverse BWT benötigt man ferner den so genannten Primärindex I. Dieser gibt diejenige Zeile der BWT–Matrix an, in welcher der Algorithmus gestartet werden muss.

Die Grafik zeigt das Ergebnis einer BWT, genauer gesagt die L–Spalte. Aus dieser soll der Originaltext entsprechend der Beschreibung auf der entsprechenden Theorieseite rekonstruiert werden, wobei in Teilaufgabe (2) von Primärindex I = 7 und in Teilaufgabe (3) von I = 0 auszugehen ist.

Hinweis: Die Aufgabe bezieht sich auf die Seite 4a und die Seite 4b von Kapitel 2.4. Weitere Informationen finden Sie in [Abel03a] und [Abel03b].

===Fragebogen===

<quiz display=simple>
{Wie lautet die zur vorgegebenen L–Spalte zugehörige F–Spalte?
|type="[]"}
- SEINMEINDEIN,
- NIIINEEEDSMN,
+ DEEEIIIMNNNS.

{Wie lautet das Ergebnis der Rekonstruktion mit dem Primärindex I = 7?
|type="[]"}
+ MEINDEINSEIN,
- DEINSEINMEIN,
- NIESNIEDNIEM.

{Was passiert, wenn bei der Rekonstruktion (BWT–Rücktransformation) vom falschen Primärindex ausgegangen wird, zum Beispiel von I = 0?
|type="[]"}
- Es ergibt sich der Originaltext, von hinten nach vorne gelesen.
+ Das Ergebnis ist eine zyklische Vertauschung des Originals.

{Warum ist die Burrows–Wheeler–Transformierte eines Textes hinsichtlich einer späteren Datenkomprimierung besser geeignet als das Original?
|type="[]"}
- Es ergeben sich günstigere Zeichenhäufigkeiten.
- Alle Zeichen sind lexikografisch sortiert.
+ Gleiche Zeichen folgen in der BWT öfter aufeinander.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Man bezeichnet die erste Spalte der BWT–Matrix auch als F–Spalte und die letzte Spalte als L–Spalte (von &bdquo;First” bzw. &bdquo;Last”). Weitergegeben zur nächsten Codierstufe wird nur die L–Spalte. Die F–Spalte, die zur Rücktransformation ebenfalls benötigt wird, ergibt sich aus der L–Spalte durch lexikografisches Sortieren   ⇒   Richtig ist der Lösungsvorschlag 3.

2.  Richtig ist der Lösungsvorschlag 1: MEINDEINSEIN, wie aus der linken Darstellung hervorgeht. Beachten Sie, dass die obersten Zeile jeweils für die Zeilennummer &bdquo;0” steht:
[[File:P_ID2479__Inf_A_2_14b.png|center|]]
Zur Erklärung:

:* Man beginnt die Decodierung mit der Zeile I = 7 der F–Spalte. Der Inhalt ist &bdquo;M”.

:* Man sucht das entsprechende &bdquo;M” in der L–Spalte und findet es in der Zeilennummer &bdquo;1”.

:* Von Zeile 1 der L–Spalte geht man horizontal zur F–Spalte und findet das Symbol &bdquo;E”.

:* In gleicher Weise findet man das dritte Ausgabesymbol &bdquo;I” in der Zeile 4 der F–Spalte.

:* Der Decodieralgorithmus endet mit dem Ausgabesymbol &bdquo;N” in der drittletzten Zeile.

3.  Richtig ist der Lösungsvorschlag 2: DEINSEINMEIN, wie aus der rechten Grafik hervorgeht.

4.  Richtig ist der Lösungsvorschlag 3. Bei der BWT sind hier vier Zeichen gleich ihren Vorgängern, im Original kein einziges. In der F–Spalte wären zwar aufgrund der lexikografischen Sortierung noch mehr Zeichen gleich wie die jeweiligen Vorgänger (insgesamt 6), aber diese Sortierung lässt sich nicht verlustlos rückgängig machen. Auch der Lösungsvorschlag 1 ist falsch: Original und BWT beinhalten genau die gleichen Zeichen (dreimal E,dreimal I, dreimal N sowie je einmal D, M und S).
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Aufgabe 2.12: Run–Length Coding & RLLC

2016-12-01T10:30:52Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2474__Inf_A_2_13_neu.png|right|]]
Wir betrachten eine Binärquelle mit dem Symbolvorrat A und B, wobei B nur sehr selten auftritt.

:* Ohne Quellencodierung würde man pro Quellensymbol genau ein Bit benötigen, und dementsprechend bei einer Quellensymbolfolge der Länge N für die Codefolge ebenfalls N Bit.

:* Entropiecodierung macht hier ohne weitere Maßnahme (Zusammenfassen mehrerer Symbole zu einem Tupel) wegen der ungünstigen Symbolwahrscheinlichkeiten wenig Sinn.

:* Abhilfe schafft Run-Length Coding (RLC), das unter dem genannten Link im Theorieteil beschrieben ist. Zum Beispiel:

: Quellensymbolfolge:    ABAABAAAABBAAB ...

: Run–Lenght Coding:    2; 3; 5; 1; 3; ...

:* Natürlich muss man die Längen L1 = 2, L2 = 3, ... der einzelnen, jeweils durch B getrennten Substrings vor der Übertragung binär darstellen. Verwendet man für alle Li jeweils D = 3 Bit, so erhält man die RLC–Binärfolge 010′011′101′001′011′...

:* Ein Problem der RLC ist der unbegrenzte Wertebereich der Größen Li. Mit D = 3 kann kein Wert Li > 7 dargestellt werden und mit D = 2 lautet die Beschränkung 1 ≤ Li ≤ 3.

:* Das Problem umgeht man mit Run–Length Limited Coding (RLLC). Ist ein Wert Li ≥ 2D, so ersetzt man Li durch ein Sonderzeichen S und die Differenz Li – 2D + 1.

:* Beim RLLC–Decoder wird dieses Sonderzeichen wieder expandiert.

Beispiel:   Wir gehen wieder von obiger Binärfolge und dem Parameter D = 2 aus:

:* Quellensymbolfolge:      ABAABAAAABBAAB ...

:* RLC–Dezimalfolge:       2; 3; 5; 1; 3; ...

:* RLLC–&bdquo;Dezimalfolge”:  2; 3; S; 2; 1; 3; ...

:* RLLC–Binärfolge:         01′11′ 00′10′01′11′...

Man erkennt, dass hier das Sonderzeichen S als 00 binär–codiert ist (dies ist nur ein Beispiel – es muss nicht so sein). Da mit D = 2 für alle echten RLC–Werte 1 ≤ Li ≤ 3 gilt, erkennt der Decoder das Sonderzeichen und ersetzt es wieder durch 2D – 1 (im Beispiel drei) A–Symbole.

Die obere Grafik zeigt das das zu analysierende RLC–Ergebnis. In Spalte 2 und 3 sind die Substringlängen Li binär bzw. dezimal angegeben und in Spalte 4 in kumulierter Form (Werte von Spalte 3 aufsummiert).

Hinweis: Die Aufgabe bezieht sich auf die letzte Theorieseite von Kapitel 2.4.

===Fragebogen===

<quiz display=simple>
{Wieviele Bit würde man ohne Quellencodierung benötigen, also mit der Zuordnung A → 0 und B = 1?
|type="{}"}
uncodiert: $N_\text{Bit}$ = { 1250 3% }

{Wie groß ist die relative Häufigkeit des Symbols B?
|type="{}"}
$h_B$ = { 0.02 3% }

{Wie viele Bit benötigt man für Run–Length Coding (RLC) entsprechend der angegebenen Tabelle?
|type="{}"}
$RLC,\ D = 8:\ N_\text{Bit}$ = { 200 3% } Bit

{Ist hier Run–Length Coding mit 7 Bit–Codeworten möglich?
|type="[]"}
- Ja.
+ Nein.

{Wie viele Bit benötigt man mit Run–Length Limited Coding (RLLC) mit 7 Bit pro Codewort?
|type="{}"}
$RLLC,\ D = 7:\ N_\text{Bit}$ = { 182 3% }

{Wie viele Bit benötigt man mit Run–Length Limited Coding (RLLC) mit 6 Bit pro Codewort?
|type="{}"}
$RLLC,\ D = 6:\ N_\text{Bit}$ = { 204 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die Binärfolge besteht aus insgesamt N = 1250 Binärsymbolen (ablesbar aus der letzten Spalte in der Tabelle). Damit benötigt man ohne Codierung ebenso viele Bit: NBit = 1250.

2.  Die gesamte Symbolfolge der Länge N = 1250 beinhaltet NB = 25 Symbole B und NA = 1225 Symbole A. Damit gilt für die relative Häufigkeit von B:
:$$h_{\rm B} = \frac{N_{\rm B}}{N} = \frac{25}{1250} \hspace{0.15cm}\underline{= 0.02} = 2\%\hspace{0.05cm}. $$

3.  Wir betrachten nun Run–Length Coding (RLC), wobei jeder Abstand zwischen zwei B–Symbolen mit 8 Bit dargestellt wird (D = 8). Damit ergibt sich mit NB = 25:
:$$N_{\rm Bit} = N_{\rm B} \cdot 8 \hspace{0.15cm}\underline{= 200} \hspace{0.05cm}.$$

4.  Run–Length Coding mit 7 Bit pro Codewort erlaubt für Li nur Werte zwischen 0 und 127. Der Eintrag &bdquo;226” in Zeile 19 ist aber größer   ⇒   NEIN.

5.  Auch bei Run–Length Limited Coding (RLLC) sind für die &bdquo;echten” Abstände Li mit D = 7 nur Werte zwischen 1 und 27 – 1 = 127 zulässig. Der Eintrag &bdquo;226” in Zeile 19 wird bei RLLC ersetzt durch

:* Zeile 19a: S = 0000000   ⇒   Sonderzeichen, steht für &bdquo;+ 127”,

:* Zeile 19b: 1100011   ⇒   Dezimal 99.

Damit erhält man insgesamt 26 Worte zu je 7 Bit:
:$$N_{\rm Bit} = 26 \cdot 7 \hspace{0.15cm}\underline{= 182} \hspace{0.05cm}.$$

6.  Nun müssen bei RLLC gegenüber RLC (siehe Tabelle) folgende Änderungen vorgenommen werden:

:* Zeile   1:  122 = 1 · 63 + 59   (ein Wort mehr),

:* Zeile   6:    70 = 1 · 63 + 7     (ein Wort mehr),

:* Zeile   7:    80 = 1 · 63 + 17   (ein Wort mehr),

:* Zeile 12:    79 = 1 · 63 + 18   (ein Wort mehr),

:* Zeile 13:    93 = 1 · 63 + 30   (ein Wort mehr),

:* Zeile 19:  226 = 3 · 63 + 37   (drei Worte mehr),

:* Zeile 25:    97 = 1 · 63 + 34   (ein Wort mehr).

Damit erhält man insgesamt 34 Worte zu je 6 Bit:
:$$N_{\rm Bit} = 34 \cdot 6 \hspace{0.15cm}\underline{= 204} \hspace{0.05cm},$$
also ein schlechteres Ergebnis als mit 7 Bit gemäß Teilaufgabe (5).
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Exercise 2.11Z: Arithmetic Coding once again

2016-12-01T10:30:45Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2473__Inf_A_2_12.png|right|]]
Wir betrachten hier die arithmetische Codierung (AC). Alle notwendigen Informationen zu dieser Art von Entropiecodierung finden Sie in der Aufgabe A2.11.

Auch nebenstehende Grafik ist das Ergebnis der letzten Aufgabe. Die für die aktuelle Aufgabe wichtigen Zahlenwerte für die Codierschritte 3 und 7 sind farblich hervorgehoben:

:* Das Intervall für N = 3 (Symbolfolge XXY) beginnt bei B3 = 0.343 und reicht bis zum Endwert E3 = 0.392.

:* Das Intervall für N = 7 (Symbolfolge XXYXXXZ) beginnt bei B7 = 0.3564456 und endet bei E7 = 0.359807.

In dieser Aufgabe geht es nur um die Zuweisung von Binärfolgen zu den ausgewählten Intervallen. Man geht wie folgt vor:

:* Das Intervall I wird bestimmt durch den Beginn B, das Ende E, die Intervallbreite Δ = E – B sowie die Intervallmitte M = (B + E)/2.

:* Das Intervall I wird gekennzeichnet durch die Binärdarstellung (mit begrenzter Auflösung) eines beliebigen reellen Zahlenwertes r ∈ I. Beispielsweise wählt man r ≈ M.

:* Die erforderliche Bitanzahl ergibt sich aus der Intervallbreite nach folgender Gleichung (die nach unten offenen Klammern bedeuten &bdquo;nach oben runden”):
:$$N_{\rm Bit} = \left\lceil{\rm ld} \hspace{0.15cm} 1/{\it \Delta} \right\rceil+1\hspace{0.05cm}. $$

Beispielsweise steht für NBit = 5 der Binärcode 01001 für die folgende reellwertige Zahl r:
:$$r = 0 \cdot 2^{-1}+1 \cdot 2^{-2}+0 \cdot 2^{-3}+0 \cdot 2^{-4}+1 \cdot 2^{-5} = 0.28125
\hspace{0.05cm}. $$
Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.4. Allerdings wird in LNTwww die arithmetische Codierung nur sehr knapp behandelt. Eine Übersicht finden Sie auch in WIKIPEDIA und eine ausführlichere Abhandlung in [BCK02].

===Fragebogen===

<quiz display=simple>
{Wie viele Bit werden zur Darstellung der Folge XXY benutzt?
|type="{}"}
$N = 3:\ N_\text{Bit}$ = { 6 3% }

{Welcher arithmetischer Code (AC) gilt für diesen Fall?
|type="[]"}
- AC = 01011,
+ AC = 010111,
- AC = 110111.

{Wie viele Bit werden zur Darstellung von XXYXXXZ benutzt?
|type="{}"}
$N = 7:\ N_\text{Bit}$ = { 11 3% }

{Ist 01011100001 ein gültiger Code für die Symbolfolge XXYXXXZ?
|type="[]"}
- Ja.
+ Nein.

{Welche Aussagen gelten für die arithmetische Codierung allgemein?
|type="[]"}
+ Es handelt sich um eine gemeinsame Codierung ganzer Folgen.
+ Eine 32 Bit–Rechnerarchitektur begrenzt die Folgenlänge N.
+ Dieses Problem lässt sich durch Integer–Realisierung umgehen.
+ Eine Integer–Realisierung erhöht die Codiergeschwindigkeit.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Das ausgewählte Intervall beginnt bei B3 = 0.343 und endet bei E3 = 0.392. Die Intervallbreite ist somit Δ3 = 0.049 und damit gilt mit dem Logarithmus dualis &bdquo;log2”  →  &bdquo;ld”:
:$$N_{\rm Bit} = {\rm ld} \hspace{0.15cm} \left\lceil \frac{1}{0.049}\right\rceil+1\hspace{0.15cm}\underline{= 6}
\hspace{0.05cm}.$$

2.  Das ausgewählte Intervall ergibt sich zu I = [0.343, 0.392). Die Mitte liegt bei M3 = 0.3675. Zur Bestimmung des arithmetischen Codes versuchen wir, die Intervallmitte durch eine Binärdarstellung möglichst gut zu erreichen. Da uns gerade kein entsprechendes Tool zur Lösung dieser Aufgabe zur Verfügung steht, gehen wir von folgenden Nebenrechnungen aus:

: H4 = 2–2 + 2–4 = 0.3125  ⇒  gehört nicht zum Intervall I,

: H5 = H4 + 2–5 = 0.34375 ∈ I  ⇒  Binärdarstellung: 0.01011  ⇒  Code: 01011.

: H6 = H5 + 2–6 = 0.359375 ∈ I ⇒  Binärdarstellung: 0.010111  ⇒  Code: 010111.

: H7 = H6 + 2–7 = 0.3671875 ∈ I  ⇒  Binärdarstellung: 0.0101111  ⇒  Code: 0101111.

: H12 = H7 + 2–12 = 0.3674316406 ∈ I ⇒  binär: 0.010111100001  ⇒  Code: 010111100001.

Der entsprechende 6 Bit–Code lautet somit AC = 010111   ⇒   Richtig ist der Vorschlag 2.

3.  Hier ergibt sich mit dem Beginn B7 = 0.3564456 und dem Ende E7 = 0.359807 die Intervallbreite Δ7 = 0.0033614 und damit
:$$N_{\rm Bit} = \left\lceil {\rm ld} \hspace{0.15cm} \frac{1}{0.0033614} \right\rceil + 1\hspace{0.15cm} =
\left\lceil {\rm ld} \hspace{0.15cm} 297.5 \right\rceil + 1\hspace{0.15cm} \underline{= 11}
\hspace{0.05cm}.$$

4.  Die Binärdarstellung des Codes 01011100001 ergibt
:$$2^{-2}+ 2^{-4}+ 2^{-5}+ 2^{-6}+ 2^{-11} = 0.3598632813 > E_7
\hspace{0.05cm}.$$
Richtig ist also NEIN. Wegen
:$$2^{-2}+ 2^{-4}+ 2^{-5}+ 2^{-7}+ 2^{-8}+ 2^{-9}+ 2^{-11} =0.3579101563$$
:$$\Rightarrow \hspace{0.3cm} B_7 \le 0.3579101563 < E_7$$
ist der gültige arithmetische Code gleich 01011011101.

e)  Alle Aussagen sind richtig. Sie können sich davon beispielsweise in [BCK02] überzeugen.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Exercise 2.11: Arithmetic Coding

2016-12-01T10:30:37Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2468__Inf_A_2_11.png|right|]]
Die arithmetische Codierung ist eine spezielle Form der Entropiecodierung: Auch hier müssen die Symbolwahrscheinlichkeiten bekannt sein. In dieser Aufgabe gehen wir von M = 3 Symbolen aus, die wir mit X, Y, Z benennen.

Im Gegensatz zur Huffman–Codierung wird bei der Arithmetischen Codierung (AC) eine Symbolfolge der Länge N gemeinsam codiert. Das Codierergebnis ist ein reeller Zahlenwert r aus dem Intervall
:$$I = [B, E) = [B, B +{\it \Delta} )\hspace{0.05cm}.$$
Diese Notation bedeutet:

:* Der Beginn B gehört zum Intervall I.

:* Das Ende E ist nicht mehr in I enthalten.

:* Die Intervallbreite ist Δ = E – B.

Von den unendlich vielen möglichen Werten r ∈ I (da r reellwertig ist, also kein Integer) wird derjenige Zahlenwert ausgewählt, der mit der geringsten Bitanzahl auskommt. Hierzu zwei Beispiele zur Verdeutlichung:

:* Der Dezimalwert r = 3/4 lässt sich mit zwei Bit darstellen:
:$$r = 1 \cdot 2^{-1} + 1 \cdot 2^{-2} = 0.75 $$
:$$\Rightarrow\hspace{0.3cm}{\rm bin\ddot{a}r: 0.11}\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
{\rm Code:} \hspace{0.15cm} \boldsymbol{\rm 11} \hspace{0.05cm}, $$

:* Der Dezimalwert r = 1/3 benötigt dagegen unendlich viele Bit:
:$$r = 0 \cdot 2^{-1} + 1 \cdot 2^{-2} + 1 \cdot 2^{-3}+ 1 \cdot 2^{-4}+ 0 \cdot 2^{-5} + 1 \cdot 2^{-6} + \hspace{0.05cm}... $$
:$$\Rightarrow\hspace{0.3cm}{\rm bin\ddot{a}r: 0.011101}\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
{\rm Code:} \hspace{0.15cm} \boldsymbol{\rm 011101} \hspace{0.05cm}. $$

In dieser Aufgabe beschränken wir uns auf die Bestimmung des aktuellen Intervalls I, gekennzeichnet durch den Beginn B sowie dem Ende E bzw. der Breite Δ. Diese Bestimmung geschieht entsprechend der Intervallschachtelung in obiger Grafik. An der Schraffierung ist zu erkennen, dass die Folge mit den Ternärsymbolen XXY beginnt.

Der Algorithmus funktioniert wie folgt:

:* Vor Beginn (quasi beim Symbol 0) wird der gesamte Wahrscheinlichkeitsbereich nach den Wahrscheinlichkeiten pX, pY und pZ in drei Bereiche unterteilt. Die Grenzen liegen bei
:$$B_0 = 0\hspace{0.05cm},\hspace{0.2cm}C_0 = p_{\rm X}\hspace{0.05cm},\hspace{0.2cm}D_0 = p_{\rm X} + p_{\rm Y}\hspace{0.05cm},\hspace{0.2cm}
E_0 = p_{\rm X} + p_{\rm Y}+ p_{\rm Z} = 1\hspace{0.05cm}.$$

:* Das erste Symbol ist X  ⇒  das ausgewählte Intervall wird durch B0 und C0 begrenzt. Dieses Intervall wird mit neuem Beginn B1 = B0 und neuem Ende E1 = C0 in gleicher Weise aufgeteilt wie der Gesamtbereich im Schritt 0. Die Zwischenwerte sind C1 und D1.

:* Die weitere Intervall–Aufteilung ist Ihre Aufgabe. Beispielsweise sollen in der Teilaufgabe (2) die Grenzen B2, C2, D2, E2 für das zweite Symbol X und in der Teilaufgabe (3) die Grenzen B3, C3, D3, E3 für das dritte Symbol Y ermittelt werden.

Hinweis: Die Aufgabe bezieht sich auf die Seite 2a und die Seite 2b in Kapitel 2.4. Die Binärdarstellung des ausgewählten Intervalls wird in Aufgabe A2.12 behandelt.

===Fragebogen===

<quiz display=simple>
{Welche Wahrscheinlichkeiten sind der Grafik zugrundegelegt?
|type="{}"}
$p_X$ = { 0.7 3% }
$p_Y$ = { 0.1 3% }
$p_Z$ = { 0.2 3% }

{Wie lauten die Bereichsgrenzen nach der Codierung des zweiten Symbols?
|type="{}"}
2. Symbol ist „X”: $B_2$ = { 0 3% }
$C_2$ = { 0.343 3% }
$D_2$ = { 0.392 3% }
$E_2$ = { 0.49 3% }

{Wie lauten die Bereichsgrenzen nach der Codierung des dritten Symbols?
|type="{}"}
3. Symbol ist „Y”: $B_3$ = { 0.343 3% }
$C_3$ = { 0.3773 3% }
$D_3$ = { 0.3822 3% }
$E_3$ = { 0.392 3% }

{Nach der Codierung des vierten Symbols ist B4 = 0.343. Was folgt daraus?
|type="[]"}
+ Das vierte Symbol war X.
- Das vierte Symbol war Y.
- Das vierte Symbol war Z.

{Nach weiteren Symbolen wird das Ergebnisintervall durch B7 = 0.3564456 und E7 = 0.359807 begrenzt. Welche Aussagen treffen zu?
|type="[]"}
- Die zur Codierung anstehende Symbolfolge lautet XXYXXZX.
+ Die zur Codierung anstehende Symbolfolge lautet XXYXXXZ.
+ Die Breite des resultierenden Intervalls ist Δ = pX5 · pY · pZ.

{Welche reellen Zahlen (in Binärform) fallen in das ausgewählte Intervall?
|type="[]"}
- r1 = (0.101100)binär
+ r2 = (0.010111)binär
- r3 = (0.001011)binär

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2469__Inf_A_2_11_ML.png|right|]]
1.  Aus der Grafik auf der Angabenseite kann man die Wahrscheinlichkeiten ablesen:
:$$p_{\rm X} = 0.7\hspace{0.05cm},\hspace{0.2cm}p_{\rm Y} = 0.1\hspace{0.05cm},\hspace{0.2cm}p_{\rm Z} = 0.2\hspace{0.05cm}.$$

2.  Auch das zweite Symbol ist X. Bei gleichem Vorgehen wie in der Aufgabenbeschreibung erhält man
:$$B_2 \hspace{0.1cm}\underline{= 0}\hspace{0.05cm},\hspace{0.2cm}C_2 = 0.49 \cdot 0.7 \hspace{0.1cm}\underline{= 0.343}\hspace{0.05cm},$$
:$$D_2 \hspace{0.1cm} \underline{= 0.392}\hspace{0.05cm},\hspace{0.2cm}E_2 = C_1 \hspace{0.1cm}\underline{= 0.49} \hspace{0.05cm}.$$

3.  Aufgrund von Y als drittes Symbol gelten nun die Begrenzungen B3 = C2 und E3 = D2:
:$$B_3 \hspace{0.1cm}\underline{= 0.343}\hspace{0.05cm},\hspace{0.2cm}C_3 \hspace{0.1cm}\underline{= 0.3773}\hspace{0.05cm},$$
:$$D_3 \hspace{0.1cm} \underline{= 0.3822}\hspace{0.05cm},\hspace{0.2cm}E_3 \hspace{0.1cm}\underline{= 0.392} \hspace{0.05cm}.$$

4.  Aus B4 = 0.343 = B3 (abzulesen in der Grafik auf dem Angabenblatt) folgt zwingend, dass das vierte zu codierende Quellensymbol ein X war ⇒ Lösungsvorschlag 1.

5.  Die Grafik zeigt die Intervallschachtelung mit allen bisherigen Ergebnissen.

:* Man erkennt aus der Schraffierung, dass der zweite Lösungsvorschlag die richtige Symbolfolge angibt: XXYXXXZ.

:* Die Intervallbreite Δ kann wirklich gemäß dem Lösungsvorschlag 3 ermittelt werden:
:$${\it \Delta} \hspace{0.2cm} = \hspace{0.2cm} 0.359807 - 0.3564456 = 0.003614 \hspace{0.05cm},\\
{\it \Delta} \hspace{0.2cm} = \hspace{0.2cm} p_{\rm X}^5 \cdot p_{\rm Y} \cdot p_{\rm Z} = 0.7^5 \cdot 0.1 \cdot 0.2 = 0.003614
\hspace{0.05cm}. $$
Richtig sind somit die Lösungsvorschläge 2 und 3.

6.  Der Vorschlag 1: (0.101100)binär ist auszuschließen, da der zugehörige Dezimalwert r1 > 0.5 ist. Auch der letzte Lösungsvorschlag ist falsch, da (0.001011)binär < (0.01)binär = 0.25dezimal gilt.

Richtig ist der Lösungsvorschlag 2: (0.010111)binär, wegen:
:$$r_2 = 0 \cdot 2^{-1} + 1 \cdot 2^{-2} + 0 \cdot 2^{-3}+ 1 \cdot 2^{-4}+ 1 \cdot 2^{-5} + 1 \cdot 2^{-6} = 0.359375\hspace{0.05cm}. $$
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Exercise 2.10: Shannon-Fano Coding

2016-12-01T10:30:29Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Weitere Quellencodierverfahren
}}

[[File:P_ID2465__Inf_A_2_10.png |right|]]
Ein weiterer Algorithmus zur Entropiecodierung wurde 1949 von Claude Elwood Shannon und Robert Fano angegeben, der im Theorieteil beschrieben ist.

Diese spezielle Art von Quellencodierung soll hier an einem einfachen Beispiel für den Symbolumfang M = 4 und folgende Symbolwahrscheinlichkeiten beschrieben werden:

:$$p_{\rm A} = 0.2 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm B}= 0.3 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm C}= 0.4 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D}= 0.1 \hspace{0.05cm}. $$

Die obige Grafik zeigt das dazugehörige Baumdiagramm. Man geht folgendermaßen vor:

:1. Man ordnet die Symbole nach fallender Auftrittswahrscheinlichkeit, hier C – B – A – D.

:2. Man teilt die Symbole in zwei etwa gleichwahrscheinliche Gruppen ein, hier C und BAD.

:3. Der unwahrscheinlicheren Gruppe wird das Binärsymbol 0, der anderen die 1 zugeordnet.

:4. Sind in einer Gruppe mehr als ein Zeichen, so ist der Algorithmus rekursiv anzuwenden.

Für dieses Beispiel ergibt sich die folgende Codezuordnung (in obigem Baumdiagramm markiert eine rote Verbindung eine 1 und eine blaue eine 0:

: A → 111, B → 10, C → 0, D → 110.

Damit ergibt sich für die mittlere Codewortlänge:
:$$L_{\rm M} = 0.4 \cdot 1 + 0.3 \cdot 2 + (0.2 + 0.1) \cdot 3 = 1.9\,\,{\rm bit/Quellensymbol}\hspace{0.05cm}.$$

Der Huffman-Algorithmus würde hier zwar einen geringfügig anderen Code erzeugen, aber auch bei diesem würde C mit einem Bit, B mit zwei Bit und A und D mit jeweils drei Bit codiert. Damit ergäbe sich ebenfalls LM = 1.9 bit/Quellensymbol.

In dieser Aufgabe sollen Sie den Shannon–Fano–Code für M = 8 und die Wahrscheinlichkeiten
:$$p_{\rm A} \hspace{0.2cm} = \hspace{0.2cm} 0.10 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm B}= 0.40 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm C}= 0.02 \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D}= 0.14 \hspace{0.05cm},\\
p_{\rm E} \hspace{0.2cm} = \hspace{0.2cm} 0.17 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm F}= 0.03 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm G}= 0.05 \hspace{0.05cm},\hspace{0.2cm}p_{\rm H}= 0.09$$
ermitteln. Sie werden erkennen, dass sich mit diesen Wahrscheinlichkeiten &bdquo;Shannon–Fano” auch hinsichtlich Effizienz von &bdquo;Huffman” unterscheiden wird. Hinweis: Beim Huffman–Code ergibt sich mit den vorliegenden Wahrscheinlichkeiten die folgende Zuordnung:

: A → 100, B → 0, C → 111100, D → 101, E → 110, F → 111101, G → 11111, H → 1110.

Hinweis: Die Aufgabe bezieht sich auf die Seite 1 von Kapitel 2.4. Zur Kontrolle können Sie das folgende Interaktionsmodul verwenden:

Shannon–Fano– und Huffman–Codierung

===Fragebogen===

<quiz display=simple>
{Wie groß ist die mittlere Codewortlänge beim Huffman–Code?
|type="{}"}
Huffman: $L_M$ = { 2.54 3% } bit/Quellensymbol

{Was geschieht im ersten Schritt der Shannon–Fano–Codierung? Alle anderen Symbole werden in der zweiten Gruppe zusammengefasst.
|type="[]"}
- Man fasst A und B zur ersten Gruppe zusammen.
+ Man fasst B und E zur ersten Gruppe zusammen.
- Die erste Gruppe besteht nur aus dem Symbol B.

{Welche Zuordnungen ergeben sich für den Shannon–Fano–Algorithmus?
|type="[]"}
+ Das Zeichen A wird binär mit 010 codiert.
+ Das Zeichen B wird binär mit 11 codiert.
+ Das Zeichen C wird binär mit 00110 codiert.

{Wie groß ist die mittlere Codewortlänge beim Shannon–Fano–Code?
|type="{}"}
Shannon-Fano: $L_M$ = { 2.58 3% } bit/Quellensymbol

{Welche Aussagen gelten für beliebige Wahrscheinlichkeiten?
|type="[]"}
- LM könnte bei Shannon–Fano kleiner sein als bei Huffman.
+ LM könnte bei Shannon–Fano größer sein als bei Huffman.
+ LM könnte bei Shannon–Fano und Huffman gleich groß sein.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Für den angegebenen Huffman–Code erhält man:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} 0.4 \cdot 1 + (0.17 + 0.14 + 0.10) \cdot 3 + 0.09 \cdot 4 + 0.05 \cdot 5 + (0.03 + 0.02) \cdot 6 =\\ \hspace{0.2cm} = \hspace{0.2cm}\underline{ 2.54 \,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}. $$

2.  Vor Anwendung des Shannon–Fano–Algorithmus müssen die Zeichen zuerst noch nach ihren Auftrittswahrscheinlichkeiten sortiert werden. Damit ist Antwort 1 falsch.

Richtig ist Antwort 2. Alle sortierten Zeichen müssen so in zwei Gruppen eingeteilt werden, dass die Gruppenwahrscheinlichkeiten möglichst gleich sind. Für den ersten Schritt bedeutet dies:
:$${\rm Pr}(\boldsymbol{\rm BE}) = 0.57\hspace{0.05cm}, \hspace{0.2cm}{\rm Pr}(\boldsymbol{\rm DAHGFC}) = 0.43 \hspace{0.05cm}.$$
Bei der Aufteilung gemäß Lösungsvorschlag 3 würde die Gleichverteilung noch weniger erreicht:
:$${\rm Pr}(\boldsymbol{\rm B}) = 0.40\hspace{0.05cm}, \hspace{0.2cm}{\rm Pr}(\boldsymbol{\rm EDAHGFC}) = 0.60 \hspace{0.05cm}.$$

3.  Die Grafik zeigt das Baumdiagramm der Shannon–Fano–Codierung.
[[File:P_ID2466__Inf_A_2_10c.png|center|]]
Daraus ergibt sich folgende Zuordnung (eine rote Verbindung weist auf 1 hin, eine blaue auf 0):

: A → 010, B → 11, C → 00110, D → 011, E → 10, F → 00111, G → 0010, H → 000.

Richtig sind alle vorgegebenen Lösungsvorschläge.

4.  Mit dem Ergebnis der Teilaufgabe (3) erhält man:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} (0.40 + 0.17) \cdot 2 + (0.14 + 0.10 + 0.09) \cdot 3 + 0.05 \cdot 4 + (0.03 + 0.02) \cdot 5 =\\ \hspace{0.2cm} = \hspace{0.2cm}\underline{ 2.58 \,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}. $$

5.  Richtig sind die Aussagen 2 und 3. Im vorliegenden Beispiel ergibt sich bei Shannon–Fano ein ungünstigerer Wert als bei Huffman. In den meisten Fällen – so auch im Beispiel auf der Angabenseite – ergibt sich für Huffman und Shannon–Fano ein gleichwertiger Code und damit auch die gleiche mittlere Codewortlänge. Einen effektiveren Code als Huffman liefert Shannon–Fano dagegen nie.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.4 Weitere Quellencodierverfahren^]]

Aufgaben:Exercise 2.9: Huffman Decoding after Errors

2016-12-01T10:30:19Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2464__Inf_A_2_9.png|right|]]
Wir betrachten die Huffman–Codierung gemäß folgender Zuordnung:

:A → 1, B → 01, C → 001, D → 000.

Die Codierung nach Huffman ist stets verlustlos. Das bedeutet: Decodiert man die Codesymbolfolge 〈cν〉 nach dem Huffman–Codierer sofort wieder, so ist das Decodierergebnis 〈υν〉 gleich der Quellensymbolfolge 〈qν〉.

Stimmt dagegen die Empfangsfolge 〈rν〉 aufgrund von Fehlern bei der Übertragung (0 → 1, 1 → 0) mit der erzeugten Codefolge 〈cν〉 nicht überein, so kann es zu einer Fehlerfortpflanzung kommen. Ein einziger Bitfehler kann dann dazu führen, dass (nahezu) alle nachfolgenden Zeichen falsch decodiert werden.

Hinweis: Die Aufgabe bezieht sich auf die Seite 5 von Kapitel 2.3.

===Fragebogen===

<quiz display=simple>
{Wir betrachten die Codesymbolfolge 10100100011000010011. Wie lautet die dazugehörige Quellensymbolfolge?
|type="[]"}
- CCDAADBCA,
- ABDDAADBCA,
+ ABCDAADBCA,
- Anders als die drei genannten.

{Welche Folge ergibt sich nach der Decodierung, wenn das erste Bit verfälscht wird (1 → 0)?  ⇒  Anliegende Folge 00100100011000010011.
|type="[]"}
+ CCDAADBCA,
- ABDDAADBCA,
- ABCDAADBCA,
- Anders als die drei genannten.

{Ist es möglich, dass durch einen weiteren Bitfehler die späteren Symbole alle wieder richtig decodiert werden?
|type="[]"}
+ Ja, durch einen zweiten Bitfehler an Position 2.
- Ja, durch einen zweiten Bitfehler an Position 10.
+ Ja, durch einen zweiten Bitfehler an Position 15.
- Nein.

{Welche Folge ergibt sich nach der Decodierung, wenn das sechste Bit verfälscht wird (1 → 0)?
|type="[]"}
- CCDAADBCA,
+ ABDDAADBCA,
- ABCDAADBCA,
- Anders als die drei genannten..

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Richtig ist der Vorschlag 3. Nachfolgend sehen Sie die durch Hochkommata eingeteilte Codesymbolfolge 1′01′001′000′1′1′000′01′001′1   ⇒   Quellensymbolfolge ABCDAADBCA.

2.  Mit einem Bitfehler an Position 1 erhält man das folgende Decodierergebnis:

:001′001′000′1′1′000′01′001′1   ⇒   CCDAADBCA ⇒ Lösungsvorschlag 1.

Das heißt: AB wird durch C ersetzt, der weitere Text CDAADBCA ist unverändert, allerdings um eine Position verschoben. Vergleicht man jedoch die ersten neun Symbole des Originals mit der Decodierung Stelle für Stelle, wie es ein Automat machen würde, so erkennt man acht unterschiedliche Symbole.

3.  Richtig sind die Antworten 1 und 3:

:* Durch einen zusätzlichen Bitfehler an Position 2 (0 → 1) wird AB zu BA verfälscht, aber alle weiteren Symbole wieder richtig erkannt.

:* Ein zusätzlicher Bitfehler an Position 15 (0 → 1) führt zu 001′001′000′1′1′000′1′ 1′ 001′ 1 und damit zur Sinkensymbolfolge CCDAADAACA. Das neunte und das zehnte Symbol (beide grün markiert) und eventuell weitere Symbole werden richtig erkannt.

:* Durch den ersten Bitfehler an Position 1 wird AB in C verfälscht, also ein Zeichen &bdquo;verschluckt”. Ein weiterer Bitfehler an Position 10 macht aus AA ein B. Insgesamt verschluckt so der Decoder zwei Zeichen, und alle nachfolgend decodierten Zeichen stehen nicht an der richtigen Position.

4.  Aus 001 wird 000. Das bewirkt, dass insgesamt nur ein Fehler C → D entsteht:

101′000′000′1′1′000′01′001′1   ⇒   ABDDAADBCA   ⇒   Lösungsvorschlag 2.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.8: Huffman Application for a Markov Source

2016-12-01T10:29:51Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2460__Inf_A_2_8.png|right|]]
Wir betrachten hier die binäre symmetrische Markovquelle entsprechend nebenstehender Grafik, die durch den einzigen Parameter
:$$q = {\rm Pr}(\boldsymbol{\rm X}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm X}) =
{\rm Pr}(\boldsymbol{\rm Y}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm Y})$$
vollständig beschrieben wird. Die angegebenen Quellensymbolfolgen gelten für q = 0.2 bzw. q = 0.8. In der Teilaufgabe (a) ist zu klären, welche Symbolfolge mit q = 0.2 und welche mit q = 0.8 generiert wurde.

Die Eigenschaften von Markovquellen werden im Kapitel 1.2 ausführlich beschrieben. Aufgrund der hier vorausgesetzten Symmetrie bezüglich der binären Symbole X und Y ergeben sich einige gravierende Vereinfachungen, wie in Aufgabe Z1.5 hergeleitet wird:

:* Die Symbole X und Y sind gleichwahrscheinlich, das heißt. es ist pX = pY = 0.5. Damit lautet die erste Entropienäherung:
:$$H_1 = 1\,\,{\rm bit/Quellensymbol}\hspace{0.05cm}. $$

:* Die Entropie der Markovquelle ergibt sich zu
:$$H = q \cdot {\rm ld}\hspace{0.15cm}\frac{1}{q} + (1-q) \cdot {\rm ld}\hspace{0.15cm}\frac{1}{1-q}
= 0.722\,\,{\rm bit/Quellensymbol}
\hspace{0.05cm}.$$
: Der Zahlenwert gilt nur für q = 0.2 sowie für q = 0.8.

:* Bei Markovquellen sind alle Entropienäherungen höherer Ordnung durch H1 und H bestimmt. Die folgenden Zahlenwerte gelten wieder für q = 0.2 und q = 0.8 gleichermaßen:
:$$H_2 \hspace{0.2cm} = \hspace{0.2cm} \frac{1}{2}\cdot \big [ H_1 + H \big ] = 0.861\,\,{\rm bit/Quellensymbol}\hspace{0.05cm},\\
H_3 \hspace{0.2cm} = \hspace{0.2cm} \frac{1}{3} \cdot \big [ H_1 + 2H \big ] = 0.815\,\,{\rm bit/Quellensymbol}\hspace{0.05cm}.$$

Wie auf der letzten Theorieseite dieses Kapitels 2.3 soll hier der Huffman–Algorithmus auf k–Tupel angewandt werden, wobei wir uns auf k = 2 und k = 3 beschränken.

Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.3. Nützliche Informationen finden Sie auch in Aufgabe A2.7 und Aufgabe Z2.7. Für die Huffman–Codierung können Sie das folgende Interaktionsmodul benutzen:

Shannon–Fano– und Huffman–Codierung

===Fragebogen===

<quiz display=simple>
{Welche der vorne angegebenen Beispielfolgen gilt für q = 0.8?
|type="[]"}
- Quellensymbolfolge 1,
+ Quellensymbolfolge 2,

{Welche der folgenden Aussagen treffen zu?
|type="[]"}
- Auch die direkte Anwendung von Huffman ist hier sinnvoll.
+ Huffman macht bei Bildung von Zweiertupeln (k = 2) Sinn.
+ Huffman macht bei Bildung von Dreiertupeln (k = 3) Sinn.

{Wie lauten die Wahrscheinlichkeiten der Zweiertupel (k = 2) für q = 0.8?
|type="{}"}
$q = 0.8; k = 2:\ p_A = Pr(XX)$ = { 0.4 3% }
$p_B = Pr(XY)$ = { 0.1 3% }
$p_C = Pr(YX)$ = { 0.1 3% }
$p_D = Pr(YY)$ = { 0.4 3% }

{Ermitteln Sie mit dem angegebenen Flash–Modul den Huffman–Code für k = 2. Wie groß ist in diesem Fall die mittlere Codewortlänge?
|type="{}"}
$L_M$ = { 0.9 3% } bit/Quellensymbol

{Welche Schranke ergibt sich für die mittlere Codewortlänge, wenn Zweiertupel gebildet werden (k = 2)? Interpretation.
|type="[]"}
- LM ≥ H1 = 1 bit/Quellensymbol,
+ LM ≥ H2 ≈ 0.861 bit/Quellensymbol,
- LM ≥ H3 ≈ 0.815 bit/Quellensymbol,
- LM ≥ H ≈ 0.722 bit/Quellensymbol,
- LM ≥ 0.5 bit/Quellensymbol.

{Berechnen Sie die Wahrscheinlichkeiten für k = 3.
|type="{}"}
$q = 0.8; k = 3:\ p_A = Pr(XXX)$ = { 0.32 3% }
$p_B = Pr(XXY)$ = { 0.08 3% }
$p_C = Pr(XYX)$ = { 0.02 3% }
$p_D = Pr(XYY)$ = { 0.08 3% }
$p_E = Pr(YXX)$ = { 0.08 3% }
$p_F = Pr(YXY)$ = { 0.02 3% }
$p_G = Pr(YYX)$ = { 0.08 3% }
$p_H = Pr(YYY)$ = { 0.32 3% }

{Ermitteln Sie mit dem genannten Flash–Modul den Huffman–Code für k = 3. Wie groß ist in diesem Fall die mittlere Codewortlänge?
|type="{}"}
$L_M$ = { 0.84 3% } bit/Quellensymbol

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Bei der Quellensymbolfolge 2 erkennt man sehr viel weniger Symbolwechsel als in der roten Folge. Die blaue Symbolfolge 2 wurde mit dem Parameter
:$$q = {\rm Pr}(\boldsymbol{\rm X}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm X}) =
{\rm Pr}(\boldsymbol{\rm Y}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm Y}) = 0.8$$
erzeugt und die rote Symbolfolge 1 mit q = 0.2   ⇒   Richtig ist der Lösungsvorschlag 2.

2.  Da hier die Quellensymbole X und Y gleichwahrscheinlich angenommen wurden, macht die direkte Anwendung von Huffman keinen Sinn. Dagegen kann man die inneren statistischen Bindungen der Markovquelle zur Datenkomprimierung nutzen, wenn man k–Tupel bildet (k ≥ 2). Richtig sind demnach die Antworten 2 und 3. Je größer k ist, desto mehr nähert sich die Codewortlänge LM der Entropie H.

3.  Die Symbolwahrscheinlichkeiten pX und pY sind jeweils 0.5. Damit erhält man für die Zweiertupel:
:$$p_{\rm A} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XX}) = p_{\rm X} \cdot {\rm Pr}(\boldsymbol{\rm X}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm X}) = 0.5 \cdot q = 0.5 \cdot 0.8 \hspace{0.15cm}\underline{ = 0.4} \hspace{0.05cm},\\
p_{\rm B} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XY}) = p_{\rm X} \cdot {\rm Pr}(\boldsymbol{\rm Y}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm X}) = 0.5 \cdot (1-q)= 0.5 \cdot 0.2 \hspace{0.15cm}\underline{ = 0.1} \hspace{0.05cm},\\
p_{\rm C} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm YX}) = p_{\rm Y} \cdot {\rm Pr}(\boldsymbol{\rm X}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm Y}) = 0.5 \cdot (1-q)= 0.5 \cdot 0.2 \hspace{0.15cm}\underline{ = 0.1} \hspace{0.05cm},\\
p_{\rm D} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm YY}) = p_{\rm Y} \cdot {\rm Pr}(\boldsymbol{\rm Y}\hspace{0.05cm}|\hspace{0.05cm}\boldsymbol{\rm Y}) = 0.5 \cdot q = 0.5 \cdot 0.8\hspace{0.15cm}\underline{ = 0.4} \hspace{0.05cm}.$$
[[File:P_ID2462__Inf_A_2_8d.png|right|]]

4.  Nebenstehender Bildschirmabzug des Programms Shannon–Fano– und Huffman–Codierung zeigt die Konstruktion des Huffman–Codes für k = 2 mit den soeben berechneten Wahrscheinlichkeiten. Damit gilt für die mittlere Codewortlänge:
:$$L_{\rm M}' \hspace{0.2cm} = \hspace{0.2cm} 0.4 \cdot 1 + 0.4 \cdot 2 + (0.1 + 0.1) \cdot 3 = \\
\hspace{0.2cm} = 1.8\,\,{\rm bit/Zweiertupel}$$
:$$\Rightarrow\hspace{0.3cm}L_{\rm M} = \frac{L_{\rm M}'}{2}\hspace{0.15cm}\underline{ = 0.9\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$

 5.  Nach dem Quellencodierungstheorem gilt LM ≥ H. Wendet man aber Huffman–Codierung an und lässt dabei Bindungen zwischen nicht benachbarten Symbolen außer Betracht (k = 2), so gilt als unterste Grenze der Codewortlänge nicht H = 0.722, sondern H2 = 0.861 (auf den Zusatz bit/Quellensymbol wird für den Rest der Aufgabe verzichtet)  ⇒ Lösungsvorschlag 2.

Das Ergebnis der Teilaufgabe 4) war LM = 0.9. Würde eine unsymmetrische Markovkette vorliegen und zwar derart, dass sich für die Wahrscheinlichkeiten pA, ... , pD die Werte 50%, 25% und zweimal 12.5% ergeben würden, so käme man auf die mittlere Codewortlänge LM = 0.875. Wie die genauen Parameter dieser unsymmetrischen Markovquelle aussehen, weiß ich (G. Söder) nicht. Auch nicht, wie sich der Wert 0.875 auf 0.861 senken ließe. Der Huffman–Algorithmus ist hierfür jedenfalls ungeeignet.

6.  Mit q = 0.8 und 1 – q = 0.2 erhält man:
:$$p_{\rm A} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XXX}) = 0.5 \cdot q^2 \hspace{0.15cm}\underline{ = 0.32} = p_{\rm H} = {\rm Pr}(\boldsymbol{\rm YYY})\hspace{0.05cm},\\
p_{\rm B} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XXY}) = 0.5 \cdot q \cdot (1-q) \hspace{0.15cm}\underline{ = 0.08}= p_{\rm G} = {\rm Pr}(\boldsymbol{\rm YYX}) \hspace{0.05cm},\\
p_{\rm C} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XYX}) = 0.5 \cdot (1-q)^2\hspace{0.15cm}\underline{ = 0.02} = p_{\rm F}= {\rm Pr}(\boldsymbol{\rm YXY}) \hspace{0.05cm},\\
p_{\rm D} \hspace{0.2cm} = \hspace{0.2cm} {\rm Pr}(\boldsymbol{\rm XYY}) = 0.5 \cdot (1-q) \cdot q \hspace{0.15cm}\underline{ = 0.08} = p_{\rm E} = {\rm Pr}(\boldsymbol{\rm YXX})\hspace{0.05cm}.$$

7.  Der Bildschirmabzug des Flash–Moduls verdeutlicht die Konstellation des Huffman–Codes für k = 3. Damit erhält man für die mittlere Codewortlänge:
:$$L_{\rm M}' = 0.64 \cdot 2 + 0.24 \cdot 3 + 0.04 \cdot 5 = 2.52\,\,{\rm bit/Dreiertupel}$$
:$$\Rightarrow\hspace{0.3cm}L_{\rm M} = {L_{\rm M}'}/{3}\hspace{0.15cm}\underline{ = 0.84\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$
[[File:P_ID2463__Inf_A_2_8g.png|center|]]
Man erkennt die Verbesserung gegenüber (4). Die für k = 2 gültige informationstheoretische Schranke H2 = 0.861 wird nun unterschritten (LM). Die neue Schranke für k = 3 ist H3 = 0.815. Um die Quellenentropie H = 0.722 zu erreichen (besser gesagt: diesem Endwert bis auf ein ε näher zu kommen), müsste man allerdings unendlich lange Tupel bilden (k → ∞).

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.7Z: Huffman Coding for Two-Tuples of a Ternary Source

2016-12-01T10:29:44Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2458__Inf_Z_2_7.png|right|]]
Wir betrachten den gleichen Sachverhalt wie in der Aufgabe A2.7: Der Huffman–Algorithmus führt zu einem besseren Ergebnis, das heißt zu einer kleineren mittleren Codewortlänge LM, wenn man ihn nicht auf einzelne Symbole anwendet, sondern vorher k–Tupel bildet. Dadurch erhöht man den Symbolumfang von M auf M ′ = M k.

Für die hier betrachtete Nachrichtenquelle gilt:

:* Symbolumfang: M = 3,

:* Symbolvorrat: {X, Y, Z},

:* Wahrscheinlichkeiten: pX = 0.7, pY = 0.2, pZ = 0.1,

:* Entropie: H = 1.157 bit/Ternärsymbol.

Die Grafik zeigt den Huffman–Baum, wenn man den Huffman–Algorithmus auf Einzelsymbole anwendet, also den Fall k = 1. In der Teilaufgabe (2) sollen Sie den entsprechenden Huffman–Code angeben, wenn vorher Zweiertupel gebildet werden (k = 2).

Hinweis: Die Aufgabe bezieht sich auf die letzte Theorieseite von Kapitel 2.3. Bezeichnen Sie die möglichen Zweiertupel mit

:XX = A,  XY = B,  XZ = C,   YX = D,  YY = E,  YZ = F,  ZX = G,  ZY = H,  ZZ = I .

===Fragebogen===

<quiz display=simple>
{Wie groß ist die mittlere Codewortlänge, wenn der Huffman–Algorithmus direkt auf die ternären Quellensymbole X, Y und Z angewendet wird?
|type="{}"}
$k = 1:\ L_M$ = { 1.3 3% } bit/Quellensymbol

{Wie groß sind die Tupel–Wahrscheinlichkeiten? Insbesondere:
|type="{}"}
$p_A = Pr(XX)$ = { 0.49 3% }
$p_B = Pr(XY)$ = { 0.14 3% }
$p_C = Pr(XZ)$ = { 0.07 3% }

{Wie groß ist die mittlere Codewortlänge, wenn man erst Zweiertupel bildet und darauf den Huffman–Algorithmus anwendet.
|type="{}"}
$k = 2:\ L_M$ = { 1.165 3% } bit/Quellensymbol

{Welche der folgenden Aussagen sind zutreffend, wenn man mehr als zwei Ternärzeichen zusammenfasst (k >2)?
|type="[]"}
+ LM fällt monoton mit steigendem k ab.
- LM ändert sich nicht, wenn man k erhöht.
- Für k = 3 erhält man LM = 1.05 bit/Quellensymbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die mittlere Codewortlänge ergibt sich mit pX = 0.7, LX = 1, pY = 0.2, LY = 2, pZ = 0.1, LZ = 2 zu
:$$L_{\rm M} = p_{\rm X} \cdot 1 + (p_{\rm Y} + p_{\rm Z}) \cdot 2 \hspace{0.15cm}\underline{= 1.3\,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}. $$
Dieser Wert liegt noch deutlich über der Quellenentropie H = 1.157 bit/Quellensymbol.

2.  Es gibt M ′ = M 2 = 32 = 9 Zweiertupel mit folgenden Wahrscheinlichkeiten:

: pA = Pr(XX) = 0.49,   pB = Pr(XY) = 0.14,    pC = Pr(XZ) = 0.07,

: pD = Pr(YX) = 0.14,    pE = Pr(YY) = 0.04,    pF = Pr(YZ) = 0.02,

: pG = Pr(YX) = 0.07,    pH = Pr(YY) = 0.02,    pI = Pr(YZ) = 0.01.

3.  Die Grafik zeigt den Huffman–Baum für die Anwendung mit k = 2.
[[File:P_ID2459__Inf_Z_2_7c.png|center|]]
Damit erhält man

:* für die einzelnen Zweiertupels folgende Binärcodierungen: 
: XX = A → 0,   XY = B → 111,   XZ = C → 1011,    YX = D → 110,   YY = E → 1000, 
: YZ = F → 10010,    ZX = G → 1010,   ZY = H → 100111,   ZZ = I → 100110 .

:* für die mittlere Codewortlänge:
:$$L_{\rm M}' \hspace{0.2cm} = \hspace{0.2cm} 0.49 \cdot 1 + (0.14 + 0.14) \cdot 3 + (0.07 + 0.04 + 0.07) \cdot 4 + \\
\hspace{0.2cm} + \hspace{0.2cm}0.02 \cdot 5 + (0.02 + 0.01) \cdot 6 = 2.33\,\,{\rm bit/Zweiertupel}$$
:$$\Rightarrow\hspace{0.3cm}L_{\rm M} = {L_{\rm M}'}/{2}\hspace{0.15cm}\underline{ = 1.165\,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$

4.  Richtig ist Aussage 1, auch wenn LM mit wachsendem k nur sehr langsam abfällt.

:* Die letzte Aussage ist falsch, da LM auch für k → ∞ nicht kleiner sein kann als H = 1.157 bit/Quellensymbol.

:* Aber auch die zweite Aussage ist falsch: Da mit k = 2 weiterhin LM > H gilt, führt k = 3 zu einer Verbesserung.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.7: Huffman Application for Binary Two-Tuples

2016-12-01T10:29:36Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2455__Inf_A_2_7.png|right|]]
Die Anwendung des Huffman–Algorithmus in seiner ursprünglichen Form setzt einen Symbolumfang M > 2 voraus und ist deshalb zur Datenkomprimierung von Binärquellen unbrauchbar.

Fasst man aber mehrere aufeinanderfolgende Binärzeichen der Nachrichtenquelle zu einem neuen Symbol zusammen, so kann man auf die neue Symbolmenge die Huffman–Datenkomprimierung sinnvoll anwenden.

Wir gehen in dieser Aufgabe von der Symbolmenge {X, Y}  ⇒  M = 2 aus und bilden gemäß der obigen Tabelle Zweiertupel mit dem Symbolvorrat {A, B, C, D}  ⇒  M ′ = M 2 = 4. Aus der binären Quellensymbolfolge XYXXYXXXYY wird somit die quaternäre Folge BACAD.

Desweiteren sind in obiger Tabelle drei Codes angegeben, von denen manche durch den Huffman–Algorithmus entstanden sind. Die binären Ausgangsfolgen ergeben sich dann für unser Beispiel wie folgt:

:* Code 1:   1011011100,

:* Code 2:   0110011000,

:* Code 3:   10011001110.

Nochmals zum Verständnis: Aus der ursprünglichen Symbolmenge {X, Y} erhält man durch die Bildung von Zweiertupeln eine Quaternärmenge mit dem Symbolvorrat {A, B, C, D}. Die Folgenlänge N wird dadurch halbiert. Durch Huffman–Codierung ergibt sich wieder eine Binärfolge, deren Symbolmenge zur besseren Unterscheidung mit {0, 1} bezeichnet wird. Die Anwendung der Huffman–Codierung macht genau dann Sinn, wenn die Länge der Ausgangsfolge (im statistischen Mittel) kleiner ist als N.

Mit dieser Aufgabe soll geklärt werden, welche der vorgegebenen Binärcodes bei welchen Randbedingungen sinnvoll sind. Die binäre Nachrichtenquelle {X, Y} sei gedächtnislos und wird allein durch die Symbolwahrscheinlichkeiten pX beschrieben. Die zweite Wahrscheinlichkeit ist dann stets pY = 1 – pX.

Hinweis: Die Aufgabe bezieht sich auf die letzte Theorieseite von Kapitel 2.3. Die Idee zu dieser Aufgabe entstand bei einem Vortrag von Prof. Robert Fischer von der Universität Ulm zum Thema &bdquo;Der goldene Schnitt in der Nachrichtentechnik”.

Für die mittlere Codewortlänge pro Zweiertupel gilt:
:$$L_{\rm M}' = p_{\rm A} \cdot L_{\rm A} + p_{\rm B} \cdot L_{\rm B} + p_{\rm C} \cdot L_{\rm C} + p_{\rm D} \cdot L_{\rm D} \hspace{0.05cm}.$$

Bezogen auf ein Quellensymbol ergibt sich LM = L′M/2.

===Fragebogen===

<quiz display=simple>
{Geben Sie die Codewortlängen bei redundanzfreier Binärquelle an.
|type="{}"}
Code 1: $L_M$ = { 1 3% } bit/Quellensymbol
Code 2: $L_M$ = { 1.125 3% } bit/Quellensymbol
Code 3: $L_M$ = { 1.25 3% } bit/Quellensymbol

{Ermitteln Sie den Huffman–Code hinsichtlich Zweiertupel für pX = 0.6.
|type="[]"}
+ Es ergibt sich Code 1.
- Es ergibt sich Code 2.
- Es ergibt sich Code 3.

{Wie groß ist die zugehörige mittlere Codewortlänge?
|type="{}"}
$p_X = 0.6:\ L_M$ = { 1 3% } bit/Quellensymbol

{Ermitteln Sie den Huffman–Code hinsichtlich Zweiertupel für pX = 0.8.
|type="[]"}
- Es ergibt sich Code 1.
+ Es ergibt sich Code 2.
- Es ergibt sich Code 3.

{Wie groß ist die zugehörige mittlere Codewortlänge?
|type="{}"}
$p_X = 0.8:\ L_M$ = { 0.78 3% } bit/Quellensymbol

{In welchem Bereich darf die Wahrscheinlichkeit pX für das Symbol X liegen, damit sich Code 1 als Huffman–Code ergibt?
|type="{}"}
$p_\text{X,max}$ = { 0.618 3% }
$p_\text{X,min}$ = { 0.382 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
1  Bei redundanzfreier Binärquelle (pX = pY = 1/2) erhält man pA = pB = pC = pD = 1/4 und mit der angegebenen Gleichung:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} \big [ \hspace{0.05cm}p_{\rm A} \cdot L_{\rm A} + p_{\rm B} \cdot L_{\rm B} + p_{\rm C} \cdot L_{\rm C} + p_{\rm D} \cdot L_{\rm D} \hspace{0.05cm} \big ] / 2 = \\
\hspace{0.2cm} = \hspace{0.2cm} \big [ \hspace{0.05cm} L_{\rm A} + L_{\rm B} + L_{\rm C} + L_{\rm D}\hspace{0.05cm} \big ] / 8
\hspace{0.05cm}.$$
Berücksichtigt man die angegebenen Zuordnungen, so erhält man für

:* Code 1:    LM = 1.000 bit/Quellensymbol,

:* Code 2:    LM = 1.125 bit/Quellensymbol,

:* Code 3:    LM = 1.250 bit/Quellensymbol.

Im Verlauf der Aufgabe wird sich zeigen, dass die beiden ersten Codes durchaus als Ergebnis des Huffman–Algorithmus möglich sind (natürlich nur bei geeigneten Symbolwahrscheinlichkeiten). Code 3 ist zwar ebenfalls präfixfrei, aber hinsichtlich der mittleren Codewortlänge nie optimal.

2.  Die Wahrscheinlichkeiten der möglichen Zweiertupel lauten:
:$$p_{\rm A} = 0.6^2 = 0.36 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm B}= 0.6 \cdot 0.4 = 0.24 = p_{\rm C} \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D}= 0.4^2 = 0.16 \hspace{0.05cm}.$$
Damit ergibt sich das linke Baumdiagramm (siehe Grafik) und der folgende Huffman–Code:

:A → 11,   B → 10,   C → 01,   D → 00.

Es handelt sich um den Code 1   ⇒   Lösungsvorschlag 1.
[[File:P_ID2456__Inf_A_2_7b.png|center|]]

3.  Jedes Zweiertupel wird durch zwei Bit dargestellt. Damit ist LM = 1 bit/Quellensymbol.

4.  Hier lauten die Wahrscheinlichkeiten der einzelnen Zweiertupel:
:$$p_{\rm A} = 0.8^2 = 0.64 \hspace{0.05cm}, \hspace{0.2cm}p_{\rm B}= 0.8 \cdot 0.2 = 0.16 = p_{\rm C} \hspace{0.05cm},\hspace{0.2cm}
p_{\rm D}= 0.2^2 = 0.04 \hspace{0.05cm}. $$
Entsprechend dem rechten Baumdiagramm ergibt sich nun Code 2   ⇒   Lösungsvorschlag 2:

:A → 1,   B → 01,   C → 011,   D → 010.

5.  Hier gilt für die mittlere Zweiertupellänge bzw. die mittlere Codewortlänge:
:$$L_{\rm M}' = 0.64 \cdot 1 + 0.16 \cdot 2 + (0.16 + 0.04) \cdot 3 = 1.56\,{\rm bit/Zweiertupel}$$
:$$\Rightarrow\hspace{0.3cm}L_{\rm M} = \frac{L_{\rm M}'}{2}\hspace{0.15cm}\underline{ = 0.78\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$

6.  Beispielsweise ist für pX = 0.8 entsprechend der Teilaufgabe (4) der Code 2 optimal und die mittlere Codewortlänge beträgt LM = 0.78 bit/Quellensymbol. Für pX = 0.6 ist dagegen Code 1 optimal und die mittlere Codewortlänge ist LM = 1 bit/Quellensymbol (dieses Ergebnis ist unabhängig von pX).

Der gesuchte Maximalwert pX, max wird zwischen 0.6 und 0.8 liegen. Die Bestimmungsgleichung ist dabei, dass für den Grenzfall pX = pX, max beide Codes genau die gleiche mittlere Codewortlänge LM = 1 bit/Quellensymbol besitzen, bzw. L′M = 2 bit/Zweiertupel.

Mit der Abkürzung p = pX, max lautet die Gleichung:
:$$L_{\rm M}'\hspace{0.15cm}{\rm (Code \hspace{0.15cm}2)} = p^2 \cdot 1 + p \cdot (1-p) \cdot 2 + p \cdot (1-p) \cdot 3
+ (1-p)^2 \cdot 3 \stackrel{!}{=} 2 \hspace{0.05cm}.$$
Dies führt zum zahlenmäßigen Ergebnis:
:$$p^2 + p - 1 \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
p_{\rm X,\hspace{0.05cm}max} = p = \frac{\sqrt{5}-1}{2} \hspace{0.15cm}\underline{ \approx 0.618}
\hspace{0.05cm}.$$
Da sich die grundsätzliche Huffman–Struktur durch Vertauschen von X und Y nicht ändert, gilt für die untere Grenze:
:$$p_{\rm X,\hspace{0.05cm}min} = 1 - p_{\rm X,\hspace{0.05cm}max}\hspace{0.15cm}\underline{ \approx 0.382}
\hspace{0.05cm}.$$
Die Darstellung der Zweiertupel durch unterschiedlich lange Bitfolgen (Code 2) macht also nur dann Sinn, wenn sich die Symbolwahrscheinlichkeiten von X und Y signifikant unterscheiden. Liegen diese dagegen zwischen 0.382 und 0.618, so ist Code 1 anzuwenden.

Die Aufteilung einer Strecke der Länge 1 in zwei Abschnitte der Länge 0.618... und 0.382... bezeichnet man als Goldenen Schnitt, auf den man in den verschiedensten Fachgebieten immer wieder stößt.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.6Z: Again on the Huffman Code

2016-12-01T10:29:29Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2453__Inf_Z_2_6.png|right|]]
Der Algorithmus von David A. Huffman realisiert eine Entropiecodierung mit folgenden Eigenschaften:

:* Der entstehende Binärcode ist präfixfrei und somit in einfacher Weise (und sofort) decodierbar.

:* Der Code führt bei einer gedächtnislosen Quelle zur kleinstmöglichen mittleren Codewortlänge LM.

:* LM ist aber nie kleiner als die Quellenentropie H. Diese beiden Größen sind allein aus den M Symbolwahrscheinlichkeiten berechenbar.

Vorausgesetzt wird für diese Aufgabe eine gedächtnislose Quelle mit dem Symbolumfang M = 5 und dem Alphabet {A, B, C, D, E}. In obiger Grafik sind drei Codes vorgegeben. Sie sollen entscheiden, welche dieser Codes durch Anwendung des Huffman–Algorithmus entstanden sind (oder sein könnten).

Hinweis: Die Aufgabe gehört zum Kapitel 2.3. Weitere Informationen zum Huffman–Algorithmus finden Sie auch im Angabenblatt zur Aufgabe A2.6. Zur Kontrolle Ihrer Ergebnisse verweisen wir auf das Interaktionsmodul Shannon–Fano– und Huffman–Codierung.

===Fragebogen===

<quiz display=simple>
{Welche Codes liefert Huffman für pA = pB = pC = 0.3, pD = pE = 0.05?
|type="[]"}
+ Code 1,
- Code 2,
- Code 3.

{Wie stehen mittlere Codewortlänge LM und Entropie H in Relation?
|type="[]"}
- LM < H,
- LM = H,
+ LM > H.

{Mit welchen Symbolwahrscheinlichkeiten würde hier LM = H gelten?
|type="{}"}
$p_A$ = { 0.25 3% }
$p_B$ = { 0.25 3% }
$p_C$ = { 0.25 3% }
$p_D$ = { 0.125 3% }
$p_E$ = { 0.125 3% }

{Die Angaben zu (3) gelten weiter. Die mittlere Codewortlänge wird aber nun für eine Folge der Länge N = 40 ermittelt  ⇒  LM′. Was ist möglich?
|type="[]"}
+ LM′ < LM,
+ LM′ = LM,
+ LM′ > LM.

{Welcher Code könnte überhaupt ein Huffman–Code sein?
|type="[]"}
+ Code 1,
- Code 2,
- Code 3.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die Grafik zeigt die Konstruktion des Huffman–Codes mittels Baumdiagramm. Mit der Zuordnung rot → 1 und blau → 0 kommt man zu folgendem Code A → 11, B → 10, C → 01, D → 001, E → 000. Richtig ist der Lösungsvorschlag 1.
[[File:P_ID2454__Inf_Z_2_6a.png|center|]]
Die linke Grafik gilt für die Wahrscheinlichkeiten gemäß Teilaufgabe (a). Das rechte Diagramm gehört zur Teilaufgabe (3) mit etwas anderen Wahrscheinlichkeiten. Es liefert den genau gleichen Code.

b)  Nach dem Quellencodierungstheorem gilt stets LM ≥ H. Voraussetzung für LM = H ist allerdings, dass alle Symbolwahrscheinlichkeiten in der Form 2–k (k = 1, 2, 3, ...) dargestellt werden können. Richtig ist demnach Lösungsvorschlag 3, wie auch die folgende Rechnung (mit &bdquo;log2”  ⇒  &bdquo;ld”) zeigt:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} (0.3 + 0.3 + 0.3) \cdot 2 + (0.05 + 0.05) \cdot 3 = 2.1\,{\rm bit/Quellensymbol}\hspace{0.05cm},\\
H \hspace{0.2cm} = \hspace{0.2cm} 3 \cdot 0.3 \cdot {\rm ld}\hspace{0.15cm}(1/0.3) + 2 \cdot 0.05 \cdot {\rm ld}\hspace{0.15cm}(1/0.05)
\approx 2.0\,{\rm bit/Quellensymbol}\hspace{0.05cm}.$$

3.  A, B, C werden beim Code 1 durch 2 Bit dargestellt, E, F durch 3 Bit. Damit erhält man für

:* die mittlere Codewortlänge
:$$L_{\rm M} = p_{\rm A}\cdot 2 + p_{\rm B}\cdot 2 + p_{\rm C}\cdot 2 + p_{\rm D}\cdot 3 + p_{\rm E}\cdot 3
\hspace{0.05cm},$$
:* für die Quellenentropie:
:$$H = p_{\rm A}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm A}} + p_{\rm B}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm B}} + p_{\rm C}\cdot
{\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm C}} + p_{\rm D}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm D}} + p_{\rm E}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm E}}
\hspace{0.05cm}.$$
Durch Vergleich aller Terme kommt man zum Ergebnis:
:$$p_{\rm A}= p_{\rm B}= p_{\rm C}\hspace{0.15cm}\underline{= 0.25} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm D}= p_{\rm E}\hspace{0.15cm}\underline{= 0.125}$$
:$$\Rightarrow\hspace{0.3cm} L_{\rm M} = H = 2.25\,{\rm bit/Quellensymbol} \hspace{0.05cm}.$$
Man erkennt: Mit diesen &bdquo;günstigeren” Wahrscheinlichkeiten ergibt sich sogar eine größere mittlere Codewortlänge. Die Gleichheit (LM = H) ist allein auf die nun größere Quellenentropie zurückzuführen.

4.  Beispielsweise liefert eine (von vielen) Simulationen mit den Wahrscheinlichkeiten gemäß der Teilaufgabe (c) die Folge EBDCCBDABEBABCCCCCBCAABECAACCBAABBBCDCAB (mit N = 40 Zeichen). Damit ergibt sich:
:$$L_{\rm M}' = ( 34 \cdot 2 + 6 \cdot 3)/50 = 2.15\,{\rm bit/Quellensymbol} \hspace{0.05cm},$$
also ein kleinerer Wert als für die unendlich lange Folge (LM = 2.25 bit/Quellensymbol). Bei anderem Startwert des Zufallsgenerators ist aber auch L′M ≥ LM möglich. Alle Aussagen sind zutreffend.

5.  Richtig ist nur der Lösungsvorschlag 1.

:* Code 1 ist ein Huffman–Code, wie schon in den vorherigen Teilaufgaben gezeigt wurde. Dies gilt zwar nicht für alle Symbolwahrscheinlichkeiten, aber zumindest für die Parametersätze gemäß den Teilaufgaben (a) und (c).

:* Code 2 ist kein Huffman–Code, da ein solcher stets präfixfrei sein müsste. Die Präfixfreiheit ist hier aber nicht gegeben, da 0 der Beginn des Codewortes 01 ist.

:* Code 3 ist ebenfalls kein Huffman–Code, da er eine um pC (Wahrscheinlichkeit von C) größere mittlere Codewortlänge aufweist als erforderlich (Code 1). Er ist somit nicht optimal: Es gibt keine Symbolwahrscheinlichkeiten pA, ... , pE, die es rechtfertigen würden, das Symbol C mit 010 anstelle von 01 zu codieren.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.6: About the Huffman Coding

2016-12-01T10:29:22Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Entropiecodierung nach Huffman
}}

[[File:P_ID2451__Inf_A_2_6.png|right|]]
Wir betrachten hier eine Quellensymbolfolge 〈qν〉 mit dem Symbolumfang M = 8:
:$$q_{\nu} = \{ \hspace{0.05cm}q_{\mu} \} = \{ \boldsymbol{\rm A} \hspace{0.05cm}, \boldsymbol{\rm B}\hspace{0.05cm}, \boldsymbol{\rm C}\hspace{0.05cm}, \boldsymbol{\rm D}\hspace{0.05cm}, \boldsymbol{\rm E}\hspace{0.05cm}, \boldsymbol{\rm F}\hspace{0.05cm}, \boldsymbol{\rm G}\hspace{0.05cm}, \boldsymbol{\rm H}\hspace{0.05cm}
\}\hspace{0.05cm}.$$
Sind die Symbole gleichwahrscheinlich, also wenn gilt
:$$p_{\rm A} = p_{\rm B} = ... \hspace{0.05cm} = p_{\rm H} = 1/M \hspace{0.05cm},$$
so macht Quellencodierung keinen Sinn. Bereits mit dem Dualcode A → 000, B → 001, ... , H → 111, erreicht die mittlere Codewortlänge LM ihre untere Schranke H gemäß dem Quellencodierungstheorem:
:$$L_{\rm M,\hspace{0.08cm}min} = H = 3 \hspace{0.15cm}{\rm bit/Quellensymbol} \hspace{0.05cm}.$$
H bezeichnet hierbei die Quellenentropie.

Die Symbolwahrscheinlichkeiten seien aber in dieser Aufgabe wie folgt gegeben:
:$$p_{\rm A} \hspace{-0.05cm}= \hspace{-0.05cm} 0.04 \hspace{0.05cm},\hspace{0.1cm}p_{\rm B} \hspace{-0.05cm}= \hspace{-0.05cm} 0.08 \hspace{0.05cm},\hspace{0.1cm}p_{\rm C} \hspace{-0.05cm}= \hspace{-0.05cm} 0.14 \hspace{0.05cm},\hspace{0.1cm}
p_{\rm D} \hspace{-0.05cm}= \hspace{-0.05cm} 0.25 \hspace{0.05cm},$$
:$$p_{\rm E} \hspace{-0.05cm}= \hspace{-0.05cm} 0.24 \hspace{0.05cm},\hspace{0.1cm}p_{\rm F} \hspace{-0.05cm}= \hspace{-0.05cm} 0.12 \hspace{0.05cm},\hspace{0.1cm}p_{\rm G} \hspace{-0.05cm}= \hspace{-0.05cm} 0.10 \hspace{0.05cm},\hspace{0.1cm}
p_{\rm H} \hspace{-0.05cm}= \hspace{-0.05cm} 0.03 \hspace{0.05cm}.$$
Es liegt hier also eine redundante Nachrichtenquelle vor, die man durch Huffman–Codierung komprimieren kann. Der Algorithmus wurde 1952 – also kurz nach Shannons bahnbrechenden Arbeiten zur Informationstheorie – von David Albert Huffman veröffentlicht und erlaubt die Konstruktion von optimalen präfixfreien Codes.

Der Algorithmus soll hier ohne Herleitung und Beweis angegeben werden, wobei wir uns auf Binärcodes beschränken (die Codesymbolfolge besteht nur aus Nullen und Einsen):

:1. Man ordne die Symbole nach fallenden Auftrittswahrscheinlichkeiten.

:2. Man fasse die zwei unwahrscheinlichsten Symbole zu einem neuen Symbol zusammen.

:3. Man wiederhole Schritt 1 und 2, bis nur zwei (zusammengefasste) Symbole übrig bleiben.

:4. Die wahrscheinlichere Symbolmenge wird mit 1 binär codiert, die andere Menge mit 0.

:5. Man ergänze schrittweise (von unten nach oben) die aufgespaltenen Teilcodes mit 1 bzw. 0.

Oft wird dieser Algorithmus durch ein Baumdiagramm veranschaulicht. Die obige Grafik zeigt dieses für den vorliegenden Fall. Sie haben folgende Aufgaben:

:* (a): Zuordnung der Symbole A, ... , H zu den mit [1], ... , [8] bezeichneten Eingängen.

:* (b): Bestimmung der Summenwahrscheinlichkeiten U, ... , Z sowie R (Root).

:* (c) Zuordnung der Symbole A, ... , H zu den entsprechenden Huffman–Binärfolgen; eine rote Verbindung im Baumdiagramm entspricht einer 1 und eine blaue Verbindung einer 0.

Sie werden feststellen, dass die mittlere Codewortlänge
:$$L_{\rm M} = \sum_{\mu = 1}^{M}\hspace{0.05cm} p_{\mu} \cdot L_{\mu} $$
bei Huffman–Codierung nur unwesentlich größer ist als die Quellenentropie H. In dieser Gleichung gelten für den vorliegenden Fall folgende Werte:

:* M = 8   sowie   p1 = pA, ... , p8 = pH,

:* L1, ... , L8:   Jeweilige Bitanzahl der Codesymbole für A, ... , H.

:Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von Kapitel 2.3.

===Fragebogen===

<quiz display=simple>
{Welche Eingänge im Baumdiagramm stehen für
|type="{}"}
Symbol '''A''': Eingang = { 7 3% }
Symbol '''B''': Eingang = { 6 3% }
Symbol '''C''': Eingang = { 3 3% }
Symbol '''D''': Eingang = { 1 3% }

{Welche Zahlenwerte sollten bei den Knoten im Baumdiagramm stehen?
|type="{}"}
Knoten U = { 0.07 3% }
Knoten V = { 0.15 3% }
Knoten W = { 0.22 3% }
Knoten Z = { 0.54 3% }
Root R = { 1 3% }

{Welche Binärcodes (darzustellen mit Nullen und Einsen) ergeben sich für
|type="{}"}
Symbol '''A''': Binärcode = { 11101 3% }
Symbol '''B''': Binärcode = { 1111 3% }
Symbol '''C''': Binärcode = { 110 3% }
Symbol '''D''': Binärcode = { 10 3% }

{Wie groß ist die mittlere Codewortlänge?
|type="{}"}
$L_M$ = { 2.73 3% } $bit/Quellensymbol$

{Wie groß ist die Quellenentropie H? Hinweis: Es gibt genau eine Lösung.
|type="[]"}
+ H = 2.71 bit/Quellensymbol.
- H = 2.75 bit/Quellensymbol.
- H = 3.00 bit/Quellensymbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Vor dem Huffman–Algorithmus müssen die Symbole nach ihren Auftrittswahrscheinlichkeiten sortiert werden. Da die zwei unwahrscheinlichsten Symbole schon im Schritt 1 zusammengefasst werden, nehmen die Auftrittswahrscheinlichkeiten von oben nach unten ab (in der unteren Grafik zu dieser Musterlösung von links nach rechts). Durch Vergleich mit dem Angabenblatt erhält man:

:Symbol A: Eingang 7, Symbol B: Eingang 6,
:Symbol C: Eingang 3, Symbol D: Eingang 1.

2.  Der Knoten R ist die Baumwurzel (Root). Unabhängig von den Auftrittswahrscheinlichkeiten ist dieser stets mit R = 1 belegt. Für die weiteren Werte gilt:

:Schritt 1:    U = pA + pH = 0.04 + 0.03 = 0.07,

:Schritt 2:    V = U + pB = 0.07 + 0.08 = 0.15,

:Schritt 3:    W = pF + pG = 0.12 + 0.10 = 0.22,

:Schritt 4:    X = V + pC = 0.15 + 0.14 = 0.29,

:Schritt 5:    Y = W + pE = 0.22 + 0.24 = 0.46,

:Schritt 6:    Z = X + pD = 0.29 + 0.25 = 0.54.

Damit lässt sich das Baumdiagramm auch wie folgt angeben.
[[File:P_ID2452__Inf_A_2_6a.png|center|]]

3.  Den Huffman–Code für das Symbol A erhält man, wenn man den Weg von der Root (gelber Punkt) zum Symbol A zurückverfolgt und jeder roten Verbindungslinie eine &bdquo;1” zuordnet, jeder blauen eine &bdquo;0”.

:* Symbol A:    rot–rot–rot–blau–rot → 11101,

:* Symbol B:    rot–rot–rot–rot → 1111,

:* Symbol C:    rot–rot–blau → 110,

:* Symbol D:    rot–blau– → 10,

:* Symbol E:    blau–rot → 01,

:* Symbol F:    blau–blau–rot → 001,

:* Symbol G:    blau–blau–blau → 000,

:* Symbol H:    rot–rot–rot–blau–blau → 11100.

4.  Die Codierung unter Punkt 3) hat ergeben, dass

:* die Symbole D und E mit 2 Bit,

:* die Symbole C, F und G mit 3 Bit,

:* das Symbol B mit 4 Bit, und

:* die Symbole A und H mit 5 Bit

dargestellt werden. Damit erhält man:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} (p_{\rm D} + p_{\rm E}) \cdot 2 + (p_{\rm C} + p_{\rm F} + p_{\rm G}) \cdot 3 + p_{\rm B} \cdot 4 +(p_{\rm A} + p_{\rm H}) \cdot 5 = \\
\hspace{0.2cm} = \hspace{0.2cm} 0.49 \cdot 2 + 0.36 \cdot 3 +0.08 \cdot 4 +0.07 \cdot 5
\hspace{0.15cm}\underline{= 2.73\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$

5.  Die mittlere Codewortlänge LM kann nicht kleiner sein als die Quellenentropie H. Damit scheiden die Antworten 2 und 3 aus. Richtig ist allein Antwort 1.

Man erkennt, dass die vorliegende Huffman–Codierung die durch das Quellencodierungstheorem vorgegebene Grenze LM, min = H = 2.71 bit/Quellensymbol nahezu erreicht.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.5Z: Compression Factor vs. Residual Redundancy

2016-12-01T10:29:15Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2449__Inf_Z_2_5_neu.png|right|]]
:Wir betrachten wie in Aufgabe A2.5 die Datenkomprimierung mit dem 1983 veröffentlichten Lempel–Ziv–Welch–Algorithmus. Dabei gilt:

:* Die Eingangsfolge habe die Länge N.

:* Die Länge der LZW–Coderausgabe ist L.

:Die Grafik zeigt für zwei verschiedene binäre Nachrichtenquellen BQ1 und BQ2 den Zusammenhang zwischen den Folgenlängen N und L, dargestellt durch den Funktionsverlauf L(N). BQ1 und BQ2 besitzen die gleichen statistischen Eigenschaften wie in Aufgabe A2.5:

:* BQ1 ist aufgrund von ungleichen Symbolwahrscheinlichkeiten (pA = 0.89, pB = 0.11) redundant. Es bestehen keine Bindungen zwischen den einzelnen Symbolen. Die Entropie ist H = 0.5 bit/Quellensymbol.

:* BQ2 ist redundanzfrei und weist die Entropie H = 1 bit/Quellensymbol auf.

:Weiter benötigen Sie für die Lösung dieser Aufagbe noch zwei Definitionen:

:* Der Komprimierungsfaktor ist definitionsgemäß K(N) = L(N)/N.

:* Die relevante Redundanz der LZW–Coderfolge (im Folgenden Restredundanz genannt) ist
:$$r(N) = \frac{L(N) - N \cdot H}{L(N)}= 1 - \frac{ N \cdot H}{L(N)}\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Welche Komprimierungfaktoren K ergeben sich jeweils mit N = 10000?
|type="{}"}
$N = 10000, BQ1:\ K$ = { 0.68 3% }
$BQ2:\ K$ = { 1.233 3% }

{Wie groß ist die zugehörige Restredundanz (in Prozent)?
|type="{}"}
$N = 10000, BQ1:\ r$ = { 26.5 3% } %
$BQ2:\ r$ = { 19 3% } %

{Welche Aussagen liefert der Vergleich von N = 10000 und N = 50000?
|type="[]"}
+ Bei beiden Quellen ist K(N = 50000) kleiner als K(N = 10000).
+ Bei beiden Quellen ist r(N = 50000) kleiner als r(N = 10000).
- Nur bei BQ1 ergeben sich mit N = 50000 günstigere Werte.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Der Komprimierungsfaktor ist definiert als der Quotient der Längen von LZW–Ausgangsfolge (L) und Eingangsfolge (N = 10000):
:$${\rm BQ1:}\hspace{0.3cm} K \hspace{0.2cm} = \hspace{0.2cm} \frac{6800}{10000}\hspace{0.15cm}\underline{= 0.680}\hspace{0.05cm},\\ \\
{\rm BQ2:}\hspace{0.3cm} K \hspace{0.2cm} = \hspace{0.2cm} \frac{12330}{10000}\hspace{0.15cm}\underline{= 1.233}\hspace{0.05cm}. $$
:Die Lempel–Ziv–Codierung macht natürlich nur bei der redundanten Binärquelle BQ1 Sinn. Hier kann die Datenmenge um 32% gesenkt werden. Bei der redundanzfreien Binärquelle BQ2 führt dagegen die LZ–Codierung zu einer um 23.3% größeren Datenmenge.

:2.  Aus der angegebenen Gleichung erhält man mit N = 10000:
:$${\rm BQ1:}\hspace{0.3cm} H = 0.5\hspace{0.05cm},\hspace{0.2cm} r(N=10000) \hspace{0.2cm} = \hspace{0.2cm}1 - \frac{0.5 \cdot N}{L } = 1 - \frac{5000}{6800 } \hspace{0.15cm}\underline{\approx 26.5\,\%}\hspace{0.05cm},\\ \\
{\rm BQ2:}\hspace{0.3cm} H = 1.0\hspace{0.05cm},\hspace{0.2cm} r(N=10000) \hspace{0.2cm} = \hspace{0.2cm}1 - \frac{N}{L } = 1 - \frac{10000}{12330 } \hspace{0.15cm}\underline{\approx 19\,\%}\hspace{0.05cm}.$$
:Die Restredundanz gibt die (relative) Redundanz der LZ–Ausgangsfolge an. Obwohl die Quelle BQ1 für die LZ–Codierung besser geeignet ist als die redundanzfreie Quelle BQ2, ergibt sich bei BQ1 wegen der Redundanz in der Eingangsfolge eine größere Restredundanz.

:Eine kleinere Restredundanz r(N) bei gegebenem N sagt also nichts darüber aus, ob der Einsatz von Lempel–Ziv für die vorliegende Quelle sinnvoll ist. Hierzu muss der Komprimierungsfaktor K betrachtet werden. Allgemein gilt folgender Zusammenhang zwischen r(N) und K(N):
:$$r(N) = 1 - \frac{H}{K(N)}\hspace{0.05cm},\hspace{0.2cm} K(N) = H \cdot (1- r(N))
\hspace{0.05cm}.$$

:3.  Aus der Tabelle auf der Angabenseite kann man ablesen (bzw. daraus ableiten)

:für die redundante Binärquelle BQ1:
:$$L(N = 50000) = 32100\hspace{0.05cm},\hspace{0.2cm} K(N = 50000) = 0.642\hspace{0.05cm},\hspace{0.2cm}r(N = 50000) \hspace{0.15cm}\underline {= 22.2\,\% \hspace{0.05cm}},$$
:für die redundanzfreie Binärquelle BQ2:
:$$L(N = 50000) = 59595\hspace{0.05cm},\hspace{0.2cm} K(N = 50000) = 1.192\hspace{0.05cm},\hspace{0.2cm}r(N = 50000) \hspace{0.15cm}\underline {= 16.1\,\% \hspace{0.05cm}}.$$
:Richtig sind somit die Aussagen 1 und 2. Für beide Quellen ist K(N = 50000) < K(N = 10000) und r(N = 50000) < r(N = 10000). In beiden Fällen ergeben sich also bei größerem N &bdquo;günstigere” Werte, auch dann, wenn eigentlich wie bei der redundanzfreien Binärquelle BQ2 die Anwendung von Lempel–Ziv zu einer Verschlechterung führt.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.5: Residual Redundancy with LZW Coding

2016-12-01T10:29:09Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2446__Inf_A_2_5_neu.png|right|]]
:Wir gehen hier von einer binären Eingangsfolge der Länge N aus und betrachten drei verschiedene binäre Nachrichtenquellen BQ1, BQ2 und BQ3:

:* BQ1: mit den Symbolwahrscheinlichkeiten pA = 0.89, pB = 0.11, also unterschiedlich ⇒  Entropie H = 0.5 bit/Quellensymbol ⇒  Quelle ist redundand.

:* BQ2: pA = pB = 0.5 (gleichwahrscheinlich) ⇒  Entropie H = 1 bit/Quellensymbol ⇒  Quelle ist redundanzfrei.

:* BQ3: Hier gibt es keine konkreten Angaben zur Statistik. In der Teilaufgabe (f) sollen Sie die Entropie H dieser Quelle abschätzen.

:Für diese drei Quellen wurden per Simulation die jeweilige Restredundanz r(N) ermittelt, die nach der Lempel–Ziv–Welch–Codierung in der Binärfolge verbleibt. Die Ergebnisse sind in der jeweils ersten Spalte obiger Tabelle für die Quellen

:* BQ1 (gelbe Hinterlegung),

:* BQ2 (grüne Hinterlegung),

:* BQ3 (blaue Hinterlegung)

:eingetragen, wobei wir uns bei der Simulation auf Folgenlängen N ≤ 50000 beschränkt haben.

:Die relative Redundanz der Ausgangsfolge – vereinfachend Restredundanz genannt – kann aus

:* der Länge N der Eingangsfolge,

:* der Länge L(N) der Ausgangsfolge und

:* der Quellenentropie H

:in folgender Weise berechnet werden:
:$$r(N) = \frac{L(N) - N \cdot H}{L(N)}= 1 - \frac{ N \cdot H}{L(N)}\hspace{0.05cm}.$$
:Hierbei ist berücksichtigt, dass bei perfekter Quellencodierung die Länge der Ausgangsfolge bis auf den Wert Lmin = N · H herabgesenkt werden könnte. Bei nichtperfekter Quellencodierung gibt L(N) – N · H die verbleibende Redundanz (mit der Pseudo–Einheit &bdquo;bit”) an. Nach Division durch L(N) erhält man die relative Redundanz r(N) mit dem Wertebereich zwischen 0 und 1; r(N) sollte möglichst klein sein.

:Eine zweite Kenngröße zur Effizienzmessung der LZW–Codierung ist der Komprimierungsfaktor
:$$K(N) = {L(N) }/{N} \hspace{0.05cm},$$
:der ebenfalls klein sein sollte. Hinweis: K(N) und r(N) hängen deterministisch zusammen.

:Im Theorieteil wurde gezeigt, dass die Restredundanz r(N) durch die Funktion
:$$r'(N) ={A}/{{\rm lg}\hspace{0.1cm}(N)}
\hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = 4 \cdot {r(N = 10000)}
\hspace{0.05cm}.$$
:oft gut angenähert wird. Die Näherung r′(N) ist für BQ1 in der zweiten Spalte obiger Tabelle angegeben. In den Teilaufgaben (d) und (e) sollen Sie die Approximation für die Quellen BQ2 und BQ3 vornehmen.

:Hinweis: Die Aufgabe bezieht sich auf Seite 7 und Seite 8 von Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Mit welchem Parameter A wurde die Näherung r'(N) der Restredundanz für die Binärquelle BQ1 erstellt?
|type="{}"}
$BQ1:\ A$ = { 1.06 3% }

{Wie groß muss N = Nb mindestens sein, damit die Restredundanz die Bedingung r(N) ≤ 5% erfüllt? Hinweis: Ersetzen Sie r(N) durch r' (N).
|type="{}"}
$BQ1:\ N_b$ = { 1.58 3% } $\cdot 10^{21}$

{Wie groß muss N = Nc mindestens sein, damit der Komprimierungsfaktor  ⇒   K(N) = L(N)/N nicht größer ist als 0.6?
|type="{}"}
$BQ1:\ N_c$ = { 2.29 3% } $\cdot 10^{6}$

{Bestimmen Sie nun die Redundanznäherung r'(N) für die redundanzfreie Binärquelle BQ2, insbesondere:
|type="{}"}
$BQ2:\ r'(N = 50000)$ = { 0.162 3% }
$r'(N = 10^6)$ = { 0.127 3% }
$r'(N = 10^12)$ = { 0.063 3% }

{Welche Werte liefert die Redundanznäherung r′(N) für die nicht näher spezifizierte Binärquelle BQ3? Insbesondere:
|type="{}"}
$BQ2:\ r'(N = 50000)$ = { 0.289 3% }
$r'(N = 10^6)$ = { 0.227 3% }
$r'(N = 10^12)$ = { 0.113 3% }

{Welche Quellenentropie H könnte BQ3 nach diesem Ergebnis besitzen? Hinweis: Es ist genau eine Antwort richtig.
|type="[]"}
- H = 1.00 bit/Quellensymbol,
- H = 0.75 bit/Quellensymbol,
- H = 0.50 bit/Quellensymbol,
+ H = 0.25 bit/Quellensymbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die Näherung r' (N) stimmt definitionsgemäß für die Eingangsfolgenlänge N = 10000 mit der per Simulation ermittelten Restredundanz r(N) = 0.265 exakt überein. Damit ist
:$$A = 4 \cdot r(N = 10000) =4 \cdot {0.265} \hspace{0.15cm}\underline{= 1.06}
\hspace{0.05cm}. $$

:2.  Aus der Beziehung A/lg (N) ≤ 0.05    ⇒    A/lg (Nb) = 0.05 folgt:
:$${{\rm lg}\hspace{0.1cm}N_{\rm b}} = \frac{A}{0.05} = 21.2 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
N_{\rm b} = 10^{21.2} \hspace{0.15cm}\underline{= 1.58 \cdot 10^{21}}
\hspace{0.05cm}.$$

:3.  Allgemein gilt:
:$$r(N) = 1 - \frac{H}{K(N)}
\hspace{0.05cm}. $$
:BQ1 hat die Entropie H = 0.5 bit/Symbol. Daraus folgt wegen r(N) ≈ r' (N) für K(Nc) = 0.6:
:$$r(N_{\rm c}) = 1 - \frac{0.5}{0.6} = 0.167 \hspace{0.1cm}\Rightarrow\hspace{0.1cm}
{\rm lg}\hspace{0.1cm}N_{\rm c} = \frac{A}{0.167} = 6.36
\hspace{0.1cm}\Rightarrow\hspace{0.1cm}
N_{\rm c} = 10^{6.36} \hspace{0.15cm}\underline{= 2.29 \cdot 10^{6}}
\hspace{0.05cm}.$$
[[File:P_ID2447__Inf_A_2_5d.png|right|]]

:4.  Für N = 10000 gilt r′(N) = r(N) = 0.190:
:$$\frac{A}{{\rm lg}\hspace{0.1cm}10000} = 0.19 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
A = 0.19 \cdot 4 = 0.76 \hspace{0.05cm}. $$
:Die Ergebnisse sind in nebenstehender Tabelle zusammengefasst. Man erkennt die sehr gute Übereinstimmung zwischen r(N) und r′(N). Die gesuchten Zahlenwerte sind in der Tabelle rot markiert.

:Für den Komprimierungsfaktor gilt (der Apostroph weist darauf hin, dass von der Näherung r′(N) ausgegangen wurde):
:$$K'(N) = \frac{1}{1 - r'(N)}\hspace{0.05cm}.$$
:Damit gilt für die Länge des LZW–Ausgabestrings:
:$$L'(N) = K'(N) \cdot N \hspace{0.05cm}.$$

: 
:5.  Nach ähnlicher Vorgehensweise wie in der Teilaufgabe d) erhält man für die Binärquelle BQ3 den Anpassungsparameter A = 1.36 und daraus die Ergebnisse gemäß der blau hinterlegten Tabelle.

:Hinweis: Die letzte Spalte dieser Tabelle ist nur bei Kenntnis der Teilaufgabe (f) verständlich. Dort wird gezeigt, dass die Quelle BQ3 die Entropie H = 0.25 bit/Quellensymbol besitzt.

:In diesem Fall gilt für den Komprimierungsfaktor:
:$$K'(N) = \frac{H}{1 - r'(N)} = \frac{0.25}{1 - r'(N)} \hspace{0.05cm}.$$
[[File:P_ID2448__Inf_A_2_5e.png|right|]]
:Für N = 1012 weicht also der Komprimierungsfaktor (0.282) noch deutlich von der Entropie (0.25) ab, die für N → ∞ erreicht werden kann (Quellencodierungstheorem). 

:6.  Die einzelnen Näherungen r′(N) unterscheiden sich nur durch den Parameter A. Dabei haben wir festgestellt:

:* Quelle BQ2 (H = 1.00): A = 0.76,

:* Quelle BQ1 (H = 0.50): A = 1.06,

:* Quelle BQ3 (H unbekannt): A = 1.36.

:Je kleiner die Entropie H ist, um so größer ist offensichtlich der Anpassungsfaktor A. Da genau eine Lösung möglich ist, muss H = 0.25 bit/Quellensymbol richtig sein   ⇒   Antwort 4.

:Tatsächlich wurden bei der Simulation für die Quelle Q3 die Wahrscheinlichkeiten pA = 0.96, pB = 0.04 ⇒ H ≈ 0.25 verwendet. 
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.4Z: LZW Coding and Decoding again

2016-12-01T10:28:57Z

Markus: Markus verschob die Seite Aufgaben:2.04Z LZW-Codierung-/-Deodierung nach Aufgaben:2.04Z LZW-Codierung-/-Decodierung, ohne dabei eine Weiterleitung anzulegen

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2437__Inf_Z_2_4.png|right|]]
:Die obere Grafik zeigt eine Momentaufnahme des Wörterbuchs, das während der LZW–Codierung der Eingangssymbolfolge ABABABBAA entsteht. Das untere Wörterbuch entsteht bei der LZW–Codierung der Sequenz ABABABABA. In beiden Fällen wird vorausgesetzt, dass keine andere Zeichen als A und B vorkommen.

:Gleiche Wörterbücher entstehen bei der LZW–Decodierung, doch erfolgen dann die Wörterbucheinträge erst einen Schritt später. In der Teilaufgabe (3) wird gefragt, für welchen Codierschritt bzw. für welchen Decodierschritt die dargestellten Momentaufnahmen gültig sind.

:Bei der LZW–Codierung wird zu jedem Codierschritt i ein Index I ausgewählt und (binär) übertragen. Das Zeichenpaar AB wird bei den beiden Wörterbüchern durch den Index I = 2 dargestellt. Wir betrachten hier den Index I als Dezimalzahl und lassen bei dieser Aufgabe die Binärdarstellung außer Betracht.

:Bei der LZW–Decodierung wird in gleicher Weise mit Hilfe des Wörterbuchs aus jedem Index I ein Zeichen bzw. eine Zeichenfolge generiert, zum Beispiel führt I = 1 zum Zeichen B und I = 2 zum Zeichenpaar AB.

:Wird tatsächlich ein Wörterbucheintrag mit dem gewünschten Index I gefunden, so läuft die Decodierung problemlos ab. Dies ist aber nicht immer so:

:* Wird bei der Codierung beim Schritt i ein neuer Index I eingetragen und ist dieses I gleichzeitig das Codierergebnis des Schrittes, so ist dieser Index beim Decodierschritt i im Wörterbuch noch nicht belegt. Der Grund dafür ist, dass beim Decoder die Einträge um einen Schritt später erfolgen.

:* Bei binärer Eingangsfolge (alle Zeichen seien A oder B) ist bei der LZW–Decodierung genau immer dann eine Sonderregelung anzuwenden, wenn im Codierschritt i der Eintrag mit dem Index I = i vorgenommen wurde.

:Diese Sonderregelung soll an einem Beispiel veranschaulicht werden:

:* Zum Schritt i gibt es keinen zum Index I passenden Eintrag im Decoder–Wörterbuch.

:* Wir nehmen an, dass das Decodierergebnis beim vorherigen Schritt (i – 1) ABBABA war.

:* Dann ergänzt man diese Zeichenfolge um das erste Zeichen der Folge. Hier: ABBABAA.

:* Anschließend trägt man die Sequenz ABBABAA in das Wörterbuch unter dem Index I ein.

:Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.2. Beachten Sie bei der Lösung dieser Aufgabe, dass beim LZW–Algorithmus nicht von einem leeren Wörterbuch ausgegangen wird. Vielmehr beinhalten die Indizes I = 0 bis I = M–1 alle M zulässigen Zeichen.

===Fragebogen===

<quiz display=simple>
{Codieren Sie die Eingangsfolge ABABABBAA. Welche Indizes ergeben sich zu den Schritten i = 1, ... , 5?
|type="{}"}
ABABABBAA$,i = 1:\ I$ = { 0 3% }
$i = 2:\ I$ = { 1 3% }
$i = 3:\ I$ = { 2 3% }
$i = 4:\ I$ = { 2 3% }
$i = 5:\ I$ = { 3 3% }

{Codieren Sie nun die Eingangsfolge ABABABABA. Geben Sie die Indizes zu den Schritten i = 4 und i = 5 an.
|type="{}"}
ABABABBAA $i = 4:\ I$ = { 4 3% }
$i = 5:\ I$ = { 3 3% }

{Für welchen Schritt (i) gilt die Momentaufnahme des auf der Angabenseite dargestellten Wörterbuchs bezüglich
|type="{}"}
$Codierung:\ i$ = { 4 3% }
$Decodierung:\ i$ = { 5 3% }

{Wann muss man auf die Decodier–Sonderfallregelung zurückgreifen?
|type="[]"}
- Bei der Decodierung von ABABABBAA im Schritt i = 4.
+ Bei der Decodierung von ABABABABA im Schritt i = 4.
- Bei der Decodierung von ABABABABA im Schritt i = 5.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Wir bezeichnen mit W(I) ein Feld (Array), welches das Wörterbuch beschreibt und dessen Elemente Character oder Zeichenfolgen beinhalten. Die Codierung von ABABABBAA läuft wie folgt ab:

:* i = 1: A    →   I = 0, W(I = 2) = AB,

:* i = 2: B    →   I = 1, W(I = 3) = BA,

:* i = 3: AB →   I = 2, W(I = 4) = ABA,

:* i = 4: AB →   I = 2, W(I = 5) = ABB,

:* i = 5: BA →   I = 3, W(I = 6) = BAA.

:Es ist anzumerken, dass das letzte Zeichen (A) des Eingabestrings ABABABBAA zum Zeitpunkt i = 5 zwar bereits beim Wörterbucheintrag berücksichtigt ist, aber noch nicht codiert wurde.

:2.  Für die Schritte 1 bis 3 ändert sich nichts gegenüber der Teilaufgabe (1). Danach gilt:

:* i = 4: ABA →   I = 4, Wörterbuch (I = 5) = ABAB,

:* i = 5: BA    →   I = 3, Codierung abgeschlossen, kein neuer Wörterbucheintrag möglich.

:3.  Der Vergleich mit den obigen Ergebnissen zeigt, dass das Wörterbuch des Coders genau nach i = 4 Codierschritten die gezeigten Einträge aufweist. Beim Decoder ergibt sich demgegenüber eine Zeitverzögerung um einen Schritt: i = 5.

:4.  Die Sonderfallregelung der Decodierung ist (im vorliegenden Beispiel) dann notwendig, wenn im Codierschritt i der Index I = i ausgegeben wird. Bei der Decodierung findet er dann die erforderliche Zuordnung Index → Zeichenfolge nicht, da das generierte Wörterbuch zum Zeitpunkt i nur Einträge mit Indizes I < i enthält.

:Für die Folge ABABABBAA gilt entsprechend Teilaufgabe 1) stets I < i. Dagegen ergäbe sich bei der Folge ABABABABA folgende Indizes:
:$$i = 1\hspace{-0.15cm}: I = 0\hspace{0.05cm},
\hspace{0.2cm}i = 2\hspace{-0.15cm}: I = 1\hspace{0.05cm},
\hspace{0.2cm}i = 3\hspace{-0.15cm}: I = 2\hspace{0.05cm},
\hspace{0.2cm}\underline{i = 4\hspace{-0.15cm}: I = 4}\hspace{0.05cm},
\hspace{0.2cm}i = 5\hspace{-0.15cm}: I = 3\hspace{0.05cm}. $$
:Richtig ist dementsprechend der Lösungsvorschlag 2.

:Hier noch zusammenfassend die gesamte Decodierung von ABABABABA. Die Vorbelegung des Wörterbuchs beinhaltet I = 0: A und I = 1: B. Dann gilt mit dem Wörterbuch–Array W(I):

:* i = 1: Decodierung I = 0 → A,

:* i = 2: Decodierung I = 1 → B,    W(I = 2) = AB,

:* i = 3: Decodierung I = 2 → AB, W(I = 3) = BA,

:* i = 4: Ein Eintrag mit dem Index I = 4 ist nicht vorhanden ⇒ Sonderfallregelung. Man nimmt das letzte Decodierergebnis (hier AB) und fügt das erste Zeichen dieser Sequenz hinten an ⇒ ABA. Danach wird ABA im Wörterbuch unter dem Index I = 4 abgelegt.

:* i = 5: Decodierung I = 3 → BA. Ende der Decodereingangsfolge.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.4Z: LZW Coding and Decoding again

2016-12-01T10:28:39Z

Markus:

Aufgaben:Exercise 2.4: About the LZW Algorithm

2016-12-01T10:28:27Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2440__Inf_A_2_4.png|right|]]
:Der Komprimierungsalgorithmus LZW - benannt nach den Erfindern Abraham Lempel, Jacob Ziv und Terry Welch- arbeitet ebenso wie LZ78 mit einem globalen Wörterbuch. Dieses ist hier zu Beginn mit allen möglichen Zeichen – im Beispiel A, B, C und D – vorbelegt und wird während der Codierung sukzessive erweitert.

:Bei der Decodierung entsteht genau das gleiche Wörterbuch, nur erfolgt der gleiche Eintrag mit dem Index I einen Schritt später als während der Codierung. Zur Bezeichnung der Decodierschritte verwenden wir hier die Laufvariable i.

:Hier noch einige Hinweise zur LZW–Codierung und –Decodierung:

:<ul class="liste_ohne"><li>Bei der Codierung wird zu jedem Zeitpunkt i im Wörterbuch nach einer möglichst langen Zeichenkette gesucht, die mit dem aktuell anliegenden Eingabe–String übereinstimmt.

:<ul class="liste_ohne"><li>Der gefundene Wörterbuchindex Ii wird stets in Binärform übertragen. Gleichzeitig wird ins Wörterbuch unter dem nächsten freien Index W(Ii) + Z eingetragen.

:<ul class="liste_ohne"><li>Hierbei bezeichner W(Ii) ein Zeichen oder eine Zeichenfolge, und Z ist das erste Zeichen des anstehenden Eingabe–Strings (also ebenfalls ein Character), das in W(Ii) nicht mehr berücksichtigt ist.

:<ul class="liste_ohne"><li>Bei M = 4 möglichen Zeichen wird der erste Index I1 mit 2 Bit übertragen, die Indizes I2, ..., I5 mit 3 Bit, die nächsten 8 Indizes mit 4 Bit, danach 16 Indizes mit 5 Bit usw. Die Begründung für diese bitsparende Maßnahme finden Sie in der Musterlösung zur Aufgabe.

:Nach der Codierung in der hier beschriebenen Art und Weise über 16 Codierschritte ergibt sich die folgende Binärfolge der Länge NBit = 61:
:$$\boldsymbol{\rm 00 000 001 010 100 0001 1000 0111 0001 0001 0011 1011 1011 01101 00011 01001}\hspace{0.05cm}.$$
:Aufgabe des Decoders (genauer gesagt: Ihre Aufgabe) ist es nun,

:* aus dieser Binärsequenz die Indizes I1, ... , I16 zu rekonstruieren, wobei die unterschiedliche Bitanzahl zu berücksichtigen ist (Beschreibung der 16 Decodierergebnisse durch Dezimalzahlen),

:* anschließend aus dem Wörterbuch entsprechend den Indizes die zugehörigen Zeichen bzw. Zeichenfolgen auszulesen und schließlich – mit einem Schritt Verzögerung – den neuen Wörterbucheintrag zu generieren.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Welche Indizes stehen zu den ersten vier Schritten zur Decodierung an? Geben Sie alle I als Dezimalzahlen ein.
|type="{}"}
$i = 1:\ I_1$ = { 0 3% }
$i = 2:\ I_2$ = { 0 3% }
$i = 3:\ I_3$ = { 1 3% }
$i = 4:\ I_4$ = { 2 3% }

{Setzen Sie die Unterteilung des Decoder–Eingabestrings bis zum Ende fort. Welche Indizes ergeben sich bei den aufgeführten Decodierschritten?
|type="{}"}
$i = 5:\ I_5$ = { 4 3% }
$i = 6:\ I_6$ = { 1 3% }
$i = 7:\ I_7$ = { 8 3% }
$i = 8:\ I_8$ = { 7 3% }

{Wie lautet der Ausgabe–String nach i = 16 Decodierschritten?
|type="[]"}
- AABCAABAABCAABCABBDBBDCDBA,
+ AABCAABAABCABBDCABCABBDDBA,
- AABCAABAABCABDBBABCCDBAABDCDBA.

{Der nächste Index lautet: I17 = 10010 (binär) = 18 (dezimal). Welche der folgenden Aussagen treffen zu?
|type="[]"}
+ Die Decoderausgabe zum Schritt i = 17 lautet DB.
- Die Decoderausgabe zum Schritt i = 17 lautet BAD.
- Neuer Wörterbucheintrag DB in die Zeile I = 19.
+ Neuer Wörterbucheintrag BAD in die Zeile I = 19.

{Der Decoder–Eingabestring besteht aus NBit = 300 Binärzeichen (Bit). Welche der folgenden Aussagen sind dann sicher zutreffend?
|type="[]"}
+ Übertragen wurden 58 LZW–Phrasen mit variabler Bitlänge.
- Mit einheitlicher Indexbitlänge wären weniger Bit erforderlich.
- Übertragen wurde eine Datei mit N = 150 Quaternärzeichen.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Bei der LZW–Codierung des ersten Zeichens (i = 1) sind nur die vier Indizes I = 0, ... , I = 3 möglich, für die bereits zum Schritt i = 0 (Vorbelegung) ein Wörterbucheintrag vorgenommen wurde. Deshalb genügt es hier, den Index mit zwei Bit zu übertragen.

:Bereits zum Schritt i = 2 werden dagegen drei Bit benötigt. Hätte die Eingangsfolge mit AAA begonnen, so hätte die LZW–Codierung I2 = I(i = 2) den Dezimalwert 4 ergeben. Dieser ist nicht mehr mit zwei Bit darstellbar und muss mit drei Bit codiert werden, ebenso wie I3, I4 und I5.

:Der vorgegebene Eingabestring
:$$\boldsymbol{\rm 00 000 001 010 100 0001}\hspace{0.05cm}...$$
:ist deshalb vom Decoder wie folgt aufzuteilen:
:$$\boldsymbol{\rm 00 | 000 |001 |010 |100 |0001|}\hspace{0.05cm}...$$
:Die Decoderergebnisse der ersten vier Schritte lauten somit:

:* i = 1:   I = 00 (binär)      = 0 (dezimal)   ⇒   A,

:* i = 2:   I = 000 (binär)    = 0 (dezimal)   ⇒   A,

:* i = 3:   I = 001 (binär)    = 1 (dezimal)   ⇒   B,

:* i = 4:   I = 010 (binär)    = 2 (dezimal)   ⇒   C.

:2.  Berücksichtigt man, dass

:* für i = 1 zwei Bit verwendet werden,

:* für 2 ≤ i ≤ 5 drei Bit,

:* für 6 ≤ i ≤ 19 vier Bit,

:* für 14 ≤ i ≤ 29 fünf Bit,

:so kommt man vom &bdquo;kontinuierlichen Decoder–Eingangsstring”
:$$\boldsymbol{\rm 00 000 001 010 100 0001 1000 0111 0001 0001 0011 1011 1011 01101 00011 01001}$$
:zum &bdquo;eingeteilten Decoder–Eingabestring” (erste Zeile I1, ... , I8, in der zweiten Zeile I9, ... , I16):
:$$\boldsymbol{\rm 00 |000 |001 |010 |100 |0001 |1000 |0111 | }$$
:$$\boldsymbol{\rm 0001 |0001 |0011 |1011 |1011 |01101 |00011 |01001}
\hspace{0.1cm}.$$
:Damit lauten die gesuchten Ergebnisse für die Decodierschritte i = 5, ... , i = 8:

:* i = 5:   I = 100 (binär)      = 4 (dezimal)   ⇒   AA,

:* i = 6:   I = 0001 (binär)    = 1 (dezimal)   ⇒   B,

:* i = 7:   I = 1000 (binär)    = 8 (dezimal)   ⇒   AAB,

:* i = 8:   I = 0111 (binär)    = 7 (dezimal)   ⇒   CA.

:3.  Richtig ist Aussage 2. Man erhält folgende Decodierergebnisse (in verkürzter Form):

:I9 = 1   ⇒ &nbsp B,              I10 = 1   ⇒  B,          I11 = 3   ⇒   D,     I12 = 11   ⇒   CAB,

:I13 = 11   ⇒ &nbsp CAB,     I14 = 13   ⇒   BD,     I15 = 3   ⇒   D,     I16 = 9   ⇒   BA.

:4.  Richtig sind die Aussagen 1 und 4, weil:

:* Der neu ankommende Index ist 18 (dezimal) und im Wörterbuch wird unter dem Index I = 18 der Eintrag DB gefunden.

:* Zum Decodierschritt i = 17 wird in das Wörterbuch die Zeile I = 19 eingetragen. Der Eintrag BAD setzt sich zusammen aus dem Decodierergebnis aus Schritt i = 16 (BA) und dem ersten Zeichen (D) des neuen Ergebnisses DB.

:5.  Richtig ist hier nur die Aussage 1:

:* Für die erste Phrase genügen zwei Bit.

:* Für die Phrasen I2, ... , I5 benötigt man drei Bit.

:* Für die Phrasen I6, ... , I13 benötigt man vier Bit.

:* Für die Phrasen I14, ... , I29 benötigt man fünf Bit.

:* Für die Phrasen I30, ... , I58 benötigt man sechs Bit.

:Damit erhält man für die gesamte Bitanzahl:
:$$N_{\rm Bit} = 1 \cdot 2 + 4 \cdot 3 + 8 \cdot 4 + 16 \cdot 5 + 29 \cdot 6 = 300 \hspace{0.05cm}.$$
:Mit einheitlicher Bitlänge (6 Bit für jeden Index) wären 58 · 6 = 348 Bit (also mehr) erforderlich ⇒ Aussage 2 ist prinzipiell falsch. Nun zur Aussage 3:

:* Bei der uncodierten Übertragung von N = 150 Zeichen aus der Symbolmenge {A, B, C, D} würde man genau 300 Bit benötigen. Mit LZW benötigt man sicher mehr Bit, wenn die Quelle redundanzfrei ist (Zeichen gleichwahrscheinlich und statistisch unabhängig).

:* Bei redundanter Quelle mit (beispielsweise) H = 1.6 Bit/Quellensymbol kann man die Bitanzahl auf NBit = N · H begrenzen, vorausgesetzt, es handelt sich um eine sehr große Datei (N → ∞).

:* Bei einer eher kleinen Datei – wie hier lediglich mit N = 150 Bit – ist keine Aussage möglich, ob die Bitanzahl NBit kleiner, gleich oder größer als 150 · 1.6 = 240 sein wird. Auch NBit > 300 ist durchaus möglich. Dann sollte man auf die &bdquo;LZ–Komprimierung” besser verzichten.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.3Z: About the LZ77 Coding

2016-12-01T10:28:19Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2436__Inf_Z_2_3.png|right|]]
:In der Aufgabe A2.3 sollten Sie BARBARA–BAR (String der Länge 11, vier verschiedene Zeichen) mit dem LZ78–Algorithmus komprimieren. In dieser Aufgabe verwenden wir den gleichen Text zur Demonstration der LZ77–Komprimierung.

:Anzumerken ist:

:* Während beim Nachfolger LZ78 sukzessive ein globales Wörterbuch aufgebaut wird, verwendet LZ77 ein lokales Wörterbuch.

:* Das LZ77–Verfahren arbeitet mit einem Sliding Window, das schrittweise über den Eingabetext verschoben wird.

:* Dieses &bdquo;gleitende Fenster” ist unterteilt in den Vorschaupuffer (in der Grafik blau hinterlegt) und den Suchpuffer (rote Hinterlegung). Beide Puffer haben eine Größe von G Speicherplätzen.

:* Jeder Codierschritt i wird durch ein Zahlentriple (P, L, Z) charakterisiert. Hierbei sind P und L Integergrößen und Z ein Character. Übertragen werden die Binärdarstellungen von P, L und Z.

:* Nach der Übertragung wird das Sliding Window um eine oder mehrere Positionen nach rechts verschoben und es beginnt der nächste Codierschritt i + 1.

:Die obere Grafik zeigt die Anfangsbelegung mit Puffergröße G = 4 zu den Zeitpunkten i = 1 sowie i = 4. Zum Zeitpunkt i = 1 ist der Suchpuffer leer, so dass die Coderausgabe (0, 0, B) lautet. Nach der Verschiebung um eine Position beinhaltet der Suchpuffer ein B, aber keinen String, der mit A anfängt. Das zweite Zahlentriple ist somit (0, 0, A). Die Ausgabe für i = 3 lautet (0, 0, R), da im Suchpuffer auch jetzt keine Zeichenfolge zu finden ist, die mit R beginnt.

:Die Momentaufnahme zum Zeitpunkt i = 4 ist ebenfalls in der Grafik angegeben. Gesucht ist nun die Zeichenfolge im Suchpuffer, die mit dem Vorschautext BARA am besten übereinstimmt. Übertragen wird wieder ein Zahlentriple (P, L, Z), aber nun mit folgender Bedeutung:

:* P gibt die Position im (roten) Suchpuffer an, bei der die gefundene Übereinstimmung beginnt. Die jeweiligen P–Werte für die einzelnen Speicherplätze können der Grafik entnommen werden.

:* L bezeichnet die Anzahl der Zeichen im Suchpuffer, die beginnend bei P mit dem aktuellen String im Vorschaupuffer übereinstimmen.

:* Z bezeichnet schließlich das erste Zeichen im Vorschaupuffer, das sich vom gefundenen Übereinstimmungs–String im Suchpuffer unterscheidet.

:Je größer der LZ77–Parameter G ist, um so leichter findet man eine möglichst lange Übereinstimmung. In der Teilaufgabe (4) werden Sie feststellen, dass die LZ77–Codierung mit G = 5 ein besseres Ergebnis liefert als diejenige mit G = 4. Aufgrund der nachfolgenden Binärdarstellung von P wird man allerdings G stets als Zweierpotenz wählen, so dass G mit ld P Bit darstellbar ist (G = 8  ⇒  dreistellige Binärzahl P). Das heißt, ein Sliding Window mit G = 5 hat eher einen geringen Praxisbezug.

:Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Wie lautet die LZ77–Ausgabe mit G = 4 bei Schritt i = 4?
|type="[]"}
- (0, 0, B),
- (2, 1, A),
+ (2, 3, A).

{Welche Aussage gilt für die gleiche Puffergröße G = 4 bei Schritt i = 5?
|type="[]"}
+ Im Suchpuffer steht BARA.
+ Im Vorschaupuffer steht –BAR.
- Die Ausgabe lautet (0, 0, A).

{Nach welchem Schritt i ist die Codierung beendet?
|type="{}"}
$G = 4:\ Nach\ i$ = { 9 3% } $Codierschritten$

{Nun gelte G = 5. Nach welchem Schritt i ist dann die Codierung beendet?
|type="{}"}
$G = 5:\ Nach\ i$ = { 6 3% } $Codierschritten$

{Welche Vorteile hat LZ78 gegenüber LZ77 bei sehr großen Dateien?
|type="[]"}
+ Man findet häufiger bereits abgelegte Phrasen im Wörterbuch.
- Pro Codierschritt müssen weniger Bit übertragen werden.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Richtig ist der Lösungsvorschlag 3. Im Vorschaupuffer steht zum betrachteten Zeitpunkt i = 4 die Zeichenfolge BARA, und im Suchpuffer in den letzten drei Stellen BAR:
:$$P = 2\hspace{0.05cm},\hspace{0.2cm}L = 3\hspace{0.05cm},\hspace{0.2cm}Z = \boldsymbol{\rm A}\hspace{0.05cm}.$$

:2.  Richtig sind die beiden ersten Lösungsvorschläge. Der Bindestrich findet sich zum Zeitpunkt i = 5 nicht im Suchpuffer, so dass (0, 0, –) ausgegeben wird.

:3.  Die folgende Grafik zeigt das Sliding–Window und die Coderausgabe zu den Zeitpunkten i ≥ 5. Nach i = 9 Codierschritten ist der Codiervorgang unter Berücksichtigung von eof beendet.
[[File:P_ID2438__Inf_Z_2_3c.png|center|]]

:4.  Bei größerer Puffergröße (G = 5 anstelle von G = 4) ist die Codierung schon nach dem Codierschritt i = 6 abgeschlossen. Ein Vergleich der beiden Grafiken zeigt, dass sich für G = 5 gegenüber G = 4 nichts ändert bis einschließlich i = 5. Aufgrund des größeren Puffers lässt sich aber nun BAR gemeinsam mit end–of–file in einem einzigen Schritt codieren, während mit G = 4 hierfür vier Schritte notwendig waren.
[[File:P_ID2439__Inf_Z_2_3d.png|center|]]

:5.  Ein Nachteil von LZ77 ist das lokale Wörterbuch. Eigentlich schon bekannte Phrasen können nicht für die Datenkomprimierung verwendet werden, wenn sie mehr als G Zeichen vorher im Text aufgetreten sind. Dagegen sind bei LZ78 alle Phrasen im globalen Wörterbuch abgelegt. Richtig ist Aussage 1.

:Die Aussage 2 trifft dagegen nicht zu.

:<ul class="liste_ohne"><li>Richtig ist zwar, dass bei LZ78 nur Pärchen (I, Z) übertragen werden müssen, während bei LZ77 jeder Codierschritt durch ein Triple (P, L, Z) gekennzeichnet ist. Das bedeutet aber noch nicht, dass pro Codierschritt auch weniger Bit übertragen werden müssen.

:<ul class="liste_ohne"><li>Betrachten wir beispielhaft die Puffergröße G = 8. Bei LZ77 muss man dann P mit 3 Bit und L mit 4 Bit dargestellen. Berücksichtigen Sie, dass die gefundene Übereinstimmung zwischen Vorschaupuffer und Suchpuffer auch im Vorschaupuffer enden darf.

:<ul class="liste_ohne"><li>Das neue Zeichen Z benötigt bei LZ78 genau die gleiche Bitanzahl wie bei LZ77 (nämlich 2 Bit), wenn man wie hier vom Symbolumfang M = 4 ausgeht). Die Aussage 2 wäre nur dann richtig, wenn NI kleiner wäre als NP + NL, beispielsweise NI = 6. Das würde aber bedeuten, dass man die Wörterbuchgröße auf I = 26 = 64 begrenzen müsste. Dies reicht für große Dateien nicht aus.

:<ul class="liste_ohne"><li>Diese Überschlagsrechnung basiert allerdings auf einer einheitlichen Bitanzahl für den Index I. Mit variabler Bitanzahl für den Index kann man etliche Bit einsparen, indem man I nur mit so vielen Bit überträgt, wie es für den Codierschritt i erforderlich ist. Prinzipiell ändert das aber nichts an der Beschränkung der Wörterbuchgröße, was bei großen Dateien stets zu Problemen führen wird.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.3: About the LZ78 Compression

2016-12-01T10:28:10Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2434__Inf_A_2_3.png|right|]]
:Im Gegensatz zur Entropiecodierung nach Huffman oder nach Shannon, bei der man die Quellenstatistik (möglichst genau) kennen muss, sind solche Einschränkungen bei den von Abraham Lempel und Jacob Ziv entwickelten Komprimierungsverfahren nicht gegeben. Man spricht von universeller Quellencodierung.

:Wir betrachten in dieser Aufgabe die 1978 erstmals veröffentlichte Variante LZ78 Codiert werden soll der String  BARBARA–BAR.

: <ul class="liste_ohne"><li>LZ78 arbeitet mit einem globalen Wörterbuch, das zu Beginn nur mit einem leeren Zeichen (ε) unter dem Index I = 0 gefüllt ist. Dadurch unterscheidet sich LZ78 von seinem Vorgänger LZ77 (lokales Wörterbuch) und auch von seinem Nachfolger LZW (Wörterbuch ist mit den möglichen Zeichen vorbelegt).

: <ul class="liste_ohne"><li>Wird ein Zeichen oder ein Wortfragment (mehrere Zeichen) des Eingabestrings im Wörterbuch gefunden, so wird der Index I0 dieses Eintrags zusammen mit dem nächsten Eingangszeichen Z ausgegeben. In jedem Schritt i lautet also die Ausgabe: (I0, Z).

: <ul class="liste_ohne"><li>Anschließend wird der neue String unter dem nächsten freien Index Ineu ins Wörterbuch eingetragen. Betrachtet man das Wörterbuch als ein Feld W[I] mit I ≥ 0, bei dem ein jedes Element eine Zeichenkette beliebiger Länge enthält, so gilt mit der Character–Variablen Z:
:$$W (I_{\rm neu}) = W(I_0) + Z \hspace{0.05cm}. $$

:Zur Verdeutlichung ein einfaches Beispiel:

: <ul class="liste_ohne"><li>Zu einem gegebenen Zeitpunkt ist das Wörterbuch bis zum Index Iakt = 20 gefüllt.

: <ul class="liste_ohne"><li>Zur Codierung steht Handy an. Im Wörterbuch findet man unter dem Index I = 11 den Eintrag Ha und unter dem Index I = 16 den Eintrag Han.

: <ul class="liste_ohne"><li> Somit lautet die aktuelle Coderausgabe (I0, Z) = (16, d) und ins Wörterbuch wird als neue Phrase eingetragen: W(21) = Hand.

: <ul class="liste_ohne"><li>Nun liegt der String y zur Codierung an. Findet man hierfür keinen passenden Eintrag, so wird (0, y) ausgegeben und W(22) = ε + y = y neu ins Wörterbuch eingetragen.

:Für die Teilaufgabe 6) können Sie von folgenden Voraussetzungen ausgehen:

:* Die Dezimalzahl I (Index) wird durch 3 Bit binär dargestellt.

:* Das Zeichen Z ∈ {A, B, R, –} wird mit jeweils 2 Bit binärcodiert.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.2. Ähnliche Aufgaben zu anderen LZ–Methoden finden Sie unter folgenden Links:

:* Aufgabe Z2.3: LZ77-Codierung von BARBARA–BAR,

:* Aufgabe A2.4: LZW–(De–)Codierung einer binären Eingangsfolge.

===Fragebogen===

<quiz display=simple>
{Welche Aussagen gelten für die Vorbelegung des LZ78–Wörterbuches?
|type="[]"}
+ Vorbelegt ist nur der Index I = 0 mit dem Leerzeichen (ε).
- Vorbelegt sind die Indizes I = 0 bis I = 3 mit den vier Zeichen.

{Was geschieht im Codierschritt i = 1?
|type="[]"}
+ Die Coderausgabe lautet (0, B).
+ Der Wörterbucheintrag lautet: W(I = 1) = B.
- Der Wörterbucheintrag lautet: W(I = 1) = BA.

{Welche Aussagen gelten für die Codierschritte i = 2 und i = 3?
|type="[]"}
+ Für i = 2 gilt: Ausgabe (0, A), Eintrag W(I = 2) = A.
+ Für i = 3 gilt: Ausgabe (0, R), Eintrag W(I = 3) = R.

{Welche Aussagen gelten für den Codierschritt i = 4?
|type="[]"}
- Bei Schritt i = 4 wird BAR gemeinsam codiert.
+ Bei Schritt i = 4 wird BA gemeinsam codiert.
- Die Coderausgabe lautet (2, AR).
+ Die Coderausgabe lautet (1, A).

{Vervollständigen Sie die LZ78–Codierung. Nach welchem Codierschritt i ist BARBARA–BAR vollständig codiert?
|type="{}"}
$i$ = { 7 3% }

{Wieviele Binärzeichen benötigt man, um BARBARA–BAR zu codieren? Beachten Sie die Hinweise auf der Angabenseite.
|type="{}"}
$ohne\ Codierung:\ N$ = { 22 3% } $bit$
$mit\ LZ78-Codierung:\ N$ = { 35 3% } $bit$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Zutreffend für den LZ78–Algorithmus ist Aussage 1. Die Vorbelegung gemäß Aussage 2 gilt dagegen für den LZW–Algorithmus, der 1983 gemeinsam mit Terry Welch veröffentlicht wurde.

:2.  ε bezeichnet das leere Zeichen. Da ε + B = B ergibt, sind die Aussagen 1 und 2 richtig. Dagegen würde die Aussage 3 wieder für die LZW–Komprimierung zutreffen.

:3.  Beide Aussagen treffen zu.

:4.  Im Wörterbuch wird unter dem Index I = 1 das Zeichen B gefunden und das nächste Zeichen A der Eingangsfolge wird angehängt: (1, A). Richtig sind somit die Aussagen 2 und 4. Die Aussage 3 kann schon deshalb nicht stimmen, da Z nur ein Zeichen sein kann und keine Zeichenfolge.

:5.  Der gesamte Codiervorgang ist in einer Tabelle zusammengefasst:
[[File:P_ID2435__Inf_A_2_3f.png|center|]]
:Man erkennt:

:* Zu jedem Zeitpunkt i wird die bearbeitete Zeichenfolge in das Wörterbuch eingetragen.

:* Zum Zeitpunkt i = 7 ist der Codiervorgang abgeschlossen.

:6.   Stellt man alle Indizes mit 3 Bit dar und die vier Zeichen (Character) mit je 2 Bit, so kommt man zu folgenden Ergebnissen:

:* ohne Codierung: N = 11 · 2 = 22 Bit,

:* mit LZ78–Codierung: N = 7 · (3 + 2) = 35 Bit.

:Daran erkennt man:

:* Eine jede LZ–Komprimierung macht erst bei einer größeren Datei Sinn, auch dann, wenn man glaubt, dass ein Text wie BARBARA–BAR dem LZ78–Algorithmus entgegenkommt.

:* Mit variabler Bitanzahl für den Index entsprechend der Theorieseite 5 und Aufgabe A2.4 ergibt sich für dieses LZ78-Beispiel
:$$N = 1 \cdot 3 + 2 \cdot 4 + 4 \cdot 5 = 31 \,{\rm Bit}\hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Aufgaben:Exercise 2.1: Coding with and without Loss

2016-12-01T10:27:43Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Allgemeine Beschreibung
}}

[[File:P_ID2320__Inf_A_2_1.png|right|]]
:Man unterscheidet drei Arten von Codierverfahren, nämlich:
:<ul class="liste_ohne"><li> Leitungscodierung,
:<ul class="liste_ohne"><li> Kanalcodierung,
:<ul class="liste_ohne"><li> Quellencodierung.

:Alle diese grundlegenden Codierverfahren haben gemeinsam, dass das Quellensignal q(t) durch eine Codesymbolfolge 〈cν〉 dargestellt wird. Bei einer digitalen Quelle (mit oder ohne Gedächtnis) kann das Quellensignal q(t) auch durch die Quellensymbolfolge 〈qν〉 beschrieben werden.

:Beim Empfänger wird aus der regenerierten Symbolfolge 〈rν〉 die Sinkensymbolfolge 〈υν〉 bzw. das Sinkensignal υ(t) gewonnen. Man spricht von Decodierung, manchmal auch von Signalrekonstruktion.

:Alle rechts aufgeführten Begriffe gehören zu einer der drei oben aufgeführten Disziplinen, zwischen denen zwar eine gewisse Verwandtschaft besteht, die sich aber in Zielrichtung und mathematischer Handhabung durchaus unterscheiden.

:Ein weiteres Unterscheidungsmerkmal bei codierter Übertragung ist:

:* Man spricht dann von einem verlustlosen Codierverfahren, wenn nach der Decodierung 〈υν〉 = 〈qν〉    bzw.    υ(t) = q(t) gilt. Andernfalls ist das Codierverfahren verlustbehaftet.

:* Voraussetzung für diese Klassifizierung ist eine fehlerfreie Übertragung: 〈rν〉 = 〈cν〉.

:Hinweis: Die Aufgabe gehört zum Kapitel 2.1. Die folgenden Fragen (3) bis (6) beziehen sich auf die Schlagworte in der obigen Grafik.

===Fragebogen===

<quiz display=simple>
{Bei welchen Codierverfahren wird Redundanz hinzugefügt?
|type="[]"}
+ Verfahren zur Leitungscodierung,
+ Verfahren zur Kanalcodierung,
- Verfahren zur Quellencodierung.

{Welche Codierverfahren können durchaus verlustbehaftet sein?
|type="[]"}
- Verfahren zur Leitungscodierung,
- Verfahren zur Kanalcodierung,
+ Verfahren zur Quellencodierung.

{Wieviele der genannten Verfahren zählt man zur Leitungscodierung?
|type="{}"}
$N_\text{LC}$ = { 2 3% }

{Wieviele der genannten Verfahren zählt man zur Kanalcodierung?
|type="{}"}
$N_\text{KC}$ = { 4 3% }

{Wieviele Begriffe sind der verlustlosen Quellencodierung zuzuordnen?
|type="{}"}
$N_\text{QC (verlustlos)}$ = { 4 3% }

{Welche Aussagen gelten für die verlustbehafteten Quellencodierverfahren?
|type="[]"}
+ AMR und EFR verwendet man im zellularen Mobilfunk.
- GIF, JPG und MP3 sind Komprimierungsverfahren für Bilder.
+ MP3 wird zur Komprimierung von Audiodateien verwendet.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Richtig sind die Lösungsvorschläge 1 und 2. Bei der Leitungscodierung fügt man Redundanz hinzu, um das Sendesignal an die Spektraleigenschaften des Kanals anzupassen. Auch bei der Kanalcodierung fügt man gezielt Redundanz hinzu, in diesem Fall, um diese beim Empfänger zur Fehlererkennung und/oder Fehlerkorrektur nutzen zu können. Ziel von Quellencodierung ist dagegen eine größtmögliche Redundanzverminderung, um die Information der Nachrichtenquelle möglichst effizient speichern oder übertragen zu können.

:2.  Richtig ist hier die Antwort 3. Bei Leitungs– und Kanalcodierung wären verlustbehaftete Verfahren kontraproduktiv. Dagegen ist die Quellencodierung bei analogem Eingangssignal (Audio, Video, usw.) per se verlustbehaftet.

:3.  Zu den Leitungscodierverfahren zählt man

:<ul class="liste_ohne"><li>die 4B3T–Codes (es gibt mehrere Varianten, die alle blockweise arbeiten),

:<ul class="liste_ohne"><li>den AMI–Code (symbolweise: Bei jedem Codierschritt wird ein Binärzeichen eingelesen und ein Ternärzeichen ausgegeben).

:Demzufolge gilt NLC = 2.

:4.  Im Buch &bdquo;Einführung in die Kanalcodierung” werden behandelt:

:<ul class="liste_ohne"><li>die Hamming–Codes,

:<ul class="liste_ohne"><li>die Reed–Solomon–Codes,

:<ul class="liste_ohne"><li>die Faltungscodes,

:<ul class="liste_ohne"><li>die Turbocodes.

:Das richtige Ergebnis lautet dementsprechend NKC = 4.

:5.  Bei einem verlustlosen Quellencodierverfahren ist es dem Empfänger möglich, die Nachricht der Quelle vollständig zu rekonstruieren, wenn kein Übertragungsfehler aufgetreten ist.

:Zu den verlustlosen Quellencodierverfahren gehören

:<ul class="liste_ohne"><li>der Huffman–Code,

:<ul class="liste_ohne"><li>die verschiedenen Varianten des Lempel-Ziv-Algorithmus,

:<ul class="liste_ohne"><li>die so genannten Run-Length-Codes,

:<ul class="liste_ohne"><li>das bekannte Komprimierungsprogramm Winzip.

:⇒ NQC (verlustlos) = 4. Alle diese Verfahren kann man nur bei digitalem Eingang anwenden.

:6.  Richtig sind die Aussagen 1 und 3. Nur GIF und JPG wendet man auf Bilder an, während MP3 seit Jahren das am weitesten verbreitete Audio–Komprimierungsprogramm darstellt. Der AMR-Codec und der EFR-Codec finden Anwendung bei GSM und UMTS.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.1 Allgemeine Beschreibung^]]

Aufgaben:Exercise 2.2Z: Average Code Word Length

2016-12-01T10:27:36Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Allgemeine Beschreibung
}}

[[File:P_ID2417__Inf_Z_2_2.png|right|]]
:Ziel von Datenkomprimierung ist es, die Nachricht einer Quelle mit möglichst wenigen Binärzeichen darzustellen.

:Wir betrachten hier eine wertdiskrete Nachrichtenquelle mit dem Symbolvorrat {A, B, C, D}   ⇒   Symbolumfang M = 4 und den Auftrittswahrscheinlichkeiten

:* pA = pB = pC = pD = 1/4 (Teilaufgabe 1),

:* pA = 1/2, pB = 1/4, pC = pD = 1/8 (ab Teilaufgabe 2).

:Vorausgesetzt wird, dass es zwischen den Quellensymbolen keine statistischen Bindungen gibt.

:Ein Maß für die Güte eines Komprimierungsverfahrens ist die mittlere Codewortlänge LM mit der Zusatzeinheit &bdquo;bit/Quellensymbol”. Vorgegeben sind drei Zuordnungen. Anzumerken ist:

:* Jeder dieser Binärcodes C1, C2 und C3 ist für eine spezielle Quellenstatistik ausgelegt.

:* Alle codes sind präfixfrei und somit ohne weitere Angabe sofort decodierbar.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.1.

===Fragebogen===

<quiz display=simple>
{Bestimmen Sie die mittlere Codewortlänge für pA = pB = pC = pD = 1/4.
|type="{}"}
$C1:\ \ L_M$ = { 2 3% } $bit/Quellensymbol$
$C2:\ \ L_M$ = { 2.25 3% } $bit/Quellensymbol$
$C3:\ \ L_M$ = { 2.25 3% } $bit/Quellensymbol$

{Welche Werte ergeben sich für pA = 1/2, pB = 1/4, pC = pD = 1/8.
|type="{}"}
$C1:\ \ L_M$ = { 2 3% } $bit/Quellensymbol$
$C2:\ \ L_M$ = { 1.75 3% } $bit/Quellensymbol$
$C3:\ \ L_M$ = { 2.5 3% } $bit/Quellensymbol$

{Woran erkennt man präfixfreie Codes?
|type="[]"}
+ Kein Codewort ist der Beginn eines anderen Codewortes.
- Alle Codeworte haben gleiche Länge.

{Für die spezielle Quellenfolge ADBDCBCBADCA ergibt sich die Codefolge 001101111001100100111000. Welcher Code wurde verwendet?
|type="[]"}
+ der Code C1,
- der Code C2.

{Nach Codierung mit C3 erhält man 001101111001100100111000. Wie lautet die zugehörige Quellensymbolfolge?
|type="[]"}
- AACDBACABADAAA ....
+ ACBCCCACAACCD ....

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die mittlere Codewortlänge ergibt sich allgemein zu
:$$L_{\rm M} = p_{\rm A} \cdot L_{\rm A} + p_{\rm B} \cdot L_{\rm B}+ p_{\rm C} \cdot L_{\rm C} + p_{\rm D} \cdot L_{\rm D}
\hspace{0.05cm}.$$
:Sind die vier Quellensymbole gleichwahrscheinlich (alle Wahrscheinlichkeiten genau 1/4), so kann dafür auch geschrieben werden:
:$$L_{\rm M} = 1/4 \cdot [ L_{\rm A} + L_{\rm B}+ L_{\rm C} + L_{\rm D}]
\hspace{0.05cm}.$$
:* Code C1:    LM = 2.00 bit/Quellensymbol,

:* Code C2:    LM = 2.25 bit/Quellensymbol,

:* Code C3:    LM = 2.25 bit/Quellensymbol.

:2.  Mit der Codetabelle C1 ergibt sich unabhängig von den Symbolwahrscheinlichkeiten stets die mittlere Codewortlänge LM = 2 bit/Quellensymbol. Für die beiden anderen Codes erhält man

:* Code C2:    LM = 1/2 · 1 + 1/4 · 2 + 1/8 · 3 + 1/8 · 3 = 1.75 bit/Quellensymbol,

:* Code C3:    LM = 1/2 · 3 + 1/4 · 2 + 1/8 · 1 + 1/8 · 3 = 2.50 bit/Quellensymbol.

:Man erkennt aus dem Beispiel das Prinzip: Wahrscheinliche Symbole werden durch wenige Binärsymbole dargestellt und unwahrscheinliche durch mehr. Bei gleichwahrscheinlichen Symbolen wählt man am besten auch die Codewortlängen gleich.

:3.  Richtig ist Lösungsvorschlag 1. Ein Code mit einheitlicher Länge aller Codeworte ist zwar präfixfrei, aber auch andere Codes können präfixfrei sein, zum Beispiel die Codes C2 und C3.

:4.  Bereits aus &bdquo;00” am Anfang erkennt man, dass der Code C2 hier nicht in Frage kommt, da sonst die Quellensymbolfolge mit &bdquo;AA” beginnen müsste. Tatsächlich wurde der Code C1 verwendet.

:5.  Richtig ist der Lösungsvorschlag 2. Der erste Lösungsvorschlag gibt die Quellensymbolfolge für den Code C2 an, wenn die Codesymbolfolge 001101111001100100111000 lauten würde.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.1 Allgemeine Beschreibung^]]

Aufgaben:Exercise 2.2: Kraft–McMillan Inequality

2016-12-01T10:27:28Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Allgemeine Beschreibung
}}

[[File:P_ID2416__Inf_A_2_2.png|right|]]
:In der rechten Abbildung sind einige beispielhafte Binär– und Ternärcodes angegeben.

:Beim Binärcode B1 werden alle möglichen Quellensymbole qμ (mit Laufindex μ = 1, ... , 8) durch jeweils eine Codesymbolfolge 〈cμ〉 einheitlicher Länge Lμ = 3 dargestellt. Dieser Code ist aus diesem Grund zur Datenkomprimierung ungeeignet.

:Die Möglichkeit zur Datenkomprimierung ergibt sich erst dann, wenn

:* die M Quellensymbole nicht gleichwahrscheinlich sind,

:* und die Länge Lμ der Codeworte unterschiedlich sind.

:Diese Eigenschaft weist zum Beispiel der Binärcode B2 auf: Je ein Codewort hat hier die Länge 1, 2 und 3 (N1 = N2 = N3 = 1) und zwei Codeworte haben die Länge Lμ = 4 (N4 = 2).

:Voraussetzung für die Decodierbarkeit eines solchen Codes ist, dass der Code präfixfrei ist. Das heißt, dass kein Codewort der Präfix (der Beginn) eines längeren Codewortes sein darf.

:Eine notwendige Bedingung dafür, dass ein Code zur Datenkomprimierung präfixfrei sein kann, wurde 1949 von Leon Kraft angegeben, die Kraftsche Ungleichung:
:$$\sum_{\mu=1}^{M} \hspace{0.2cm} D^{-L_{\mu}} \le 1 \hspace{0.05cm}.$$
:Hierbei bezeichnen

:* M die Anzahl der möglichen Quellensymbole qμ,

:* Lμ die Länge des zum Quellensymbol qμ gehörigen Codewortes cμ,

:* D = 2 einen Binärcode (0 oder 1) und D = 3 einen Ternärcode (0, 1, 2).

:Ein Code kann nur dann präfixfrei sein, wenn die Kraftsche Ungleichung erfüllt ist. Die Umkehrung gilt nicht: Wird die Kraftsche Ungleichung erfüllt, so bedeutet das noch lange nicht, dass dieser Code tatsächlich präfixfrei ist.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.1.

===Fragebogen===

<quiz display=simple>
{Welche der Binärcodes erfüllen die Kraftsche Ungleichung?
|type="[]"}
+ B1,
+ B2,
- B3,
- B4.

{Welche der vorgegebenen Binärcodes sind präfixfrei?
|type="[]"}
+ B1,
+ B2,
- B3,
- B4.

{Welche der vorgegebenen Ternärcodes sind präfixfrei?
|type="[]"}
+ T1,
- T2,
+ T3.

{Wie lauten die Kenngrößen des Codes T1?
|type="{}"}
$Ternärecode\ T1:\ \ N_1$ = { 1 3% }
$N_2$ = { 2 3% }
$N_3$ = { 6 3% }

{Wieviel 3–wertige Codeworte (Lμ = 3) könnte man hinzufügen, ohne dass sich an der Präfixfreiheit etwas ändert?
|type="{}"}
$Ternärecode\ \Delta N_3:\ \ N_1$ = { 6 3% }

{Der Ternärcode T3 soll auf insgesamt N = 9 Codeworte erweitert werden. Wie erreicht man das ohne Verletzung der Präfixfreiheit?
|type="[]"}
- Ergänzung um vier 3–wertige Codeworte.
+ Ergänzung um vier 4–wertige Codeworte.
+ Ergänzung um ein 3–wertiges und drei 4–wertige Codeworte.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Für die angegebenen Binärcodes gilt:

:* B1:    8 · 2–3 = 1   ⇒   Bedingung erfüllt,

:* B2:    1 · 2–1 + 1 · 2–2 + 1 · 2–3 + 2 · 2–4 = 1   ⇒   Bedingung erfüllt,

:* B3:    1 · 2–1 + 1 · 2–2 + 1 · 2–3 + 2 · 2–4 = 1   ⇒   Bedingung erfüllt,

:* B4:    1 · 2–1 + 1 · 2–2 + 2 · 2–3 + 1 · 2–4 = 17/16   ⇒   Bedingung nicht erfüllt.

:2.  Der Code B4, der die Kraftsche Ungleichung nicht erfüllt, ist mit Sicherheit auch nicht präfixfrei. Aber bei Erfüllung der Kraftschen Ungleichung ist noch nicht sicher, dass dieser Code auch präfixfrei ist. Beim Code B3 ist &bdquo;10” der Beginn des Codewortes &bdquo;1011”. Dagegen sind die Codes B1 und B2 präfixfrei.

:3.  Richtig sind die Antworten 1 und 3. Der Code T2 ist dagegen nicht präfixfrei, da &bdquo;1” der Beginn des Codewortes &bdquo;10” ist. Die Kraftsche Ungleichung wird von allen drei Codes erfüllt.

:4.  Ni gibt an, wieviele Codeworte mit i Symbolen es im Code gibt. Für den Code T1 gilt:
:$$N_1 \hspace{0.15cm}\underline{= 1}\hspace{0.05cm}, \hspace{0.2cm}N_2 \hspace{0.15cm}\underline{= 2}\hspace{0.05cm}, \hspace{0.2cm}N_3 \hspace{0.15cm}\underline{= 6}\hspace{0.05cm}.$$

:5.  Nach der Kraftschen Ungleichung muss gelten
:$$N_1 \cdot 3^{-1} + N_2 \cdot 3^{-2} + N_3 \cdot 3^{-3 } \le 1\hspace{0.05cm}.$$
:Bei gegebenem N1 = 1 und N2 = 2 wird dies erfüllt, solange gilt:
:$$N_3 \cdot 3^{-3 } \le 1 - 1/3 - 2/9 = 4/9 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}N_3 \le 12 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm \Delta}\,N_3
\hspace{0.15cm}\underline{= 6}\hspace{0.05cm}.$$
:Die zusätzlichen Codeworte sind 210, 211, 212, 220, 221 und 222.

:6.  Für den Code T3 gilt:
:$$S({\rm T3})= 2 \cdot 3^{-1} + 2 \cdot 3^{-2} + 1 \cdot 3^{-3 } = {25}/{27}\hspace{0.05cm}.$$
:Wegen S(T3) ≤ 1 erfüllt der Ternärcode T3 die Kraftsche Ungleichung und er ist zudem auch präfixfrei. Betrachten wir nun die vorgeschlagenen neuen Codes.

:* Code T4 (N1 = 2, N2 = 2, N3 = 5):
:$$S({\rm T4})= S({\rm T3}) + 4 \cdot 3^{-3 } = {29}/{27}\hspace{0.1cm} > \hspace{0.1cm}1\hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm T4 \hspace{0.15cm}ist\hspace{0.15cm} ungeeignet}\hspace{0.05cm},$$

:* Code T5 (N1 = 2, N2 = 2, N3 = 1, N4 = 4):
:$$S({\rm T5})= S({\rm T3}) + 4 \cdot 3^{-4 } = {79}/{81}\hspace{0.1cm} < \hspace{0.1cm}1\hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm T5 \hspace{0.15cm}ist\hspace{0.15cm} geeignet}\hspace{0.05cm},$$

:* Code T6 (N1 = 2, N2 = 2, N3 = 2, N4 = 3):
:$$S({\rm T6})= S({\rm T3}) + 1 \cdot 3^{-3 } + 3 \cdot 3^{-4 } = \frac{75 + 3 + 3}{81}\hspace{0.1cm} = \hspace{0.1cm}1\hspace{0.3cm} \Rightarrow \hspace{0.3cm} {\rm T6 \hspace{0.15cm}ist\hspace{0.15cm} geeignet}\hspace{0.05cm}.$$

:Richtig sind also die zwei letzten Lösungsvorschläge. Beispielsweise lauten die insgesamt 9 Codeworte des präfixfreien Codes T6: 0, 1, 20, 21, 220, 221, 2220, 2221 und 2222.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^2.1 Allgemeine Beschreibung^]]

Aufgaben:Exercise 1.7: Entropy of Natural Texts

2016-12-01T10:27:20Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Natürliche wertdiskrete Nachrichtenquellen
}}

[[File:P_ID2319__Inf_A_1_7_neu.png|right|]]
:Anfang der 1950er Jahre schätzte Claude E. Shannon die Entropie H der englischen Sprache mit einem bit pro Zeichen ab. Kurze Zeit später kam Karl Küpfmüller bei einer empirischen Untersuchung der deutschen Sprache auf einen Entropiewert von H = 1.3 bit/Zeichen, also nur etwas größer. Die Ergebnisse von Shannon und Küpfmüller beruhen dabei interessanter Weise auf zwei völlig unterschiedlichen Methoden.

:Die differierenden Ergebnisse lassen sich eher nicht mit den geringen Differenzen hinsichtlich des Symbolumfangs M erklären:

:* Shannon ging von 26 Buchstaben und dem Leerzeichen aus  ⇒  M = 27.

:* Küpfmüller ging von M = 26 Buchstaben aus, ebenfalls ohne zwischen Groß– und Kleinschreibung zu unterscheiden.

:Mit dieser Aufgabe soll gezeigt werden, wie sich

:* Auslöschungen (Erasures) ⇒ man kennt den Ort eines Fehlers,

:* Zeichenfehler ⇒ es ist nicht offensichtlich, was falsch und was richtig ist,

:auf die Verständlichkeit eines Textes auswirken. Unser Text beinhaltet auch die typisch deutschen Buchstaben &bdquo;ä”, &bdquo;ö”, &bdquo;ü” und &bdquo;ß” sowie Ziffern und Interpunktion. Außerdem wird zwischen Groß– und Kleinschreibung unterschieden.

: 
:In der Abbildung ist dieser Text, der von Küpfmüllers Vorgehensweise handelt, in sechs Blöcke der Länge N = 197 bis N = 319 aufgeteilt. Beschrieben ist die Überprüfung seiner ersten Analyse (1.3 bit/Zeichen) auf völlig anderem Wege, die zum Ergebnis 1.51 bit/Zeichen führte.

:* In den oberen fünf Blöcken erkennt man Erasures mit verschiedenen Wahrscheinlichkeiten zwischen 10% und 50%.

:* Im letzten Block sind Zeichenfehler mit 20–prozentiger Verfälschungswahrscheinlichkeit eingefügt.

:Der Einfluss solcher Zeichenfehler auf die Lesbarkeit eines Textes soll in der Teilaufgabe (4) verglichen werden mit dem zweiten (rot umrandeten) Block, für den die Wahrscheinlichkeit eines Erasures ebenfalls 20% beträgt.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 1.3 dieses Buches. Bezug genommen wird auch auf die relative Redundanz einer Folge, wobei mit dem Entscheidungsgehalt H0 und der Entropie H gilt:
:$$r = \frac{H_0 - H}{H_0}\hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Von welchem Symbolumfang ist Küpfmüller ausgegangen?
|type="{}"}
$M$ = { 26 3% }

{Welche relative Redundanz ergibt sich aus Küpfmüllers Entropiewert?
|type="{}"}
$r$ = { 72.3 3% } %

{Wie lässt sich das Ergebnis der Teilaufgabe (2) interpretieren? Gehen Sie jeweils von einer Textdatei mit M = 26 unterschiedlichen Zeichen aus.
|type="[]"}
+ Eine solche Textdatei hinreichender Länge (N → ∞) könnte man mit 1.3 · N Binärsymbolen darstellen.
- Eine solche Textdatei mit N = 100000 Zeichen könnte man mit 130000 Binärsymbolen darstellen.
- Ein Leser kann den Text auch dann noch verstehen (oder zumindest erahnen), wenn 70% der Zeichen ausgelöscht sind.

{Was erschwert die Verständlichkeit eines Textes mehr?
|type="[]"}
- 20% Auslöschungen (Erasures),
+ eine Zeichenfehlerwahrscheinlichkeit von 20%.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Der Symbolumfang bei Küpfmüllers Untersuchungen war M = 26, da er im Gegensatz zu Shannon das Leerzeichen zunächst nicht berücksichtigte. Bei dem vorgegebenen deutschen Text dieser Aufgabe ist der Symbolumfang deutlich größer,

:* da hier auch die typisch deutschen Zeichen &bdquo;ä”, &bdquo;ö”, &bdquo;ü” und &bdquo;ß” vorkommen,

:* zwischen Klein– und Großschreibung unterschieden wird,

:* und zudem noch Ziffern und Interpunktionszeichen hinzukommen.

:2.  Mit dem Entscheidungsgehalt H0 = log2 (31) ≈ 4.7 und der Entropie H = 1.3 (jeweils mit der Einheit bit/Zeichen) erhält man für die relative Redundanz:
:$$r = \frac{H_0 - H}{H_0}= \frac{4.7 - 1.3}{4.7}\underline {\hspace{0.1cm}\approx 72.3\,\%}\hspace{0.05cm}.$$

:3.  Richtig ist nur der erste Lösungsvorschlag. Laut Küpfmüller benötigt man nur 1.3 Binärzeichen pro Quellenzeichen. Bei einer Datei der Länge N würden also 1.3 · N Binärsymbole ausreichen, allerdings nur dann, wenn

:* die Quellensymbolfolge unendlich lang ist (N → ∞), und

:* diese bestmöglich codiert ist.

:Dagegen besagt Küpfmüllers Ergebnis und die in der Teilaufgabe (b) errechnete relative Redundanz von mehr als 70% nicht, dass ein Leser den Text noch verstehen kann, wenn 70% der Zeichen ausgelöscht sind. Ein solcher Text

:* ist nie unendlich lang,

:* noch wurde er vorher optimal codiert.

:4.  Richtig ist Aussage 2. Testen Sie es selbst: Der zweite Block der Grafik auf der Angabenseite ist leichter zu entschlüsseln als der letzte Block, weil man weiß, wo es Fehler gibt. Wenn Sie es weiter versuchen wollen: Für den unteren Block wurde genau die gleiche Zeichenfehlerfolge wie für Block 2 verwendet, das heißt, Fehler gibt es bei den Zeichen 6, 35, 37, usw..

:Abschließend soll noch der Originaltext angegeben werden, der auf der Angabenseite nur durch Auslöschungen (Erasures) oder echte Zeichenfehler verfälscht wiedergegeben ist.
[[File:P_ID2318__Inf_A_1_7d.png|center|]]
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.3 Natürliche wertdiskrete Nachrichtenquellen^]]

Aufgaben:Exercise 1.6Z: Ternary Markov Source

2016-12-01T10:27:13Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2254__Inf_Z_1_6.png|right|]]
:Die Grafik zeigt eine Markovquelle mit M = 3 Zuständen A, B und C. Für die beiden Parameter dieses Markovprozesses soll gelten:
:$$0 \le p \le 0.5 \hspace{0.05cm},\hspace{0.2cm}0 \le q \le 1 \hspace{0.05cm}.$$
:Aufgrund der Markoveigenschaft dieser Quelle kann die Entropie auf unterschiedliche Weise ermittelt werden:

:<ul class="liste_ohne"><li>Man berechnet die beiden ersten Entropienäherungen H1 und H2. Dann gilt:
:$$H = 2 \cdot H_{\rm 2} - H_{\rm 1} \hspace{0.05cm}.$$

:<ul class="liste_ohne"><li>Nach der so genannten direkten Berechnungsmethode kann die Entropie aber auch wie folgt berechnet werden (insgesamt 9 Terme):
:$$H = p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + ...
\hspace{0.15cm},$$
:$$p_{\rm AA} = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm},\hspace{0.2cm}
p_{\rm AB} = p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm}, \hspace{0.1cm}...$$

:Hinwis: Die Aufgabe gehört zum Themenkomplex von Kapitel 1.2.

===Fragebogen===

<quiz display=simple>
{Für welche Parameter p, q ergibt sich die maximale Entropie pro Symbol?
|type="{}"}
$p$ = { 0.333 3% }
$q$ = { 1.585 3% }
$H_\text{max}$ = { 1.585 3% } $bit/Symbol$

{Es sei p = 1/4 und q = 1. Welcher Wert ergibt sich in diesem Fall für die erste Entropienäherung?
|type="{}"}
$p = 1/4, q = 1:\ \ H_1$ = { 1.585 3% } $bit/Symbol$

{Weiterhin gelte p = 1/4 und q = 1. Welcher Wert ergibt sich in diesem Fall für die zweite Entropienäherung?
|type="{}"}
$p = 1/4, q = 1:\ \ H_2$ = { 1.5425 3% } $bit/Symbol$

{Wie groß ist die Quellenentropie mit p = 1/4, q = 1?
|type="{}"}
$p = 1/4, q = 1:\ \ H$ = { 1.5 3% } $bit/Symbol$

{Wie groß ist die Quellenentropie mit p = 1/2, q = 0?
|type="{}"}
$p = 1/2, q = 0:\ \ H$ = { 0.667 3% } $bit/Symbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:Hinweis: Aus Platzgründen verwenden wir in der Musterlösung &bdquo;ld” anstelle von &bdquo;log2”.

:a)  Die maximale Entropie ergibt sich dann, wenn die Symbole A, B und C gleichwahrscheinlich und die Symbole innerhalb der Folge statistisch voneinander unabhängig sind. Dann muss gelten:

:* pA = pA|A = pA|B = pA|C = 1/3,

:* pB = pB|A = pB|B = pB|C = 1/3,

:* pC = pC|A = pC|B = pC|C = 1/3.

:Beispielsweise erhält man aus pC|C = 1/3 der Wert p = 1/3. Berücksichtigt man noch pA|A = q · p, so folgt q = 1. Damit ergibt sich die maximale Entropie Hmax = ld 3 = 1.585 bit/Symbol.
[[File:P_ID2255__Inf_Z_1_6b.png|right|]]

:2.  Mit den Parameterwerten p = 1/4 und q = 1 ergibt sich das nebenstehende Übergangsdiagramm, das folgende Symmetrien aufweist:

:* pA|A = pB|B = pC|C = 1/4 (rot markiert),

:* pA|B = pB|C = pC|A = 1/2 (grün markiert),

:* pA|C = pB|A = pC|B = 1/4 (blau markiert).

:Es ist offensichtlich, dass die Symbolwahrscheinlichkeiten alle gleich sind:
:$$p_{\rm A} = p_{\rm B} = p_{\rm C} = 1/3$$
:$$\Rightarrow \hspace{0.3cm} H_1 = {\rm ld}\hspace{0.1cm} 3 \hspace{0.15cm} \underline {= 1.585 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:3.  Für die zweite Entropienäherung benötigt man die 32 = 9 Verbundwahrscheinlichkeiten. Mit dem Ergebnis der Teilaufgabe b) erhält man hierfür:
:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm BB}= p_{\rm CC}= p_{\rm AC}=p_{\rm BA}=p_{\rm CB}=1/12 \hspace{0.05cm},\\
p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm BC}=p_{\rm CA}=1/6$$
:$$\Rightarrow \hspace{0.2cm} H_2 \hspace{0.15cm} = \hspace{0.15cm} \frac{1}{2} \cdot \left [ 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 12 +
3 \cdot \frac{1}{6} \cdot {\rm ld}\hspace{0.1cm} 6 \right ] = \\
\hspace{0.15cm} = \hspace{0.15cm} \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 4 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 2 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3
= \frac{3}{4} + \frac{{\rm ld}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Aufgrund der Markoveigenschaft der Quelle gilt
:$$H = 2 \cdot H_2 - H_1 = [ {3}/{2} + {\rm ld}\hspace{0.1cm} 3] - {\rm ld}\hspace{0.1cm} 3\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
:Zum gleichen Ergebnis würde man mit folgender Rechnung kommen:
:$$H \hspace{0.1cm} = \hspace{0.1cm} p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + ... \\
\hspace{0.1cm} = \hspace{0.1cm} 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 4 + 3 \cdot \frac{1}{16} \cdot {\rm ld}\hspace{0.1cm} 2
\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
[[File:P_ID2256__Inf_Z_1_6e.png|right|]]

:5.  Aus nebenstehendem Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität pB = 0 gelten wird: B kann höchstens zum Starzeitpunkt einmal auftreten. Es liegt also eine binäre Markovkette mit den Symbolen A und C vor. Die Symbolwahrscheinlichkeiten ergeben sich zu:
:$$p_{\rm A} = 0.5 \cdot p_{\rm C} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm A} + p_{\rm C} = 1 $$
:$$\Rightarrow \hspace{0.3cm} p_{\rm A} = 1/3 \hspace{0.05cm}, \hspace{0.2cm} p_{\rm C} = 2/3\hspace{0.05cm}. $$
: Damit erhält man folgende Wahrscheinlichkeiten:
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm}0\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AA} = 0 \hspace{0.05cm},\\
p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} \hspace{0.1cm} = \hspace{0.1cm}1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CA} =
p_{\rm C} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3 \hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} )= 1\hspace{0.05cm},\\
p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm}1\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AC} =
p_{\rm A} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} = 1/3 \cdot 1 = 1/3 \hspace{0.05cm},\hspace{0.61cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} )= 0\hspace{0.05cm},\\
p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} \hspace{0.1cm} = \hspace{0.1cm}1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CC} =
p_{\rm C} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3\hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} )= 1 $$
:$$\Rightarrow \hspace{0.3cm} H \hspace{0.1cm} = \hspace{0.1cm} p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} +p_{\rm CA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C}}+ p_{\rm AC} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A}} +
p_{\rm CC} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C}}=
\\
\hspace{0.1cm} = \hspace{0.1cm}0 + 1/3 \cdot 1 + 1/3 \cdot 0 + 1/3 \cdot 1
\hspace{0.15cm} \underline {= 0.667 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Aufgaben:Exercise 1.6: Non-Binary Markov Sources

2016-12-01T10:27:05Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2253__Inf_A_1_6.png|right|]]
:Die Grafik zeigt zwei ergodische Markovquellen (MQ):

:* Die Quelle MQ3 ist durch M = 3 Zustände (Symbole) N, M, P gekennzeichnet. Aufgrund der Stationarität haben die Wahrscheinlichkeiten folgende Werte:
:$$p_{\rm N} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm M} = p_{\rm P} = 1/4\hspace{0.05cm}.$$

:* Bei der Quelle MQ4 ist zusätzlich der Zustand O möglich ⇒ M = 4. Aufgrund der symmetrischen Übergänge sind die stationären Wahrscheinlichkeiten alle gleich:
:$$p_{\rm N} = p_{\rm M} = p_{\rm O} = p_{\rm P} = 1/4\hspace{0.05cm}.$$

:Informationstheoretisch sind Markovquellen von besonderer Bedeutung, da bei diesen – und nur bei diesen – durch H1 (Entropienäherung, nur auf den Symbolwahrscheinlichkeiten basierend) und H2 (zweite Entropienäherung, berechenbar mit den Verbundwahrscheinlichkeiten für alle Zweiertupel) gleichzeitig auch

:* die weiteren Entropienäherungen Hk(k = 3, 4, ... ) und

:* die tatsächliche Quellenentropie H

:bestimmt sind. Es gelten folgende Bestimmungsgleichungen:
:$$H = 2 \cdot H_2 - H_1\hspace{0.05cm},\hspace{0.4cm}H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H]
\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe gehört zu Kapitel 1.2. Hier finden Sie auch Hinweise zur Berechnung der ersten und zweiten Entropienäherung.

===Fragebogen===

<quiz display=simple>
{Berechnen Sie die Entropienäherung H1 der Markovquelle MQ3.
|type="{}"}
$MQ3:\ H_1$ = { 1.5 3% } $bit/Symbol$

{Berechnen Sie die Entropienäherung H2 der Markovquelle MQ3.
|type="{}"}
$MQ3:\ H_2$ = { 1.375 3% } $bit/Symbol$

{Wie groß sind die Näherungen H3 und H4 und die Quellenentropie H?
|type="{}"}
$MQ3:\ H_3$ = { 1.333 3% } $bit/Symbol$
$H_4$ = { 1.3125 3% } $bit/Symbol$
$H$ = { 1.25 3% } $bit/Symbol$

{Berechnen Sie die Entropienäherung H1 der Markovquelle MQ4.
|type="{}"}
$MQ4:\ H_1$ = { 2 3% } $bit/Symbol$

{Berechnen Sie die Entropienäherung H2 der Markovquelle MQ4.
|type="{}"}
$MQ4:\ H_2$ = { 1.5 3% } $bit/Symbol$

{Wie groß sind hier die Näherungen H3 und H4 und die Quellenentropie H?
|type="{}"}
$MQ4:\ H_3$ = { 1.333 3% } $bit/Symbol$
$H_4$ = { 1.25 3% } $bit/Symbol$
$H$ = { 1 3% } $bit/Symbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die Symbolwahrscheinlichkeiten der ternären Markovquelle sind gegeben. Daraus lässt sich die Entropienäherung H1 berechnen:
:$$H_{\rm 1} = 1/2 \cdot {\rm log}_2\hspace{0.1cm} (2) + 2 \cdot 1/4 \cdot {\rm log}_2\hspace{0.1cm}(4 ) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:2.  Die Verbundwahrscheinlichkeit ist pXY = pX · pY|X, wobei pX die Symbolwahrscheinlichkeit von X angibt und pY|X die bedingte Wahrscheinlichkeit für Y, unter der Voraussetzung, dass vorher X aufgetreten ist. X und Y sind hier Platzhalter für die Symbole N, P, M. Dann gilt:
:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} 1/2 \cdot 1/2 = 1/4\hspace{0.05cm},\hspace{0.2cm}p_{\rm PP} = 1/4 \cdot 0 = 0\hspace{0.05cm},\hspace{0.2cm}p_{\rm MM} = 1/4 \cdot 0 = 0 \hspace{0.05cm},\\
p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} 1/2 \cdot 1/4 = 1/8\hspace{0.05cm},\hspace{0.2cm} p_{\rm PM} = 1/4 \cdot 1/2 = 1/8\hspace{0.05cm},\hspace{0.2cm}p_{\rm MN} = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\
p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} 1/2 \cdot 1/4 = 1/8\hspace{0.05cm},\hspace{0.2cm} p_{\rm MP} = 1/4 \cdot 1/2 = 1/8\hspace{0.05cm},\hspace{0.2cm}p_{\rm PN} = 1/4 \cdot 1/2 = 1/8$$
:$$\Rightarrow \hspace{0.3cm} H_{\rm 2} = \frac{1}{2} \cdot \left [ 1/4 \cdot {\rm log}_2\hspace{0.1cm}( 4) + 6 \cdot 1/8 \cdot {\rm log}_2\hspace{0.1cm} (8) \right ] \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:3.  Da MQ3 Markoveigenschaften aufweist, können aus H1 und H2 alle Entropienäherungen Hk (k = 3, 4, ... ) direkt angegeben werden und auch der Grenzwert H = Hk für k → ∞:
:$$H \hspace{0.1cm} = \hspace{0.1cm} 2 \cdot H_2 - H_1 = 2\cdot 1.375 - 1.5 \hspace{1.25cm} \underline {= 1.250 \,{\rm bit/Symbol}}\hspace{0.05cm},\\
H_3 \hspace{0.1cm} = \hspace{0.1cm} (H_1 + 2 \cdot H)/3 = (1.5 + 2 \cdot 1.25)/3 \hspace{0.15cm} \underline {= 1.333 \,{\rm bit/Symbol}}\hspace{0.05cm},\\
H_4 \hspace{0.1cm} = \hspace{0.1cm} (H_1 + 3 \cdot H)/4 = (1.5 + 3 \cdot 1.25)/4 \hspace{0.15cm} \underline {= 1.3125 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
:Die 10. Entropienäherung unterscheidet sich noch immer, wenn auch nur geringfügig (um 2%) vom Endwert H = 1.25 bit/Symbol:
:$$H_{10} = (H_1 + 9 \cdot H)/10 = (1.5 + 9 \cdot 1.25)/10 {= 1.275 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$

:4.  Entsprechend der Angabe sind hier die Symbole gleichwahrscheinlich. Daraus folgt:
:$$H_{\rm 1} = H_{\rm 0} = {\rm log}_2\hspace{0.1cm} (4) \hspace{0.15cm} \underline {= 2 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:5.  Von den M2 = 16 möglichen Zweiertupeln sind acht Kombinationen nicht möglich: NP, NO, PP, PO, OM, ON, MM, MN. Die acht weiteren Kombinationen (Zweiertupel) ergeben jeweils den Verbundwahrscheinlichkeitswert 1/8, wie an zwei Beispielen gezeigt werden soll:
:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm N} \cdot p_{\rm N\hspace{0.01cm}|\hspace{0.01cm}N} = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\
p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm M} \cdot p_{\rm P\hspace{0.01cm}|\hspace{0.01cm}M} = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$
:$$\Rightarrow \hspace{0.3cm} H_2 = \frac{1}{2} \cdot \left [ 8 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm} (8) \right ] \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:6.  Aufgrund der Markoveigenschaft gilt hier:
:$$H \hspace{0.1cm} = \hspace{0.1cm} 2 \cdot H_2 - H_1 = 2\cdot 1.5 - 2 \hspace{1.15cm} \underline {= 1 \,{\rm bit/Symbol}}\hspace{0.05cm},\\
H_3 \hspace{0.1cm} = \hspace{0.1cm} (H_1 + 2 \cdot H)/3 = (2 + 2 \cdot 1)/3 \hspace{0.15cm} \underline {= 1.333 \,{\rm bit/Symbol}}\hspace{0.05cm},\\
H_4 \hspace{0.1cm} = \hspace{0.1cm} (H_1 + 3 \cdot H)/4 = (2 + 3 \cdot 1)/4 \hspace{0.15cm} \underline {= 1.250 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
:Auch hier unterscheidet sich die 10. Näherung noch deutlich vom Endwert, nämlich um 10%:
:$$H_{10} = (H_1 + 9 \cdot H)/10 = (2 + 9 \cdot 1)/10 {= 1.1 \,{\rm bit/Symbol}}\hspace{0.05cm}.$$
:Eine Abweichung um 2% ergibt sich hier erst für k = 50. Zum Vergleich: Bei der Markovquelle MQ3 wurde diese Annäherung bereits mit k = 10 erreicht.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Aufgaben:Exercise 1.5Z: Symmetrical Markov Source

2016-12-01T10:26:58Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2252__Inf_Z_1_5.png|right|]]
:In der Aufgabe A1.5 wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von A nach B sowie von B nach A unterschiedlich waren. In dieser Aufgabe soll nun gelten:
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
\hspace{0.05cm}.$$
:Alle in der Aufgabe A1.5 angegebenen Gleichungen gelten auch hier:

:* Entropie:
:$$H = p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm},$$

:* Erste Entropienäherung:
:$$H_{\rm 1} = p_{\rm A} \cdot {\rm ld}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm ld}\hspace{0.1cm} \frac{1}{p_{\rm B}}
\hspace{0.05cm},$$

:* k–te Entropienäherung (k = 2, 3, ...):
:$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H]
\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$

:Hinweis: Die Aufgabe bezieht sich auf Kapitel 1.2, Seite 5c. Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.

===Fragebogen===

<quiz display=simple>
{Berechnen Sie die Symbolwahrscheinlichkeiten.
|type="{}"}
$q = 1/4:\ \ p_A$ = { 0.5 3% }
$p_B$ = { 0.5 3% }

{Berechnen Sie die Quellenentropie H. Welches Ergebnis liefert q = 1/4?
|type="{}"}
$q = 1/4:\ \ H$ = { 0.5 3% } $bit/Symbol$

{Welche Entropienäherungen erhält man für q = 1/4?
|type="{}"}
$q = 1/4:\ \ H_1$ = { 1 3% } $bit/Symbol$
$H_2$ = { 0.906 3% } $bit/Symbol$
$H_3$ = { 0.874 3% } $bit/Symbol$

{Bestimmen Sie q derart, dass H maximal wird. Interpretation.
|type="{}"}
$H \rightarrow Maximum:\ \ q$ = { 0.5 3% }

{Welche Symbolfolgen sind mit q = 0 möglich?
|type="[]"}
+ AAAAAA ...
+ BBBBBB ...
- ABABAB ...

{Welche Symbolfolgen sind mit q = 1 möglich?
|type="[]"}
- AAAAAA ...
- BBBBBB ...
+ ABABAB ...

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Bei einer stationären binären Markovquelle erster Ordnung gilt:
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B}
= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}
\hspace{0.05cm}.$$

:2.  Zur Berechnung von H benötigt man alle vier Verbundwahrscheinlichkeiten:
:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\\
p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
:Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man
:$$H \hspace{0.1cm} = \hspace{0.1cm} 2 \cdot \frac{1}{2} \cdot(1-q) \cdot
{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot
{\rm log}_2\hspace{0.1cm} \frac{1}{q} = \\
\hspace{0.1cm} = \hspace{0.1cm} q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
:Der gesuchte Zahlenwert ist H = Hbin (0.25) = 0.811 bit/Symbol.

:3.  Bei gleichwahrscheinlichen Binärsymbolen ist H1 = 1 bit/Symbol. Mit der für Markovquellen gültigen Gleichung gilt weiter:
:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{2} \cdot [ H_1 + H] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}
\hspace{0.05cm},\\
H_3 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{3} \cdot [ H_1 + 2 H] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Das Maximum der binären Entropiefunktion ergibt sich für q = 0.5. Damit beträgt die maximale Entropie H = 1 bit/Symbol. Man erkennt aus der Beziehung H = H1 und aus dem vorne abgebildeten Übergangsdiagramm, dass q = 0.5 statistisch unabhängige Symbole zur Folge hat:
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = 0.5
\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}= 0.5
\hspace{0.05cm}.$$

:5.  Richtig sind die Lösungsvorschläge 1 und 2. Die Symbolfolge ergibt sich entweder zu AAAAAA... oder zu BBBBBB..., je nachdem, welches Symbol als Startwert vorgegeben wurde. Die Entropie einer solchen Quelle ist H = Hbin(0) = 0.

:6.  Nun kann weder A direkt auf A noch B direkt auf B folgen. Es ergibt sich eine alternierende Folge, je nach Startwert die Folge ABABAB... oder BABABA... ⇒   Lösungsvorschlag 3. Diese Quelle hat in beiden Fällen ebenfalls die Entropie H = 0 = Hbin(1).
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Aufgaben:Exercise 1.5: Binary Markov Source

2016-12-01T10:26:50Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2250__Inf_A_1_5.png|right|]]
:Die Aufgabe A1.4 hat gezeigt, dass die Berechnung der Entropie bei einer gedächtnisbehafteten Quelle sehr aufwändig sein kann. Man muss dann zunächst (sehr viele) Entropienäherungen Hk für k–Tupel berechnen und kann erst dann mit dem Grenzübergang k → ∞ die Quellenentropie ermitteln:
:$$H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$
:Oft tendiert dabei Hk nur sehr langsam gegen den Grenzwert H.

:Der Rechengang wird drastisch reduziert, wenn die Nachrichtenquelle Markoveigenschaften besitzt. Die Grafik zeigt das Übergangsdiagramm für eine binäre Markovquelle mit den zwei Zuständen (Symbolen) A und B. Dieses ist durch die beiden bedingten Wahrscheinlichkeiten pA|B = p und pB|A = q eindeutig bestimmt. Die bedingten Wahrscheinlichkeiten pA|A und pB|B sowie die Symbolwahrscheinlichkeiten pA und pB lassen sich daraus ermitteln.

:Die Entropie der binären Markovkette (mit der Einheit &bdquo;bit/Symbol”) lautet dann:
:$$H = p_{\rm AA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$
:Bei dieser Gleichung ist zu beachten, dass im Argument des Logarithmus dualis jeweils die bedingten Wahrscheinlichkeiten pA|A, pB|A, ... einzusetzen sind, während für die Gewichtung die Verbundwahrscheinlichkeiten pAA, pAB, ... zu verwenden sind.

:Mit der Entropienäherung erster Ordnung,
:$$H_1 = p_{\rm A} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A}} + p_{\rm B} \cdot
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B}}
\hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})\hspace{0.05cm},$$
:sowie der oben angegebenen (tatsächlichen) Entropie H lassen sich bei einer Markovquelle auch alle weiteren Entropienäherungen (k = 2, 3, ...) direkt berechnen:
:$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}]
\hspace{0.05cm}.$$

:Hinweis: Diese Aufgabe gehört zum Themengebiet von Kapitel 1.2. Mit Ausnahme der Teilaufgabe (6) sei p = 1/4 und q = 1/2.

:Für die (ergodischen) Symbolwahrscheinlichkeiten einer Markovkette erster Ordnung gilt:
:$$ p_{\rm A} = \frac {p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}}
{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} \hspace{0.05cm}, \hspace{0.3cm}
p_{\rm B} = \frac {p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}}
{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} + p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} \hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Geben Sie die Übergangswahrscheinlichkeiten für p = 1/4 und q = 1/2 an.
|type="{}"}
$p = 1/4,\ q = 1/2:\ p_\text{A|A}$ = { 0.5 3% }
$p_\text{B|B}$ = { 0.75 3% }

{Wie groß sind die Symbolwahrscheinlichkeiten?
|type="{}"}
$p = 1/4,\ q = 1/2:\ p_A$ = { 0.333 3% }
$p_B$ = { 0.667 3% }

{Geben Sie die Entropienäherung erster Ordnung an.
|type="{}"}
$p = 1/4,\ q = 1/2:\ H_1$ = { 0.918 3% } $bit/Symbol$

{Welche Entropie besitzt diese Markovquelle?
|type="{}"}
$p = 1/4,\ q = 1/2:\ H$ = { 0.875 3% } $bit/Symbol$

{Welche Näherungen Hk ergeben sich aufgrund der Markoveigenschaften?
|type="{}"}
$p = 1/4,\ q = 1/2:\ H_2$ = { 0.897 3% } $bit/Symbol$
$H_3$ = { 0.889 3% } $bit/Symbol$
$H_4$ = { 0.886 3% } $bit/Symbol$

{Welche Entropie besitzt die Markovquelle mit p = 1/4 und q = 3/4?
|type="{}"}
$p = 1/4,\ q = 1/2:\ H$ = { 0.811 3% } $bit/Symbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
[[File:P_ID2757__Inf_A_1_5.png|right|]]
:1.  Hier gilt für die Übergangswahrscheinlichkeiten:
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm} 1 - p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}= 1 - q \hspace{0.15cm} \underline {= 0.5} \hspace{0.05cm},\\
p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \hspace{0.1cm} = \hspace{0.1cm} 1 - p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}= 1 - p \hspace{0.15cm} \underline {= 0.75} \hspace{0.05cm}.$$
:Nach A sind A und B gleichwahrscheinlich. Nach B tritt B sehr viel häufiger als A auf.

:2.  Entsprechend den angegebenen Gleichungen gilt:
:$$p_{\rm A}= \frac{p}{p+q} = \frac{0.25}{0.25 + 0.50} \hspace{0.15cm} \underline {= 0.333} \hspace{0.05cm}, \hspace{2cm}$$
:$$ p_{\rm B} = \frac{q}{p+q} = \frac{0.50}{0.25 + 0.50} \hspace{0.15cm} \underline {= 0.667} \hspace{0.05cm}.$$

:3.  Mit den unter (b) berechneten Wahrscheinlichkeiten gilt:
:$$H_{\rm 1} = H_{\rm bin}(p_{\rm A}) = 1/3 \cdot {\rm log}_2\hspace{0.01cm} (3) + 2/3 \cdot {\rm log}_2\hspace{0.01cm} (1.5) =
1.585 - 2/3\hspace{0.15cm} \underline {= 0.918 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Die Entropie der Markovquelle lautet entsprechend der Angabe
:$$H = p_{\rm AA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot
{\rm log}_2\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm}.$$
:Für die Verbundwahrscheinlichkeiten gilt:
:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} = (1-q) \cdot \frac{p}{p+q} =
\frac{1/2 \cdot 1/4}{3/4} = \frac{1}{6} \hspace{0.05cm},\\
p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} = q \cdot \frac{p}{p+q} =
\frac{1/2 \cdot 1/4}{3/4} = \frac{1}{6} \hspace{0.05cm},\\
p_{\rm BA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B} = p \cdot \frac{q}{p+q} =
p_{\rm AB} = \frac{1}{6} \hspace{0.05cm},\\
p_{\rm BB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B} = (1-p) \cdot \frac{q}{p+q} =
\frac{3/4 \cdot 1/2}{3/4} = \frac{1}{2} $$
:$$\Rightarrow\hspace{0.3cm} H \hspace{0.1cm} = \hspace{0.1cm} 1/6 \cdot {\rm log}_2\hspace{0.01cm} (2) + 1/6 \cdot {\rm log}_2\hspace{0.01cm} (2) + 1/6 \cdot
{\rm log}_2\hspace{0.01cm} (4) + 1/2 \cdot {\rm log}_2\hspace{0.1cm} (4/3) = \\
\hspace{0.1cm} = \hspace{0.1cm} 1/6 + 1/6 + 2/6 + 1 - 1/2 \cdot {\rm log}_2\hspace{0.01cm} (3) \hspace{0.15cm} \underline {= 0.875 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:5.  Allgemein gilt mit HM = H für die k–Entropienäherung:
:$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H_{\rm M}]
\hspace{0.05cm}.$$
:Daraus folgt:
:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{2} \cdot [ 0.918 + 1 \cdot 0.875] \hspace{0.15cm} \underline {= 0.897 \,{\rm bit/Symbol}}
\hspace{0.05cm},\\
H_3 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{3} \cdot [ 0.918 + 2 \cdot 0.875] \hspace{0.15cm} \underline {= 0.889 \,{\rm bit/Symbol}}
\hspace{0.05cm},\\
H_4 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{4} \cdot [ 0.918 + 3 \cdot 0.875] \hspace{0.15cm} \underline {= 0.886 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
[[File:P_ID2251__Inf_A_1_5f.png|right|]]

:6.  Mit dem neuen Parametersatz (p = 1/4, q = 3/4) erhält man für die Symbolwahrscheinlichkeiten: pA = 1/4 und pB = 3/4. Dieser Sonderfall führt demnach zu statistisch unabhängigen Symbolen:
:$$ p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}
\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}
\hspace{0.05cm}.$$
:Damit ist die Entropie H identisch mit der Entropienäherung H1:
:$$H = H_{\rm 1} = 1/4 \cdot {\rm log}_2\hspace{0.01cm} (4) + 3/4 \cdot {\rm log}_2\hspace{0.01cm} (4/3) =
2 - 0.75 \cdot {\rm log}_2\hspace{0.01cm} (3) \hspace{0.15cm} \underline {= 0.811 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
:Die Entropienäherungen H2, H3, H4, ... liefern hier ebenfalls das Ergebnis 0.811 bit/Symbol.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Aufgaben:Exercise 1.4Z: Entropy of the AMI Code

2016-12-01T10:26:42Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2249__Inf_A_1_4.png|right|]]
:Wir gehen von ähnlichen Voraussetzungen wie in der Aufgabe A1.4 aus: Eine Binärquelle liefert die Quellensybolfolge 〈qν〉 mit qν ∈ {L, H}, wobei es keine statistischen Bindungen zwischen den einzelnen Folgenelementen gibt.

:Für die Symbolwahrscheinlichkeiten gelte:

:* pL = pH = 1/2 (Teilaufgaben 1 und 2),

:* pL = 1/4, pH = 3/4 (Teilaufgaben 3, 4 und 5),

:* pL = 3/4, pH = 1/4 (Teilaufgabe 6).

:Das dargestellte Codesignal c(t) und die zugehörige Symbolfolge 〈cν〉 mit cν ∈ {P, N, M} ergibt sich aus der AMI–Codierung (Alternate Mark Inversion) nach folgender Vorschrift:

:* Das Binärsymbol L ⇒ Low wird stets durch das Ternärsymbol N ⇒ Null dargestellt.

:* Das Binärsymbol H ⇒ High wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole P ⇒ Plus und M ⇒ Minus codiert.

:In dieser Aufgabe sollen für die drei oben genannten Parametersätze der Entscheidungsgehalt H0 sowie die resultierende Entropie HC der Codesymbolfolge 〈cν〉 bestimmt werden. Die relative Redundanz der Codefolge ergibt sich daraus entsprechend der Gleichung
:$$r_{\rm C} = \frac{H_{\rm 0}-H_{\rm C}}{H_{\rm C}}
\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe gehört zu Kapitel 1.2. Allgemein bestehen folgende Relationen zwischen dem Entscheidungsgehalt H0, der Entropie H (hier gleich HC) und den Entropienäherungen:
:$$H \le ... \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$
:In Aufgabe A1.4 wurden für gleichwahrscheinliche Symbole L und H die Entropie–Näherungen wie folgt berechnet (jeweils in bit/Symbol):
:$$H_1 = 1.500\hspace{0.05cm},\hspace{0.2cm} H_2 = 1.375\hspace{0.05cm},\hspace{0.2cm}H_3 = 1.292
\hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Die Quellensymbole seien gleichwahrscheinlich. Wie groß ist die Entropie HC der Codesymbolfolge 〈cν〉?
|type="{}"}
$p_L = p_H:\ \ H_C$ = { 1 3% } $bit/Ternärsymbol$

{Wie groß ist die relative Redundanz der Codesymbolfolge?
|type="{}"}
$p_L = p_H:\ \ r_C$ = { 36.9 3% } %

{Für die Binärquelle gelte nun pL = 1/4 und pH = 3/4. Welcher Wert ergibt sich nun für die Entropie der Codesymbolfolge?
|type="{}"}
$p_L = 1/4:\ \ H_C$ = { 0.811 3% } $bit/Ternärsymbol$

{Wie groß ist nun die relative Redundanz der Codesymbolfolge?
|type="{}"}
$p_L = 1/4:\ \ r_C$ = { 48.8 3% } %

{Berechnen Sie die Näherung H1 der Coderentropie für pL = 1/4, pH = 3/4.
|type="{}"}
$p_L = 1/4:\ \ H_1$ = { 1.56 3% } $bit/Ternärsymbol$

{Berechnen Sie die Näherung H1 der Coderentropie für pL = 3/4, pH = 1/4.
|type="{}"}
$p_L = 3/4:\ \ H_1$ = { 1.06 3% } $bit/Ternärsymbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Da durch den AMI–Code weder neue Information hinzukommt noch Information verschwindet, ist die Entropie HC der Codesymbolfolge 〈cν〉 gleich der Quellenentropie HQ. Bei gleichwahrscheinlichen und statistisch voneinander unabhängigen Quellensymbolen gilt deshalb:
:$$H_{\rm Q} {= 1 \,{\rm bit/Bin\ddot{a}rsymbol}} \hspace{0.3cm} \Rightarrow\hspace{0.3cm} H_{\rm C} \hspace{0.15cm} \underline {= 1 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:2.  Der Entscheidungsgehalt einer ternären Quelle beträgt H0 =&nbsp log2 (3) = 1.585 bit/Symbol. Damit ergibt sich für die relative Redundanz
:$$r_{\rm C} =1 -{H_{\rm C}/H_{\rm 0}}=1-1/{\rm log}_2\hspace{0.05cm}(3)
\hspace{0.15cm} \underline {= 36.9 \,\%}
\hspace{0.05cm}.$$

:3.  Weiter gilt HC = HQ. Wegen den ungleichen Symbolwahrscheinlichkeiten ist nun HQ kleiner:
:$$H_{\rm Q} = \frac{1}{4} \cdot {\rm log}_2\hspace{0.05cm} (4) + \frac{3}{4} \cdot
{\rm log}_2\hspace{0.1cm} (4/3)
{= 0.811 \,{\rm bit/Bin\ddot{a}rsymbol}}$$
:$$\Rightarrow\hspace{0.3cm} H_{\rm C} = H_{\rm Q} \hspace{0.15cm} \underline {= 0.811 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:4.  In Analogie zur Teilaufgabe 2) gilt
:$$r_{\rm C} = 1 - 0.811/1.585
\hspace{0.15cm} \underline {= 48.8 \,\%}
\hspace{0.05cm}.$$
:Man kann dieses Ergebnis verallgemeinern:
:$$(1-0.488) = (1- 0.189) \cdot (1- 0.369)$$
:$$\Rightarrow\hspace{0.3cm} (1-r_{\rm Codefolge}) = (1-r_{\rm Quelle}) \cdot (1- r_{\rm AMI-Code})
\hspace{0.05cm}.$$

:5.  Da jedes L auf N abgebildet wird und H alternierend auf M und P, gilt
:$$p_{\rm N} = p_{\rm L} = 1/4\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 3/8$$
:$$\Rightarrow\hspace{0.3cm} H_1 = {1}/{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
2 \cdot {3}/{8} \cdot {\rm log}_2\hspace{0.1cm}(8/3) \hspace{0.15cm} \underline {= 1.56 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:6.   Nun ergeben sich die Symbolwahrscheinlichkeiten pN = 3/4 sowie pP = pM = 1/8. Somit gilt:
:$$H_1 = {3}/{4} \cdot {\rm log}_2\hspace{0.1cm} (4/3) +
2 \cdot {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} \underline {= 1.06 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$
:Für pL = 1/4, pH = 3/4 ergibt sich H1 = 1.56 bit/Symbol, bei pL = 3/4, pH = 1/4 dagegen ein deutlich kleinerer Wert: H1 = 1.06 bit/Symbol. Für beide Parameterkombinationen gilt aber gleichermaßen:
:$$H_0 = 1.585 \,{\rm bit/Symbol}\hspace{0.05cm},\hspace{0.2cm}H_{\rm C} =
\lim_{k \rightarrow \infty } H_k = 0.811 \,{\rm bit/Symbol}
\hspace{0.05cm}.$$
:Daraus folgt: Betrachtet man zwei Nachrichtenquellen Q1 und Q2 mit gleichem Symbolumfang M  ⇒  Entscheidungsgehalt H0 = const., wobei bei der Quelle Q1 die Entropienäherung erster Ordnung deutlich größer ist als bei der Quelle Q2, so kann man daraus noch lange nicht schließen, dass die Entropie von Q1 tatsächlich größer ist als die Entropie von Q2. Vielmehr muss man für beide Quellen

:* genügend viele Entropienäherungen H1, H2, H3, ... , berechnen, und

:* daraus (grafisch oder analytisch) den Grenzwert von Hk für k → ∞ bestimmen.

:Erst dann ist eine endgültige Aussage über die Entropieverhältnisse möglich.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Aufgaben:Exercise 1.4: Entropy Approximations for the AMI Code

2016-12-01T10:26:30Z

Markus:

{{quiz-Header|Buchseite=Informationstheorie/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2248__Inf_A_1_4.png|right|]]
:Die Grafik zeigt oben das binäre Quellensignal q(t), das man ebenfalls durch die Symbolfolge 〈qν〉 mit qν ∈ {L, H} beschreiben kann. In der gesamten Aufgabe gelte pL = pH = 0.5.

:Das codierte Signal c(t) und die dazugehörige Symbolfolge 〈cν〉 ∈ {P, N, M} ergibt sich aus der AMI–Codierung (Alternate Mark Inversion) nach folgender Vorschrift:

:* Das Binärsymbol L ⇒ Low wird stets durch das Ternärsymbol N ⇒ Null dargestellt.

:* Das Binärsymbol H ⇒ High wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole P ⇒ Plus und M ⇒ Minus codiert.

:In dieser Aufgabe sollen die Entropienäherungen für das AMI–codierte Signal berechnet werden:

:* Die Näherung H1 bezieht sich nur auf die Symbolwahrscheinlichkeiten pP, pN und pM.

:* Die k–te Entropienäherung (k = 2, 3, ... ) kann nach folgender Gleichung ermittelt werden:
:$$H_k = \frac{1}{k} \cdot \sum_{i=1}^{3^k} p_i^{(k)} \cdot {\rm log}_2\hspace{0.1cm}\frac {1}{p_i^{(k)}} \hspace{0.5cm}({\rm Einheit\hspace{-0.1cm}: \hspace{0.1cm}bit/Symbol})
\hspace{0.05cm}.$$
:Hierbei bezeichnet pi(k) die i–te Verbundwahrscheinlichkeit eines k–Tupels.

:Hinweis: Die Aufgabe gehört zu Kapitel 1.2. In der Aufgabe Z1.4 wird die tatsächliche Entropie der Codesymbolfolge 〈cν〉 zu H = 1 bit/Symbol berechnet. Zu erwarten sind die folgenden Größenrelationen:
:$$H \le ... \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Wie groß ist der Entscheidungsgehalt des AMI–Codes?
|type="{}"}
$H_0$ = { 1.585 3% } $bit/Symbol$

{Berechnen Sie die erste Entropienäherung.
|type="{}"}
$H_1$ = { 1.5 3% } $bit/Symbol$

{Wie groß ist die Entropienäherung H2, basierend auf Zweiertupel?
|type="{}"}
$H_2$ = { 1.375 3% } $bit/Symbol$

{Welchen Wert liefert die Entropienäherung H3, basierend auf Dreiertuptel?
|type="{}"}
$H_3$ = { 0 3% } $bit/Symbol$

{Welche Aussagen gelten für die Entropienäherung H4?
|type="[]"}
+ Es muss über 34 = 81 Summanden gemittelt werden.
+ Es gilt 1 bit/Symbol < H4 < H3.
- Nach langer Rechnung erhält man H4 = 1.333 bit/Symbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Der Symbolumfang beträgt M = 3. Daraus ergibt sich der Entscheidungsgehalt mit dem Logarithmus dualis zur Basis 2 (log2 oder &bdquo;ld”):
:$$H_0 = {\rm log}_2\hspace{0.1cm} M = {\rm log}_2\hspace{0.1cm} (3) \hspace{0.15cm} \underline { = 1.585 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:2.  Die Entropienäherung erster Ordnung berücksichtigt nur die Symbolwahrscheinlichkeiten pP, pN und pM und nicht die statistischen Bindungen innerhalb der Codefolge 〈cν〉. Damit erhält man:
:$$p_{\rm N} = p_{\rm L} = 1/2\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 1/4$$
:$$\Rightarrow\hspace{0.3cm} H_1 = \frac{1}{2} \cdot {\rm log}_2\hspace{0.1cm} (2) +
2 \cdot \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm}(4) \hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:3.  Zunächst müssen hier die M2 = 9 Verbundwahrscheinlichkeiten von Zweiertupeln ermittelt werden, im Folgenden gekennzeichnet durch die beiden ersten Codesymbole c1 und c2:

:* Da beim AMI–Code weder P auf P noch M auf M folgen kann, ist pPP = pMM = 0.

:* Für die Verbundwahrscheinlichkeiten unter der Bedingung c2 = N gilt:
:$$p_{\rm NN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} | c_1 = \mathbf{N}) = 1/2 \cdot 1/2 = 1/4 \hspace{0.05cm},\\
p_{\rm MN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} | c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\
p_{\rm PN} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{N}\hspace{0.05cm} | c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8
\hspace{0.05cm}.$$

:* Die Verbundwahrscheinlichkeiten der Zweiertupel &bdquo;PM” und &bdquo;MP” lauten:
:$$p_{\rm PM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{P}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} | c_1 = \mathbf{P}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm},\\
p_{\rm MP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{M}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} | c_1 = \mathbf{M}) = 1/4 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$

:* Bei den restlichen Wahrscheinlichkeiten muss zusätzlich berücksichtigt werden, ob beim letzten Mal das Binärsymbol H mit P oder mit M codiert wurde  ⇒  weiterer Faktor 1/2:
:$$p_{\rm NM} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{M}\hspace{0.05cm} | c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2= 1/8 \hspace{0.05cm},\\
p_{\rm NP} \hspace{0.1cm} = \hspace{0.1cm} {\rm Pr}( c_1 = \mathbf{N}) \cdot {\rm Pr}(c_2 = \mathbf{P}\hspace{0.05cm} | c_1 = \mathbf{N}) = 1/2 \cdot 1/2 \cdot 1/2 = 1/8 \hspace{0.05cm}.$$

:Damit ist die Entropie H2' eines Zweiertupels bzw. dessen Entropie H2 pro Codesymbol:
:$$H_2' = \frac{1}{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
6 \cdot \frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} {= 2.75 \,{\rm bit/Zweiertupel}}$$
:$$\Rightarrow\hspace{0.3cm} H_2 = \frac{H_2'}{2} \hspace{0.15cm} \underline {= 1.375 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Die Berechnung von H3 erfolgt ähnlich wie bei der letzten Teilaufgabe für H2, nur müssen nun 33 = 27 Verbundwahrscheinlichkeiten ermittelt werden:
:$$p_{\rm NNN} = 1/8\hspace{0.4cm}{\rm (nur \hspace{0.15cm}einmal)}
\hspace{0.05cm},$$
:$$p_{\rm NMM} = p_{\rm NPP} = p_{\rm MNM} = ... = 0 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}12)}
\hspace{0.05cm},$$
:$$p_{\rm NNM} = p_{\rm NNP} = p_{\rm PMP} = ... = 1/16 \hspace{0.4cm}{\rm (ingesamt \hspace{0.15cm}14)}$$
:$$\Rightarrow\hspace{0.3cm} H_3 = \frac{1}{3} \cdot \left [
\frac{1}{8} \cdot {\rm log}_2\hspace{0.1cm} (8) +
14 \cdot \frac{1}{16} \cdot {\rm log}_2\hspace{0.1cm}(16)
\right ] \hspace{0.15cm} \underline {= 1.292 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:5.  Richtig sind die Lösungsvorschläge 1 und 2. Falsch ist dagegen die Aussage 3, da H4 auf jeden Fall kleiner sein muss als H3 = 1.292 bit/Symbol.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie|^1.2 Nachrichtenquellen mit Gedächtnis^]]