Difference between revisions of "Information Theory"

From LNTwww
 
(67 intermediate revisions by 5 users not shown)
Line 1: Line 1:
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die in
+
===Brief summary===
*einer Nachricht (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
 
*enthaltene Information (ganz allgemein: „die Kenntnis über irgend etwas“)
 
  
 +
{{BlueBox|TEXT=From the earliest beginnings of message transmission as an engineering discipline,  it has been the endeavour of many engineers and mathematicians  to find a quantitative measure for the
 +
*contained  $\rm information$  $($quite generally:  »the knowledge about something«$)$
  
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden. Claude Elwood Shannon gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte: die nach ihm benannte ''Shannonsche Informationstheorie''.
+
*in a  $\rm message$  $($here we mean  »a collection of symbols and/or states»$)$.
 +
  
 +
The  $($abstract$)$  information is communicated by the  $($concrete$)$  message and can be conceived as the interpretation of a message.
  
Der Umfang dieses Buches entspricht einer Lehrveranstaltung mit zwei Semesterwochenstunden (SWS) Vorlesung und eine SWS Übungen.
+
[https://en.wikipedia.org/wiki/Claude_Shannon '''Claude Elwood Shannon''']  succeeded in 1948,  in establishing a consistent theory about the information content of messages,  which was revolutionary in its time and created a new,  still highly topical field of science:   »'''Shannon's information theory«'''  named after him.
  
Hier zunächst eine Inhaltsübersicht anhand der vier Hauptkapitel mit insgesamt 13 Kapiteln.   
+
This is what the fourth book in the  $\rm LNTwww$ series deals with,  in particular:
 +
# Entropy of discrete-value sources with and without memory,  as well as natural message sources:  Definition,  meaning and computational possibilities.
 +
# Source coding and data compression,  especially the   »Lempel–Ziv–Welch method«   and   »Huffman's entropy encoding«.   
 +
# Various entropies of two-dimensional discrete-value random quantities.  Mutual information and channel capacity.  Application to digital signal transmission.   
 +
# Discrete-value information theory.  Differential entropy.  AWGN channel capacity with continuous-valued as well as discrete-valued input.
 +
 
 +
 
 +
⇒   First a  »'''content overview'''«  on the basis of the  »'''four main chapters'''«  with a total of  »'''13 individual chapters'''«  and  »'''106 sections'''«:}}
 +
 
 +
 
 +
 
 +
===Content===
  
===Inhalt===
 
 
{{Collapsible-Kopf}}
 
{{Collapsible-Kopf}}
{{Collapse1| header=Entropie wertdiskreter Nachrichtenquellen
+
{{Collapse1| header=Entropy of Discrete Sources
 
| submenu=  
 
| submenu=  
*[[/Gedächtnislose Nachrichtenquellen/]]
+
*[[/Discrete Memoryless Sources/]]
*[[/Nachrichtenquellen mit Gedächtnis/]]
+
*[[/Discrete Sources with Memory/]]
*[[/Natürliche wertdiskrete Nachrichtenquellen/]]
+
*[[/Natural Discrete Sources/]]
 
}}
 
}}
{{Collapse2 | header=Quellencodierung - Datenkomprimierung
+
{{Collapse2 | header=Source Coding - Data Compression
 
|submenu=
 
|submenu=
*[[/Allgemeine Beschreibung/]]
+
*[[/General Description/]]
*[[/Komprimierung nach Lempel, Ziv und Welch/]]
+
*[[/Compression According to Lempel, Ziv and Welch/]]
*[[/Entropiecodierung nach Huffman/]]
+
*[[/Entropy Coding According to Huffman/]]
*[[/Weitere Quellencodierverfahren/]]
+
*[[/Further Source Coding Methods/]]
 
}}
 
}}
{{Collapse3 | header=Information zwischen zwei wertdiskreten Zufallsgrößen
+
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
 
|submenu=
 
|submenu=
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
+
*[[/Some Preliminary Remarks on Two-Dimensional Random Variables/]]
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
+
*[[/Different Entropy Measures of Two-Dimensional Random Variables/]]
*[[/Anwendung auf die Digitalsignalübertragung/]]
+
*[[/Application to Digital Signal Transmission/]]
 
}}
 
}}
{{Collapse4 | header=Wertkontinuierliche Informationstheorie
+
{{Collapse4 | header=Information Theory for Continuous Random Variables
 
|submenu=
 
|submenu=
*[[/Differentielle Entropie/]]
+
*[[/Differential Entropy/]]
*[[/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang/]]
+
*[[/AWGN Channel Capacity for Continuous-Valued Input/]]
*[[/AWGN–Kanalkapazität bei wertdiskretem Eingang/]]
+
*[[/AWGN Channel Capacity for Discrete-Valued Input/]]
 
}}
 
}}
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
  
Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
+
===Exercises and multimedia===
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie'''Aufgaben''']
+
 
*[[LNTwww:Lernvideos_zu_Informationstheorie|'''Lernvideos''']]
+
{{BlaueBox|TEXT=
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|'''neu gestaltete Applets''']], basierend auf HTML5, auch auf Smartphones lauffähig
+
In addition to these theory pages,  we also offer exercises and multimedia modules on this topic,  which could help to clarify the teaching material:
*[[LNTwww:SWF-Applets_zu_Informationstheorie|'''frühere Applets''']], basierend auf SWF, lauffähig nur unter WINDOWS mit ''Adobe Flash Player''
+
 
 +
$(1)$    [https://en.lntwww.de/Category:Information_Theory:_Exercises $\text{Exercises}$]
 +
 
 +
$(2)$    [[LNTwww:Learning_videos_to_"Information_Theory"|$\text{Learning videos}$]]
 +
 
 +
$(3)$    [[LNTwww:Applets_to_"Information_Theory"|$\text{Applets}$]] }}
 +
 
  
 +
===Further links===
  
 +
{{BlaueBox|TEXT=
 +
$(4)$    [[LNTwww:Bibliography_to_"Information_Theory"|$\text{Bibliography}$]]
  
'''Empfohlene Literatur:'''
+
$(5)$    [[LNTwww:Imprint_for_the_book_"Information_Theory"|$\text{Impressum}$]]}}
*Abel, J.: Grundlagen des Burrows-Wheeler-Kompressionsalgorithmus, Informatik - Forschung und Entwicklung , 18, Nr. 2, S. 80–87, 2004
+
<br><br>
*Ahlswede, R.; Ahlswede, A.; Althöfer, I.; Deppe, Ch.; Tamm, U. (Hrsg.): Storing and Transmitting Data. Springer International Publishing, 2014
 
*Blahut, R. E.: Principles and Practice of Information Theory. 4. Aufl. Reading, Massachusetts: Addison-Wesley, 1991. ISBN 978-0-20110-709-8
 
*Bodden, E.; Clasen, M.; Kneis, J.: Algebraische Kodierung. Proseminar. Lehrstuhl für Informatik IV, RWTH Aachen, 2002
 
*Cover, T. M.; Thomas, J. A.: Elements of Information Theory. 2. Aufl. Hoboken, N.J: Wiley-Interscience, 2006. ISBN 978-0-47124-195-9
 
*Csiszar, I.; Körner, J.: Information Theory: Coding Theorems for Discrete Memoryless System. Cambridge University Press, 2. Auflage, 2011.  ISBN: 978-0-52119-681-9
 
*Fano, R. M.: Transmission of Information: A Statistical Theory of Communication. Cambridge, Mass.: MIT Press, 1968. ISBN 978-0-26256-169-3
 
*Forney, G. D.: Information Theory. Stanford University, 1972
 
*Friedrichs, B.: Kanalcodierung. Grundlagen und Anwendungen in modernen Kommunikationssystemen. Berlin u.a.: Springer, 1996. ISBN 3-540-58232-0
 
*Gallager, R. G.: Information Theory and Reliable Communication. New York NY u.a.: Wiley, 1968. ISBN 0-471-29048-3
 
*Hartley, R. V. L.: Transmission of Information. In: Bell System Technical Journal , 7, Nr. 3, pp. 535, 1928
 
*Johannesson, R.: Informationstheorie - Grundlage der (Tele-)Kommunikation. Bonn u.a.: Addison-Wesley, 1992. ISBN 3-89319-465-7
 
*Kramer, G.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik. München: TU München, 2016
 
*Küpfmüller, K.: Die Entropie der deutschen Sprache, Fernmeldetechnische Zeitung, Nr. 7, S. 265–272, 1954
 
*McEliece, R. J.: The Theory of Information Theory and Coding. Volume 86. Cambridge: Cambridge University Press, 2004. ISBN 978-0-52183-185-7
 
*Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik. TU München, 2009
 
*Proakis, J. G.; Salehi, M.: Communications Systems Engineering. 2. Aufl. Upper Saddle River, NJ: Prentice Hall, 2002. ISBN 0-130-95007-6
 
*Schönfeld, D.; Klimant, H.; Piotraschke, R.: Informations- und Kodierungstheorie. 4. Aufl. Wiesbaden: Vieweg+Teubner Verlag, 2012. ISBN 978-3-83480-647-5
 
*Shannon, C. E.: A Mathematical Theory of Communication, Bell System Technical Journal ,Band 27, Nr. 3, S. 379–423 und S.623-656, 1948
 
*Shannon, C. E.: Prediction and Entropy of Printed English, Bell System Technical Journal ,Band 30, Nr. 1, S. 50–64, 1951
 
*Wolfowitz, J.: Coding Theorems of Information Theory. Berlin: Springer, 1978. ISBN: 978-3-64266-824-1
 
*Wyner, A. D.; Ziv, J.: A Theorem on the Entropy of Certain Binary Sequencies and Applications, IEEE Transactions on Information Theory , IT- 19, Nr. 6, S. 769–772, 1973
 
  
  
[[LNTwww:Autoren#Informationstheorie|'''Hinweise zu den Autoren und den Materialien, von denen bei der Erstellung des Buches ausgegangen wurde''']]
 
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Latest revision as of 17:50, 31 December 2023

Brief summary

From the earliest beginnings of message transmission as an engineering discipline,  it has been the endeavour of many engineers and mathematicians  to find a quantitative measure for the

  • contained  $\rm information$  $($quite generally:  »the knowledge about something«$)$
  • in a  $\rm message$  $($here we mean  »a collection of symbols and/or states»$)$.


The  $($abstract$)$  information is communicated by the  $($concrete$)$  message and can be conceived as the interpretation of a message.

Claude Elwood Shannon  succeeded in 1948,  in establishing a consistent theory about the information content of messages,  which was revolutionary in its time and created a new,  still highly topical field of science:  »Shannon's information theory«  named after him.

This is what the fourth book in the  $\rm LNTwww$ series deals with,  in particular:

  1. Entropy of discrete-value sources with and without memory,  as well as natural message sources:  Definition,  meaning and computational possibilities.
  2. Source coding and data compression,  especially the   »Lempel–Ziv–Welch method«   and   »Huffman's entropy encoding«.
  3. Various entropies of two-dimensional discrete-value random quantities.  Mutual information and channel capacity.  Application to digital signal transmission.
  4. Discrete-value information theory.  Differential entropy.  AWGN channel capacity with continuous-valued as well as discrete-valued input.


⇒   First a  »content overview«  on the basis of the  »four main chapters«  with a total of  »13 individual chapters«  and  »106 sections«:


Content

Exercises and multimedia

In addition to these theory pages,  we also offer exercises and multimedia modules on this topic,  which could help to clarify the teaching material:

$(1)$    $\text{Exercises}$

$(2)$    $\text{Learning videos}$

$(3)$    $\text{Applets}$ 


Further links