Difference between revisions of "Information Theory"

From LNTwww
(34 intermediate revisions by 4 users not shown)
Line 1: Line 1:
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die in
+
Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
*einer Nachricht (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
+
*the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").
*enthaltene Information (ganz allgemein: „die Kenntnis über irgend etwas“)  
 
  
  
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden. Claude Elwood Shannon gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte: die nach ihm benannte ''Shannonsche Informationstheorie''.  
+
The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.  
  
===Inhalt===
+
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.
 +
 
 +
The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.
 +
 
 +
Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$. 
 +
 +
 
 +
===Contents===
 
{{Collapsible-Kopf}}
 
{{Collapsible-Kopf}}
{{Collapse1| header=Entropie wertdiskreter Nachrichtenquellen
+
{{Collapse1| header=Entropy of Discrete Sources
 
| submenu=  
 
| submenu=  
*[[/Gedächtnislose Nachrichtenquellen/]]
+
*[[/Discrete Memoryless Sources/]]
*[[/Nachrichtenquellen mit Gedächtnis/]]
+
*[[/Discrete Sources with Memory/]]
*[[/Natürliche wertdiskrete Nachrichtenquellen/]]
+
*[[/Natural Discrete Sources/]]
 
}}
 
}}
{{Collapse2 | header=Quellencodierung - Datenkomprimierung
+
{{Collapse2 | header=Source Coding - Data Compression
 
|submenu=
 
|submenu=
*[[/Allgemeine Beschreibung/]]
+
*[[/General Description/]]
*[[/Komprimierung nach Lempel, Ziv und Welch/]]
+
*[[/Compression According to Lempel, Ziv and Welch/]]
*[[/Entropiecodierung nach Huffman/]]
+
*[[/Entropy Coding According to Huffman/]]
*[[/Weitere Quellencodierverfahren/]]
+
*[[/Further Source Coding Methods/]]
 
}}
 
}}
{{Collapse3 | header=Information zwischen zwei wertdiskreten Zufallsgrößen
+
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
 
|submenu=
 
|submenu=
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
+
*[[/Some Preliminary Remarks on Two-Dimensional Random Variables/]]
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
+
*[[/Different Entropy Measures of Two-Dimensional Random Variables/]]
*[[/Anwendung auf die Digitalsignalübertragung/]]
+
*[[/Application to Digital Signal Transmission/]]
 
}}
 
}}
{{Collapse4 | header=Wertkontinuierliche Informationstheorie
+
{{Collapse4 | header=Information Theory for Continuous Random Variables
 
|submenu=
 
|submenu=
*[[/Differentielle Entropie/]]
+
*[[/Differential Entropy/]]
*[[/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang/]]
+
*[[/AWGN Channel Capacity for Continuous Input/]]
*[[/AWGN–Kanalkapazität bei wertdiskretem Eingang/]]
+
*[[/AWGN Channel Capacity for Discrete Input/]]
 
}}
 
}}
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
Der Umfang dieses Buches entspricht einer Lehrveranstaltung mit zwei Semesterwochenstunden (SWS) Vorlesung und einer SWS Übungen.
 
 
  
'''Empfohlene Literatur:'''
+
In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
*Abel, J.: Grundlagen des Burrows-Wheeler-Kompressionsalgorithmus. PDF–Internetdokument
+
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
*Blahut, R.E.: Principles and Practice of Information Theory. Massachusetts: Addison-Wesley, 1987.
+
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
*Bodden, E.; Clasen, M.; Kneis, J.: Algebraische Kodierung. Proseminar, Lehrstuhl für Informatik IV, RWTH Aachen, 2002.
+
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
*Cover, T.M.; Thomas, J.A.: Elements of Information Theory. West Sussex: John Wiley & Sons, 2nd Edition, 2006.
+
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.
*Fano, R.M.: Transmission of Information: A Statistical Theory of Communication. New York: John Wiley & Sons, 1961.
 
*Forney, G.D.: Information Theory. Stanford University, 1972.
 
*Friedrichs, B.: Kanalcodierung – Grundlagen und Anwendungen in modernen Kommunikations- systemen. Berlin – Heidelberg: Springer, 1996.
 
*Gallager, R.G.: Information Theory and Reliable Communication. New York: John Wiley & Sons, 1968.
 
*Hartley, R. V. L.: Transmission of Information. In: Bell Syst. Techn. J. Vol. 39, 1928, pp. 535.
 
*Johannesson, R.: Informationstheorie. Lund: Studienliteratur, 1992.
 
*Kramer, G.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2016.
 
*Küpfmüller, K.: Die Entropie der deutschen Sprache. Fernmeldetechnische Zeitung 7, 1954, S. 265-272.
 
*McEliece, R.J.: The Theory of Information Theory and Coding. Massachusetts: Addison-Wesley, 1977.
 
*Mecking, M.: Information Theory. Vorlesungsmanuskript, Lehrstuhl für Nachrichtentechnik, Technische Universität München, 2009.
 
*Proakis, J. G.; Salehi, M.: Communications Systems Engineering. Prentice Hall, 2002.
 
*Shannon, C.E.: A Mathematical Theory of Communication. In: Bell Syst. Techn. J. 27 (1948), S. 379-423 und S. 623-656.
 
*Shannon, C.E.: Prediction and Entropy of Printed English. Bell Syst. Techn. J., Band 30, 1951, S. 50-64.
 
*Wyner, A. D.; Ziv, J.: A Theorem on the Entropy of Certain Binary Sequencies and Applications. IEEE Transactions on Information Theory, IT-19, S. *769-772, 1973.
 
  
 +
<br><br>
 +
$\text{More links:}$
 +
<br><br>
 +
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]
  
'''ALT'''
+
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]] &nbsp; (Authors,&nbsp; other participants,&nbsp; materials as a starting point for the book,&nbsp; list of sources)
*Anderson, J.B.; Mohan, S.: Source and Channel Coding. Norwell (Mass.).: Kluwer Academic Publisher, 1990.
+
<br><br>
*Böhme, J.R.: Stochastische Signale. Stuttgart: B.G. Teubner, 1993.
 
*Bratley, R.; Fox, B.L.; Schräge, L.E.: A Guide to Simulation. New York: Springer, 1987.
 
*Davenport, W.B.: Probability and Random Processes. New York: McGraw-Hill, 1970.
 
*Fisz, M.: Wahrscheinlichkeitsrechnung und mathematische Statistik. 9. Auflage. Berlin: Deutscher Verlag der Wissenschaften, 1978.
 
*Greiner, M.; Tinhofer, G.: Stochastik für Studienanfänger der Informatik. München: Carl Hanser, 1996.
 
*Hänsler, E.: Statistische Signale: Grundlagen und Anwendungen. 2. Auflage. Berlin – Heidelberg: Springer, 1997.
 
*Jackson, L.B.: Digital Filters and Signal Processing. Boston: Kluwer, 1986.
 
*Knuth, D.E.: The Art of Computer Programming – Volume l. Second Edition. Reading, Mass.: Addison-Wesley, 1973.
 
*Knuth, D.E.: The Art of Computer Programming – Volume 2. Second Edition. Reading, Mass.: Addison-Wesley, 1981.
 
*Kolmogoroff, A.N.: Grundbegriffe der Wahrscheinlichkeitsrechnung. Berlin – Heidelberg: Springer, 1933.
 
*Kreyszig, E.: Statistische Methoden und ihre Anwendungen. 7. Auflage. Göttingen: Vandenhoeck & Ruprecht, 1985.
 
*Lücker, R.: Grundlagen digitaler Filter. Berlin – Heidelberg: Springer, 1980.
 
*Lüke, H.D.: Korrelationssignale. Berlin – Heidelberg: Springer, 1992.
 
*Müller, P.H.: Lexikon der Stochastik. 5. Auflage. Berlin: Akademie-Verlag, 1991.
 
*Papoulis, A.; Pillai, S.U.: Probability, Random Variables, and Stochastic Processes. Fourth Edition. New York: McGraw-Hill, 2002.
 
*Söder, G.: Modellierung, Simulation und Optimierung von Nachrichtensystemen. Berlin – Heidelberg: Springer, 1993.
 
*Thomas, J.B.: Introduction to Probability. New York: Springer, 1986.
 
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Revision as of 09:57, 16 June 2021

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of

  • the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").


The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

Claude Elwood Shannon  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.

The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$.


Contents

In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:



$\text{More links:}$

$(1)$    $\text{Recommended literature for the book}$

$(2)$    $\text{General notes about the book}$   (Authors,  other participants,  materials as a starting point for the book,  list of sources)