Difference between revisions of "Information Theory"

From LNTwww
(39 intermediate revisions by 4 users not shown)
Line 1: Line 1:
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die in
+
Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
*einer Nachricht (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
+
*the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").
*enthaltene Information (ganz allgemein: „die Kenntnis über irgend etwas“)  
 
  
  
Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden. Claude Elwood Shannon gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte: die nach ihm benannte ''Shannonsche Informationstheorie''.  
+
The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.  
  
===Inhalt===
+
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.
 +
 
 +
The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.
 +
 
 +
Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$. 
 +
 +
 
 +
===Contents===
 
{{Collapsible-Kopf}}
 
{{Collapsible-Kopf}}
{{Collapse1| header=Entropie wertdiskreter Nachrichtenquellen
+
{{Collapse1| header=Entropy of Discrete Sources
 
| submenu=  
 
| submenu=  
*[[/Gedächtnislose Nachrichtenquellen/]]
+
*[[/Discrete Memoryless Sources/]]
*[[/Nachrichtenquellen mit Gedächtnis/]]
+
*[[/Discrete Sources with Memory/]]
*[[/Natürliche wertdiskrete Nachrichtenquellen/]]
+
*[[/Natural Discrete Sources/]]
 
}}
 
}}
{{Collapse2 | header=Quellencodierung - Datenkomprimierung
+
{{Collapse2 | header=Source Coding - Data Compression
 
|submenu=
 
|submenu=
*[[/Allgemeine Beschreibung/]]
+
*[[/General Description/]]
*[[/Komprimierung nach Lempel, Ziv und Welch/]]
+
*[[/Compression According to Lempel, Ziv and Welch/]]
*[[/Entropiecodierung nach Huffman/]]
+
*[[/Entropy Coding According to Huffman/]]
*[[/Weitere Quellencodierverfahren/]]
+
*[[/Further Source Coding Methods/]]
 
}}
 
}}
{{Collapse3 | header=Information zwischen zwei wertdiskreten Zufallsgrößen
+
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
 
|submenu=
 
|submenu=
*[[/Einige Vorbemerkungen zu zweidimensionalen Zufallsgrößen/]]
+
*[[/Some Preliminary Remarks on Two-Dimensional Random Variables/]]
*[[/Verschiedene Entropien zweidimensionaler Zufallsgrößen/]]
+
*[[/Different Entropy Measures of Two-Dimensional Random Variables/]]
*[[/Anwendung auf die Digitalsignalübertragung/]]
+
*[[/Application to Digital Signal Transmission/]]
 
}}
 
}}
{{Collapse4 | header=Wertkontinuierliche Informationstheorie
+
{{Collapse4 | header=Information Theory for Continuous Random Variables
 
|submenu=
 
|submenu=
*[[/Differentielle Entropie/]]
+
*[[/Differential Entropy/]]
*[[/AWGN–Kanalkapazität bei wertkontinuierlichem Eingang/]]
+
*[[/AWGN Channel Capacity for Continuous Input/]]
*[[/AWGN–Kanalkapazität bei wertdiskretem Eingang/]]
+
*[[/AWGN Channel Capacity for Discrete Input/]]
 
}}
 
}}
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
Der Umfang dieses Buches entspricht einer Lehrveranstaltung mit zwei Semesterwochenstunden (SWS) Vorlesung und einer SWS Übungen.
 
  
'''Empfohlene Literatur:'''
+
In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
*Böhme, J.R.: Stochastische Signale. Stuttgart: B.G. Teubner, 1993.
+
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
*Bratley, R.; Fox, B.L.; Schräge, L.E.: A Guide to Simulation. New York: Springer, 1987.
+
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
*Davenport, W.B.: Probability and Random Processes. New York: McGraw-Hill, 1970.
+
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
*Fisz, M.: Wahrscheinlichkeitsrechnung und mathematische Statistik. 9. Auflage. Berlin: Deutscher Verlag der Wissenschaften, 1978.
+
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.
*Greiner, M.; Tinhofer, G.: Stochastik für Studienanfänger der Informatik. München: Carl Hanser, 1996.
+
 
*Hänsler, E.: Statistische Signale: Grundlagen und Anwendungen. 2. Auflage. Berlin – Heidelberg: Springer, 1997.
+
<br><br>
*Jackson, L.B.: Digital Filters and Signal Processing. Boston: Kluwer, 1986.
+
$\text{More links:}$
*Knuth, D.E.: The Art of Computer Programming – Volume l. Second Edition. Reading, Mass.: Addison-Wesley, 1973.
+
<br><br>
*Knuth, D.E.: The Art of Computer Programming – Volume 2. Second Edition. Reading, Mass.: Addison-Wesley, 1981.
+
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]
*Kolmogoroff, A.N.: Grundbegriffe der Wahrscheinlichkeitsrechnung. Berlin – Heidelberg: Springer, 1933.
+
 
*Kreyszig, E.: Statistische Methoden und ihre Anwendungen. 7. Auflage. Göttingen: Vandenhoeck & Ruprecht, 1985.
+
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]] &nbsp; (Authors,&nbsp; other participants,&nbsp; materials as a starting point for the book,&nbsp; list of sources)
*Lücker, R.: Grundlagen digitaler Filter. Berlin – Heidelberg: Springer, 1980.
+
<br><br>
*Lüke, H.D.: Korrelationssignale. Berlin – Heidelberg: Springer, 1992.
 
*Müller, P.H.: Lexikon der Stochastik. 5. Auflage. Berlin: Akademie-Verlag, 1991.
 
*Papoulis, A.; Pillai, S.U.: Probability, Random Variables, and Stochastic Processes. Fourth Edition. New York: McGraw-Hill, 2002.
 
*Söder, G.: Modellierung, Simulation und Optimierung von Nachrichtensystemen. Berlin – Heidelberg: Springer, 1993.
 
*Thomas, J.B.: Introduction to Probability. New York: Springer, 1986.
 
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Revision as of 09:57, 16 June 2021

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of

  • the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").


The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

Claude Elwood Shannon  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.

The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$.


Contents

In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:



$\text{More links:}$

$(1)$    $\text{Recommended literature for the book}$

$(2)$    $\text{General notes about the book}$   (Authors,  other participants,  materials as a starting point for the book,  list of sources)