Difference between revisions of "Information Theory"

From LNTwww
(Die Seite wurde neu angelegt: „==Buchübersicht== Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathem…“)
 
(48 intermediate revisions by 6 users not shown)
Line 1: Line 1:
==Buchübersicht==
+
Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
Seit den ersten Anfängen der Nachrichtenübertragung als naturwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß für die in einer Nachricht enthaltene Information zu finden. Hierbei soll unter „Information“ ganz allgemein die Kenntnis über irgend etwas verstanden werden, während wir im folgenden eine „Nachricht“ stets als eine Zusammenstellung von Symbolen und/oder Zuständen betrachten, die zur Übermittlung von Information dient. Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann in vielerlei Hinsicht als Interpretation einer Nachricht aufgefasst werden.
+
*the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").  
  
  
Claude Elwood Shannon gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte: die nach ihm benannte Shannonsche Informationstheorie. Von dieser handelt dieses Lehrbuch, das im Mai 2011 begonnen und im Sommer 2015 fertiggestellt wurde.
+
The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.  
  
 +
[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.
  
===Inhalt===
+
The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.
 +
 
 +
Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$. 
 +
 +
 
 +
===Contents===
 
{{Collapsible-Kopf}}
 
{{Collapsible-Kopf}}
{{Collapse1| header=Grundbegriffe der Nachrichtentechnik
+
{{Collapse1| header=Entropy of Discrete Sources
 
| submenu=  
 
| submenu=  
*[[/Prinzip der Nachrichtenübertragung/]]
+
*[[/Discrete Memoryless Sources/]]
*[[/Klassifizierung von Signalen/]]
+
*[[/Discrete Sources with Memory/]]
*[[/Zum Rechnen mit komplexen Zahlen/]]
+
*[[/Natural Discrete Sources/]]
}}
 
{{Collapse2 | header=Periodische Signale
 
|submenu=
 
*[[/Allgemeine Beschreibung/]]
 
*[[/Gleichsignal - Grenzfall eines periodischen Signals/]]
 
*[[/Harmonische Schwingung/]]
 
*[[/Fourierreihe/]]
 
 
}}
 
}}
{{Collapse3 | header=Aperiodische Signale - Impulse
+
{{Collapse2 | header=Source Coding - Data Compression
 
|submenu=
 
|submenu=
*[[/Fouriertransformation und -rücktransformation/]]
+
*[[/General Description/]]
*[[/Einige Sonderfälle impulsartiger Signale/]]
+
*[[/Compression According to Lempel, Ziv and Welch/]]
*[[/Gesetzmäßigkeiten der Fouriertransformation/]]
+
*[[/Entropy Coding According to Huffman/]]
*[[/Faltungssatz und Faltungsoperation/]]
+
*[[/Further Source Coding Methods/]]
 
}}
 
}}
{{Collapse4 | header=Bandpassartige Signale
+
{{Collapse3 | header=Mutual Information Between Two Discrete Random Variables
 
|submenu=
 
|submenu=
*[[/Unterschiede und Gemeinsamkeiten von TP- und BP-Signalen/]]
+
*[[/Some Preliminary Remarks on Two-Dimensional Random Variables/]]
*[[/Analytisches Signal und zugehörige Spektralfunktion/]]
+
*[[/Different Entropy Measures of Two-Dimensional Random Variables/]]
*[[/Äquivalentes Tiefpass-Signal und zugehörige Spektralfunktion/]]
+
*[[/Application to Digital Signal Transmission/]]
 
}}
 
}}
{{Collapse5 | header=Zeit- und frequenzdisktrete Signaldarstellung
+
{{Collapse4 | header=Information Theory for Continuous Random Variables
 
|submenu=
 
|submenu=
*[[/Zeitdiskrete Signaldarstellung/]]
+
*[[/Differential Entropy/]]
*[[/Diskrete Fouriertransformation (DFT)/]]
+
*[[/AWGN Channel Capacity for Continuous Input/]]
*[[/Fehlermöglichkeiten bei Anwendung der DFT/]]
+
*[[/AWGN Channel Capacity for Discrete Input/]]
*[[/Spektralanalyse/]]
 
*[[/Fast-Fouriertransformation (FFT)/]]
 
 
}}
 
}}
 
{{Collapsible-Fuß}}
 
{{Collapsible-Fuß}}
 +
 +
In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
 +
*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
 +
*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
 +
*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
 +
*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.
 +
 +
<br><br>
 +
$\text{More links:}$
 +
<br><br>
 +
$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]
 +
 +
$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]] &nbsp; (Authors,&nbsp; other participants,&nbsp; materials as a starting point for the book,&nbsp; list of sources)
 +
<br><br>
  
  
 
__NOTOC__
 
__NOTOC__
 
__NOEDITSECTION__
 
__NOEDITSECTION__

Revision as of 09:57, 16 June 2021

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of

  • the $\rm Information$  (in general: "the knowledge of something") contained in a  $\rm message$  (here we understand "a collection of symbols and/or states").


The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

Claude Elwood Shannon  succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:  the theory named after him  $\text{Shannon's Information Theory}$.

The course material corresponds to a  $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the  $\text{four main chapters}$  with a total of  $\text{13 individual chapters}$.


Contents

In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:



$\text{More links:}$

$(1)$    $\text{Recommended literature for the book}$

$(2)$    $\text{General notes about the book}$   (Authors,  other participants,  materials as a starting point for the book,  list of sources)