Information Theory: Difference between revisions

Revision as of 01:17, 27 October 2020

Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of

the $\rm Information$ (in general: "the knowledge of something") contained in a $\rm message$ (here we understand "a collection of symbols and/or states").

The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.

Claude Elwood Shannon succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science: the theory named after him $\text{Shannon's Information Theory}$.

The course material corresponds to a $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.

Here is a table of contents based on the $\text{four main chapters}$ with a total of $\text{13 individual chapters}$.

$\text{Exercises}$
$\text{Learning videos}$
$\text{redesigned applets}$, based on HTML5, also executable on smartphones
$\text{former Applets}$, based on SWF, executable only under WINDOWS with Adobe Flash Player.

$\text{More links:}$

$(1)$ $\text{Recommended literature for the book}$

$(2)$ $\text{General notes about the book}$ (Autoren, Weitere Beteiligte, Materialien als Ausgangspunkt des Buches, Quellenverzeichnis)

@@ Line 1: / Line 1: @@
-Seit den ersten Anfängen der Nachrichtenübertragung als ingenieurwissenschaftliche Disziplin war es das Bestreben vieler Ingenieure und Mathematiker, ein quantitatives Maß zu finden für die
+Since the early beginnings of communications as an engineering discipline, many engineers and mathematicians have sought to find a quantitative measure of
-*in einer&nbsp; $\rm Nachricht$&nbsp; (hierunter verstehen wir „eine Zusammenstellung von Symbolen und/oder Zuständen“)
+*the $\rm Information$&nbsp; (in general: "the knowledge of something") contained in a&nbsp; $\rm message$&nbsp; (here we understand "a collection of symbols and/or states").
-*enthaltene&nbsp; $\rm Information$&nbsp; (ganz allgemein: „die Kenntnis über irgend etwas“).
-Die (abstrakte) Information wird durch die (konkrete) Nachricht mitgeteilt und kann als Interpretation einer Nachricht aufgefasst werden.
+The (abstract) information is communicated by the (concrete) message and can be seen as an interpretation of a message.
-[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]&nbsp; gelang es 1948, eine in sich konsistente Theorie über den Informationsgehalt von Nachrichten zu begründen, die zu ihrer Zeit revolutionär war und ein neues, bis heute hochaktuelles Wissenschaftsgebiet kreierte:&nbsp; die nach ihm benannte&nbsp; $\text{Shannonsche Informationstheorie}$.
+[https://de.wikipedia.org/wiki/Claude_Shannon Claude Elwood Shannon]&nbsp; succeeded in 1948 in establishing a consistent theory of the information content of messages, which was revolutionary in its time and created a new, still highly topical field of science:&nbsp; the theory named after him&nbsp; $\text{Shannon's Information Theory}$.
-Der Lehrstoff entspricht einer&nbsp; $\text{Vorlesung mit zwei Semesterwochenstunden (SWS) und einer SWS Übungen}$.
+The course material corresponds to a&nbsp; $\text{lecture with two semester hours per week (SWS) and one SWS exercise}$.
-Hier zunächst eine Inhaltsübersicht anhand der&nbsp; $\text{vier Hauptkapitel}$&nbsp; mit insgesamt&nbsp; $\text{13 Einzelkapiteln}$.
+Here is a table of contents based on the&nbsp; $\text{four main chapters}$&nbsp; with a total of&nbsp; $\text{13 individual chapters}$.
@@ Line 42: / Line 41: @@
 {{Collapsible-Fuß}}
-Neben diesen Theorieseiten bieten wir auch Aufgaben und multimediale Module an, die zur Verdeutlichung des Lehrstoffes beitragen könnten:
+In addition to these theory pages, we also offer Exercises and multimedia modules that could help to clarify the teaching material:
-*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Aufgaben}$]
+*[https://en.lntwww.de/Kategorie:Aufgaben_zu_Informationstheorie $\text{Exercises}$]
-*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Lernvideos}$]]
+*[[LNTwww:Lernvideos_zu_Informationstheorie|$\text{Learning videos}$]]
-*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{neu gestaltete Applets}$]], basierend auf HTML5, auch auf Smartphones lauffähig
+*[[LNTwww:HTML5-Applets_zu_Informationstheorie|$\text{redesigned applets}$]], based on HTML5, also executable on smartphones
-*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{frühere Applets}$]], basierend auf SWF, lauffähig nur unter WINDOWS mit ''Adobe Flash Player''.
+*[[LNTwww:SWF-Applets_zu_Informationstheorie|$\text{former Applets}$]], based on SWF, executable only under WINDOWS with ''Adobe Flash Player''.
 <br><br>
-$\text{Weitere Links:}$
+$\text{More links:}$
 <br><br>
-$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Literaturempfehlungen zum Buch}$]]
+$(1)$&nbsp; &nbsp; [[LNTwww:Literaturempfehlung_zu_Informationstheorie|$\text{Recommended literature for the book}$]]
-$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{Allgemeine Hinweise zum Buch}$]] &nbsp; (Autoren,&nbsp; Weitere Beteiligte,&nbsp; Materialien als Ausgangspunkt des Buches,&nbsp; Quellenverzeichnis)
+$(2)$&nbsp; &nbsp; [[LNTwww:Weitere_Hinweise_zum_Buch_Informationstheorie|$\text{General notes about the book}$]] &nbsp; (Autoren,&nbsp; Weitere Beteiligte,&nbsp; Materialien als Ausgangspunkt des Buches,&nbsp; Quellenverzeichnis)
 <br><br>

Information Theory: Difference between revisions

Revision as of 01:17, 27 October 2020

Inhalt

Entropy of Discrete Sources

Source Coding - Data Compression

Mutual Information Between Two Discrete Random Variables

Information Theory for Continuous Random Variables