Exercise 4.3: PDF Comparison with Regard to Differential Entropy

h(X) für verschiedene Dichtefunktionen

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie $h(X)$ für

die Gleichverteilung ⇒ $f_X(x) = f_1(x)$:

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

die Dreieckverteilung ⇒ $f_X(x) = f_2(x)$:

$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot [1 - |x|/A] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

die Laplaceverteilung ⇒ $f_X(x) = f_3(x)$:

$$f_3(x) = \lambda/2 \cdot {\rm exp}[-\lambda \cdot |x|]\hspace{0.05cm}.$$

Die Werte für die Gaußverteilung ⇒ $f_X(x) = f_4(x)$ mit

$$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp} [ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})]$$

sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (a) bis (c) ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

symmetrisch um $x = 0$ ⇒ $f_X(-x) = f_X(x)$
und damit mittelwertfrei ⇒ $m_1 = 0$.

In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

Unter der Nebenbedingung $|X| ≤ A$ ⇒ Spitzenwertbegrenzung:

$$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm}\rm A} \cdot A) \hspace{0.05cm},$$

Unter der Nebenbedingung ${\rm E}[|X – m_1|^2] ≤ σ^2$ ⇒ Leistungsbegrenzung:

$$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$

Je größer die jeweilige Kenngröße ${\it \Gamma}_{\hspace{-0.05cm}\rm A}$ bzw. ${\it \Gamma}_{\hspace{-0.05cm}\rm L}$ ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie.

Hinweise:

Die Aufgabe gehört zum Kapitel Differentielle Entropie.
Nützliche Hinweise zur Lösung dieser Aufgabe finden Sie insbesondere auf den Seiten Differentielle Entropie einiger spitzenwertbegrenzter Zufallsgrößen sowie Differentielle Entropie einiger leistungsbegrenzter Zufallsgrößen.

Fragebogen

Musterlösung

Solution

(1) Wir gehen von der mittelwertfreien Gauß–WDF aus:

$$f_X(x) = f_4(x) =A \cdot {\rm exp} [ - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}] \hspace{0.5cm}{\rm mit}\hspace{0.5cm} A = \frac{1}{\sqrt{2\pi \sigma^2}}\hspace{0.05cm}.$$

Logarithmiert man diese Funktion, so erhält man als Ergebnis den Lösungsvorschlag 1:

$${\rm ln}\hspace{0.1cm} \left [f_X(x) \right ] = {\rm ln}\hspace{0.1cm}(A) + {\rm ln}\hspace{0.1cm}\left [{\rm exp} ( - \hspace{0.05cm}\frac{x ^2}{2 \sigma^2}) \right ] = {\rm ln}\hspace{0.1cm}(A) - \frac{x ^2}{2 \sigma^2}\hspace{0.05cm}.$$

(2) Mit diesem Ergebnis erhält man für die differentielle Entropie in „nat”:

$$h_{\rm nat}(X)= -\hspace{-0.1cm} \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} f_X(x) \hspace{0.1cm}{\rm d}x + \frac{1}{2 \sigma^2} \cdot \int_{-\infty}^{+\infty} \hspace{-0.15cm} x^2 \cdot f_X(x) \hspace{0.1cm}{\rm d}x = - {\rm ln}\hspace{0.1cm}(A) + {1}/{2} \hspace{0.05cm}.$$

Hierbei ist berücksichtigt, dass das erste Integral gleich 1 ist (WDF–Fläche) und das zweite Integral gleich die Varianz σ² angibt (wenn wie hier der Gleichanteil m₁ = 0 ist). Ersetzt man die Abkürzungsvariable A, so erhält man:

$$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} - {\rm ln}\hspace{0.05cm}\left (\frac{1}{\sqrt{2\pi \sigma^2}} \right ) + {1}/{2} = {1}/{2}\cdot {\rm ln}\hspace{0.05cm}\left ({2\pi \sigma^2} \right ) + {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ( {\rm e} \right ) = {1}/{2} \cdot {\rm ln}\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$

Soll die differentielle Entropie h(X) nicht in „nat” angegeben werden, sondern in „bit”, so ist für den Logarithmus die Basis 2 zu wählen:

$$h_{\rm bit}(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right ) \hspace{0.05cm}.$$

Das heißt: Beide Lösungsvorschläge sind richtig.

(3) Nach der impliziten Definition h(X) = 1/2 · log₂ (Γ_L · σ²) ergibt sich somit für die Kenngröße:

$${\it \Gamma}_{\rm L} = 2\pi {\rm e} \hspace{0.15cm}\underline{\approx 17.08} \hspace{0.05cm}.$$

(4) Wir betrachten nun eine Gaußsche Wahrscheinlichkeitsdichtefunktion mit Mittelwert m₁:

$$f_X(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp}\left [ - \hspace{0.05cm}\frac{(x -m_1)^2}{2 \sigma^2} \right ] \hspace{0.05cm}.$$

Das zweite Moment m₂ = E[|X|²] kann man auch als die Leistung P bezeichnen, während für die Varianz gilt: σ² = E[|X – m₁|²]= μ₂ (ist gleichzeitig das zweite Zentralmoment). Nach dem Satz von Steiner gilt P = m₂ = m₁² + σ². Unter der Voraussetzung m₁ = σ = 1 ist somit $\underline{P/\sigma^2 = 2}$.

Durch den Gleichanteil wird zwar die Leistung verdoppelt. An der differentiellen Entropie ändert sich dadurch aber nichts. Es gilt somit weiterhin:

$$h(X) = {1}/{2} \cdot {\rm log}_2\hspace{0.05cm}\left ({{2\pi {\rm e} \cdot \sigma^2}} \right )= {1}/{2} \cdot {\rm log}_2\hspace{0.05cm} (17.08)\hspace{0.15cm}\underline{\approx 2.047\,{\rm bit}} \hspace{0.05cm}.$$

Vervollständigte Tabelle zur differentiellen Entropie

(5) In der vervollständigten Tabelle sind auch die numerischen Werte der Kenngrößen Γ_L und Γ_A eingetragen.

Eine Wahrscheinlichkeitsdichtefunktion f_X(x) ist bei Leistungsbegrenzung immer dann besonders günstig, wenn der Wert Γ_L (rechte Spalte) möglichst groß ist. Dann ist die differentielle Entropie h(X) ebenfalls groß. Die numerischen Ergebnisse lassen sich wie folgt interpretieren:

Wie imTheorieteil bewiesen wird, führt die Gaußverteilung f₄(x) hier zum größtmöglichen Γ_L ≈ 17.08 ⇒ Lösungsvorschlag 1 ist richtig (Wert in der letzten Spalte rot markiert).
Für die Gleichverteilung f₁(x) ist die Kenngröße Γ_L = 12 die kleinste in der gesamten Tabelle ⇒ der Lösungsvorschlag 2 ist falsch.
Die Dreieckverteilung f₂(x) ist mit Γ_L = 16.31 günstiger als die Gleichverteilung und auch besser als die Laplaceverteilung (f₃(x), Γ_L = 14.78) ⇒ auch der Lösungsvorschlag 3 ist falsch.

(6) Eine WDF f_X(x) ist unter der Nebenbedingung der Spitzenwertbegrenzung ⇒ |X| ≤ A günstig hinsichtlich der differentiellen Entropie h(X), wenn der Bewertungsfaktor Γ_A (mittlere Spalte) möglichst groß ist:

Wie im Theorieteil gezeigt wird, führt die Gleichverteilung f₁(x) hier zum größtmöglichen Γ_A = 2 ⇒ der Lösungsvorschlag 2 ist richtig (Wert in der mittleren Spalte rot markiert).
Die ebenfalls spitzenwertbegrenzte Dreieckverteilung f₂(x) ist durch ein etwas kleineres Γ_A = 1.649 gekennzeichnet ⇒ der Lösungsvorschlag 3 ist falsch.
Die Gaußverteilung f₄(x) ist unendlich weit ausgedehnt. Eine Spitzenwertbegrenzung auf |X| ≤ A führt hier zu Diracfunktionen in der WDF ⇒ h(X) = –∞, siehe Musterlösung zur Zusatzaufgabe 4.2Z, Teilaufgabe (4).
Gleiches würde auch für die Laplaceverteilung f₃(x) gelten.

	Es gilt: $\ln [f_X(x)] = \ln (A) - x^2/(2 \sigma^2)$ mit $A = f_X(x=0)$.
	Es gilt: $\ln [f_X(x)] = A - \ln (x^2/(2 \sigma^2)$ mit $A = f_X(x=0)$.

	Es gilt: $h(X)= 1/2 \cdot \ln (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$ mit der Pseudoeinheit „nat”.
	Es gilt: $h(X)= 1/2 \cdot \log_2 (2\pi\hspace{0.05cm}{\rm e}\hspace{0.05cm}\sigma^2)$ mit der Pseudoeinheit „bit”.

	Die Gaußverteilung ⇒ $f_4(x)$ führt zum maximalen $h(X)$.
	Die Gleichverteilung ⇒ $f_1(x)$ führt zum maximalen $h(X)$.
	Die Dreieck–WDF ⇒ $f_2(x)$ ist sehr ungünstig, da spitzenwertbegrenzt. $f_2(x)$ ist ungünstiger als die Laplaceverteilung $f_3(x)$.

	eine Gauß–WDF ⇒ $f_4(x)$ mit anschließender Begrenzung ⇒ $\|X\| ≤ A$,
	die Gleichverteilung ⇒ $f_1(x)$,
	die Dreieckverteilung ⇒ $f_2(x)$.