Exercise 4.3: PDF Comparison with Regard to Differential Entropy

• Return to book

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie h(X) für

• die Gleichverteilung   ⇒   f_X(x) = f₁(x):

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Dreieckverteilung   ⇒   f_X(x) = f₂(x):

$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot [1 - |x|/A] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Laplaceverteilung   ⇒   f_X(x) = f₃(x):

$$f_3(x) = \lambda/2 \cdot {\rm exp}[-\lambda \cdot |x|]\hspace{0.05cm}.$$

Die Werte für die Gaußverteilung   ⇒   f_X(x) = f₄(x) $$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp} [ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})]$$ sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (a) bis (c) ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

• symmetrisch um x = 0   ⇒   f_X(–x) = f_X(x)
• und damit mittelwertfrei   ⇒   m₁ = 0.

In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

• Unter der Nebenbedingung |X| ≤ A         ⇒   Spitzenwertbegrenzung: $$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm A} \cdot A) \hspace{0.05cm},$$
  • Unter der Nebenbedingung E[|X|²] ≤ σ²  ⇒  Leistungsbegrenzung: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Je größer die jeweilige Kenngröße Γ_A bzw. Γ_L ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie. $$$$Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1.

    Fragebogen

    1

    Welche Gleichung gilt für den Logarithmus der Gauß–WDF?

    	ln [fX(x)] = ln A – x2/(2 σ2)     mit     A = fX(x = 0),
    	ln [fX(x)] = A – ln (x2/σ2)       mit     A = fX(x = 0).

    2

    Welche Gleichung gilt für die differentielle Entropie der Gauß–WDF?

    	h(X) = 1/2 · ln (2πeσ2) mit Pseudoeinheit „nat”.
    	h(X) = 1/2 · log2 (2πeσ2) mit Pseudoeinheit „bit”.

    3

    Ergänzen Sie den fehlenden Eintrag (Gauß) in obiger Tabelle.

    $ ΓL$ =

    4

    Welche Werte erhält man für die Gauß–WDF mit Gleichanteil m₁ = σ = 1?

    $ P/σ2$ =

    $ h(X)$ =

    5

    Welche der Aussagen stimmen für die differentielle Entropie h(X) unter der Nebenbedingung „Leistungsbegrenzung”?

    	Die Gaußverteilung führt zum maximalen h(X).
    	Die Gleichverteilung führt zum maximalen h(X).
    	Die Dreieck–WDF ist sehr ungünstig, da spitzenwertbegrenzt.

    6

    Welche der Aussagen stimmen bei „Spitzenwertbegrenzung” auf den Bereich <nobr>|X| ≤ A?</nobr> Die maximale differentielle Entropie h(X) ergibt sich für

    	eine Gauß–WDF mit anschließender Begrenzung  ⇒  |X| ≤ A,
    	die Gleichverteilung,
    	die Dreieckverteilung.

    
    

    Musterlösung

    Solution

    1. 2. 3. 4. 5. 6. 7.