Exercise 4.3: PDF Comparison with Regard to Differential Entropy

• Return to book

Nebenstehende Tabelle zeigt das Vergleichsergebnis hinsichtlich der differentiellen Entropie h(X) für

• die Gleichverteilung   ⇒   f_X(x) = f₁(x):

$$f_1(x) = \left\{ \begin{array}{c} 1/(2A) \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Dreieckverteilung   ⇒   f_X(x) = f₂(x):

$$f_2(x) = \left\{ \begin{array}{c} 1/A \cdot [1 - |x|/A] \\ 0 \\ \end{array} \right. \begin{array}{*{20}c} {\rm{f\ddot{u}r}} \hspace{0.1cm} |x| \le A \\ {\rm sonst} \\ \end{array} ,$$

• die Laplaceverteilung   ⇒   f_X(x) = f₃(x):

$$f_3(x) = \lambda/2 \cdot {\rm exp}[-\lambda \cdot |x|]\hspace{0.05cm}.$$

Die Werte für die Gaußverteilung   ⇒   f_X(x) = f₄(x) $$f_4(x) = \frac{1}{\sqrt{2\pi \sigma^2}} \cdot {\rm exp} [ - \hspace{0.05cm}{x ^2}/{(2 \sigma^2})]$$ sind hier noch nicht eingetragen. Diese sollen in den Teilaufgaben (a) bis (c) ermittelt werden.

Alle hier betrachteten Wahrscheinlichkeitsdichtefunktionen sind

• symmetrisch um x = 0   ⇒   f_X(–x) = f_X(x)
• und damit mittelwertfrei   ⇒   m₁ = 0.

In allen hier betrachteten Fällen kann die differentielle Entropie wie folgt dargestellt werden:

• Unter der Nebenbedingung |X| ≤ A         ⇒   Spitzenwertbegrenzung: $$h(X) = {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm A} \cdot A) \hspace{0.05cm},$$
  • Unter der Nebenbedingung E[|X|²] ≤ σ²  ⇒  Leistungsbegrenzung: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.1cm}\rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Je größer die jeweilige Kenngröße Γ_A bzw. Γ_L ist, desto günstiger ist bei der vereinbarten Nebenbedingung die vorliegende WDF hinsichtlich der differentiellen Entropie. $$ $$Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1.

    Fragebogen

    1

    Multiple-Choice Frage

    	Falsch
    	Richtig

    2

    Input-Box Frage

    $\alpha$ =

    
    

    Musterlösung

    Solution

    1. 2. 3. 4. 5. 6. 7.