Exercise 4.3Z: Exponential and Laplace Distribution

From LNTwww

P ID2875 Inf Z 4 3.png

Wir betrachten hier die Wahrscheinlichkeitsdichtefunktionen (WDF) zweier wertkontinuierlicher Zufallsgrößen:

  • X ist exponentialverteilt (siehe obere Darstellung): Für x < 0 ist fX(x) = 0, und für positive x–Werte gilt:

$$f_X(x) = \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.05cm}. $$

  • Dagegen gilt für die laplaceverteilte Zufallsgröße Y im gesamten Bereich –∞ < y < +∞ (untere Skizze):

$$f_Y(y) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}|y|}\hspace{0.05cm}.$$ Zu berechnen sind die differentiellen Entropien h(X) und h(Y) abhängig vom WDF–Parameter λ. Zum Beispiel gilt: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log}_2 \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Bei Verwendung von „log2” ist die Pseudo–Einheit „bit” anzufügen.

In den Teilaufgaben (b) und (d) ist die differentielle Entropie in folgender Form anzugeben: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.5cm}{\rm bzw.} \hspace{0.5cm}h(Y) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Zu ermitteln ist, durch welche Faktoren ΓL die Exponentialverteilung und die Laplaceverteilung charakterisiert werden.

Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von Kapitel 4.1 Für die Varianzen der beiden betrachteten Zufallsgrößen gilt, wie in Aufgabe Z4.1 hergeleitet:

  • Exponentialverteilung  ⇒  Zufallsgröße X:    σ2 = 1/λ2,
  • Laplaceverteilung       ⇒  Zufallsgröße Y:    σ2 = 2/λ2.

Fragebogen

1

Berechnen Sie die differentielle Entropie der Exponentialverteilung.

$λ = 1: h(X) $ =

2

Welche Kenngröße ergibt sich für die Form h(X) = 1/2 · log2 (ΓL · σ2)?

$Exponentialverteilung: ΓL$ =

3

Berechnen Sie die differentielle Entropie der Laplaceverteilung.

$ λ = 1: h(Y) $ =

4

Welche Kenngröße ergibt sich für die Form h(Y) = 1/2 · log2 (ΓL · σ2)?

$Laplaceverteilung: ΓL$ =


Musterlösung

a)  Obwohl in dieser Aufgabe das Ergebnis in „bit” angegeben werden soll, verwenden wir zur Herleitung den natürlichen Logarithmus. Dann gilt für die differentielle Entropie: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Für die Exponentialverteilung sind die Integrationsgrenzen 0 und +∞ anzusetzen. In diesem Bereich wird die auf dem Angabenblatt angegebene WDF fX(x) eingesetzt: $$h(X) \hspace{-0.15cm} = \hspace{-0.15cm} - \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x} \hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda) + {\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x})\right ]\hspace{0.1cm}{\rm d}x $$ $$= \ \hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x \hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot x \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Man erkennt:

  • Der erste Integrand ist identisch mit der hier betrachteten WDF fX(x). Das Integral über den gesamten Integrationsbereich ergibt somit 1.
  • Das zweite Integral entspricht genau der Definition des Mittelwertes m1 (Moment erster Ordnung). Für die Exponentialverteilung gilt m1 = 1/λ. Daraus folgt:

$$h(X) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + 1 = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} ({\rm e}/\lambda) \hspace{0.05cm}.$$ Dieses Ergebnis ist mit der Zusatzeinheit „nat” zu versehen. Mit „log2” anstelle von „ln” erhält man die differentielle Entropie in „bit”: $$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :} \hspace{0.3cm} h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}) = \frac{{\rm ln} \hspace{0.1cm} ({\rm e})}{{\rm ln} \hspace{0.1cm} (2)} \hspace{0.15cm}\underline{= 1.443\,{\rm bit}} \hspace{0.05cm}.$$ b)  Unter Berücksichtigung der für die Exponentialverteilung gültigen Gleichung σ2 = 1/λ2 kann man das in der Teilaufgabe a) gefundene Ergebnis wie folgt umformen: $$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2/\lambda^2) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2 \cdot \sigma^2) \hspace{0.05cm}.$$ Ein Vergleich mit der geforderten Grundform 1/2 · log2 (ΓL · σ2) führt zum Ergebnis: $${\it \Gamma}_{\rm L} = {\rm e}^2 \hspace{0.15cm}\underline{\approx 7.39} \hspace{0.05cm}.$$ c)  Bei der Laplaceverteilung unterteilen wir den Integrationsbereich in zwei Teilbereiche:

  • Y negativ  ⇒  Anteil hneg(Y),
  • Y positiv  ⇒  Anteil hpos(Y).

Die gesamte differentielle Entropie ergibt sich unter Berücksichtigung von hneg(Y) = hpos(Y) zu $$h(Y) = h_{\rm neg}(Y) + h_{\rm pos}(Y) = 2 \cdot h_{\rm pos}(Y) $$ $$\Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.15cm} = \hspace{-0.15cm} - 2 \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y} \hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda/2) + {\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y})\right ]\hspace{0.1cm}{\rm d}y $$ $$= \ \hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y \hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot y \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$$

Berücksichtigen wir wiederum, dass

  • das erste Integral den Wert 1 ergibt (WDF–Fläche), und
  • das zweite Integral den Mittelwert m1 = 1/λ angibt,

so erhalten wir: $$h(Y) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + 1 = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} (2{\rm e}/\lambda) \hspace{0.05cm}.$$ Da das Ergebnis in „bit” gefordert ist, muss noch „ln” durch „log2” ersetzt werden: $$h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e}/\lambda) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :} \hspace{0.3cm} h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e}) \hspace{0.15cm}\underline{= 2.443\,{\rm bit}} \hspace{0.05cm}.$$ d)  Bei der Laplaceverteilung gilt der Zusammenhang σ2 = 2/λ2. Damit erhält man: $$h(X) = {\rm log}_2 \hspace{0.1cm} (\frac{2{\rm e}}{\lambda}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (\frac{4{\rm e}^2}{\lambda^2}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (2 {\rm e}^2 \cdot \sigma^2)$$ $$\Rightarrow \hspace{0.3cm} {\it \Gamma}_{\rm L} = 2 \cdot {\rm e}^2 \hspace{0.15cm}\underline{\approx 14.78} \hspace{0.05cm}.$$ Der ΓL–Wert ist bei der Laplaceverteilung doppelt so groß wie bei der Exponentialverteilung. Damit ist offensichtlich, dass die Laplaceverteilung hinsichtlich der differentiellen Entropie h(X) deutlich besser ist als die Exponentialverteilung, wenn man von leistungsbegrenzten Signalen ausgeht. Unter der Nebenbedingung der Spitzenwertbegrenzung sind sowohl die Exponential– als auch die Laplaceverteilung völlig ungeeignet, ebenso wie die Gaußverteilung. Diese reichen alle bis ins Unendliche.