Exercise 4.3Z: Exponential and Laplace Distribution

• Return to book

Wir betrachten hier die Wahrscheinlichkeitsdichtefunktionen (WDF) zweier wertkontinuierlicher Zufallsgrößen:

• X ist exponentialverteilt (siehe obere Darstellung): Für x < 0 ist f_X(x) = 0, und für positive x–Werte gilt:

$$f_X(x) = \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.05cm}. $$

• Dagegen gilt für die laplaceverteilte Zufallsgröße Y im gesamten Bereich –∞ < y < +∞ (untere Skizze):

$$f_Y(y) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}|y|}\hspace{0.05cm}.$$ Zu berechnen sind die differentiellen Entropien h(X) und h(Y) abhängig vom WDF–Parameter λ. Zum Beispiel gilt: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log}_2 \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Bei Verwendung von „log₂” ist die Pseudo–Einheit „bit” anzufügen.

In den Teilaufgaben (b) und (d) ist die differentielle Entropie in folgender Form anzugeben: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.5cm}{\rm bzw.} \hspace{0.5cm}h(Y) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Zu ermitteln ist, durch welche Faktoren Γ_L die Exponentialverteilung und die Laplaceverteilung charakterisiert werden.

Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von Kapitel 4.1 Für die Varianzen der beiden betrachteten Zufallsgrößen gilt, wie in Aufgabe Z4.1 hergeleitet:

• Exponentialverteilung  ⇒  Zufallsgröße X:    σ² = 1/λ²,
• Laplaceverteilung       ⇒  Zufallsgröße Y:    σ² = 2/λ².

Fragebogen

1

Berechnen Sie die differentielle Entropie der Exponentialverteilung.

$λ = 1: h(X) $ =

2

Welche Kenngröße ergibt sich für die Form h(X) = 1/2 · log₂ (Γ_L · σ²)?

$Exponentialverteilung: ΓL$ =

3

Berechnen Sie die differentielle Entropie der Laplaceverteilung.

$ λ = 1: h(Y) $ =

4

Welche Kenngröße ergibt sich für die Form h(Y) = 1/2 · log₂ (Γ_L · σ²)?

$Laplaceverteilung: ΓL$ =

Musterlösung

Solution

a)  Obwohl in dieser Aufgabe das Ergebnis in „bit” angegeben werden soll, verwenden wir zur Herleitung den natürlichen Logarithmus. Dann gilt für die differentielle Entropie: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.35cm} f_X(x) \cdot {\rm ln} \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Für die Exponentialverteilung sind die Integrationsgrenzen 0 und +∞ anzusetzen. In diesem Bereich wird die auf dem Angabenblatt angegebene WDF f_X(x) eingesetzt: $$h(X) \hspace{-0.15cm} = \hspace{-0.15cm} - \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x} \hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda) + {\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x})\right ]\hspace{0.1cm}{\rm d}x $$ $$= \ \hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x \hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot x \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Man erkennt:

• Der erste Integrand ist identisch mit der hier betrachteten WDF f_X(x). Das Integral über den gesamten Integrationsbereich ergibt somit 1.
• Das zweite Integral entspricht genau der Definition des Mittelwertes m₁ (Moment erster Ordnung). Für die Exponentialverteilung gilt m₁ = 1/λ. Daraus folgt:

$$h(X) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + 1 = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} ({\rm e}/\lambda) \hspace{0.05cm}.$$ Dieses Ergebnis ist mit der Zusatzeinheit „nat” zu versehen. Mit „log₂” anstelle von „ln” erhält man die differentielle Entropie in „bit”: $$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :} \hspace{0.3cm} h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}) = \frac{{\rm ln} \hspace{0.1cm} ({\rm e})}{{\rm ln} \hspace{0.1cm} (2)} \hspace{0.15cm}\underline{= 1.443\,{\rm bit}} \hspace{0.05cm}.$$ b)  Unter Berücksichtigung der für die Exponentialverteilung gültigen Gleichung σ² = 1/λ² kann man das in der Teilaufgabe a) gefundene Ergebnis wie folgt umformen: $$h(X) = {\rm log}_2 \hspace{0.1cm} ({\rm e}/\lambda) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2/\lambda^2) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} ({\rm e}^2 \cdot \sigma^2) \hspace{0.05cm}.$$ Ein Vergleich mit der geforderten Grundform 1/2 · log₂ (Γ_L · σ²) führt zum Ergebnis: $${\it \Gamma}_{\rm L} = {\rm e}^2 \hspace{0.15cm}\underline{\approx 7.39} \hspace{0.05cm}.$$ c)  Bei der Laplaceverteilung unterteilen wir den Integrationsbereich in zwei Teilbereiche:

• Y negativ  ⇒  Anteil h_neg(Y),
• Y positiv  ⇒  Anteil h_pos(Y).

Die gesamte differentielle Entropie ergibt sich unter Berücksichtigung von h_neg(Y) = h_pos(Y) zu $$h(Y) = h_{\rm neg}(Y) + h_{\rm pos}(Y) = 2 \cdot h_{\rm pos}(Y) $$ $$\Rightarrow \hspace{0.3cm} h(Y) \hspace{-0.15cm} = \hspace{-0.15cm} - 2 \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y} \hspace{0.05cm} \cdot \hspace{0.05cm} \left [ {\rm ln} \hspace{0.1cm} (\lambda/2) + {\rm ln} \hspace{0.1cm} ({\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y})\right ]\hspace{0.1cm}{\rm d}y $$ $$= \ \hspace{-0.15cm} - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y \hspace{0.1cm} + \hspace{0.1cm} \lambda \cdot \int_{0}^{\infty} \hspace{-0.15cm} \lambda \cdot y \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}y}\hspace{0.1cm}{\rm d}y \hspace{0.05cm}.$$

Berücksichtigen wir wiederum, dass

• das erste Integral den Wert 1 ergibt (WDF–Fläche), und
• das zweite Integral den Mittelwert m₁ = 1/λ angibt,

so erhalten wir: $$h(Y) = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + 1 = - \hspace{0.05cm} {\rm ln} \hspace{0.1cm} (\lambda/2) + \hspace{0.05cm} {\rm ln} \hspace{0.1cm} ({\rm e}) = {\rm ln} \hspace{0.1cm} (2{\rm e}/\lambda) \hspace{0.05cm}.$$ Da das Ergebnis in „bit” gefordert ist, muss noch „ln” durch „log₂” ersetzt werden: $$h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e}/\lambda) \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \lambda = 1{\rm :} \hspace{0.3cm} h(Y) = {\rm log}_2 \hspace{0.1cm} (2{\rm e}) \hspace{0.15cm}\underline{= 2.443\,{\rm bit}} \hspace{0.05cm}.$$ d)  Bei der Laplaceverteilung gilt der Zusammenhang σ² = 2/λ². Damit erhält man: $$h(X) = {\rm log}_2 \hspace{0.1cm} (\frac{2{\rm e}}{\lambda}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (\frac{4{\rm e}^2}{\lambda^2}) = \frac{1}{2} \cdot {\rm log}_2 \hspace{0.1cm} (2 {\rm e}^2 \cdot \sigma^2)$$ $$\Rightarrow \hspace{0.3cm} {\it \Gamma}_{\rm L} = 2 \cdot {\rm e}^2 \hspace{0.15cm}\underline{\approx 14.78} \hspace{0.05cm}.$$ Der Γ_L–Wert ist bei der Laplaceverteilung doppelt so groß wie bei der Exponentialverteilung. Damit ist offensichtlich, dass die Laplaceverteilung hinsichtlich der differentiellen Entropie h(X) deutlich besser ist als die Exponentialverteilung, wenn man von leistungsbegrenzten Signalen ausgeht. Unter der Nebenbedingung der Spitzenwertbegrenzung sind sowohl die Exponential– als auch die Laplaceverteilung völlig ungeeignet, ebenso wie die Gaußverteilung. Diese reichen alle bis ins Unendliche.