Exercise 4.3Z: Exponential and Laplace Distribution

From LNTwww
Revision as of 20:40, 21 March 2017 by Khalil (talk | contribs) (Die Seite wurde neu angelegt: „ {{quiz-Header|Buchseite=Informationstheorie/Differentielle Entropie }} right| Wir betrachten hier die Wahrscheinlichkeitsdi…“)
(diff) ← Older revision | Latest revision (diff) | Newer revision → (diff)

P ID2875 Inf Z 4 3.png

Wir betrachten hier die Wahrscheinlichkeitsdichtefunktionen (WDF) zweier wertkontinuierlicher Zufallsgrößen:

  • X ist exponentialverteilt (siehe obere Darstellung): Für x < 0 ist fX(x) = 0, und für positive x–Werte gilt:

$$f_X(x) = \lambda \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}x}\hspace{0.05cm}. $$

  • Dagegen gilt für die laplaceverteilte Zufallsgröße Y im gesamten Bereich –∞ < y < +∞ (untere Skizze):

$$f_Y(y) = \lambda/2 \cdot {\rm e}^{-\lambda \hspace{0.05cm}\cdot \hspace{0.05cm}|y|}\hspace{0.05cm}.$$ Zu berechnen sind die differentiellen Entropien h(X) und h(Y) abhängig vom WDF–Parameter λ. Zum Beispiel gilt: $$h(X) = -\hspace{-0.7cm} \int\limits_{x \hspace{0.05cm}\in \hspace{0.05cm}{\rm supp} \hspace{0.03cm}(\hspace{-0.03cm}f_X)} \hspace{-0.55cm} f_X(x) \cdot {\rm log}_2 \hspace{0.1cm} [f_X(x)] \hspace{0.1cm}{\rm d}x \hspace{0.05cm}.$$ Bei Verwendung von „log2” ist die Pseudo–Einheit „bit” anzufügen.

In den Teilaufgaben (b) und (d) ist die differentielle Entropie in folgender Form anzugeben: $$h(X) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.5cm}{\rm bzw.} \hspace{0.5cm}h(Y) = {1}/{2} \cdot {\rm log} \hspace{0.1cm} ({\it \Gamma}_{\hspace{-0.05cm} \rm L} \cdot \sigma^2) \hspace{0.05cm}.$$ Zu ermitteln ist, durch welche Faktoren ΓL die Exponentialverteilung und die Laplaceverteilung charakterisiert werden.

Hinweis: Die Aufgabe bezieht sich auf das Themengebiet von Kapitel 4.1 Für die Varianzen der beiden betrachteten Zufallsgrößen gilt, wie in Aufgabe Z4.1 hergeleitet:

  • Exponentialverteilung  ⇒  Zufallsgröße X:    σ2 = 1/λ2,
  • Laplaceverteilung       ⇒  Zufallsgröße Y:    σ2 = 2/λ2.

Fragebogen

1

Multiple-Choice Frage

Falsch
Richtig

2

Input-Box Frage

$\alpha$ =


Musterlösung

1. 2. 3. 4. 5. 6. 7.