Exercise 4.4: Conventional Entropy and Differential Entropy

• Return to book

Wir betrachten die zwei wertkontinuierlichen Zufallsgrößen X und Y mit den Wahrscheinlichkeitsdichtefunktionen f_X(x) und f_Y(y). Für diese Zufallsgrößen kann man

• die herkömmlichen Entropien H(X), H(Y) nicht angeben,
• jedoch aber die differentiellen Entropien h(X) und h(Y).

Wir betrachten außerdem zwei wertdiskrete Zufallsgrößen:

• Z_X,M ergibt sich durch (geeignete) Quantisierung der Zufallsgröße X mit der Quantisierungsstufenzahl M  ⇒  Quantisierungsintervallbreite Δ = 0.5/M.
• Die Zufallsgröße Z_Y,M ergibt sich nach Quantisierung der wertkontinuierlichen Zufallsgröße Y mit der Quantisierungsstufenzahl M  ⇒  Quantisierungsintervallbreite Δ = 2/M.

Die Wahrscheinlichkeitsdichtefunktionen dieser diskreten Zufallsgrößen setzen sich jeweils aus M Diracfunktionen zusammen, deren Impulsgewichte durch die Intervallflächen der zugehörigen wertkontinuierlichen Zufallsgrößen gegeben sind. Daraus lassen sich die Entropien H(Z_X,M) und H(Z_Y,M) in herkömmlicher Weise (entsprechend Kapitel 3) bestimmen.

Im Theorieteil wurde auch eine Näherung angegeben. Beispielsweise gilt: $$H(Z_{X, \hspace{0.05cm}M}) \approx -{\rm log}_2 \hspace{0.1cm} ({\it \Delta}) + h(X)\hspace{0.05cm}. $$ Sie werden im Laufe der Aufgabe feststellen, dass bei rechteckförmiger WDF ⇒ Gleichverteilung diese „Näherung” genau das gleiche Ergebnis liefert wie die direkte Berechnung. Aber im allgemeinen Fall – zum Beispiel bei dreieckförmiger WDF – stellt obige Gleichung tatsächlich nur eine Näherung dar, die erst im Grenzfall Δ → 0 mit der tatsächlichen Entropie H(Z_X,M) übereinstimmt.

Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1

Fragebogen

1

Berechnen Sie die differentielle Entropie h(X).

$ h(X)$ =

2

Berechnen Sie die differentielle Entropie h(Y).

$ h(Y)$ =

3

Berechnen Sie die Entropie der wertdiskreten Zufallsgrößen Z_{X, M = 4}.

$direkte Berechnung: H(Z_{ X, M = 4})$ =

$mit Näherung: H(Z_{ X, M = 4})$ =

4

Berechnen Sie die Entropie der wertdiskreten Zufallsgröße Z_{Y, M = 4}.

$mit Näherung: H(Z_{ Y, M = 4})$ =

5

Berechnen Sie die Entropie der wertdiskreten Zufallsgröße Z_{Y, M = 8}.

$mit Näherung: H(Z_{ Y, M = 8})$ =

6

Welche der folgenden Aussagen sind zutreffend?

	Die Entropie einer diskreten Zufallsgröße Z ist stets H(Z) ≥ 0.
	Die differentielle Entropie einer kontinuierlichen Zufallsgröße X ist stets h(X) ≥ 0.

Musterlösung

Solution

1. 2. 3. 4. 5. 6. 7.