Exercise 4.2: Triangular PDF
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf:
- Die Zufallsgröße X ist auf den Wertebereich von 0 und 1 begrenzt, und es gilt für die WDF (obere Skizze)
fX(x)={2x0f¨ur0≤x≤1sonst.
- Die Zufallsgröße Y besitzt gemäß der unteren Skizze die folgende WDF:
fY(y)={1−|y|0f¨ur|y|≤1sonst.
- Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung X = |Y| gegeben.
Für beide Zufallsgrößen soll jeweils die differentielle Entropie ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße X: h(X)=−∫supp(fX)fX(x)⋅log[fX(x)]dxmitsupp(fX)={x:fX(x)>0}. Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen. Ist das Ergebnis dagegen in „bit” gefragt, so ist der Logarithmus dualis ⇒ „log2” zu verwenden.
In der Teilaufgabe (d) wird die neue Zufallsgröße Z = A · Y betrachtet. Der WDF–Parameter A ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße Z genau 1 bit ergibt:
h(Z)=h(A⋅Y)=h(Y)+log2(A)=1bit.
Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 4.1 Vorgegeben ist das folgende unbestimmte Integral:
∫ξ⋅ln(ξ)dξ=ξ2⋅[ln(ξ)2−14].
Fragebogen
Musterlösung
Wir haben hierbei „2” durch C ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe (c) die nachfolgende Berechnung nochmals nutzen zu können.
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution ξ = C · x erhalten wir folgendes Integral: hnat(X)=−∫10C⋅x⋅ln[C⋅x]dx=−1C⋅∫C0ξ⋅ln[ξ]dξ =−ξ2C⋅[ln(ξ)2−14]ξ=Cξ=0 Hierbei wurde das vorne angegebene unbestimmte Integral benutzt. Nach Einsetzen der Grenzen erhält man hieraus unter Berücksichtigung von C = 2: hnat(X)=−C/2⋅[ln(C)−1/2]=−ln(2)+1/2=−ln(2)+1/2⋅ln(e)==ln(√e/2)=ln(0.824)=−0.193⇒h(X)=−0.193nat_.
b) Allgemein gilt: hbit(X)=hnat(X)ln(2)nat/bit=−0.279⇒h(X)=−0.279bit_. Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe a) direkt „ln” durch „log2” ersetzt: h(X)= log2(√e/2),Pseudo−Einheit:bit.
c) Wir verwenden wieder den natürlichen Logarithmus und teilen das Integral in zwei Teilintegrale auf: h(Y)=−∫supp(fY)fY(y)⋅ln[fY(y)]dy=Ineg+Ipos.
Das erste Integral (Bereich –1 ≤ y ≤ 0) ist formgleich mit dem der Teilaufgabe (a) und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe C = 1 anstelle von C = 2: Ineg=−C/2⋅[ln(C)−1/2]=−1/2⋅[ln(1)−1/2⋅ln(e)]=1/4⋅ln(e).
Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ Ipos = Ineg: hnat(Y)=2⋅Ineg=1/2⋅ln(e)=ln(√e) ⇒hbit(Y)=log2(√e)⇒h(Y)=log2(1.649)=0.721bit_.
d) Für die differentielle Entropie der Zufallsgröße Z = A · Y gilt allgemein: h(Z)=h(A⋅Y)=h(Y)+log2(A). Aus der Forderung h(Z) = 1 bit und dem Ergebnis der Teilaufgabe (c) folgt somit: log2(A)=1bit−0.721bit=0.279bit⇒A=20.279=1.213_.
