Exercise 4.2: Triangular PDF
Betrachtet werden zwei Wahrscheinlichkeitsdichtefunktionen (kurz WDF) mit dreieckförmigem Verlauf.
- Die Zufallsgröße X ist auf den Wertebereich von 0 und 1 begrenzt, und es gilt für die WDF (obere Skizze):
- fX(x)={2x0f¨ur0≤x≤1sonst.
- Die Zufallsgröße Y besitzt gemäß der unteren Skizze die folgende WDF:
- fY(y)={1−|y|0f¨ur|y|≤1sonst.
- Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung X=|Y| gegeben.
Für beide Zufallsgrößen soll jeweils die differentielle Entropie ermittelt werden.
Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße X:
- h(X)=−∫supp(fX)fX(x)⋅log[fX(x)]dxmitsupp(fX)={x: fX(x)>0}.
- Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen.
- Ist das Ergebnis dagegen in „bit” gefragt, so ist der Logarithmus dualis ⇒ „log2” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße Z=A⋅Y betrachtet. Der WDF–Parameter A ist dabei so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße Z genau 1 bit ergibt:
- h(Z)=h(A⋅Y)=h(Y)+log2(A)=1bit.
Hinweise:
- Die Aufgabe gehört zum Kapitel Differentielle Entropie.
- Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im dritten Kapitel „Kontinuierliche Zufallsgrößen” des Buches Stochastische Signaltheorie.
- Vorgegeben ist das folgende unbestimmte Integral:
- ∫ξ⋅ln(ξ)dξ=ξ2⋅[1/2⋅ln(ξ)−1/4].
Fragebogen
Musterlösung
- fX(x)=2x=C⋅x.
- Wir haben hierbei „2” durch C ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe (3) die nachfolgende Berechnung nochmals nutzen zu können.
- Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution ξ=C⋅x erhalten wir:
- hnat(X)=−∫10C⋅x⋅ln[C⋅x]dx=−1C⋅∫C0ξ⋅ln[ξ]dξ=−ξ2C⋅[ln(ξ)2−14]ξ=Cξ=0
- Hierbei wurde das vorne angegebene unbestimmte Integral benutzt. Nach Einsetzen der Grenzen erhält man unter Berücksichtigung von C=2:
- hnat(X)=−C/2⋅[ln(C)−1/2]=−ln(2)+1/2=−ln(2)+1/2⋅ln(e)=ln(√e/2)=−0.193⇒h(X)=−0.193nat_.
(2) Allgemein gilt:
- hbit(X)=hnat(X)ln(2)nat/bit=−0.279⇒h(X)=−0.279bit_.
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe (1) direkt „ln” durch „log2” ersetzt:
- h(X)= log2(√e/2),Pseudo−Einheit:bit.
(3) Wir verwenden wieder den natürlichen Logarithmus und teilen das Integral in zwei Teilintegrale auf:
- h(Y)=−∫supp(fY)fY(y)⋅ln[fY(y)]dy=Ineg+Ipos.
- Das erste Integral für den Bereich −1≤y≤0 ist formgleich mit dem der Teilaufgabe (1) und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe C=1 anstelle von C=2:
- Ineg=−C/2⋅[ln(C)−1/2]=−1/2⋅[ln(1)−1/2⋅ln(e)]=1/4⋅ln(e).
- Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ Ipos=Ineg:
- hnat(Y)=2⋅Ineg=1/2⋅ln(e)=ln(√e)⇒hbit(Y)=log2(√e)⇒h(Y)=log2(1.649)=0.721bit_.
(4) Für die differentielle Entropie der Zufallsgröße Z=A⋅Y gilt allgemein:
- h(Z)=h(A⋅Y)=h(Y)+log2(A).
Aus der Forderung h(Z)=1 bit und dem Ergebnis der Teilaufgabe (3) folgt somit:
- log2(A)=1bit−0.721bit=0.279bit⇒A=20.279=1.213_.
