:* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung <i>X</i> = |<i>Y</i>| gegeben.
Für beide Zufallsgrößen soll jeweils die [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''differentielle Entropie'''] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße <i>X</i>:
Verwendet man den natürlichen Logarithmus, so ist die Pseudo–Einheit „nat” anzufügen. Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der Teilaufgabe (d) wird die neue Zufallsgröße <i>Z</i> = <i>A</i> · <i>Y</i> betrachtet. Der WDF–Parameter <i>A</i> ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße <i>Z</i> genau 1 bit ergibt:<br>
For both random variables, the [[Information_Theory/Differentielle_Entropie|differential entropy]] is to be determined in each case.
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
<b>Hinweis:</b> Die Aufgabe gehört zum Themengebiet von [http://en.lntwww.de/Informationstheorie/Differentielle_Entropie '''Kapitel 4.1'''] Vorgegeben ist das folgende unbestimmte Integral:
For example, the corresponding equation for the random variable $X$ is:
*If the "natural logarithm", the pseudo-unit "nat" must be added.
\frac{1}{4}\right ] \hspace{0.05cm}.$$
*If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
===Fragebogen===
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
Hints:
*The task belongs to the chapter [[Information_Theory/Differentielle_Entropie|Differential Entropy]].
*Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book [[Theory of Stochastic Signals]].
{Berechnen Sie die differentielle Entropie der Zufallsgröße <i>X</i> in „nat”.
{Calculate the differential entropy of the random variable $X$ in "nat".
|type="{}"}
|type="{}"}
$h(X)$ = { 0.193 3% }
$h(X) \ = \ $ { -0.199--0.187 } $\ \rm nat$
{Welches Ergebnis erhält man mit der Pseudoeinheit „bit”?
{What result is obtained with the pseudo-unit "bit"?
|type="{}"}
|type="{}"}
$h(X)$ = { 0.279 3% }
$h(X) \ = \ $ { -0.288--0.270 } $\ \rm bit$
{Berechnen Sie die differentielle Entropie der Zufallsgröße <i>Y</i>.
{Calculate the differential entropy of the random variable $Y$.
|type="{}"}
|type="{}"}
$h(Y)$ = { 0.721 3% }
$h(Y) \ = \ $ { 0.721 3% } $\ \rm bit$
{Bestimmen Sie den WDF–Parameter <i>A</i>, so dass <i>h</i>(<i>Z</i>) = <i>h</i>(<i>A</i> · <i>Y</i>) = 1 bit gilt.
{Determine the PDF parameter $A$ such that $\underline{h(Z) = h (A \cdot Y) = 1 \ \rm bit}$ .
|type="{}"}
|type="{}"}
$ h(Z) = 1 bit: A$ = { 1.213 3% }
$A\ = $ { 1.213 3% }
</quiz>
</quiz>
===Musterlösung===
===Solution===
{{ML-Kopf}}
{{ML-Kopf}}
<b>a)</b> Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich 0 ≤ <i>X</i> ≤ 1 vereinbarungsgemäß:
'''(1)''' For the probability density function, in the range $0 \le X \le 1$ , it is agreed that:
$$f_X(x) = 2x = C \cdot x
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
\hspace{0.05cm}.$$
*Here we have replaced "2" by $C$ ⇒ generalization in order to be able to use the following calculation again in subtask $(3)$ .
*Since the differential entropy is sought in "nat", we use the natural logarithm. With the substitution $\xi = C \cdot x$ we obtain:
*You can save this conversion if you directly replace $(1)$ direct "ln" by "log<sub>2</sub>" already in the analytical result of subtask:
*The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
*Now the height $C = 1$ instead of $C = 2$ has to be considered:
*The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
Wir haben hierbei „2” durch <i>C</i> ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe (c) die nachfolgende Berechnung nochmals nutzen zu können.
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution <i>ξ</i> = <i>C</i> · <i>x</i> erhalten wir folgendes Integral:
'''(4)''' For the differential entropy of the random variable $Z = A \cdot Y$ holds in general:
$$h_{\rm nat}(X) \hspace{-0.15cm} = \hspace{-0.15cm} \hspace{0.1cm} - \int_{0}^{1} \hspace{0.1cm} C \cdot x \cdot {\rm ln} \hspace{0.1cm} [ C \cdot x ] \hspace{0.1cm}{\rm d}x =
Hierbei wurde das vorne angegebene unbestimmte Integral benutzt. Nach Einsetzen der Grenzen erhält man hieraus unter Berücksichtigung von <i>C</i> = 2:
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe '''a)''' direkt „ln” durch „log<sub>2</sub>” ersetzt:
If the "natural logarithm", the pseudo-unit "nat" must be added.
If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book Theory of Stochastic Signals.
The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
Now the height $C = 1$ instead of $C = 2$ has to be considered:
The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
