* Der Zusammenhang zwischen den zwei Zufallsgrößen ist durch die Gleichung $X = |Y|$ gegeben.
For both random variables, the [[Information_Theory/Differentielle_Entropie|differential entropy]] is to be determined in each case.
Für beide Zufallsgrößen soll jeweils die [[Informationstheorie/Differentielle_Entropie|differentielle Entropie]] ermittelt werden. Beispielsweise lautet die entsprechende Gleichung für die Zufallsgröße $X$:
For example, the corresponding equation for the random variable $X$ is:
*If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
\hspace{0.05cm}.$$
*Verwendet man den ''natürlichen Logarithmus'', so ist die Pseudo–Einheit „nat” anzufügen.
*Ist das Ergebnis dagegen in „bit” gefragt, so ist der <i>Logarithmus dualis</i> ⇒ „log<sub>2</sub>” zu verwenden.
In der vierten Teilaufgabe wird die neue Zufallsgröße $Z = A \cdot Y$ betrachtet. Der WDF–Parameter $A$ ist so zu bestimmen, dass die differentielle Entropie der neuen Zufallsgröße $Z$</i> genau 1 bit ergibt:<br>
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :<br>
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\,{\rm bit} \hspace{0.05cm}.$$
:$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
''Hinweise:''
*Die Aufgabe gehört zum Kapitel [[Informationstheorie/Differentielle_Entropie|Differentielle Entropie]].
*Nützliche Hinweise zur Lösung dieser Aufgabe und weitere Informationen zu den wertkontinuierlichen Zufallsgrößen finden Sie im Kapitel „Kontinuierliche Zufallsgrößen” des Buches [[Stochastische Signaltheorie]].
Hints:
*The task belongs to the chapter [[Information_Theory/Differentielle_Entropie|Differential Entropy]].
*Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book [[Theory of Stochastic Signals]].
*Vorgegeben ist das folgende unbestimmte Integral:
'''(1)''' Für die Wahrscheinlichkeitsdichtefunktion gilt im Bereich $ \le X \le 1$ vereinbarungsgemäß: $f_X(x) = 2x = C \cdot x
'''(1)''' For the probability density function, in the range $0 \le X \le 1$ , it is agreed that:
\hspace{0.05cm}.$ Wir haben hierbei „2” durch $C$ ersetzt ⇒ Verallgemeinerung, um in der Teilaufgabe $(3)$ die nachfolgende Berechnung nochmals nutzen zu können.
:$$f_X(x) = 2x = C \cdot x\hspace{0.05cm}.$$
*Here we have replaced "2" by $C$ ⇒ generalization in order to be able to use the following calculation again in subtask $(3)$ .
*Since the differential entropy is sought in "nat", we use the natural logarithm. With the substitution $\xi = C \cdot x$ we obtain:
*You can save this conversion if you directly replace $(1)$ direct "ln" by "log<sub>2</sub>" already in the analytical result of subtask:
Da die differentielle Entropie in „nat” gesucht ist, verwenden wir den natürlichen Logarithmus. Mit der Substitution $\xi = C \cdot x$ erhalten wir:
'''(3)''' We again use the natural logarithm and divide the integral into two partial integrals:
:$$h_{\rm nat}(X) = \hspace{0.1cm} - \int_{0}^{1} \hspace{0.1cm} C \cdot x \cdot {\rm ln} \hspace{0.1cm} [ C \cdot x ] \hspace{0.1cm}{\rm d}x =
*The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
Diese Umrechnung kann man sich sparen, wenn man bereits im analytischen Ergebnis der Teilaufgabe (1) direkt „ln” durch „log<sub>2</sub>” ersetzt:
[[File:P_ID2866__Inf_A_4_2c.png|right|frame|Zur Berechnung von <i>h</i>(<i>Y</i>)]]
*The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
'''(3)''' Wir verwenden wieder den natürlichen Logarithmus und teilen das Integral in zwei Teilintegrale auf:
*Das erste Integral (Bereich $-1 \le y \le 0$) ist formgleich mit dem der Teilaufgabe $(1)$ und gegenüber diesem nur verschoben, was das Ergebnis nicht beeinflusst. Zu berücksichtigen ist nun die Höhe $C = 1$ anstelle von $C = 2$:
*Der zweite Integrand ist bis auf eine Verschiebung und Spiegelung identisch mit dem ersten. Außerdem überlappen sich die Integrationsintervalle nicht ⇒ $I_{\rm pos} = I_{\rm neg}$:
If the "natural logarithm", the pseudo-unit "nat" must be added.
If, on the other hand, the result is asked in "bit" then the "dual logarithm" ⇒ "$\log_2$" is to be used.
In the fourth subtask, the new random variable $Z = A \cdot Y$ is considered. Here, the PDF parameter $A$ is to be determined in such a way that the differential entropy of the new random variable $Z$ yields exactly $1$ bit :
$$h(Z) = h (A \cdot Y) = h (Y) + {\rm log}_2 \hspace{0.1cm} (A) = 1\ {\rm bit} \hspace{0.05cm}.$$
Useful hints for solving this task and further information on continuous random variables can be found in the third chapter "Continuous Random Variables" of the book Theory of Stochastic Signals.
The first integral for the range $-1 \le y \le 0$ is identical in form to that of subtask $(1)$ and only shifted with respect to it, which does not affect the result.
Now the height $C = 1$ instead of $C = 2$ has to be considered:
The second integrand is identical to the first except for a shift and reflection. Moreover, the integration intervals do not overlap ⇒ $I_{\rm pos} = I_{\rm neg}$:
