Aufgaben:Exercise 3.11Z: Extremely Asymmetrical Channel - Revision history

Guenter at 11:56, 24 September 2021

2021-09-24T11:56:37Z

Noah at 08:24, 24 September 2021

2021-09-24T08:24:31Z

Guenter at 12:14, 22 September 2021

2021-09-22T12:14:17Z

Guenter at 12:09, 22 September 2021

2021-09-22T12:09:49Z

Guenter at 12:08, 22 September 2021

2021-09-22T12:08:44Z

Noah at 11:33, 16 September 2021

2021-09-16T11:33:58Z

Show changes

Guenter: Guenter moved page Aufgaben:Aufgabe 3.11Z: Extrem unsymmetrischer Kanal to Aufgaben:Exercise 3.11Z: Extremely Asymmetrical Channel

2021-07-22T14:53:55Z

Guenter moved page Aufgabe 3.11Z: Extrem unsymmetrischer Kanal to Exercise 3.11Z: Extremely Asymmetrical Channel

Javier: Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

2021-03-23T12:58:03Z

Text replacement - "Category:Aufgaben zu Informationstheorie" to "Category:Information Theory: Exercises"

Javier: Text replacement - "[[Informationstheorie" to "[[Information_Theory"

2020-07-09T12:43:23Z

Text replacement - "[[Informationstheorie" to "[[Information_Theory"

Guenter at 15:48, 6 February 2020

2020-02-06T15:48:48Z

← Older revision		Revision as of 11:56, 24 September 2021
Line 129:		Line 129:


−	[[Category:Information Theory: Exercises\|^3.3 ~~Anwendung auf DSÜ-Kanäle~~^]]	+	[[Category:Information Theory: Exercises\|^3.3 Application to Digital Signal Transmission^]]

← Older revision		Revision as of 08:24, 24 September 2021
Line 1:		Line 1:

−	{{quiz-Header\|Buchseite=~~Informationstheorie~~/~~Anwendung auf die Digitalsignalübertragung~~	+	{{quiz-Header\|Buchseite=Information_Theory/Application_to_Digital_Signal_Transmission
	}}		}}

@@ Line 107: / Line 107: @@
 :and corresponding post-differentialisation one obtains:
 :$${1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{(1-p_0)/2}{1- (1-p_0)/2} +1 \stackrel{!}{=} 0 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{(1-p_0)/2}{(1+p_0)/2} +1 \stackrel{!}{=} 0$$
-:$$ \Rightarrow \hspace{0.3cm} {\rm log}_2 \hspace{0.1cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 2 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 4 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_0 \hspace{0.15cm} \underline {=0.6}\hspace{0.05cm}.$$
+:$$ \Rightarrow \hspace{0.3cm} {\rm log}_2 \hspace{0.1cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 2 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 4 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_0 \hspace{0.15cm} \underline {=0.6}=p_0^{(*)}\hspace{0.05cm}.$$

@@ Line 27: / Line 27: @@
 *The exercise belongs to the chapter&nbsp; [[Information_Theory/Anwendung_auf_die_Digitalsignalübertragung|Application to digital signal transmission]].
 *Reference is made in particular to the page&nbsp;    [[Information_Theory/Anwendung_auf_die_Digitalsignalübertragung#Channel_capacity_of_a_binary_channel|Channel capacity of a binary channel]].
-*In&nbsp; [[Aufgaben:3.14_Kanalcodierungstheorem|Exercise 3.14]]&nbsp; the results found here are to be interpreted in comparison to the BSC channel.
+*In&nbsp; [[Aufgaben:Exercise_3.14:_Channel_Coding_Theorem|Exercise 3.14]]&nbsp; the results found here are to be interpreted in comparison to the BSC channel.

@@ Line 5: / Line 5: @@
 [[File:P_ID2800__Inf_Z_3_10.png|right|frame|One-sided distorting channel]]
 The channel shown opposite with the following properties is considered:
-* The symbol&nbsp; $X = 0$&nbsp; is always transmitted correctly and always leads to the result&nbsp; $Y = 0$.
+* The symbol&nbsp; $X = 0$&nbsp; is always transmitted correctly and leads always to the result&nbsp; $Y = 0$.
 * The symbol&nbsp; $X = 1$&nbsp; is distorted to the maximum.&nbsp;

← Older revision	Revision as of 14:53, 22 July 2021
(No difference)

← Older revision		Revision as of 12:58, 23 March 2021
Line 128:		Line 128:


−	[[Category:~~Aufgaben zu Informationstheorie~~\|^3.3 Anwendung auf DSÜ-Kanäle^]]	+	[[Category:Information Theory: Exercises\|^3.3 Anwendung auf DSÜ-Kanäle^]]

@@ Line 25: / Line 25: @@
 ''Hinweise:''
-*Die Aufgabe gehört zum  Kapitel&nbsp; [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung|Anwendung auf die Digitalsignalübertragung]].
+*Die Aufgabe gehört zum  Kapitel&nbsp; [[Information_Theory/Anwendung_auf_die_Digitalsignalübertragung|Anwendung auf die Digitalsignalübertragung]].
-*Bezug genommen wird insbesondere auf die Seite&nbsp;    [[Informationstheorie/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|Kanalkapazität eines Binärkanals]].
+*Bezug genommen wird insbesondere auf die Seite&nbsp;    [[Information_Theory/Anwendung_auf_die_Digitalsignalübertragung#Kanalkapazit.C3.A4t_eines_Bin.C3.A4rkanals|Kanalkapazität eines Binärkanals]].
 *In der&nbsp; [[Aufgaben:3.14_Kanalcodierungstheorem|Aufgabe 3.14]]&nbsp; sollen die hier gefundenen Ergebnisse im Vergleich zum BSC–Kanal interpretiert werden.

@@ Line 71: / Line 71: @@
 '''(1)'''&nbsp; Die Quellenentropie ergibt sich entsprechend der binären Entropiefunktion:
 :$$H(X) = H_{\rm bin}(p_0)= H_{\rm bin}(0.4) \hspace{0.15cm} \underline {=0.971\,{\rm bit}} \hspace{0.05cm}.$$
@@ Line 76: / Line 77: @@
 :$$P_Y(1) = p_1/2 = (1 - p_0)/2 = 0.3\hspace{0.05cm},\hspace{0.2cm} P_Y(0) = 1-P_Y(1) = p_1/2 = (1 - p_0)/2 = 0.7$$
 :$$\Rightarrow \hspace{0.3cm} H(Y) = H_{\rm bin}(\frac{1+p_0}{2})= H_{\rm bin}(0.7) \hspace{0.15cm} \underline {=0.881\,{\rm bit}} \hspace{0.05cm}.$$
@@ Line 82: / Line 84: @@
 :$$\Rightarrow \hspace{0.3cm} H(XY) =p_0 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{ p_0} + 2 \cdot \frac{1-p_0}{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{2}{ 1- p_0} = p_0 \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{ p_0} + (1-p_0) \cdot {\rm log}_2 \hspace{0.1cm} \frac{1}{ 1- p_0} + (1-p_0) \cdot {\rm log}_2 \hspace{0.1cm} (2)$$
 :$$\Rightarrow \hspace{0.3cm}H(XY) =H_{\rm bin}(p_0) + 1 - p_0 \hspace{0.05cm}.$$
-Das numerische Ergebnis für $p_0 = 0.4$ lautet somit:
+*Das numerische Ergebnis für&nbsp; $p_0 = 0.4$&nbsp; lautet somit:
 :$$H(XY) = H_{\rm bin}(0.4) + 0.6 = 0.971 + 0.6 \hspace{0.15cm} \underline {=1.571\,{\rm bit}} \hspace{0.05cm}.$$
 '''(4)'''&nbsp; Eine (mögliche) Gleichung zur Berechnung der Transinformation lautet:
-:$$ I(X;Y) = H(X) + H(Y)- H(XY)\hspace{0.05cm}$$
+:$$ I(X;Y) = H(X) + H(Y)- H(XY)\hspace{0.05cm}.$$
-Daraus erhält man mit den Ergebnissen der ersten drei Teilaufgaben:
+*Daraus erhält man mit den Ergebnissen der ersten drei Teilaufgaben:
 :$$I(X;Y) = H_{\rm bin}(p_0) + H_{\rm bin}(\frac{1+p_0}{2}) - H_{\rm bin}(p_0) -1 + p_0 = H_{\rm bin}(\frac{1+p_0}{2}) -1 + p_0.$$
 :$$ \Rightarrow \hspace{0.3cm} p_0 = 0.4 {\rm :}\hspace{0.5cm} I(X;Y) = H_{\rm bin}(0.7) - 0.6 = 0.881 - 0.6 \hspace{0.15cm} \underline {=0.281\,{\rm bit}}\hspace{0.05cm}.$$
 '''(5)'''&nbsp; Die Kanalkapazität $C$ ist die Transinformation &nbsp;$I(X; Y)$&nbsp; bei bestmöglichen Wahrscheinlichkeiten &nbsp;$p_0$&nbsp;  und &nbsp; $p_1$&nbsp;  der Quellensymbole.
 *Nach Differentiation erhält man die Bestimmungsgleichung:
 :$$\frac{\rm d}{{\rm d}p_0} \hspace{0.1cm} I(X;Y) =
@@ Line 100: / Line 104: @@
 *Mit dem Differentialquotienten der binären Entropiefunktion
 :$$ \frac{\rm d}{{\rm d}p} \hspace{0.1cm}  H_{\rm bin}(p) = {\rm log}_2 \hspace{0.1cm} \frac{1-p}{ p} \hspace{0.05cm},$$
-und entsprechendes Nachdifferenzieren erhält man:
+:und entsprechendes Nachdifferenzieren erhält man:
 :$${1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{(1-p_0)/2}{1- (1-p_0)/2} +1 \stackrel{!}{=} 0 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} {1}/{2} \cdot {\rm log}_2 \hspace{0.1cm} \frac{(1-p_0)/2}{(1+p_0)/2} +1 \stackrel{!}{=} 0$$
 :$$ \Rightarrow \hspace{0.3cm} {\rm log}_2 \hspace{0.1cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 2 \hspace{0.3cm} \Rightarrow \hspace{0.3cm} \frac{1+p_0}{1-p_0} \stackrel{!}{=} 4 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} p_0 \hspace{0.15cm} \underline {=0.6}\hspace{0.05cm}.$$
 '''(6)'''&nbsp; Für die Kanalkapazität gilt dementsprechend:
 :$$C = I(X;Y) \big |_{p_0 \hspace{0.05cm}=\hspace{0.05cm} 0.6} = H_{\rm bin}(0.8) - 0.4 = 0.722 -0.4 \hspace{0.15cm} \underline {=0.322\,{\rm bit}}\hspace{0.05cm}.$$
-In der Aufgabe A3.14 wird dieses Ergebnis im Vergleich zum BSC–Kanalmodell interpretiert.
+*In der Aufgabe A3.14 wird dieses Ergebnis im Vergleich zum BSC–Kanalmodell interpretiert.
 '''(7)'''&nbsp; Für die Äquivokation gilt:
 :$$ H(X \hspace{-0.1cm}\mid \hspace{-0.1cm}Y) = H(X) - I(X;Y) = 0.971 -0.322 \hspace{0.15cm} \underline {=0.649\,{\rm bit}}\hspace{0.05cm}.$$
-*Wegen $H_{\rm bin}(0.4) = H_{\rm bin}(0.6)$ ergibt sich die gleiche Quellenentropie $H(X)$ wie in Teilaufgabe '''(1)'''.
+*Wegen&nbsp; $H_{\rm bin}(0.4) = H_{\rm bin}(0.6)$&nbsp; ergibt sich die gleiche Quellenentropie&nbsp; $H(X)$&nbsp; wie in Teilaufgabe&nbsp; '''(1)'''.
-*Die Sinkenentropie muss neu berechnet werden.
+*Die Sinkenentropie muss neu berechnet werden.&nbsp; Mit&nbsp; $p_0 = 0.6$&nbsp; erhält man&nbsp; $H(Y) = H_{\rm bin}(0.8) = 0.722\ \rm  bit$.
-*Mit $p_0 = 0.6$ erhält man $H(Y) = H_{\rm bin}(0.8) = 0.722\ \rm  bit$, und damit ergibt sich für die Irrelevanz:
+* Damit ergibt sich für die Irrelevanz:
 :$$H(Y \hspace{-0.1cm}\mid \hspace{-0.1cm} X) = H(Y) - I(X;Y) = 0.722 -0.322 \hspace{0.15cm} \underline {=0.400\,{\rm bit}}\hspace{0.05cm}.$$