LNTwww - User contributions [en]

Aufgaben:Exercise 1.1: Simple Filter Functions

2016-11-14T21:14:22Z

Nabil:

{{quiz-Header|Buchseite=Lineare zeitinvariante Systeme/Systembeschreibung im Frequenzbereich}}
==A1.1 Einfache Filterfunktionen==
[[File:P_ID781__LZI_A_1_1.png | Zwei Vierpole (Aufgabe A1.1) | right|]]
Man bezeichnet ein Filter mit dem Frequenzgang
$$H_{TP}(f) = \frac{1}{1+ {j}\cdot f/f_0}$$
als Tiefpass erster Ordnung. Daraus lässt sich ein Hochpass erster Ordnung nach folgender Vorschrift gestalten:
$$H_{\rm HP}(f) = 1- H_{\rm TP}(f) .$$

In beiden Fällen gibt $f_0$ die so genannte 3dB–Grenzfrequenz an.

Die Abbildung zeigt zwei Vierpole A und B. In der Aufgabe ist zu klären, welcher der beiden Vierpole eine Tiefpass– und welcher eine Hochpasscharakteristik aufweist.

Die Bauelemente von Schaltung A sind wie folgt gegeben:
$$R = 50 \,\, {\rm \Omega}; \hspace{0.1cm} C = 0.637 \,\, {\rm \mu F} .$$

Die Induktivität $L$ ist in der Teilaufgabe (6) zu berechnen.

Für die Teilaufgabe (4) wird vorausgesetzt, dass die Eingangssignale cosinusförmig seien. Die Frequenz $f_x$ ist variabel, die Leistung beträgt jeweils $P_x =$ 10 mW.

'''Hinweis:''' Die Aufgabe bezieht sich auf den Theorieteil von Kapitel [[Lineare_zeitinvariante_Systeme/Systembeschreibung_im_Frequenzbereich | Systembeschreibung_im_Frequenzbereich]].

===Fragebogen===

<quiz display=simple>
{Berechnen Sie den Frequenzgang $H_{\rm A}(f)$ des Vierpols A und beantworten Sie folgende Fragen.
|type="[]"}
+ Vierpol A ist ein Tiefpass.
- Vierpol A ist ein Hochpass.

{Berechnen Sie die Bezugsfrequenz $f_0$ aus den Bauelementen $R$ und $C$.
|type="{}"}
$f_0$ = { 5 1% } $\text{KHz}$

{Berechnen Sie den Amplitudengang $|H_{\rm A}(f)|$. Welche Zahlenwerte ergeben sich für $f = f_0$ und $f = 2f_0$?
|type="{}"}
$|H_{\rm A}(f = f_0)|$ = { 0.707 1% }
$|H_{\rm A}(f = 2f_0)|$ = { 0.447 1% }

{Wie groß ist die Leistung $P_y$ des Ausgangssignals $y(t)$, wenn am Eingang ein Cosinussignal der Frequenz $f_x =$ 5 kHz bzw. $f_x =$ 10 kHz anliegt?
|type="{}"}
$P_y(f_x = 5 \rm kHz)$ = { 5 1% } $\text{mW}$
$P_y(f_x = 10 \rm kHz)$ = { 2 1% } $\text{mW}$

{Berechnen Sie den Amplitudengang $|H_{\rm B}(f)|$ des Vierpols $B$ mit den Elementen $R$ und $L$ unter Verwendung der Bezugsfrequenz $f_0 = R/(2πL)$. Welche Werte ergeben sich für $f = 0$, $f = f_0$ und $f = 2f_0$ sowie für $f → ∞$?
|type="{}"}
$|H_{\rm B}(f = 0)|$ = { 0 1% }
$|H_{\rm B}(f = f_0)|$ = { 0.707 1% }
$|H_{\rm B}(f = 2f_0)|$ = { 0.894 1% }
$|H_{\rm B}(f → ∞)|$ = { 1 1% }

{Welche Induktivität führt zu der Bezugsfrequenz $f_0 = 5 \text{kHz}$?
|type="{}"}
$L$ = { 1.59 1% } $\text{mH}$

</quiz>

===Musterlösung===
{{ML-Kopf}}
'''1.''' Der komplexe Widerstand der Kapazität $C$ ist gleich $1/({\rm j}ωC)$, wobei $ω = 2πf$ die so genannte Kreisfrequenz angibt. Der Frequenzgang lässt sich nach dem Spannungsteilerprinzip berechnen:
$$H_{\rm A}(f) = \frac{Y_{\rm A}(f)}{X_{\rm A}(f)} = \frac{1/({\rm j}\omega C)}{R+1/({\rm j}\omega C)}=\frac{1}{1+{\rm j \cdot 2\pi}\cdot f \cdot R\cdot C}.$$
Wegen $H_{\rm A}(f = 0) = 1$ kann dies kein Hochpass sein; vielmehr handelt es sich um einen $\rm \underline{Tiefpass}$. Bei niedrigen Frequenzen ist der Blindwiderstand der Kapazität sehr groß und es gilt $y_{\rm A}(t) ≈ x_{\rm A}(t)$. Dagegen wirkt der Kondensator bei sehr hohen Frequenzen wie ein Kurzschluss und es ist $y_{\rm A}(t) ≈ 0$.

'''2.''' Durch Koeffizientenvergleich zwischen $H_{\rm TP}(f)$ auf der Angabenseite und $H_{\rm A}(f)$ gemäß Teilaufgabe (1) erhält man:
$$f_0 = \frac{1}{2\pi \cdot R \cdot C} = \frac{1}{2\pi \cdot{\rm
50\hspace{0.05cm} \Omega}\cdot {\rm 0.637 \cdot 10^{-6}\hspace{0.05cm} s/\Omega}}\hspace{0.15cm}\underline{\approx 5 \, {\rm kHz}}.$$

'''3.''' Der Amplitudengang lautet:
$$|H_{\rm A}(f)| = \frac{1}{\sqrt{1+ (f/f_0)^2}}.$$
Für $f = f_0$ erhält man den Zahlenwert $1/\sqrt{2}\hspace{0.1cm} \underline{≈ 0.707}$, und für $f = 2f_0$ näherungsweise den Wert $1/\sqrt{5}\hspace{0.1cm} \underline{≈ 0.477}$.

'''4.''' Die Ausgangsleistung kann nach folgender Gleichung berechnet werden:
$$P_y = P_x \cdot |H_{\rm A}(f = f_x)|^2.$$
Für $f_x = f_0$ ist $P_y = P_x/2 \hspace{0.1cm} \underline{ = 5\hspace{0.1cm} {\rm mW}}$, also die halbe Leistung. In logarithmischer Darstellung lautet diese Beziehung:
$$10 \cdot {\rm lg}\hspace{0.2cm} \frac{P_x(f_0)}{P_y(f_0)} = 3\,{\rm dB}.$$
Deshalb ist für $f_0$ auch die Bezeichnung 3dB–Grenzfrequenz üblich. Für $f_x = 2f_0$ erhält man dagegen einen kleineren Wert: $P_y = P_x/5 \hspace{0.1cm}\underline{= 2\hspace{0.1cm} {\rm mW}}$.

'''5.''' Analog zur Teilaufgabe (1) gilt:
$$H_{\rm B}(f) = \frac{Y_{\rm B}(f)}{X_{\rm B}(f)} = \frac{{\rm j}\omega L}{R+{\rm j}\omega L}=\frac{{\rm j2\pi}\cdot f \cdot L/R}{1+{\rm j2\pi}\cdot f \cdot L/R}.$$
Unter Verwendung der Bezugsfrequenz $f_0 = R/(2πL)$ kann hierfür auch geschrieben werden:
$$H_{\rm B}(f) = \frac{{\rm j}\cdot f/f_0}{1+{\rm j}\cdot f/f_0}\hspace{0.5cm}\Rightarrow \hspace{0.5cm}|H_{\rm B}(f)| = \frac{|f/f_0|}{\sqrt{1+ (f/f_0)^2}}.$$
Daraus erhält man die Zahlenwerte:
$$|H_{\rm B}(f = 0)| \hspace{0.15cm}\underline{= 0}, \hspace{0.2cm} |H_{\rm B}( f_0)| \hspace{0.15cm}\underline{=0.707}, \hspace{0.2cm}|H_{\rm B}(2f_0)| \hspace{0.15cm}\underline{= 0.894},
\hspace{0.2cm}|H_{\rm B}(f \rightarrow \infty)|\hspace{0.15cm}\underline{ = 1}.$$
Der Vierpol B ist demzufolge ein $\rm \underline{Hochpass}$.

'''6.''' Aus obiger Definition der Bezugsfrequenz folgt:
$$L = \frac{R}{2\pi \cdot f_0} = \frac{{\rm 50\hspace{0.05cm}
\Omega}}{2\pi \cdot{\rm 5000 \hspace{0.05cm} Hz}}= {\rm 1.59 \cdot
10^{-3}\hspace{0.05cm} \Omega s}\hspace{0.15cm}\underline{= {\rm 1.59 \hspace{0.1cm}
mH}} .$$
{{ML-Fuß}}

[[Category:Aufgaben zu Lineare zeitinvariante Systeme|^1.1 Systembeschreibung im Frequenzbereich^]]

Aufgaben:Exercise 1.1Z: Binary Entropy Function

2016-10-13T19:40:52Z

Nabil:

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Gedächtnislose Nachrichtenquellen
}}

[[File:P_ID2234__Inf_Z_1_1.png|right|]]
:Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat {A, B} $\Rightarrow M = 2$. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien $p_A = p$ und $p_B = 1 - p$.

:Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [bit]}\hspace{0.05cm},\\
H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [nat]}\hspace{0.05cm}.$$
:In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

:* der natürliche Logarithmus ln $p = log_e p$,

:* der Logarithmus dualis ld $p = log_2 p$.

:Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters $p$, wobei $0 ≤ p ≤ 1$ vorausgesetzt wird.

:In den Teilaufgaben (5) und (6) soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit $p$ per Simulation (also als relative Häufigkeit $h$) ermittelt wurde und sich dabei fälschlicherweise $h = 0.9 p$ ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe gehört zum Kapitel 1.1.

===Fragebogen===

<quiz display=simple>
{Wie hängen Hbin(p) in bit und H' bin(p) in nat zusammen?
|type="[]"}
+ Hbin(p) und H' bin(p) unterscheiden sich um einen Faktor.
- Es gilt H' bin(p) = Hbin(ln p).
- Es gilt H' bin(p) = 1 + Hbin(2 p).

{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für p = 0.5 ergibt. Wie groß ist Hbin(p = 0.5)?
|type="{}"}
$H_\text{bin}(p = 0.5)$ = { 1 3% } $bit$

{Berechnen Sie den binären Entropiewert für p = 0.05.
|type="{}"}
$H_\text{bin}(p = 0.05)$ = { 1 3% } $bit$

{Geben Sie den größeren der beiden p–Werte ein, die sich aus der Gleichung Hbin(p) = 0.5 bit ergeben.
|type="{}"}
$p$ = { 0.89 3% }

{Durch unzureichende Simulation wurde p = 0.5 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
|type="{}"}
$p = 0.45\ statt\ p=0.5:\ \ \epsilon_H$ = - { 0.7 3% } %

{Durch unzureichende Simulation wurde p = 0.05 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
|type="{}"}
$p = 0.045\ statt\ p=0.05:\ \ \epsilon_H$ = - { 7.3 3% } %

</quiz>

===Musterlösung===
{{ML-Kopf}}
:Hinweis: Aus Platzgründen verwenden wir in der Musterlösung &bdquo;ld” anstelle von &bdquo;log2”.

:1.  Die Entropiefunktion H' bin(p) lautet entsprechend der Angabe:
:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = \\
\hspace{0.1cm} = \hspace{0.1cm} {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
{\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$
:Richtig ist also der erste Lösungsvorschlag. Die beiden weiteren Vorgaben machen keinen Sinn.

:2.  Die Optimierungsbedingung lautet dHbin(p)/dp = 0 bzw.
:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
\left [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\right ] \stackrel{!}{=} 0$$
:$$\Rightarrow \hspace{0.3cm}
- {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
:Die Entropiewerte für p = 0.5 lauten somit:
:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},\\
H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm ld}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$

:3.  Für p = 5% erhält man:
:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.95}= \\
\hspace{0.1cm} = \hspace{0.1cm} \frac{1}{0.693} \cdot \left [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\right ]= \\ \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{0.693} \cdot \left [ 0.05 \cdot 2.995+ 0.95 \cdot 0.051\right ]
\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$

:4.  Diese Aufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”. Eine Lösung liefert das Ergebnis:
:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}
H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} $$
:$$\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
:Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von Hbin(p) zu p2 = 1 – p1 = 0.89.

:5.  Mit p = 0.45 erhält man Hbin(p) = 0.993 bit. Der relative Fehler bezüglich Entropie ist somit
:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}
\hspace{0.05cm}.$$
:Das Minuszeichen deutet darauf hin, dass der Entropiewert H = 0.993 zu klein ist. Hätte die Simulation den zu großen Wert p = 0.55 ergeben, so wäre H und auch der relative Fehler genau so groß.

:6.   Es gilt Hbin(p = 0.045) = 0.265 bit. Mit dem Ergebnis aus (3) ⇒ Hbin(p = 0.05) = 0.286 bit folgt daraus für den relativen Fehler bezüglich der Entropie:
:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}
\hspace{0.05cm}.$$
:Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um 10% macht sich für p = 0.05 aufgrund des steileren Hbin(p)–Verlaufs deutlich stärker bemerkbar als für p = 0.5. Eine zu große Wahrscheinlichkeit p = 0.055 hätte zu Hbin(p = 0.055) = 0.307 bit geführt und damit zu einer Verfälschung um εH = +7.3%. In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^1.1 Gedächtnislose Nachrichtenquellen^]]

Aufgaben:Aufgabe 2.13Z: Kombination BWT & ''Move-to-Front''

2016-10-13T19:37:05Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.14 Kombination BWT & MTF nach Aufgaben:2.14Z Kombination BWT & MTF

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Weitere Quellencodierverfahren
}}

[[File:P_ID2480__Inf_Z_2_14.png|right|]]
Wir beziehen und auf die letzte Theorieseite von Kapitel 2.4 und betrachten das rachts skizzierte Codiersystem, bestehend aus den Blöcken.

:* Burrows–Wheeler–Transformation (BWT) gemäß der Beschreibung in Aufgabe A2.14; Zeichenmengen am Ein– und Ausgang sind gleich: {D, E, I, M, N, S};

:* Move–to–Front (MTF), ein Sortieralgorithmus, der eine gleich lange Zeichenfolge (im Beispiel N = 12), aber mit anderem Alphabet {0, 1, 2, 3, 4, 5} ausgibt;

:* RLC0 – eine Lauflängencodierung speziell für die nach BWT und MTF (möglichst) häufige Null; alle anderen Indizes werden durch RLC0 nicht verändert;

:* Huffman als Beispiel eines Entropiecodierers gemäß der Beschreibung in Kapitel 2.3; häufige Zeichen werden durch kurze Binärfolgen dargestellt, seltene durch lange.

Der MTF–Algorithmus lässt sich wie folgt beschreiben:

:* Bei M = 6 Eingangssymbolen ist die Ausgangsfolge des MTF eine Aneinanderreihung von Indizes I aus der Menge I = {0, 1, 2, 3, 4, 5}.

:* Vor Beginn des eigentlichen MTF–Algorithmus werden die möglichen Eingangssymbole lexikografisch sortiert und den folgenden Indizes zugeordnet:
: D → 0, E → 1, I → 2, M → 3, N → 4, S → 5.

:* Der MTF–Eingabestring sei hier N M S D E E E N I I I N. Dies war das BWT–Ergebnis in der Aufgabe A2.14. Das erste N wird gemäß Voreinstellung mit I = 4 dargestellt.

:* Anschließend wird das N in der Sortierung an den Anfang gestellt, so dass nach dem Codierschritt i = 1 folgende Zuordnung gilt:
: N → 0, D → 1, E → 2, I → 3, M → 4, S → 5.

:* In gleicher Weise fährt man fort, bis der gesamte Eingangstext abgearbeitet ist. Steht ein Zeichen bereits an Position 0, so ist keine Neusortierung erforderlich.

Hinweis: Die Aufgabe gehört zu Kapitel 2.4. Informationen zum Huffman–Code finden Sie in Kapitel 2.3. Für die Lösung dieser Aufgabe sind diese Informationen aber nicht erforderlich.

===Fragebogen===

<quiz display=simple>
{Welche Aussagen gelten für den Block &bdquo;BWT” des Codiersystems?
|type="[]"}
+ Die Eingangszeichenmenge ist {D, E, I, M, N, S}.
+ Die Ausgangszeichenmenge ist {D, E, I, M, N, S}.
- In der Ausgangsfolge treten alle M = 6 Zeichen gruppiert auf.

{Welche Aussagen gelten für den Block &bdquo;MTF” des Codiersystems?
|type="[]"}
- Die Ausgangszeichenmenge ist {D, E, I, M, N, S}.
+ Die Ausgangszeichenmenge ist {0, 1, 2, 3, 4, 5}.
+ Die MTF–Ausgangsfolge hat die Länge N = 12.

{Wie lautet die MTF–Ausgangsfolge?
|type="[]"}
- 230000100405,
+ 445340045001,
- 543120345123.

{Welche Aussagen gelten für den Block &bdquo;RLC0” des Codiersystems?
|type="[]"}
+ Der Eingangswert 0 erfährt eine Sonderbehandlung.
+ Je häufiger eine 0 auftritt, um so effektiver ist dieser Block.
- Am besten wäre Pr(0) ≈ Pr(1) ≈ ... ≈ Pr(5).

{Welche Aussagen gelten für den abschließenden Block &bdquo;Huffman”?
|type="[]"}
+ Die Ausgangsfolge ist binär.
+ Er bewirkt eine möglichst kleine mittlere Codewortlänge.
+ Die Dimensionierung richtet sich nach den anderen Blöcken.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die Grafik auf der Angabenseite zeigt, dass die Lösungsvorschläge 1 und 2 richtig sind und der Vorschlag 3 falsch ist. E und I treten zwar gruppiert auf, aber nicht die N–Zeichen.

2.  Richtig sind die Lösungsvorschläge 2 und 3. Die Eingangsfolge wird Zeichen für Zeichen abgearbeitet. Auch die Ausgangsfolge hat somit die Länge N = 12.

Tatsächlich wird die Eingangsmenge {D, E, I, N, M, S} in die Ausgangsmenge {0, 1, 2, 3, 4, 5} gewandelt. Allerdings nicht durch einfaches Mapping, sondern durch einen Algorithmus, der nachfolgend skizziert wird.

3.  Die folgende Tabelle zeigt den MTF–Algorithmus. Der Schritt i = 0 (rote Hinterlegung) gibt die Vorbelegung an. Die Eingabe der MTF ist gelb hinterlegt, die Ausgabe grün.
[[File:P_ID2481__Inf_Z_2_14b.png|center|]]
:* Im Schritt i = 1 wird das Eingangszeichen N entsprechend der Spalte i = 0 durch den Index I = 4 dargestellt. Anschließend wird N nach vorne sortiert, während die Reihenfolge der anderen Zeichen gleich bleibt.

:* Das Eingangszeichen M im zweiten Schritt erhält entsprechend der Spalte i = 1 ebenfalls den Index I = 4. In gleicher Weise macht man weiter bis zum 12. Zeichen N, dem der Index I = 1 zugeordnet wird.

Richtig ist Lösungsvorschlag 2. Man erkennt aus obiger Tabelle weiter, dass zu den Zeitpunkten i = 6, i = 7, i = 10 und i = 11 der Ausgabeindex jeweils I = 0 ist.

4.  Richtig sind die Aussagen 1 und 2. Die Vorverarbeitungsschritte BWT und MTF haben lediglich die Aufgabe, möglichst viele Nullen zu generieren.

5.  Alle Aussagen sind richtig. Nähere Angaben zum Huffman–Algorithmus finden Sie im Kapitel 2.3.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.4 Weitere Quellencodierverfahren^]]

Zusatzaufgaben:2.14 Kombination BWT & MTF

2016-10-13T19:37:05Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.14 Kombination BWT & MTF nach Aufgaben:2.14Z Kombination BWT & MTF

#WEITERLEITUNG [[Aufgaben:2.14Z Kombination BWT & MTF]]

Aufgaben:Exercise 2.7Z: Huffman Coding for Two-Tuples of a Ternary Source

2016-10-13T19:36:53Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.07 Ternärquelle-Zweiertupel nach Aufgaben:2.07Z Ternärquelle-Zweiertupel

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Entropiecodierung nach Huffman
}}

[[File:P_ID2458__Inf_Z_2_7.png|right|]]
Wir betrachten den gleichen Sachverhalt wie in der Aufgabe A2.7: Der Huffman–Algorithmus führt zu einem besseren Ergebnis, das heißt zu einer kleineren mittleren Codewortlänge LM, wenn man ihn nicht auf einzelne Symbole anwendet, sondern vorher k–Tupel bildet. Dadurch erhöht man den Symbolumfang von M auf M ′ = M k.

Für die hier betrachtete Nachrichtenquelle gilt:

:* Symbolumfang: M = 3,

:* Symbolvorrat: {X, Y, Z},

:* Wahrscheinlichkeiten: pX = 0.7, pY = 0.2, pZ = 0.1,

:* Entropie: H = 1.157 bit/Ternärsymbol.

Die Grafik zeigt den Huffman–Baum, wenn man den Huffman–Algorithmus auf Einzelsymbole anwendet, also den Fall k = 1. In der Teilaufgabe (2) sollen Sie den entsprechenden Huffman–Code angeben, wenn vorher Zweiertupel gebildet werden (k = 2).

Hinweis: Die Aufgabe bezieht sich auf die letzte Theorieseite von Kapitel 2.3. Bezeichnen Sie die möglichen Zweiertupel mit

:XX = A,  XY = B,  XZ = C,   YX = D,  YY = E,  YZ = F,  ZX = G,  ZY = H,  ZZ = I .

===Fragebogen===

<quiz display=simple>
{Wie groß ist die mittlere Codewortlänge, wenn der Huffman–Algorithmus direkt auf die ternären Quellensymbole X, Y und Z angewendet wird?
|type="{}"}
$k = 1:\ L_M$ = { 1.3 3% } bit/Quellensymbol

{Wie groß sind die Tupel–Wahrscheinlichkeiten? Insbesondere:
|type="{}"}
$p_A = Pr(XX)$ = { 0.49 3% }
$p_B = Pr(XY)$ = { 0.14 3% }
$p_C = Pr(XZ)$ = { 0.07 3% }

{Wie groß ist die mittlere Codewortlänge, wenn man erst Zweiertupel bildet und darauf den Huffman–Algorithmus anwendet.
|type="{}"}
$k = 2:\ L_M$ = { 1.165 3% } bit/Quellensymbol

{Welche der folgenden Aussagen sind zutreffend, wenn man mehr als zwei Ternärzeichen zusammenfasst (k >2)?
|type="[]"}
+ LM fällt monoton mit steigendem k ab.
- LM ändert sich nicht, wenn man k erhöht.
- Für k = 3 erhält man LM = 1.05 bit/Quellensymbol.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die mittlere Codewortlänge ergibt sich mit pX = 0.7, LX = 1, pY = 0.2, LY = 2, pZ = 0.1, LZ = 2 zu
:$$L_{\rm M} = p_{\rm X} \cdot 1 + (p_{\rm Y} + p_{\rm Z}) \cdot 2 \hspace{0.15cm}\underline{= 1.3\,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}. $$
Dieser Wert liegt noch deutlich über der Quellenentropie H = 1.157 bit/Quellensymbol.

2.  Es gibt M ′ = M 2 = 32 = 9 Zweiertupel mit folgenden Wahrscheinlichkeiten:

: pA = Pr(XX) = 0.49,   pB = Pr(XY) = 0.14,    pC = Pr(XZ) = 0.07,

: pD = Pr(YX) = 0.14,    pE = Pr(YY) = 0.04,    pF = Pr(YZ) = 0.02,

: pG = Pr(YX) = 0.07,    pH = Pr(YY) = 0.02,    pI = Pr(YZ) = 0.01.

3.  Die Grafik zeigt den Huffman–Baum für die Anwendung mit k = 2.
[[File:P_ID2459__Inf_Z_2_7c.png|center|]]
Damit erhält man

:* für die einzelnen Zweiertupels folgende Binärcodierungen: 
: XX = A → 0,   XY = B → 111,   XZ = C → 1011,    YX = D → 110,   YY = E → 1000, 
: YZ = F → 10010,    ZX = G → 1010,   ZY = H → 100111,   ZZ = I → 100110 .

:* für die mittlere Codewortlänge:
:$$L_{\rm M}' \hspace{0.2cm} = \hspace{0.2cm} 0.49 \cdot 1 + (0.14 + 0.14) \cdot 3 + (0.07 + 0.04 + 0.07) \cdot 4 + \\
\hspace{0.2cm} + \hspace{0.2cm}0.02 \cdot 5 + (0.02 + 0.01) \cdot 6 = 2.33\,\,{\rm bit/Zweiertupel}$$
:$$\Rightarrow\hspace{0.3cm}L_{\rm M} = {L_{\rm M}'}/{2}\hspace{0.15cm}\underline{ = 1.165\,\,{\rm bit/Quellensymbol}}\hspace{0.05cm}.$$

4.  Richtig ist Aussage 1, auch wenn LM mit wachsendem k nur sehr langsam abfällt.

:* Die letzte Aussage ist falsch, da LM auch für k → ∞ nicht kleiner sein kann als H = 1.157 bit/Quellensymbol.

:* Aber auch die zweite Aussage ist falsch: Da mit k = 2 weiterhin LM > H gilt, führt k = 3 zu einer Verbesserung.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.3 Entropiecodierung nach Huffman^]]

Zusatzaufgaben:2.07 Ternärquelle-Zweiertupel

2016-10-13T19:36:53Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.07 Ternärquelle-Zweiertupel nach Aufgaben:2.07Z Ternärquelle-Zweiertupel

#WEITERLEITUNG [[Aufgaben:2.07Z Ternärquelle-Zweiertupel]]

Zusatzaufgaben:2.06 Nochmals zum Huffman–Code

2016-10-13T19:36:41Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.06 Nochmals zum Huffman–Code nach Aufgaben:2.06Z Nochmals zum Huffman–Code

#WEITERLEITUNG [[Aufgaben:2.06Z Nochmals zum Huffman–Code]]

Aufgaben:Exercise 2.6Z: Again on the Huffman Code

2016-10-13T19:36:40Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.06 Nochmals zum Huffman–Code nach Aufgaben:2.06Z Nochmals zum Huffman–Code

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Entropiecodierung nach Huffman
}}

[[File:P_ID2453__Inf_Z_2_6.png|right|]]
Der Algorithmus von David A. Huffman realisiert eine Entropiecodierung mit folgenden Eigenschaften:

:* Der entstehende Binärcode ist präfixfrei und somit in einfacher Weise (und sofort) decodierbar.

:* Der Code führt bei einer gedächtnislosen Quelle zur kleinstmöglichen mittleren Codewortlänge LM.

:* LM ist aber nie kleiner als die Quellenentropie H. Diese beiden Größen sind allein aus den M Symbolwahrscheinlichkeiten berechenbar.

Vorausgesetzt wird für diese Aufgabe eine gedächtnislose Quelle mit dem Symbolumfang M = 5 und dem Alphabet {A, B, C, D, E}. In obiger Grafik sind drei Codes vorgegeben. Sie sollen entscheiden, welche dieser Codes durch Anwendung des Huffman–Algorithmus entstanden sind (oder sein könnten).

Hinweis: Die Aufgabe gehört zum Kapitel 2.3. Weitere Informationen zum Huffman–Algorithmus finden Sie auch im Angabenblatt zur Aufgabe A2.6. Zur Kontrolle Ihrer Ergebnisse verweisen wir auf das Interaktionsmodul Shannon–Fano– und Huffman–Codierung.

===Fragebogen===

<quiz display=simple>
{Welche Codes liefert Huffman für pA = pB = pC = 0.3, pD = pE = 0.05?
|type="[]"}
+ Code 1,
- Code 2,
- Code 3.

{Wie stehen mittlere Codewortlänge LM und Entropie H in Relation?
|type="[]"}
- LM < H,
- LM = H,
+ LM > H.

{Mit welchen Symbolwahrscheinlichkeiten würde hier LM = H gelten?
|type="{}"}
$p_A$ = { 0.25 3% }
$p_B$ = { 0.25 3% }
$p_C$ = { 0.25 3% }
$p_D$ = { 0.125 3% }
$p_E$ = { 0.125 3% }

{Die Angaben zu (3) gelten weiter. Die mittlere Codewortlänge wird aber nun für eine Folge der Länge N = 40 ermittelt  ⇒  LM′. Was ist möglich?
|type="[]"}
+ LM′ < LM,
+ LM′ = LM,
+ LM′ > LM.

{Welcher Code könnte überhaupt ein Huffman–Code sein?
|type="[]"}
+ Code 1,
- Code 2,
- Code 3.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Die Grafik zeigt die Konstruktion des Huffman–Codes mittels Baumdiagramm. Mit der Zuordnung rot → 1 und blau → 0 kommt man zu folgendem Code A → 11, B → 10, C → 01, D → 001, E → 000. Richtig ist der Lösungsvorschlag 1.
[[File:P_ID2454__Inf_Z_2_6a.png|center|]]
Die linke Grafik gilt für die Wahrscheinlichkeiten gemäß Teilaufgabe (a). Das rechte Diagramm gehört zur Teilaufgabe (3) mit etwas anderen Wahrscheinlichkeiten. Es liefert den genau gleichen Code.

b)  Nach dem Quellencodierungstheorem gilt stets LM ≥ H. Voraussetzung für LM = H ist allerdings, dass alle Symbolwahrscheinlichkeiten in der Form 2–k (k = 1, 2, 3, ...) dargestellt werden können. Richtig ist demnach Lösungsvorschlag 3, wie auch die folgende Rechnung (mit &bdquo;log2”  ⇒  &bdquo;ld”) zeigt:
:$$L_{\rm M} \hspace{0.2cm} = \hspace{0.2cm} (0.3 + 0.3 + 0.3) \cdot 2 + (0.05 + 0.05) \cdot 3 = 2.1\,{\rm bit/Quellensymbol}\hspace{0.05cm},\\
H \hspace{0.2cm} = \hspace{0.2cm} 3 \cdot 0.3 \cdot {\rm ld}\hspace{0.15cm}(1/0.3) + 2 \cdot 0.05 \cdot {\rm ld}\hspace{0.15cm}(1/0.05)
\approx 2.0\,{\rm bit/Quellensymbol}\hspace{0.05cm}.$$

3.  A, B, C werden beim Code 1 durch 2 Bit dargestellt, E, F durch 3 Bit. Damit erhält man für

:* die mittlere Codewortlänge
:$$L_{\rm M} = p_{\rm A}\cdot 2 + p_{\rm B}\cdot 2 + p_{\rm C}\cdot 2 + p_{\rm D}\cdot 3 + p_{\rm E}\cdot 3
\hspace{0.05cm},$$
:* für die Quellenentropie:
:$$H = p_{\rm A}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm A}} + p_{\rm B}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm B}} + p_{\rm C}\cdot
{\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm C}} + p_{\rm D}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm D}} + p_{\rm E}\cdot {\rm ld}\hspace{0.15cm}\frac{1}{p_{\rm E}}
\hspace{0.05cm}.$$
Durch Vergleich aller Terme kommt man zum Ergebnis:
:$$p_{\rm A}= p_{\rm B}= p_{\rm C}\hspace{0.15cm}\underline{= 0.25} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm D}= p_{\rm E}\hspace{0.15cm}\underline{= 0.125}$$
:$$\Rightarrow\hspace{0.3cm} L_{\rm M} = H = 2.25\,{\rm bit/Quellensymbol} \hspace{0.05cm}.$$
Man erkennt: Mit diesen &bdquo;günstigeren” Wahrscheinlichkeiten ergibt sich sogar eine größere mittlere Codewortlänge. Die Gleichheit (LM = H) ist allein auf die nun größere Quellenentropie zurückzuführen.

4.  Beispielsweise liefert eine (von vielen) Simulationen mit den Wahrscheinlichkeiten gemäß der Teilaufgabe (c) die Folge EBDCCBDABEBABCCCCCBCAABECAACCBAABBBCDCAB (mit N = 40 Zeichen). Damit ergibt sich:
:$$L_{\rm M}' = ( 34 \cdot 2 + 6 \cdot 3)/50 = 2.15\,{\rm bit/Quellensymbol} \hspace{0.05cm},$$
also ein kleinerer Wert als für die unendlich lange Folge (LM = 2.25 bit/Quellensymbol). Bei anderem Startwert des Zufallsgenerators ist aber auch L′M ≥ LM möglich. Alle Aussagen sind zutreffend.

5.  Richtig ist nur der Lösungsvorschlag 1.

:* Code 1 ist ein Huffman–Code, wie schon in den vorherigen Teilaufgaben gezeigt wurde. Dies gilt zwar nicht für alle Symbolwahrscheinlichkeiten, aber zumindest für die Parametersätze gemäß den Teilaufgaben (a) und (c).

:* Code 2 ist kein Huffman–Code, da ein solcher stets präfixfrei sein müsste. Die Präfixfreiheit ist hier aber nicht gegeben, da 0 der Beginn des Codewortes 01 ist.

:* Code 3 ist ebenfalls kein Huffman–Code, da er eine um pC (Wahrscheinlichkeit von C) größere mittlere Codewortlänge aufweist als erforderlich (Code 1). Er ist somit nicht optimal: Es gibt keine Symbolwahrscheinlichkeiten pA, ... , pE, die es rechtfertigen würden, das Symbol C mit 010 anstelle von 01 zu codieren.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.3 Entropiecodierung nach Huffman^]]

Aufgaben:Exercise 2.5Z: Compression Factor vs. Residual Redundancy

2016-10-13T19:36:25Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.05 LZW-Komprimierung nach Aufgaben:2.05Z LZW-Komprimierung

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2449__Inf_Z_2_5_neu.png|right|]]
:Wir betrachten wie in Aufgabe A2.5 die Datenkomprimierung mit dem 1983 veröffentlichten Lempel–Ziv–Welch–Algorithmus. Dabei gilt:

:* Die Eingangsfolge habe die Länge N.

:* Die Länge der LZW–Coderausgabe ist L.

:Die Grafik zeigt für zwei verschiedene binäre Nachrichtenquellen BQ1 und BQ2 den Zusammenhang zwischen den Folgenlängen N und L, dargestellt durch den Funktionsverlauf L(N). BQ1 und BQ2 besitzen die gleichen statistischen Eigenschaften wie in Aufgabe A2.5:

:* BQ1 ist aufgrund von ungleichen Symbolwahrscheinlichkeiten (pA = 0.89, pB = 0.11) redundant. Es bestehen keine Bindungen zwischen den einzelnen Symbolen. Die Entropie ist H = 0.5 bit/Quellensymbol.

:* BQ2 ist redundanzfrei und weist die Entropie H = 1 bit/Quellensymbol auf.

:Weiter benötigen Sie für die Lösung dieser Aufagbe noch zwei Definitionen:

:* Der Komprimierungsfaktor ist definitionsgemäß K(N) = L(N)/N.

:* Die relevante Redundanz der LZW–Coderfolge (im Folgenden Restredundanz genannt) ist
:$$r(N) = \frac{L(N) - N \cdot H}{L(N)}= 1 - \frac{ N \cdot H}{L(N)}\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Welche Komprimierungfaktoren K ergeben sich jeweils mit N = 10000?
|type="{}"}
$N = 10000, BQ1:\ K$ = { 0.68 3% }
$BQ2:\ K$ = { 1.233 3% }

{Wie groß ist die zugehörige Restredundanz (in Prozent)?
|type="{}"}
$N = 10000, BQ1:\ r$ = { 26.5 3% } %
$BQ2:\ r$ = { 19 3% } %

{Welche Aussagen liefert der Vergleich von N = 10000 und N = 50000?
|type="[]"}
+ Bei beiden Quellen ist K(N = 50000) kleiner als K(N = 10000).
+ Bei beiden Quellen ist r(N = 50000) kleiner als r(N = 10000).
- Nur bei BQ1 ergeben sich mit N = 50000 günstigere Werte.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Der Komprimierungsfaktor ist definiert als der Quotient der Längen von LZW–Ausgangsfolge (L) und Eingangsfolge (N = 10000):
:$${\rm BQ1:}\hspace{0.3cm} K \hspace{0.2cm} = \hspace{0.2cm} \frac{6800}{10000}\hspace{0.15cm}\underline{= 0.680}\hspace{0.05cm},\\ \\
{\rm BQ2:}\hspace{0.3cm} K \hspace{0.2cm} = \hspace{0.2cm} \frac{12330}{10000}\hspace{0.15cm}\underline{= 1.233}\hspace{0.05cm}. $$
:Die Lempel–Ziv–Codierung macht natürlich nur bei der redundanten Binärquelle BQ1 Sinn. Hier kann die Datenmenge um 32% gesenkt werden. Bei der redundanzfreien Binärquelle BQ2 führt dagegen die LZ–Codierung zu einer um 23.3% größeren Datenmenge.

:2.  Aus der angegebenen Gleichung erhält man mit N = 10000:
:$${\rm BQ1:}\hspace{0.3cm} H = 0.5\hspace{0.05cm},\hspace{0.2cm} r(N=10000) \hspace{0.2cm} = \hspace{0.2cm}1 - \frac{0.5 \cdot N}{L } = 1 - \frac{5000}{6800 } \hspace{0.15cm}\underline{\approx 26.5\,\%}\hspace{0.05cm},\\ \\
{\rm BQ2:}\hspace{0.3cm} H = 1.0\hspace{0.05cm},\hspace{0.2cm} r(N=10000) \hspace{0.2cm} = \hspace{0.2cm}1 - \frac{N}{L } = 1 - \frac{10000}{12330 } \hspace{0.15cm}\underline{\approx 19\,\%}\hspace{0.05cm}.$$
:Die Restredundanz gibt die (relative) Redundanz der LZ–Ausgangsfolge an. Obwohl die Quelle BQ1 für die LZ–Codierung besser geeignet ist als die redundanzfreie Quelle BQ2, ergibt sich bei BQ1 wegen der Redundanz in der Eingangsfolge eine größere Restredundanz.

:Eine kleinere Restredundanz r(N) bei gegebenem N sagt also nichts darüber aus, ob der Einsatz von Lempel–Ziv für die vorliegende Quelle sinnvoll ist. Hierzu muss der Komprimierungsfaktor K betrachtet werden. Allgemein gilt folgender Zusammenhang zwischen r(N) und K(N):
:$$r(N) = 1 - \frac{H}{K(N)}\hspace{0.05cm},\hspace{0.2cm} K(N) = H \cdot (1- r(N))
\hspace{0.05cm}.$$

:3.  Aus der Tabelle auf der Angabenseite kann man ablesen (bzw. daraus ableiten)

:für die redundante Binärquelle BQ1:
:$$L(N = 50000) = 32100\hspace{0.05cm},\hspace{0.2cm} K(N = 50000) = 0.642\hspace{0.05cm},\hspace{0.2cm}r(N = 50000) \hspace{0.15cm}\underline {= 22.2\,\% \hspace{0.05cm}},$$
:für die redundanzfreie Binärquelle BQ2:
:$$L(N = 50000) = 59595\hspace{0.05cm},\hspace{0.2cm} K(N = 50000) = 1.192\hspace{0.05cm},\hspace{0.2cm}r(N = 50000) \hspace{0.15cm}\underline {= 16.1\,\% \hspace{0.05cm}}.$$
:Richtig sind somit die Aussagen 1 und 2. Für beide Quellen ist K(N = 50000) < K(N = 10000) und r(N = 50000) < r(N = 10000). In beiden Fällen ergeben sich also bei größerem N &bdquo;günstigere” Werte, auch dann, wenn eigentlich wie bei der redundanzfreien Binärquelle BQ2 die Anwendung von Lempel–Ziv zu einer Verschlechterung führt.

{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Zusatzaufgaben:2.05 LZW-Komprimierung

2016-10-13T19:36:25Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.05 LZW-Komprimierung nach Aufgaben:2.05Z LZW-Komprimierung

#WEITERLEITUNG [[Aufgaben:2.05Z LZW-Komprimierung]]

Aufgaben:Exercise 2.4Z: LZW Coding and Decoding again

2016-10-13T19:36:12Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.04 LZW-Codierung-/-Deodierung nach Aufgaben:2.04Z LZW-Codierung-/-Deodierung

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2437__Inf_Z_2_4.png|right|]]
:Die obere Grafik zeigt eine Momentaufnahme des Wörterbuchs, das während der LZW–Codierung der Eingangssymbolfolge ABABABBAA entsteht. Das untere Wörterbuch entsteht bei der LZW–Codierung der Sequenz ABABABABA. In beiden Fällen wird vorausgesetzt, dass keine andere Zeichen als A und B vorkommen.

:Gleiche Wörterbücher entstehen bei der LZW–Decodierung, doch erfolgen dann die Wörterbucheinträge erst einen Schritt später. In der Teilaufgabe (3) wird gefragt, für welchen Codierschritt bzw. für welchen Decodierschritt die dargestellten Momentaufnahmen gültig sind.

:Bei der LZW–Codierung wird zu jedem Codierschritt i ein Index I ausgewählt und (binär) übertragen. Das Zeichenpaar AB wird bei den beiden Wörterbüchern durch den Index I = 2 dargestellt. Wir betrachten hier den Index I als Dezimalzahl und lassen bei dieser Aufgabe die Binärdarstellung außer Betracht.

:Bei der LZW–Decodierung wird in gleicher Weise mit Hilfe des Wörterbuchs aus jedem Index I ein Zeichen bzw. eine Zeichenfolge generiert, zum Beispiel führt I = 1 zum Zeichen B und I = 2 zum Zeichenpaar AB.

:Wird tatsächlich ein Wörterbucheintrag mit dem gewünschten Index I gefunden, so läuft die Decodierung problemlos ab. Dies ist aber nicht immer so:

:* Wird bei der Codierung beim Schritt i ein neuer Index I eingetragen und ist dieses I gleichzeitig das Codierergebnis des Schrittes, so ist dieser Index beim Decodierschritt i im Wörterbuch noch nicht belegt. Der Grund dafür ist, dass beim Decoder die Einträge um einen Schritt später erfolgen.

:* Bei binärer Eingangsfolge (alle Zeichen seien A oder B) ist bei der LZW–Decodierung genau immer dann eine Sonderregelung anzuwenden, wenn im Codierschritt i der Eintrag mit dem Index I = i vorgenommen wurde.

:Diese Sonderregelung soll an einem Beispiel veranschaulicht werden:

:* Zum Schritt i gibt es keinen zum Index I passenden Eintrag im Decoder–Wörterbuch.

:* Wir nehmen an, dass das Decodierergebnis beim vorherigen Schritt (i – 1) ABBABA war.

:* Dann ergänzt man diese Zeichenfolge um das erste Zeichen der Folge. Hier: ABBABAA.

:* Anschließend trägt man die Sequenz ABBABAA in das Wörterbuch unter dem Index I ein.

:Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.2. Beachten Sie bei der Lösung dieser Aufgabe, dass beim LZW–Algorithmus nicht von einem leeren Wörterbuch ausgegangen wird. Vielmehr beinhalten die Indizes I = 0 bis I = M–1 alle M zulässigen Zeichen.

===Fragebogen===

<quiz display=simple>
{Codieren Sie die Eingangsfolge ABABABBAA. Welche Indizes ergeben sich zu den Schritten i = 1, ... , 5?
|type="{}"}
ABABABBAA$,i = 1:\ I$ = { 0 3% }
$i = 2:\ I$ = { 1 3% }
$i = 3:\ I$ = { 2 3% }
$i = 4:\ I$ = { 2 3% }
$i = 5:\ I$ = { 3 3% }

{Codieren Sie nun die Eingangsfolge ABABABABA. Geben Sie die Indizes zu den Schritten i = 4 und i = 5 an.
|type="{}"}
ABABABBAA $i = 4:\ I$ = { 4 3% }
$i = 5:\ I$ = { 3 3% }

{Für welchen Schritt (i) gilt die Momentaufnahme des auf der Angabenseite dargestellten Wörterbuchs bezüglich
|type="{}"}
$Codierung:\ i$ = { 4 3% }
$Decodierung:\ i$ = { 5 3% }

{Wann muss man auf die Decodier–Sonderfallregelung zurückgreifen?
|type="[]"}
- Bei der Decodierung von ABABABBAA im Schritt i = 4.
+ Bei der Decodierung von ABABABABA im Schritt i = 4.
- Bei der Decodierung von ABABABABA im Schritt i = 5.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Wir bezeichnen mit W(I) ein Feld (Array), welches das Wörterbuch beschreibt und dessen Elemente Character oder Zeichenfolgen beinhalten. Die Codierung von ABABABBAA läuft wie folgt ab:

:* i = 1: A    →   I = 0, W(I = 2) = AB,

:* i = 2: B    →   I = 1, W(I = 3) = BA,

:* i = 3: AB →   I = 2, W(I = 4) = ABA,

:* i = 4: AB →   I = 2, W(I = 5) = ABB,

:* i = 5: BA →   I = 3, W(I = 6) = BAA.

:Es ist anzumerken, dass das letzte Zeichen (A) des Eingabestrings ABABABBAA zum Zeitpunkt i = 5 zwar bereits beim Wörterbucheintrag berücksichtigt ist, aber noch nicht codiert wurde.

:2.  Für die Schritte 1 bis 3 ändert sich nichts gegenüber der Teilaufgabe (1). Danach gilt:

:* i = 4: ABA →   I = 4, Wörterbuch (I = 5) = ABAB,

:* i = 5: BA    →   I = 3, Codierung abgeschlossen, kein neuer Wörterbucheintrag möglich.

:3.  Der Vergleich mit den obigen Ergebnissen zeigt, dass das Wörterbuch des Coders genau nach i = 4 Codierschritten die gezeigten Einträge aufweist. Beim Decoder ergibt sich demgegenüber eine Zeitverzögerung um einen Schritt: i = 5.

:4.  Die Sonderfallregelung der Decodierung ist (im vorliegenden Beispiel) dann notwendig, wenn im Codierschritt i der Index I = i ausgegeben wird. Bei der Decodierung findet er dann die erforderliche Zuordnung Index → Zeichenfolge nicht, da das generierte Wörterbuch zum Zeitpunkt i nur Einträge mit Indizes I < i enthält.

:Für die Folge ABABABBAA gilt entsprechend Teilaufgabe 1) stets I < i. Dagegen ergäbe sich bei der Folge ABABABABA folgende Indizes:
:$$i = 1\hspace{-0.15cm}: I = 0\hspace{0.05cm},
\hspace{0.2cm}i = 2\hspace{-0.15cm}: I = 1\hspace{0.05cm},
\hspace{0.2cm}i = 3\hspace{-0.15cm}: I = 2\hspace{0.05cm},
\hspace{0.2cm}\underline{i = 4\hspace{-0.15cm}: I = 4}\hspace{0.05cm},
\hspace{0.2cm}i = 5\hspace{-0.15cm}: I = 3\hspace{0.05cm}. $$
:Richtig ist dementsprechend der Lösungsvorschlag 2.

:Hier noch zusammenfassend die gesamte Decodierung von ABABABABA. Die Vorbelegung des Wörterbuchs beinhaltet I = 0: A und I = 1: B. Dann gilt mit dem Wörterbuch–Array W(I):

:* i = 1: Decodierung I = 0 → A,

:* i = 2: Decodierung I = 1 → B,    W(I = 2) = AB,

:* i = 3: Decodierung I = 2 → AB, W(I = 3) = BA,

:* i = 4: Ein Eintrag mit dem Index I = 4 ist nicht vorhanden ⇒ Sonderfallregelung. Man nimmt das letzte Decodierergebnis (hier AB) und fügt das erste Zeichen dieser Sequenz hinten an ⇒ ABA. Danach wird ABA im Wörterbuch unter dem Index I = 4 abgelegt.

:* i = 5: Decodierung I = 3 → BA. Ende der Decodereingangsfolge.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Zusatzaufgaben:2.04 LZW-Codierung-/-Deodierung

2016-10-13T19:36:12Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.04 LZW-Codierung-/-Deodierung nach Aufgaben:2.04Z LZW-Codierung-/-Deodierung

#WEITERLEITUNG [[Aufgaben:2.04Z LZW-Codierung-/-Deodierung]]

Aufgaben:Exercise 2.3Z: About the LZ77 Coding

2016-10-13T19:35:56Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.03 Zur LZ77-Codierung nach Aufgaben:2.03Z Zur LZ77-Codierung

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Komprimierung nach Lempel, Ziv und Welch
}}

[[File:P_ID2436__Inf_Z_2_3.png|right|]]
:In der Aufgabe A2.3 sollten Sie BARBARA–BAR (String der Länge 11, vier verschiedene Zeichen) mit dem LZ78–Algorithmus komprimieren. In dieser Aufgabe verwenden wir den gleichen Text zur Demonstration der LZ77–Komprimierung.

:Anzumerken ist:

:* Während beim Nachfolger LZ78 sukzessive ein globales Wörterbuch aufgebaut wird, verwendet LZ77 ein lokales Wörterbuch.

:* Das LZ77–Verfahren arbeitet mit einem Sliding Window, das schrittweise über den Eingabetext verschoben wird.

:* Dieses &bdquo;gleitende Fenster” ist unterteilt in den Vorschaupuffer (in der Grafik blau hinterlegt) und den Suchpuffer (rote Hinterlegung). Beide Puffer haben eine Größe von G Speicherplätzen.

:* Jeder Codierschritt i wird durch ein Zahlentriple (P, L, Z) charakterisiert. Hierbei sind P und L Integergrößen und Z ein Character. Übertragen werden die Binärdarstellungen von P, L und Z.

:* Nach der Übertragung wird das Sliding Window um eine oder mehrere Positionen nach rechts verschoben und es beginnt der nächste Codierschritt i + 1.

:Die obere Grafik zeigt die Anfangsbelegung mit Puffergröße G = 4 zu den Zeitpunkten i = 1 sowie i = 4. Zum Zeitpunkt i = 1 ist der Suchpuffer leer, so dass die Coderausgabe (0, 0, B) lautet. Nach der Verschiebung um eine Position beinhaltet der Suchpuffer ein B, aber keinen String, der mit A anfängt. Das zweite Zahlentriple ist somit (0, 0, A). Die Ausgabe für i = 3 lautet (0, 0, R), da im Suchpuffer auch jetzt keine Zeichenfolge zu finden ist, die mit R beginnt.

:Die Momentaufnahme zum Zeitpunkt i = 4 ist ebenfalls in der Grafik angegeben. Gesucht ist nun die Zeichenfolge im Suchpuffer, die mit dem Vorschautext BARA am besten übereinstimmt. Übertragen wird wieder ein Zahlentriple (P, L, Z), aber nun mit folgender Bedeutung:

:* P gibt die Position im (roten) Suchpuffer an, bei der die gefundene Übereinstimmung beginnt. Die jeweiligen P–Werte für die einzelnen Speicherplätze können der Grafik entnommen werden.

:* L bezeichnet die Anzahl der Zeichen im Suchpuffer, die beginnend bei P mit dem aktuellen String im Vorschaupuffer übereinstimmen.

:* Z bezeichnet schließlich das erste Zeichen im Vorschaupuffer, das sich vom gefundenen Übereinstimmungs–String im Suchpuffer unterscheidet.

:Je größer der LZ77–Parameter G ist, um so leichter findet man eine möglichst lange Übereinstimmung. In der Teilaufgabe (4) werden Sie feststellen, dass die LZ77–Codierung mit G = 5 ein besseres Ergebnis liefert als diejenige mit G = 4. Aufgrund der nachfolgenden Binärdarstellung von P wird man allerdings G stets als Zweierpotenz wählen, so dass G mit ld P Bit darstellbar ist (G = 8  ⇒  dreistellige Binärzahl P). Das heißt, ein Sliding Window mit G = 5 hat eher einen geringen Praxisbezug.

:Hinweis: Die Aufgabe gehört zum Themengebiet von Kapitel 2.2.

===Fragebogen===

<quiz display=simple>
{Wie lautet die LZ77–Ausgabe mit G = 4 bei Schritt i = 4?
|type="[]"}
- (0, 0, B),
- (2, 1, A),
+ (2, 3, A).

{Welche Aussage gilt für die gleiche Puffergröße G = 4 bei Schritt i = 5?
|type="[]"}
+ Im Suchpuffer steht BARA.
+ Im Vorschaupuffer steht –BAR.
- Die Ausgabe lautet (0, 0, A).

{Nach welchem Schritt i ist die Codierung beendet?
|type="{}"}
$G = 4:\ Nach\ i$ = { 9 3% } $Codierschritten$

{Nun gelte G = 5. Nach welchem Schritt i ist dann die Codierung beendet?
|type="{}"}
$G = 5:\ Nach\ i$ = { 6 3% } $Codierschritten$

{Welche Vorteile hat LZ78 gegenüber LZ77 bei sehr großen Dateien?
|type="[]"}
+ Man findet häufiger bereits abgelegte Phrasen im Wörterbuch.
- Pro Codierschritt müssen weniger Bit übertragen werden.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Richtig ist der Lösungsvorschlag 3. Im Vorschaupuffer steht zum betrachteten Zeitpunkt i = 4 die Zeichenfolge BARA, und im Suchpuffer in den letzten drei Stellen BAR:
:$$P = 2\hspace{0.05cm},\hspace{0.2cm}L = 3\hspace{0.05cm},\hspace{0.2cm}Z = \boldsymbol{\rm A}\hspace{0.05cm}.$$

:2.  Richtig sind die beiden ersten Lösungsvorschläge. Der Bindestrich findet sich zum Zeitpunkt i = 5 nicht im Suchpuffer, so dass (0, 0, –) ausgegeben wird.

:3.  Die folgende Grafik zeigt das Sliding–Window und die Coderausgabe zu den Zeitpunkten i ≥ 5. Nach i = 9 Codierschritten ist der Codiervorgang unter Berücksichtigung von eof beendet.
[[File:P_ID2438__Inf_Z_2_3c.png|center|]]

:4.  Bei größerer Puffergröße (G = 5 anstelle von G = 4) ist die Codierung schon nach dem Codierschritt i = 6 abgeschlossen. Ein Vergleich der beiden Grafiken zeigt, dass sich für G = 5 gegenüber G = 4 nichts ändert bis einschließlich i = 5. Aufgrund des größeren Puffers lässt sich aber nun BAR gemeinsam mit end–of–file in einem einzigen Schritt codieren, während mit G = 4 hierfür vier Schritte notwendig waren.
[[File:P_ID2439__Inf_Z_2_3d.png|center|]]

:5.  Ein Nachteil von LZ77 ist das lokale Wörterbuch. Eigentlich schon bekannte Phrasen können nicht für die Datenkomprimierung verwendet werden, wenn sie mehr als G Zeichen vorher im Text aufgetreten sind. Dagegen sind bei LZ78 alle Phrasen im globalen Wörterbuch abgelegt. Richtig ist Aussage 1.

:Die Aussage 2 trifft dagegen nicht zu.

:<ul class="liste_ohne"><li>Richtig ist zwar, dass bei LZ78 nur Pärchen (I, Z) übertragen werden müssen, während bei LZ77 jeder Codierschritt durch ein Triple (P, L, Z) gekennzeichnet ist. Das bedeutet aber noch nicht, dass pro Codierschritt auch weniger Bit übertragen werden müssen.

:<ul class="liste_ohne"><li>Betrachten wir beispielhaft die Puffergröße G = 8. Bei LZ77 muss man dann P mit 3 Bit und L mit 4 Bit dargestellen. Berücksichtigen Sie, dass die gefundene Übereinstimmung zwischen Vorschaupuffer und Suchpuffer auch im Vorschaupuffer enden darf.

:<ul class="liste_ohne"><li>Das neue Zeichen Z benötigt bei LZ78 genau die gleiche Bitanzahl wie bei LZ77 (nämlich 2 Bit), wenn man wie hier vom Symbolumfang M = 4 ausgeht). Die Aussage 2 wäre nur dann richtig, wenn NI kleiner wäre als NP + NL, beispielsweise NI = 6. Das würde aber bedeuten, dass man die Wörterbuchgröße auf I = 26 = 64 begrenzen müsste. Dies reicht für große Dateien nicht aus.

:<ul class="liste_ohne"><li>Diese Überschlagsrechnung basiert allerdings auf einer einheitlichen Bitanzahl für den Index I. Mit variabler Bitanzahl für den Index kann man etliche Bit einsparen, indem man I nur mit so vielen Bit überträgt, wie es für den Codierschritt i erforderlich ist. Prinzipiell ändert das aber nichts an der Beschränkung der Wörterbuchgröße, was bei großen Dateien stets zu Problemen führen wird.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.2 Komprimierung nach Lempel, Ziv und Welch^]]

Zusatzaufgaben:2.03 Zur LZ77-Codierung

2016-10-13T19:35:56Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.03 Zur LZ77-Codierung nach Aufgaben:2.03Z Zur LZ77-Codierung

#WEITERLEITUNG [[Aufgaben:2.03Z Zur LZ77-Codierung]]

Aufgaben:Exercise 2.2Z: Average Code Word Length

2016-10-13T19:35:44Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.02 Mittlere Codewortlänge nach Aufgaben:2.02Z Mittlere Codewortlänge

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Allgemeine Beschreibung
}}

[[File:P_ID2417__Inf_Z_2_2.png|right|]]
:Ziel von Datenkomprimierung ist es, die Nachricht einer Quelle mit möglichst wenigen Binärzeichen darzustellen.

:Wir betrachten hier eine wertdiskrete Nachrichtenquelle mit dem Symbolvorrat {A, B, C, D}   ⇒   Symbolumfang M = 4 und den Auftrittswahrscheinlichkeiten

:* pA = pB = pC = pD = 1/4 (Teilaufgabe 1),

:* pA = 1/2, pB = 1/4, pC = pD = 1/8 (ab Teilaufgabe 2).

:Vorausgesetzt wird, dass es zwischen den Quellensymbolen keine statistischen Bindungen gibt.

:Ein Maß für die Güte eines Komprimierungsverfahrens ist die mittlere Codewortlänge LM mit der Zusatzeinheit &bdquo;bit/Quellensymbol”. Vorgegeben sind drei Zuordnungen. Anzumerken ist:

:* Jeder dieser Binärcodes C1, C2 und C3 ist für eine spezielle Quellenstatistik ausgelegt.

:* Alle codes sind präfixfrei und somit ohne weitere Angabe sofort decodierbar.

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 2.1.

===Fragebogen===

<quiz display=simple>
{Bestimmen Sie die mittlere Codewortlänge für pA = pB = pC = pD = 1/4.
|type="{}"}
$C1:\ \ L_M$ = { 2 3% } $bit/Quellensymbol$
$C2:\ \ L_M$ = { 2.25 3% } $bit/Quellensymbol$
$C3:\ \ L_M$ = { 2.25 3% } $bit/Quellensymbol$

{Welche Werte ergeben sich für pA = 1/2, pB = 1/4, pC = pD = 1/8.
|type="{}"}
$C1:\ \ L_M$ = { 2 3% } $bit/Quellensymbol$
$C2:\ \ L_M$ = { 1.75 3% } $bit/Quellensymbol$
$C3:\ \ L_M$ = { 2.5 3% } $bit/Quellensymbol$

{Woran erkennt man präfixfreie Codes?
|type="[]"}
+ Kein Codewort ist der Beginn eines anderen Codewortes.
- Alle Codeworte haben gleiche Länge.

{Für die spezielle Quellenfolge ADBDCBCBADCA ergibt sich die Codefolge 001101111001100100111000. Welcher Code wurde verwendet?
|type="[]"}
+ der Code C1,
- der Code C2.

{Nach Codierung mit C3 erhält man 001101111001100100111000. Wie lautet die zugehörige Quellensymbolfolge?
|type="[]"}
- AACDBACABADAAA ....
+ ACBCCCACAACCD ....

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die mittlere Codewortlänge ergibt sich allgemein zu
:$$L_{\rm M} = p_{\rm A} \cdot L_{\rm A} + p_{\rm B} \cdot L_{\rm B}+ p_{\rm C} \cdot L_{\rm C} + p_{\rm D} \cdot L_{\rm D}
\hspace{0.05cm}.$$
:Sind die vier Quellensymbole gleichwahrscheinlich (alle Wahrscheinlichkeiten genau 1/4), so kann dafür auch geschrieben werden:
:$$L_{\rm M} = 1/4 \cdot [ L_{\rm A} + L_{\rm B}+ L_{\rm C} + L_{\rm D}]
\hspace{0.05cm}.$$
:* Code C1:    LM = 2.00 bit/Quellensymbol,

:* Code C2:    LM = 2.25 bit/Quellensymbol,

:* Code C3:    LM = 2.25 bit/Quellensymbol.

:2.  Mit der Codetabelle C1 ergibt sich unabhängig von den Symbolwahrscheinlichkeiten stets die mittlere Codewortlänge LM = 2 bit/Quellensymbol. Für die beiden anderen Codes erhält man

:* Code C2:    LM = 1/2 · 1 + 1/4 · 2 + 1/8 · 3 + 1/8 · 3 = 1.75 bit/Quellensymbol,

:* Code C3:    LM = 1/2 · 3 + 1/4 · 2 + 1/8 · 1 + 1/8 · 3 = 2.50 bit/Quellensymbol.

:Man erkennt aus dem Beispiel das Prinzip: Wahrscheinliche Symbole werden durch wenige Binärsymbole dargestellt und unwahrscheinliche durch mehr. Bei gleichwahrscheinlichen Symbolen wählt man am besten auch die Codewortlängen gleich.

:3.  Richtig ist Lösungsvorschlag 1. Ein Code mit einheitlicher Länge aller Codeworte ist zwar präfixfrei, aber auch andere Codes können präfixfrei sein, zum Beispiel die Codes C2 und C3.

:4.  Bereits aus &bdquo;00” am Anfang erkennt man, dass der Code C2 hier nicht in Frage kommt, da sonst die Quellensymbolfolge mit &bdquo;AA” beginnen müsste. Tatsächlich wurde der Code C1 verwendet.

:5.  Richtig ist der Lösungsvorschlag 2. Der erste Lösungsvorschlag gibt die Quellensymbolfolge für den Code C2 an, wenn die Codesymbolfolge 001101111001100100111000 lauten würde.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^2.1 Allgemeine Beschreibung^]]

Zusatzaufgaben:2.02 Mittlere Codewortlänge

2016-10-13T19:35:44Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:2.02 Mittlere Codewortlänge nach Aufgaben:2.02Z Mittlere Codewortlänge

#WEITERLEITUNG [[Aufgaben:2.02Z Mittlere Codewortlänge]]

Aufgaben:Exercise 1.6Z: Ternary Markov Source

2016-10-13T19:35:30Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.6 Ternäre Markovquelle nach Aufgaben:1.6Z Ternäre Markovquelle

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2254__Inf_Z_1_6.png|right|]]
:Die Grafik zeigt eine Markovquelle mit M = 3 Zuständen A, B und C. Für die beiden Parameter dieses Markovprozesses soll gelten:
:$$0 \le p \le 0.5 \hspace{0.05cm},\hspace{0.2cm}0 \le q \le 1 \hspace{0.05cm}.$$
:Aufgrund der Markoveigenschaft dieser Quelle kann die Entropie auf unterschiedliche Weise ermittelt werden:

:<ul class="liste_ohne"><li>Man berechnet die beiden ersten Entropienäherungen H1 und H2. Dann gilt:
:$$H = 2 \cdot H_{\rm 2} - H_{\rm 1} \hspace{0.05cm}.$$

:<ul class="liste_ohne"><li>Nach der so genannten direkten Berechnungsmethode kann die Entropie aber auch wie folgt berechnet werden (insgesamt 9 Terme):
:$$H = p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + ...
\hspace{0.15cm},$$
:$$p_{\rm AA} = p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm},\hspace{0.2cm}
p_{\rm AB} = p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.05cm}, \hspace{0.1cm}...$$

:Hinwis: Die Aufgabe gehört zum Themenkomplex von Kapitel 1.2.

===Fragebogen===

<quiz display=simple>
{Für welche Parameter p, q ergibt sich die maximale Entropie pro Symbol?
|type="{}"}
$p$ = { 0.333 3% }
$q$ = { 1.585 3% }
$H_\text{max}$ = { 1.585 3% } $bit/Symbol$

{Es sei p = 1/4 und q = 1. Welcher Wert ergibt sich in diesem Fall für die erste Entropienäherung?
|type="{}"}
$p = 1/4, q = 1:\ \ H_1$ = { 1.585 3% } $bit/Symbol$

{Weiterhin gelte p = 1/4 und q = 1. Welcher Wert ergibt sich in diesem Fall für die zweite Entropienäherung?
|type="{}"}
$p = 1/4, q = 1:\ \ H_2$ = { 1.5425 3% } $bit/Symbol$

{Wie groß ist die Quellenentropie mit p = 1/4, q = 1?
|type="{}"}
$p = 1/4, q = 1:\ \ H$ = { 1.5 3% } $bit/Symbol$

{Wie groß ist die Quellenentropie mit p = 1/2, q = 0?
|type="{}"}
$p = 1/2, q = 0:\ \ H$ = { 0.667 3% } $bit/Symbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:Hinweis: Aus Platzgründen verwenden wir in der Musterlösung &bdquo;ld” anstelle von &bdquo;log2”.

:a)  Die maximale Entropie ergibt sich dann, wenn die Symbole A, B und C gleichwahrscheinlich und die Symbole innerhalb der Folge statistisch voneinander unabhängig sind. Dann muss gelten:

:* pA = pA|A = pA|B = pA|C = 1/3,

:* pB = pB|A = pB|B = pB|C = 1/3,

:* pC = pC|A = pC|B = pC|C = 1/3.

:Beispielsweise erhält man aus pC|C = 1/3 der Wert p = 1/3. Berücksichtigt man noch pA|A = q · p, so folgt q = 1. Damit ergibt sich die maximale Entropie Hmax = ld 3 = 1.585 bit/Symbol.
[[File:P_ID2255__Inf_Z_1_6b.png|right|]]

:2.  Mit den Parameterwerten p = 1/4 und q = 1 ergibt sich das nebenstehende Übergangsdiagramm, das folgende Symmetrien aufweist:

:* pA|A = pB|B = pC|C = 1/4 (rot markiert),

:* pA|B = pB|C = pC|A = 1/2 (grün markiert),

:* pA|C = pB|A = pC|B = 1/4 (blau markiert).

:Es ist offensichtlich, dass die Symbolwahrscheinlichkeiten alle gleich sind:
:$$p_{\rm A} = p_{\rm B} = p_{\rm C} = 1/3$$
:$$\Rightarrow \hspace{0.3cm} H_1 = {\rm ld}\hspace{0.1cm} 3 \hspace{0.15cm} \underline {= 1.585 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:3.  Für die zweite Entropienäherung benötigt man die 32 = 9 Verbundwahrscheinlichkeiten. Mit dem Ergebnis der Teilaufgabe b) erhält man hierfür:
:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm BB}= p_{\rm CC}= p_{\rm AC}=p_{\rm BA}=p_{\rm CB}=1/12 \hspace{0.05cm},\\
p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm BC}=p_{\rm CA}=1/6$$
:$$\Rightarrow \hspace{0.2cm} H_2 \hspace{0.15cm} = \hspace{0.15cm} \frac{1}{2} \cdot \left [ 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 12 +
3 \cdot \frac{1}{6} \cdot {\rm ld}\hspace{0.1cm} 6 \right ] = \\
\hspace{0.15cm} = \hspace{0.15cm} \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 4 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 2 + \frac{1}{4} \cdot {\rm ld}\hspace{0.1cm} 3
= \frac{3}{4} + \frac{{\rm ld}\hspace{0.1cm} 3}{2} \hspace{0.15cm} \underline {= 1.5425 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Aufgrund der Markoveigenschaft der Quelle gilt
:$$H = 2 \cdot H_2 - H_1 = [ {3}/{2} + {\rm ld}\hspace{0.1cm} 3] - {\rm ld}\hspace{0.1cm} 3\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
:Zum gleichen Ergebnis würde man mit folgender Rechnung kommen:
:$$H \hspace{0.1cm} = \hspace{0.1cm} p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + ... \\
\hspace{0.1cm} = \hspace{0.1cm} 6 \cdot \frac{1}{12} \cdot {\rm ld}\hspace{0.1cm} 4 + 3 \cdot \frac{1}{16} \cdot {\rm ld}\hspace{0.1cm} 2
\hspace{0.15cm} \underline {= 1.5 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
[[File:P_ID2256__Inf_Z_1_6e.png|right|]]

:5.  Aus nebenstehendem Übergangsdiagramm mit den aktuellen Parametern erkennt man, dass bei Stationarität pB = 0 gelten wird: B kann höchstens zum Starzeitpunkt einmal auftreten. Es liegt also eine binäre Markovkette mit den Symbolen A und C vor. Die Symbolwahrscheinlichkeiten ergeben sich zu:
:$$p_{\rm A} = 0.5 \cdot p_{\rm C} \hspace{0.05cm}, \hspace{0.2cm}p_{\rm A} + p_{\rm C} = 1 $$
:$$\Rightarrow \hspace{0.3cm} p_{\rm A} = 1/3 \hspace{0.05cm}, \hspace{0.2cm} p_{\rm C} = 2/3\hspace{0.05cm}. $$
: Damit erhält man folgende Wahrscheinlichkeiten:
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm}0\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AA} = 0 \hspace{0.05cm},\\
p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} \hspace{0.1cm} = \hspace{0.1cm}1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CA} =
p_{\rm C} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3 \hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C} )= 1\hspace{0.05cm},\\
p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} \hspace{0.1cm} = \hspace{0.1cm}1\hspace{0.7cm} \Rightarrow \hspace{0.3cm} p_{\rm AC} =
p_{\rm A} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} = 1/3 \cdot 1 = 1/3 \hspace{0.05cm},\hspace{0.61cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A} )= 0\hspace{0.05cm},\\
p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} \hspace{0.1cm} = \hspace{0.1cm}1/2\hspace{0.3cm} \Rightarrow \hspace{0.3cm} p_{\rm CC} =
p_{\rm C} \cdot p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} = 2/3 \cdot 1/2 = 1/3\hspace{0.05cm},\hspace{0.2cm}{\rm ld}\hspace{0.1cm}(1/p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C} )= 1 $$
:$$\Rightarrow \hspace{0.3cm} H \hspace{0.1cm} = \hspace{0.1cm} p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} +p_{\rm CA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}C}}+ p_{\rm AC} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}A}} +
p_{\rm CC} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm C\hspace{0.01cm}|\hspace{0.01cm}C}}=
\\
\hspace{0.1cm} = \hspace{0.1cm}0 + 1/3 \cdot 1 + 1/3 \cdot 0 + 1/3 \cdot 1
\hspace{0.15cm} \underline {= 0.667 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Zusatzaufgaben:1.6 Ternäre Markovquelle

2016-10-13T19:35:30Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.6 Ternäre Markovquelle nach Aufgaben:1.6Z Ternäre Markovquelle

#WEITERLEITUNG [[Aufgaben:1.6Z Ternäre Markovquelle]]

Aufgaben:Exercise 1.5Z: Symmetrical Markov Source

2016-10-13T19:35:16Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.5 Symmetrische Markovquelle nach Aufgaben:1.5Z Symmetrische Markovquelle

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2252__Inf_Z_1_5.png|right|]]
:In der Aufgabe A1.5 wurde eine binäre Markovquelle behandelt, bei der die Übergangswahrscheinlichkeiten von A nach B sowie von B nach A unterschiedlich waren. In dieser Aufgabe soll nun gelten:
:$$p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = q \hspace{0.8cm} ( 0 \le q \le 1)
\hspace{0.05cm}.$$
:Alle in der Aufgabe A1.5 angegebenen Gleichungen gelten auch hier:

:* Entropie:
:$$H = p_{\rm AA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm AB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A}} + p_{\rm BA} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B}} + p_{\rm BB} \cdot {\rm ld}\hspace{0.1cm}\frac {1}{ p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}}
\hspace{0.05cm},$$

:* Erste Entropienäherung:
:$$H_{\rm 1} = p_{\rm A} \cdot {\rm ld}\hspace{0.1cm} \frac{1}{p_{\rm A}} + p_{\rm B} \cdot {\rm ld}\hspace{0.1cm} \frac{1}{p_{\rm B}}
\hspace{0.05cm},$$

:* k–te Entropienäherung (k = 2, 3, ...):
:$$H_k = \frac{1}{k} \cdot [ H_{\rm 1} + (k-1) \cdot H]
\hspace{0.05cm},\hspace{0.5cm}H = \lim_{k \rightarrow \infty } H_k \hspace{0.05cm}.$$

:Hinweis: Die Aufgabe bezieht sich auf Kapitel 1.2, Seite 5c. Bei allen Entropien ist die Pseudoeinheit &bdquo;bit/Symbol” hinzuzufügen.

===Fragebogen===

<quiz display=simple>
{Berechnen Sie die Symbolwahrscheinlichkeiten.
|type="{}"}
$q = 1/4:\ \ p_A$ = { 0.5 3% }
$p_B$ = { 0.5 3% }

{Berechnen Sie die Quellenentropie H. Welches Ergebnis liefert q = 1/4?
|type="{}"}
$q = 1/4:\ \ H$ = { 0.5 3% } $bit/Symbol$

{Welche Entropienäherungen erhält man für q = 1/4?
|type="{}"}
$q = 1/4:\ \ H_1$ = { 1 3% } $bit/Symbol$
$H_2$ = { 0.906 3% } $bit/Symbol$
$H_3$ = { 0.874 3% } $bit/Symbol$

{Bestimmen Sie q derart, dass H maximal wird. Interpretation.
|type="{}"}
$H \rightarrow Maximum:\ \ q$ = { 0.5 3% }

{Welche Symbolfolgen sind mit q = 0 möglich?
|type="[]"}
+ AAAAAA ...
+ BBBBBB ...
- ABABAB ...

{Welche Symbolfolgen sind mit q = 1 möglich?
|type="[]"}
- AAAAAA ...
- BBBBBB ...
+ ABABAB ...

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Bei einer stationären binären Markovquelle erster Ordnung gilt:
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} \cdot p_{\rm A} + p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} \cdot p_{\rm B}
= (1-q) \cdot p_{\rm A} + q \cdot p_{\rm B}$$
:$$q \cdot p_{\rm A} = q \cdot p_{\rm B} \hspace{0.3cm} \Rightarrow \hspace{0.3cm}p_{\rm A} = p_{\rm B}\hspace{0.15cm} \underline {= 0.5}
\hspace{0.05cm}.$$

:2.  Zur Berechnung von H benötigt man alle vier Verbundwahrscheinlichkeiten:
:$$p_{\rm AA} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot(1-q) = p_{\rm BB}\hspace{0.05cm},\\
p_{\rm AB} \hspace{0.1cm} = \hspace{0.1cm} p_{\rm A} \cdot p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = 1/2 \cdot q = p_{\rm BA}\hspace{0.05cm}.$$
:Setzt man diese Werte in die gegebene Entropie–Gleichung ein, so erhält man
:$$H \hspace{0.1cm} = \hspace{0.1cm} 2 \cdot \frac{1}{2} \cdot(1-q) \cdot
{\rm log}_2\hspace{0.1cm} \frac{1}{1-q} + 2 \cdot \frac{1}{2} \cdot q \cdot
{\rm log}_2\hspace{0.1cm} \frac{1}{q} = \\
\hspace{0.1cm} = \hspace{0.1cm} q \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{q} + (1-q) \cdot {\rm log}_2\hspace{0.1cm} \frac{1}{1-q} = H_{\rm bin}(q) \hspace{0.05cm}.$$
:Der gesuchte Zahlenwert ist H = Hbin (0.25) = 0.811 bit/Symbol.

:3.  Bei gleichwahrscheinlichen Binärsymbolen ist H1 = 1 bit/Symbol. Mit der für Markovquellen gültigen Gleichung gilt weiter:
:$$H_2 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{2} \cdot [ H_1 + H] \hspace{0.15cm} \underline {= 0.906 \,{\rm bit/Symbol}}
\hspace{0.05cm},\\
H_3 \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{3} \cdot [ H_1 + 2 H] \hspace{0.15cm} \underline {= 0.874 \,{\rm bit/Symbol}}
\hspace{0.05cm}.$$

:4.  Das Maximum der binären Entropiefunktion ergibt sich für q = 0.5. Damit beträgt die maximale Entropie H = 1 bit/Symbol. Man erkennt aus der Beziehung H = H1 und aus dem vorne abgebildeten Übergangsdiagramm, dass q = 0.5 statistisch unabhängige Symbole zur Folge hat:
:$$p_{\rm A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm A\hspace{0.01cm}|\hspace{0.01cm}B} = 0.5
\hspace{0.05cm}, \hspace{0.2cm} p_{\rm B} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}A} = p_{\rm B\hspace{0.01cm}|\hspace{0.01cm}B}= 0.5
\hspace{0.05cm}.$$

:5.  Richtig sind die Lösungsvorschläge 1 und 2. Die Symbolfolge ergibt sich entweder zu AAAAAA... oder zu BBBBBB..., je nachdem, welches Symbol als Startwert vorgegeben wurde. Die Entropie einer solchen Quelle ist H = Hbin(0) = 0.

:6.  Nun kann weder A direkt auf A noch B direkt auf B folgen. Es ergibt sich eine alternierende Folge, je nach Startwert die Folge ABABAB... oder BABABA... ⇒   Lösungsvorschlag 3. Diese Quelle hat in beiden Fällen ebenfalls die Entropie H = 0 = Hbin(1).
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Zusatzaufgaben:1.5 Symmetrische Markovquelle

2016-10-13T19:35:16Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.5 Symmetrische Markovquelle nach Aufgaben:1.5Z Symmetrische Markovquelle

#WEITERLEITUNG [[Aufgaben:1.5Z Symmetrische Markovquelle]]

Aufgaben:Exercise 1.4Z: Entropy of the AMI Code

2016-10-13T19:35:02Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.4 Entropie der AMI-Codierung nach Aufgaben:1.4Z Entropie der AMI-Codierung

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Nachrichtenquellen mit Gedächtnis
}}

[[File:P_ID2249__Inf_A_1_4.png|right|]]
:Wir gehen von ähnlichen Voraussetzungen wie in der Aufgabe A1.4 aus: Eine Binärquelle liefert die Quellensybolfolge 〈qν〉 mit qν ∈ {L, H}, wobei es keine statistischen Bindungen zwischen den einzelnen Folgenelementen gibt.

:Für die Symbolwahrscheinlichkeiten gelte:

:* pL = pH = 1/2 (Teilaufgaben 1 und 2),

:* pL = 1/4, pH = 3/4 (Teilaufgaben 3, 4 und 5),

:* pL = 3/4, pH = 1/4 (Teilaufgabe 6).

:Das dargestellte Codesignal c(t) und die zugehörige Symbolfolge 〈cν〉 mit cν ∈ {P, N, M} ergibt sich aus der AMI–Codierung (Alternate Mark Inversion) nach folgender Vorschrift:

:* Das Binärsymbol L ⇒ Low wird stets durch das Ternärsymbol N ⇒ Null dargestellt.

:* Das Binärsymbol H ⇒ High wird ebenfalls deterministisch, aber alternierend (daher der Name &bdquo;AMI”) durch die Symbole P ⇒ Plus und M ⇒ Minus codiert.

:In dieser Aufgabe sollen für die drei oben genannten Parametersätze der Entscheidungsgehalt H0 sowie die resultierende Entropie HC der Codesymbolfolge 〈cν〉 bestimmt werden. Die relative Redundanz der Codefolge ergibt sich daraus entsprechend der Gleichung
:$$r_{\rm C} = \frac{H_{\rm 0}-H_{\rm C}}{H_{\rm C}}
\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe gehört zu Kapitel 1.2. Allgemein bestehen folgende Relationen zwischen dem Entscheidungsgehalt H0, der Entropie H (hier gleich HC) und den Entropienäherungen:
:$$H \le ... \le H_3 \le H_2 \le H_1 \le H_0
\hspace{0.05cm}.$$
:In Aufgabe A1.4 wurden für gleichwahrscheinliche Symbole L und H die Entropie–Näherungen wie folgt berechnet (jeweils in bit/Symbol):
:$$H_1 = 1.500\hspace{0.05cm},\hspace{0.2cm} H_2 = 1.375\hspace{0.05cm},\hspace{0.2cm}H_3 = 1.292
\hspace{0.05cm}.$$

===Fragebogen===

<quiz display=simple>
{Die Quellensymbole seien gleichwahrscheinlich. Wie groß ist die Entropie HC der Codesymbolfolge 〈cν〉?
|type="{}"}
$p_L = p_H:\ \ H_C$ = { 1 3% } $bit/Ternärsymbol$

{Wie groß ist die relative Redundanz der Codesymbolfolge?
|type="{}"}
$p_L = p_H:\ \ r_C$ = { 36.9 3% } %

{Für die Binärquelle gelte nun pL = 1/4 und pH = 3/4. Welcher Wert ergibt sich nun für die Entropie der Codesymbolfolge?
|type="{}"}
$p_L = 1/4:\ \ H_C$ = { 0.811 3% } $bit/Ternärsymbol$

{Wie groß ist nun die relative Redundanz der Codesymbolfolge?
|type="{}"}
$p_L = 1/4:\ \ r_C$ = { 48.8 3% } %

{Berechnen Sie die Näherung H1 der Coderentropie für pL = 1/4, pH = 3/4.
|type="{}"}
$p_L = 1/4:\ \ H_1$ = { 1.56 3% } $bit/Ternärsymbol$

{Berechnen Sie die Näherung H1 der Coderentropie für pL = 3/4, pH = 1/4.
|type="{}"}
$p_L = 3/4:\ \ H_1$ = { 1.06 3% } $bit/Ternärsymbol$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Da durch den AMI–Code weder neue Information hinzukommt noch Information verschwindet, ist die Entropie HC der Codesymbolfolge 〈cν〉 gleich der Quellenentropie HQ. Bei gleichwahrscheinlichen und statistisch voneinander unabhängigen Quellensymbolen gilt deshalb:
:$$H_{\rm Q} {= 1 \,{\rm bit/Bin\ddot{a}rsymbol}} \hspace{0.3cm} \Rightarrow\hspace{0.3cm} H_{\rm C} \hspace{0.15cm} \underline {= 1 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:2.  Der Entscheidungsgehalt einer ternären Quelle beträgt H0 =&nbsp log2 (3) = 1.585 bit/Symbol. Damit ergibt sich für die relative Redundanz
:$$r_{\rm C} =1 -{H_{\rm C}/H_{\rm 0}}=1-1/{\rm log}_2\hspace{0.05cm}(3)
\hspace{0.15cm} \underline {= 36.9 \,\%}
\hspace{0.05cm}.$$

:3.  Weiter gilt HC = HQ. Wegen den ungleichen Symbolwahrscheinlichkeiten ist nun HQ kleiner:
:$$H_{\rm Q} = \frac{1}{4} \cdot {\rm log}_2\hspace{0.05cm} (4) + \frac{3}{4} \cdot
{\rm log}_2\hspace{0.1cm} (4/3)
{= 0.811 \,{\rm bit/Bin\ddot{a}rsymbol}}$$
:$$\Rightarrow\hspace{0.3cm} H_{\rm C} = H_{\rm Q} \hspace{0.15cm} \underline {= 0.811 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:4.  In Analogie zur Teilaufgabe 2) gilt
:$$r_{\rm C} = 1 - 0.811/1.585
\hspace{0.15cm} \underline {= 48.8 \,\%}
\hspace{0.05cm}.$$
:Man kann dieses Ergebnis verallgemeinern:
:$$(1-0.488) = (1- 0.189) \cdot (1- 0.369)$$
:$$\Rightarrow\hspace{0.3cm} (1-r_{\rm Codefolge}) = (1-r_{\rm Quelle}) \cdot (1- r_{\rm AMI-Code})
\hspace{0.05cm}.$$

:5.  Da jedes L auf N abgebildet wird und H alternierend auf M und P, gilt
:$$p_{\rm N} = p_{\rm L} = 1/4\hspace{0.05cm},\hspace{0.2cm}p_{\rm P} = p_{\rm M} = p_{\rm H}/2 = 3/8$$
:$$\Rightarrow\hspace{0.3cm} H_1 = {1}/{4} \cdot {\rm log}_2\hspace{0.1cm} (4) +
2 \cdot {3}/{8} \cdot {\rm log}_2\hspace{0.1cm}(8/3) \hspace{0.15cm} \underline {= 1.56 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$

:6.   Nun ergeben sich die Symbolwahrscheinlichkeiten pN = 3/4 sowie pP = pM = 1/8. Somit gilt:
:$$H_1 = {3}/{4} \cdot {\rm log}_2\hspace{0.1cm} (4/3) +
2 \cdot {1}/{8} \cdot {\rm log}_2\hspace{0.1cm}(8) \hspace{0.15cm} \underline {= 1.06 \,{\rm bit/Tern\ddot{a}rsymbol}}
\hspace{0.05cm}.$$
:Für pL = 1/4, pH = 3/4 ergibt sich H1 = 1.56 bit/Symbol, bei pL = 3/4, pH = 1/4 dagegen ein deutlich kleinerer Wert: H1 = 1.06 bit/Symbol. Für beide Parameterkombinationen gilt aber gleichermaßen:
:$$H_0 = 1.585 \,{\rm bit/Symbol}\hspace{0.05cm},\hspace{0.2cm}H_{\rm C} =
\lim_{k \rightarrow \infty } H_k = 0.811 \,{\rm bit/Symbol}
\hspace{0.05cm}.$$
:Daraus folgt: Betrachtet man zwei Nachrichtenquellen Q1 und Q2 mit gleichem Symbolumfang M  ⇒  Entscheidungsgehalt H0 = const., wobei bei der Quelle Q1 die Entropienäherung erster Ordnung deutlich größer ist als bei der Quelle Q2, so kann man daraus noch lange nicht schließen, dass die Entropie von Q1 tatsächlich größer ist als die Entropie von Q2. Vielmehr muss man für beide Quellen

:* genügend viele Entropienäherungen H1, H2, H3, ... , berechnen, und

:* daraus (grafisch oder analytisch) den Grenzwert von Hk für k → ∞ bestimmen.

:Erst dann ist eine endgültige Aussage über die Entropieverhältnisse möglich.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^1.2 Nachrichtenquellen mit Gedächtnis^]]

Zusatzaufgaben:1.4 Entropie der AMI-Codierung

2016-10-13T19:35:02Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.4 Entropie der AMI-Codierung nach Aufgaben:1.4Z Entropie der AMI-Codierung

#WEITERLEITUNG [[Aufgaben:1.4Z Entropie der AMI-Codierung]]

Aufgaben:Exercise 1.1Z: Binary Entropy Function

2016-10-13T19:34:47Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.1 Binäre Entropiefunktion nach Aufgaben:1.1Z Binäre Entropiefunktion

{{quiz-Header|Buchseite=Informationstheorie und Quellencodierung/Gedächtnislose Nachrichtenquellen
}}

[[File:P_ID2234__Inf_Z_1_1.png|right|]]
:Wir betrachten eine Folge von binären Zufallsgrößen mit dem Symbolvorrat {A, B} ⇒ M = 2. Die Auftrittswahrscheinlichkeiten der beiden Symbole seien pA = p und pB = 1 – p.

:Die einzelnen Folgenelemente sind statistisch unabhängig. Für die Entropie dieser Nachrichtenquelle gilt gleichermaßen:
:$$H_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [bit]}\hspace{0.05cm},\\
H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p}\hspace{0.15cm}{\rm in \hspace{0.15cm} [nat]}\hspace{0.05cm}.$$
:In diesen Gleichungen werden als Kurzbezeichnungen verwendet:

:* der natürliche Logarithmus ln p = loge p,

:* der Logarithmus dualis ld p = log2 p.

:Die Grafik zeigt diese binäre Entropiefunktion in Abhängigkeit des Parameters p, wobei 0 ≤ p ≤ 1 vorausgesetzt wird.

:In den Teilaufgaben (5) und (6) soll der relative Fehler ermittelt werden, wenn die Symbolwahrscheinlichkeit p per Simulation (also als relative Häufigkeit h) ermittelt wurde und sich dabei fälschlicherweise h = 0.9 p ergeben hat. Der relative Fehler ist dann wie folgt gegeben:
:$$\varepsilon_{H} = \frac{H_{\rm bin}(h)- H_{\rm bin}(p)}{H_{\rm bin}(p)}\hspace{0.05cm}.$$

:Hinweis: Die Aufgabe gehört zum Kapitel 1.1.

===Fragebogen===

<quiz display=simple>
{Wie hängen Hbin(p) in bit und H' bin(p) in nat zusammen?
|type="[]"}
+ Hbin(p) und H' bin(p) unterscheiden sich um einen Faktor.
- Es gilt H' bin(p) = Hbin(ln p).
- Es gilt H' bin(p) = 1 + Hbin(2 p).

{Zeigen Sie, dass sich das Maximum der binären Entropiefunktion für p = 0.5 ergibt. Wie groß ist Hbin(p = 0.5)?
|type="{}"}
$H_\text{bin}(p = 0.5)$ = { 1 3% } $bit$

{Berechnen Sie den binären Entropiewert für p = 0.05.
|type="{}"}
$H_\text{bin}(p = 0.05)$ = { 1 3% } $bit$

{Geben Sie den größeren der beiden p–Werte ein, die sich aus der Gleichung Hbin(p) = 0.5 bit ergeben.
|type="{}"}
$p$ = { 0.89 3% }

{Durch unzureichende Simulation wurde p = 0.5 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
|type="{}"}
$p = 0.45\ statt\ p=0.5:\ \ \epsilon_H$ = - { 0.7 3% } %

{Durch unzureichende Simulation wurde p = 0.05 um 10% zu niedrig ermittelt. Wie groß ist der prozentuale Fehler hinsichtlich der Entropie?
|type="{}"}
$p = 0.045\ statt\ p=0.05:\ \ \epsilon_H$ = - { 7.3 3% } %

</quiz>

===Musterlösung===
{{ML-Kopf}}
:Hinweis: Aus Platzgründen verwenden wir in der Musterlösung &bdquo;ld” anstelle von &bdquo;log2”.

:1.  Die Entropiefunktion H' bin(p) lautet entsprechend der Angabe:
:$$H'_{\rm bin}(p) \hspace{0.1cm} = \hspace{0.1cm} p \cdot {\rm ln}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ln}\hspace{0.1cm}\frac{1}{1-p} = \\
\hspace{0.1cm} = \hspace{0.1cm} {\rm ln}\hspace{0.1cm}2 \cdot \left [ p \cdot {\rm ld}\hspace{0.1cm}\frac{1}{\hspace{0.1cm}p\hspace{0.1cm}} + (1-p) \cdot {\rm ld}\hspace{0.1cm}\frac{1}{1-p}\right ]$$
:$$\Rightarrow \hspace{0.3cm} H'_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} nat)}=
{\rm ln}\hspace{0.1cm}2 \cdot H_{\rm bin}(p) \hspace{0.15cm}{\rm (in \hspace{0.15cm} bit)} = 0.693\cdot H_{\rm bin}(p)\hspace{0.05cm}.$$
:Richtig ist also der erste Lösungsvorschlag. Die beiden weiteren Vorgaben machen keinen Sinn.

:2.  Die Optimierungsbedingung lautet dHbin(p)/dp = 0 bzw.
:$$\frac{{\rm d}H'_{\rm bin}(p)}{{\rm d}p} \stackrel{!}{=} 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm} \frac{\rm d}{{\rm d}p}
\left [ - p \cdot {\rm ln}\hspace{0.1cm}p - (1-p) \cdot {\rm ln}\hspace{0.1cm}({1-p})\right ] \stackrel{!}{=} 0$$
:$$\Rightarrow \hspace{0.3cm}
- {\rm ln}\hspace{0.1cm}p - p \cdot \frac {1}{p}+ {\rm ln}\hspace{0.1cm}(1-p) + (1-p)\cdot \frac {1}{1- p}\stackrel{!}{=} 0$$
:$$\Rightarrow \hspace{0.3cm} {\rm ln}\hspace{0.1cm}\frac {1-p}{p}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\frac {1-p}{p}= 1
\hspace{0.3cm}\Rightarrow \hspace{0.3cm} \underline { p = 0.5}\hspace{0.05cm}.$$
:Die Entropiewerte für p = 0.5 lauten somit:
:$$H'_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ln}\hspace{0.1cm}0.5 = {\rm ln}\hspace{0.1cm}2 = 0.693 \, {\rm nat}\hspace{0.05cm},\\
H_{\rm bin}(p = 0.5) \hspace{0.1cm} = \hspace{0.1cm} -2 \cdot 0.5 \cdot {\rm ld}\hspace{0.1cm}0.5 = {\rm ld}\hspace{0.1cm}2 \hspace{0.15cm}\underline {= 1 \, {\rm bit}}\hspace{0.05cm}.$$

:3.  Für p = 5% erhält man:
:$$H_{\rm bin}(p = 0.05) \hspace{0.1cm} = \hspace{0.1cm} 0.05 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.05}+ 0.95 \cdot {\rm ld}\hspace{0.1cm}\frac{1}{0.95}= \\
\hspace{0.1cm} = \hspace{0.1cm} \frac{1}{0.693} \cdot \left [ 0.05 \cdot {\rm ln}\hspace{0.1cm}20+ 0.95 \cdot {\rm ln}\hspace{0.1cm}1.053\right ]= \\ \hspace{0.1cm} = \hspace{0.1cm} \frac{1}{0.693} \cdot \left [ 0.05 \cdot 2.995+ 0.95 \cdot 0.051\right ]
\hspace{0.15cm}\underline {\approx 0.286 \, {\rm bit}}\hspace{0.05cm}.$$

:4.  Diese Aufgabe lässt sich nicht in geschlossener Form lösen, sondern durch &bdquo;Probieren”. Eine Lösung liefert das Ergebnis:
:$$H_{\rm bin}(p = 0.10) = 0.469 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}H_{\rm bin}(p = 0.12) = 0.529 \, {\rm bit}\hspace{0.05cm},\hspace{0.2cm}
H_{\rm bin}(p = 0.11) \approx 0.5 \, {\rm bit} $$
:$$\Rightarrow \hspace{0.3cm}p_1 \approx 0.11\hspace{0.05cm}. $$
:Die zweite (gesuchte) Lösung ergibt sich aus der Symmetrie von Hbin(p) zu p2 = 1 – p1 = 0.89.

:5.  Mit p = 0.45 erhält man Hbin(p) = 0.993 bit. Der relative Fehler bezüglich Entropie ist somit
:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.45)- H_{\rm bin}(p= 0.5)}{H_{\rm bin}(p = 0.5)}= \frac{0.993- 1}{1}\hspace{0.15cm}\underline {= -0.7 \, {\rm \%}}
\hspace{0.05cm}.$$
:Das Minuszeichen deutet darauf hin, dass der Entropiewert H = 0.993 zu klein ist. Hätte die Simulation den zu großen Wert p = 0.55 ergeben, so wäre H und auch der relative Fehler genau so groß.

:6.   Es gilt Hbin(p = 0.045) = 0.265 bit. Mit dem Ergebnis aus (3) ⇒ Hbin(p = 0.05) = 0.286 bit folgt daraus für den relativen Fehler bezüglich der Entropie:
:$$\varepsilon_{H} = \frac{H_{\rm bin}(p = 0.045)- H_{\rm bin}(p= 0.05)}{H_{\rm bin}(p = 0.05)}= \frac{0.265- 0.286}{0.286}\hspace{0.15cm}\underline {= -7.3 \, {\rm \%}}
\hspace{0.05cm}.$$
:Eine falsche Bestimmung der Symbolwahrscheinlichkeiten um 10% macht sich für p = 0.05 aufgrund des steileren Hbin(p)–Verlaufs deutlich stärker bemerkbar als für p = 0.5. Eine zu große Wahrscheinlichkeit p = 0.055 hätte zu Hbin(p = 0.055) = 0.307 bit geführt und damit zu einer Verfälschung um εH = +7.3%. In diesem Bereich verläuft die Entropiekurve also (mit guter Näherung) linear.
{{ML-Fuß}}

[[Category:Aufgaben zu Informationstheorie und Quellencodierung|^1.1 Gedächtnislose Nachrichtenquellen^]]

Zusatzaufgaben:1.1 Binäre Entropiefunktion

2016-10-13T19:34:47Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:1.1 Binäre Entropiefunktion nach Aufgaben:1.1Z Binäre Entropiefunktion

#WEITERLEITUNG [[Aufgaben:1.1Z Binäre Entropiefunktion]]

Zusatzaufgaben:5.8 Matched-Filter bei Rechteck-LDS

2016-10-13T19:32:12Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.8 Matched-Filter bei Rechteck-LDS nach Aufgaben:5.8Z Matched-Filter bei Rechteck-LDS

#WEITERLEITUNG [[Aufgaben:5.8Z Matched-Filter bei Rechteck-LDS]]

Aufgaben:Exercise 5.8Z: Matched Filter for Rectangular PSD

2016-10-13T19:32:11Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.8 Matched-Filter bei Rechteck-LDS nach Aufgaben:5.8Z Matched-Filter bei Rechteck-LDS

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Matched-Filter
}}

[[File:P_ID647__Sto_Z_5_8.png|right|]]
:Die bei einem System wirksame Störleistungsdichte kann als bereichsweise konstant angenommen werden:
:$$\it{\Phi} _n \left( f \right) = \left\{ \begin{array}{l} N_0 /2 \\ N_1 /2 \\ \end{array} \right.\quad \begin{array}{*{20}c} \rm{f\ddot{u}r} \\ \rm{f\ddot{u}r} \\\end{array}\quad \begin{array}{*{20}c} {\left| f \right| \le f_{\rm N} ,} \\ {\left| f \right| > f_{\rm N} .} \\\end{array}$$

:Hierbei sei die Störleistungsdichte N1 im äußeren Bereich (> fN) stets sehr viel kleiner als N0. Verwenden Sie zum Beispiel die folgenden Werte:
:$$N_0 = 2 \cdot 10^{ - 6} \;{\rm{V}}^{\rm{2}} /{\rm{Hz}},\quad N_1 = 2 \cdot 10^{ - 8} \;{\rm{V}}^{\rm{2}}/ {\rm{Hz}}.$$

:Ein solches Störsignal n(t) tritt beispielsweise dann auf, wenn die dominante Störquelle nur Anteile unterhalb der Grenzfrequenz fN beinhaltet. Aufgrund des unvermeidbaren thermischen Rauschens ist jedoch auch oberhalb von |f| = fN die Störleistungsdichte Φn(f) ≠ 0.

:Das Spektrum G(f) des Nutzsignals sei entsprechend der obigen Skizze ebenfalls rechteckförmig. Der zugehörige Nutzimpuls g(t) hat deshalb mit Δf = 2 · fG folgenden Verlauf:
:$$g(t) = G_0 \cdot \Delta f \cdot {\mathop{\rm si}\nolimits} \left( {{\rm{\pi }} \cdot \Delta f \cdot t} \right).$$

:Verwenden Sie für numerische Berechnungen stets die Zahlenwerte
:$$G_0 = 10^{ - 4} \;{\rm{V/Hz}}{\rm{, }}\quad \Delta f = 10\;{\rm{kHz}}.$$

:Das Empfangsfilter sei optimal an das Nutzspektrum G(f) und das Störleistungsdichtespektrums Φn(f) angepasst. Das heißt, es gelte HE(f) = HMF(f). Der Detektionszeitpunkt sei vereinfachend TD = 0 (akausale Systembeschreibung).

===Fragebogen===

<quiz display=simple>
{Welche der folgenden Aussagen gelten unter der Voraussetzung fN > fG?
|type="[]"}
+ Anwendbar ist das &bdquo;Matched-Filter” für &bdquo;Weißes Rauschen”.
- Der MF–Ausgangsimpuls ist dreieckförmig.
+ Der MF–Ausgangsimpuls ist s–förmig.
- Der MF–Ausgangsimpuls ist si2–förmig.

{Welches S/N–Verhältnis (in dB) ergibt sich für fN > fG?
|type="{}"}
$10\ .\ lg(\rho_d)$ = { 20 3% } $dB$

{Welches SNR (in dB) ergibt sich für fN = fG /2? Interpretation.
|type="{}"}
$10\ .\ lg(\rho_d)$ = { 37.03 3% } $dB$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Für alle Frequenzen |f| < fG, bei denen das Nutzsignal Spektralanteile besitzt (G(f) ≠ 0), ist das Störleistungsdichtespektrum Φn(f) = N0 /2. Damit lautet der Frequenzgang des Matched-Filters, TD = 0 vorausgesetzt:
:$$H_{\rm MF} (f) = K_{\rm MF} \cdot G(f).$$

:Der optimale Frequenzgang HMF(f) ist in diesem Fall ebenso wie G(f) rechteckförmig mit Breite Δf. Für den Nutzanteil des MF-Ausgangssignals gilt:
:$$d_{\rm S}(t)\quad \circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \quad G(f) \cdot H_{\rm MF} (f).$$

:Das Produkt zweier Rechteckfunktionen gleicher Breite ergibt wiederum diese Rechteckfunktion. Daraus folgt weiter, dass der Ausgangsimpuls des Matched-Filters ebenfalls si-förmig verläuft. Richtig sind also die Lösungsvorschläge 1 und 3.

:2.  Bei weißem Rauschen erhält man:
:$$\rho _d = \frac{1}{N_0 /2}\int_{ - \infty }^{ + \infty } {\left| {G(f)} \right|^2 \, {\rm{d}}f.}$$

:Das Integral liefert den Wert G02 · Δf. Daraus folgt:
:$$\rho _d = \frac{G_0 ^2 \cdot \Delta f }{N_0 /2} = \frac{ 10^{ - 8}\,(\rm V/Hz)^2 \;\cdot10^4 \;{\rm{Hz}} }{10^{ - 6}\,\rm V^2/Hz} = 10^2 $$
:$$\Rightarrow \quad 10\lg \rho _d \hspace{0.15cm}\underline { = 20\;{\rm{dB}}}.$$
[[File:P_ID648__Sto_Z_5_8_c.png|right|]]
:3.  Allgemein gilt für das SNR bei farbiger Störung:
:$$\rho _d = 2 \cdot \int_0^\infty {\frac{\left| {G(f)} \right|^2 }{\it{\Phi} _n (f)}} \, {\rm{d}}f.$$

:Wie aus der nebenstehenden qualitativen Skizze hervorgeht, ist der Integrand bei den vorgegebenen Frequenzgängen stückweise konstant. Mit fG = 5 kHz und fN = fG/2 (= 2.5 kHz) erhält man somit:
:$$\rho _d = 2 \cdot 2.5\;{\rm{kHz}}\left( { \frac{10^{ - 2}}{\rm{Hz}} + \frac{1}{{{\rm{Hz}}}} } \right) = 5.05 \cdot 10^3$$
:$$ \Rightarrow \quad 10\cdot\lg \rho _d \hspace{0.15cm}\underline {= 37.03\;{\rm{dB}}}.$$

:Interpretation: Der Matched–Filter–Frequenzgang HMF(f) hat genau den selben Verlauf wie der oben skizzierte Integrand. Wird die Konstante KMF (willkürlich) so gewählt, dass im Bereich fN ≤ f ≤ fG der MF–Frequenzgang den Wert 1 besitzt, so gilt für tiefe Frequenzen (|f| < fN): HMF(f) = 0.01. Das bedeutet: Das Matched–Filter bevorzugt diejenigen Frequenzen, die durch die Störung Φn(f) nur wenig beeinträchtigt werden.

:Würde man stattdessen ein Filter H(f) verwenden, das alle Frequenzen des Nutzsignals bis einschließlich fG gleich bewertet (violetter Kurvenverlauf in der unteren Skizze), so ergäben sich folgende Verhältnisse:
:$$d_{\rm S}( {T_{\rm D} } ) = G_0 \cdot 2 \cdot f_{\rm G} = 1\;{\rm{V}},$$
:$$\sigma _d ^2 = 10^{ - 6} \frac{{{\rm{V}}^{\rm{2}} }}{{{\rm{Hz}}}} \cdot f_{\rm G} + 10^{ - 8} \frac{{{\rm{V}}^{\rm{2}} }}{{{\rm{Hz}}}} \cdot ( {f_{\rm G} - f_{\rm N} } ) = 2.5 \cdot 1.01 \cdot 10^{ - 3} \;{\rm{V}}^{\rm{2}}$$
:$$ \Rightarrow \rho _d = \frac {d_{\rm S}( {T_{\rm D} } )^2}{\sigma _d ^2} = \frac{1 \;{\rm{V}}^{\rm{2}}}{2.525 \cdot 10^{ - 3} \;{\rm{V}}^{\rm{2}}} = 396 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}10 \cdot {\rm lg} \, \rho _d = 25.98 \, {\rm dB}.$$

:Das Signal–zu–Rauschverhältnis ist somit um ca. 11 dB schlechter, als wenn man das Matched–Filter für farbige Störungen verwendet.
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.4 Matched-Filter^]]

Aufgaben:Exercise 5.7Z: Matched Filter - All Gaussian

2016-10-13T19:31:57Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.7 Mateched-Filter - alles gaussisch nach Aufgaben:5.7Z Mateched-Filter - alles gaussisch

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Matched-Filter
}}

[[File:P_ID578__Sto_Z_5_7.png|right|]]
:Am Eingang eines Filters liegt ein von weißem Rauschen mit der Rauschleistungsdichte N0 = 10–4 V2/Hz überlagerter Gaußimpuls mit der Amplitude g0 und der äquivalenten Dauer Δtg = 1 ms an:
:$$g(t) = g_0 \cdot {\rm{e}}^{ - {\rm{\pi }}\left( {t/\Delta t_g } \right)^2 } .$$

:Die Impulsenergie beträgt Eg = 0.01 V2s. Das Empfangsfilter sei ein akausaler Gaußtiefpass mit dem Frequenzgang
:$$H_{\rm E} (f) = {\rm{e}}^{ - {\rm{\pi }}\left( {f/\Delta f_{\rm E} } \right)^2 } .$$

:Die dazugehörige Impulsantwort lautet somit:
:$$h_{\rm E} (t) = \Delta f_{\rm E} \cdot {\rm{e}}^{ - {\rm{\pi }}\left( {\Delta f_{\rm E} \hspace{0.03cm}\cdot \hspace{0.03cm}t} \right)^2 } .$$

:Die systemtheoretische Filterbandbreite ΔfE soll so gewählt werden, dass der Gaußtiefpass optimal an den Eingangsimpuls g(t) angepasst ist. Man spricht dann von einem Matched-Filter.

:Hinweis: Die Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 5.4. Benutzen Sie zur Lösung das folgende bestimmte Integral:
:$$\int_0^\infty {{\rm{e}}^{ - a^2 x^2 } {\rm{d}}x = \frac{{\sqrt {\rm{\pi }} }}{2a}} .$$

===Fragebogen===

<quiz display=simple>
{Berechnen Sie die Impulsamplitude.
|type="{}"}
$g_0$ = { 2.659 3% } $V$

{Wie groß ist das maximale S/N–Verhältnis am Filterausgang in dB?
|type="{}"}
$10\ \cdot \ lg\ \rho_d(T_\text{D,opt})$ = { 23 3% } $dB$

{Bei welcher Filterbandbreite wird dieses S/N–Verhältnis erreicht?
|type="{}"}
$\Delta f_\text{E, opt}$ = { 1 3% } $kHz$

{Welche der nachfolgenden Aussagen treffen zu, wenn die Filterbandbreite ΔfE kleiner ist als unter Punkt (3) berechnet?
|type="[]"}
+ Der Nutzabtastwert dS(TD, opt) ist kleiner als bei Anpassung.
- Die Störleistung σd2 ist größer als bei Anpassung.
+ Das S/N–Verhältnis ist kleiner als bei Punkt (2) berechnet.

</quiz>

===Musterlösung===
{{ML-Kopf}}
1.  Für die Energie eines Impulses g(t) gilt allgemein bzw. bei diesem Beispiel:
:$$E_g = \int_{ - \infty }^{ + \infty } {g(t)^2 \hspace{0.1cm}{\rm{d}}t} = g_0 ^2 \cdot \int_{ - \infty }^{ + \infty } {{\rm{e}}^{ - 2{\rm{\pi }}\left( {t/\Delta t_g } \right)^2 } \hspace{0.1cm}{\rm{d}}t} .$$

:Diese Gleichung kann wie folgt umgeformt werden:
:$$E_g = 2 \cdot g_0 ^2 \cdot \int_0^\infty {{\rm{e}}^{ - \left( {\sqrt {2 \rm{\pi }} /\Delta t_g } \right)^2 \cdot \hspace{0.05cm} t^2 }\hspace{0.1cm} {\rm{d}}t} .$$

:Mit a = (2π)1/2/Δtg und der angegebenen Formel gilt folgender Zusammenhang:
:$$E_g = 2 \cdot g_0 ^2 \cdot \frac{{\sqrt {\rm{\pi }} }}{2a} = \sqrt 2 \cdot g_0 ^2 \cdot \Delta t_g .$$

:Löst man diese Gleichung nach g0 auf, so erhält man als Endergebnis:
:$$g_0 = \sqrt {\frac{E_g }{\Delta t_g \cdot \sqrt 2 }} = \sqrt {\frac{{0.01\;{\rm{V}}^{\rm{2}} {\rm{s}}}}{{0.001\;{\rm{s}} \cdot 1.414}}} \hspace{0.15cm}\underline { = 2.659\;{\rm{V}}}.$$

:2.  Unter der Voraussetzung eines Matched-Filters lautet das S/N-Verhältnis am Ausgang:
:$$\rho _{d} ( {T_{{\rm{D,}}\,{\rm{opt}}} } ) = \frac{2 \cdot E_g }{N_0 } = \frac{{2 \cdot 10^{ - 2} \;{\rm{V}}^{\rm{2}} {\rm{s}}}}{{10^{ - 4} \;{\rm{V}}^{\rm{2}} {\rm{/Hz}}}} = 200.$$

:In logarithmischer Darstellung erhält man
:$$10 \cdot \lg \rho _{d} ( {T_{{\rm{D,}}\,{\rm{opt}}} } ) = 10 \cdot \lg \left( {200} \right) \hspace{0.15cm}\underline {\approx 23\;{\rm{dB}}}.$$

:3.  Ein Vergleich zwischen dem Eingangsimpuls und dem Filterfrequenzgang zeigt, dass bei Anpassung ΔfE = 1/Δtg gelten muss:
:$$\Delta f_{{\rm{E,}}\,{\rm{opt}}} \hspace{0.15cm}\underline { = 1\;{\rm{kHz}}}.$$

:4.  Eine kleinere Filterbandbreite ist günstig bezüglich Störungen, jedoch ungünstig hinsichtlich des Nutzsignals. Das heißt, der negative Einfluss überwiegt gegenüber dem positiven. Richtig sind also die Lösungsvorschläge 1 und 3.
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.4 Matched-Filter^]]

Zusatzaufgaben:5.7 Mateched-Filter - alles gaussisch

2016-10-13T19:31:57Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.7 Mateched-Filter - alles gaussisch nach Aufgaben:5.7Z Mateched-Filter - alles gaussisch

#WEITERLEITUNG [[Aufgaben:5.7Z Mateched-Filter - alles gaussisch]]

Zusatzaufgaben:5.6 Nochmals FIlterdimensionierung

2016-10-13T19:31:44Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.6 Nochmals FIlterdimensionierung nach Aufgaben:5.6Z Nochmals FIlterdimensionierung

#WEITERLEITUNG [[Aufgaben:5.6Z Nochmals FIlterdimensionierung]]

Aufgaben:Exercise 5.6Z: Filter Dimensioning again

2016-10-13T19:31:43Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.6 Nochmals FIlterdimensionierung nach Aufgaben:5.6Z Nochmals FIlterdimensionierung

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Erzeugung vorgegebener AKF-Eigenschaften
}}

[[File:P_ID567__Sto_Z_5_6.png|right|]]
:Mit Hilfe eines nichtrekursiven digitalen Filters erster Ordnung soll eine zeitdiskrete Zufallsgröße 〈yν〉 generiert werden, die folgende AKF-Werte aufweist:
:$$\varphi _y ( {k \cdot T_{\rm A} } ) = \left\{ {\begin{array}{*{20}c} {\varphi _0 = 1} & {\rm f\ddot{u}r} & {k = 0} \\ {\varphi _1 } & {\rm f\ddot{u}r} & {\left| k \right| = 1} \\ 0 & {} & {{\rm{sonst}}.} \\ \end{array}} \right.$$

: Hierbei bezeichnet φ1 einen (in bestimmten Grenzen) frei wählbaren Parameter. Weiter gelte:

:* Die zeitdiskreten Eingangswerte xν sind gaußverteilt mit Mittelwert mx und Streuung σx.

:* Zunächst sei mx = 0 und σx = 1.

:Damit lautet das Gleichungssystem zur Bestimmung der Filterkoeffizienten a0 und a1:
:$$a_0 ^2 + a_1 ^2 = 1,$$
:$$a_0 \cdot a_1 = \varphi _1 .$$

:Hinweis: Diese Aufgabe bezieht sich auf den Theorieteil von Kapitel 5.3.

===Fragebogen===

<quiz display=simple>
{Wie lauten die Grenzen für φ1, damit das Gleichungssystem lösbar ist?
|type="{}"}
$\phi_\text{1,max}$ = { 0.5 3% }
$\phi_\text{1,min}$ = - { 0.5 3% }

{Es gelte φ1 = –0.3. Bestimmen Sie die Filterparameter a0 und a1. Wählen Sie die Lösung mit positivem a0 und |a0| > |a1|.
|type="{}"}
$a_0$ = { 0.949 3% }
$a_1$ = - { 0.316 3% }

{Wie ändert sich die AKF, wenn bei gleichen Filterkoeffizienten nun σx = 2 gilt? Wie groß ist insbesondere der AKF–Wert für k = 1?
|type="{}"}
$\phi_y(T_A)$ = - { 1.2 3% }

{Wie ändert sich die AKF bei gleichen Filterkoeffizienten und σx = 2 mit einem Gleichanteil mx = 1? Wie groß ist nun der AKF-Wert für k = 1? 
|type="{}"}
$\phi_y(T_A)$ = - { 0.8 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Nach einigen Umformungen kommt man zur Bestimmungsgleichung (mit u = a02):
:$$a_0 \cdot a_1 = \varphi_1 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
a_1 = \varphi_1 /a_0 ,$$
:$$a_0^2 + a_1^2 = 1 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
a_0^2 + \varphi_1^2 /a_0^2 -1 = 0,$$
:$$u = a_0^2 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
u + \varphi_1^2 /u -1 = 0 \hspace{0.3cm}\Rightarrow\hspace{0.3cm}
u^2 - u + \varphi_1^2 = 0.$$

:Dies führt zu den beiden Lösungen:
:$$u_{1/2} = 0.5 \pm \sqrt {0.25 - \varphi _1 ^2 } .$$

:Reelle Lösungen gibt es nur für φ12 ≤ 0.25. Das bedeutet:
:$$\hspace{0.15cm}\underline {\varphi _{1,\max } = +0.5}, \quad \hspace{0.15cm}\underline {\varphi _{1,\min } = - 0.5}.$$

:2.  Mit φ1 = –0.3 erhält man u1 = 0.9 und u2 = 0.1. Daraus ergeben sich folgende Parametersätze:
:$$a_0 = \;\;\,\sqrt {0.9} = \;\;\, 0.949,\quad a_1 = - \sqrt {0.1} = - 0.316;$$
:$$a_0 = - \sqrt {0.9} = - 0.949,\quad a_1 = \;\;\, \sqrt {0.1} = \;\;\, 0.316;$$
:$$a_0 = \;\;\, \sqrt {0.1} = \;\;\, 0.316,\quad a_1 = - \sqrt {0.9} = - 0.949;$$
:$$a_0 = - \sqrt {0.1} = - 0.316,\quad a_1 = \;\;\, \sqrt {0.9} = \;\;\, 0.949.$$

:Nur der erste Parametersatz erfüllt die angegebene Nebenbedingung: a0 = 0.949 und a1 = –0.316.

:3.  Wird σx verdoppelt, so erhöhen sich alle AKF-Werte um den Faktor 4. Insbesondere gilt dann:
:$$\varphi _y( {T_{\rm A} } ) = - 0.3 \cdot 4 \hspace{0.15cm}\underline{= - 1.2}.$$

:4.  Der Gleichanteil mx = 1 am Eingang führt zu folgendem Gleichanteil im Ausgangssignal:
:$$m_y = m_x \cdot ( {a_0 + a_1 } ) = 0.633.$$

:Alle AKF-Werte werden deshalb gegenüber Punkt (c) um my2 ≈ 0.4 vergrößert und man erhält:
:$$\varphi _y( {T_{\rm A} } )\hspace{0.15cm}\underline{ \approx - 0.8}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.3 Erzeugung vorgegebener AKF-Eigenschaften^]]

Zusatzaufgaben:5.5 AKF nach Filter 1. Ordnung

2016-10-13T19:31:30Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.5 AKF nach Filter 1. Ordnung nach Aufgaben:5.5Z AKF nach Filter 1. Ordnung

#WEITERLEITUNG [[Aufgaben:5.5Z AKF nach Filter 1. Ordnung]]

Aufgaben:Exercise 5.5Z: ACF after 1st Order Filter

2016-10-13T19:31:29Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.5 AKF nach Filter 1. Ordnung nach Aufgaben:5.5Z AKF nach Filter 1. Ordnung

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Erzeugung vorgegebener AKF-Eigenschaften
}}

[[File:P_ID565__Sto_Z_5_5_neu.png|right|]]
:Wir betrachten hier ein nichtrekursives Filter erster Ordnung (M = 1) mit den Filterkoeffizienten a0 = 0.4 und a1 = 0.3. Am Filterausgang wird eine Konstante K hinzuaddiert, die vorerst (bis einschließlich Teilaufgabe 3) zu Null gesetzt werden soll.

:Das zeitdiskrete Eingangssignal 〈xν〉
:* ist gaußisch sowie mittelwertfrei,
:* besitzt die Streuung σx = 1.</x>

:Hinweis: Die Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 5.3.

===Fragebogen===

<quiz display=simple>
{Welche Aussagen sind bezüglich der Ausgangs-AKF zutreffend, wenn K = 0 gilt? Begründen Sie Ihre Ergebnisse.
|type="[]"}
- Der AKF-Wert φy(0) gibt die Streuung σy an.
+ Alle AKF-Werte φy(k · TA) mit k ≥ 2 sind 0.
+ Das LDS Φy(f) verläuft cosinusförmig.

{Berechnen Sie die AKF-Werte φy(k · TA) für k = 0 und k = 1.
|type="{}"}
$\phi_y(0)$ = { 0.25 3% }
$\phi_y(T_A)$ = { 0.12 3% }

{Welche Werte muss man für die Koeffizienten a0 und a1 einstellen, wenn bei gleicher AKF-Form die Streuung σy = 1 betragen soll? Es sei a0 > a1.
|type="{}"}
$a_0$ = { 0.8 3% }
$a_1$ = { 0.6 3% }

{Es gelte wieder a0 = 0.4 und a1 = 0.3. Wie groß ist die Konstante K zu wählen, damit sich φy(0) = 0.5 ergibt?
|type="{}"}
$K$ = { 0.5 3% }

{Berechnen Sie mit diesem Wert von K die AKF-Werte für k = 1 und k = 2.
|type="{}"}
$\phi_y(T_A)$ = { 0.37 3% }
$\phi_y(2T_A)$ = { 0.25 3% }

{Welcher Wert ergibt sich nun für die Streuung σy?
|type="{}"}
$\sigma_y$ = { 0.5 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.   Der AKF-Wert φy(0) gibt die Varianz (Leistung) σx2 an, nicht die Streuung (Effektivwert) σx. Da ein nichtrekursives Filter erster Ordnung vorliegt, sind alle AKF-Werte φy(k · TA) = 0 für k ≥ 2. Der AKF-Wert φy(–TA) ist gleich φy(TA). Diese beiden AKF-Werte führen zu einer Cosinusfunktion im LDS, zu der sich noch der Gleichanteil φy(0) hinzuaddiert. Richtig sind also die Lösungsvorschläge 2 und 3.

:2.   Die allgemeine Gleichung lautet mit M = 1 für k ∈ {0, 1}:
:$$\varphi _y ( {k \cdot T_{\rm A} } ) = \sigma _x ^2 \cdot \sum\limits_{\mu = 0}^{M - k} {a_\mu \cdot a_{\mu + k} } .$$

:Daraus erhält man mit σx = 1:
:$$\varphi _y( 0 ) = a_0 ^2 + a_1 ^2 = 0.4^2 + 0.3^2 \hspace{0.15cm}\underline { = 0.25},$$
:$$\varphi _y ( { T_{\rm A} } ) = a_0 \cdot a_1 = 0.4 \cdot 0.3 \hspace{0.15cm}\underline {= 0.12}.$$

:3.   Mit den bisherigen Einstellungen ist die Varianz σy2 = 0.25 und damit die Streuung σy = 0.5. Durch eine Verdoppelung der Koeffizienten erhält man wie gewünscht σy = 1:
:$$\hspace{0.15cm}\underline {a_0 = 0.8},\quad \hspace{0.15cm}\underline {a_1 = 0.6}.$$

:4.  Die Konstante K hebt die gesamte AKF um K2 an. Mit dem Ergebnis aus (b) folgt:
:$$K^2 = 0.5 - 0.25 = 0.25\quad \Rightarrow \quad \hspace{0.15cm}\underline {K = 0.5}.$$

:5.  Alle AKF-Werte sind nun um den konstanten Wert K2 = 0.25 größer. Somit ist
:$$\varphi _y ( { T_{\rm A} } ) = 0.12 + 0.25 \hspace{0.15cm}\underline {= 0.37},\\
\varphi _y ( { 2T_{\rm A} } ) = 0 + 0.25 \hspace{0.15cm}\underline {= 0.25}.$$

:6.  Durch die Konstante wird die Streuung nicht verändert, das heißt, es gilt weiterhin σy = 0.5. Formal kann diese Größe wie folgt berechnet werden:
:$$\sigma _y ^2 = \varphi _y ( 0 ) - \mathop {\lim }\limits_{k \to \infty } \varphi _y ( {k \cdot T_{\rm A} } ) = 0.5 - 0.25 = 0.25.$$

:Auch hiermit erhält man wieder σy = 0.5.

{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.3 Erzeugung vorgegebener AKF-Eigenschaften^]]

Aufgaben:Exercise 5.3Z: Non-Recursive Filter

2016-10-13T19:31:17Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.3 Nichtrekursives Filter nach Aufgaben:5.3Z Nichtrekursives Filter

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Digitale Filter
}}

[[File:P_ID608__Sto_Z_5_3.png|right|]]
:Betrachtet wird das nebenstehende nichtrekursive Filter mit den Filterkoeffizienten
:$$a_0 = 1,\quad a_1 = 2,\quad a_2 = 1.$$

:Gesucht sind die jeweiligen Ausgangsfolgen 〈yν〉, wenn am Eingang folgende Wertefolgen angelegt werden:

:die Gleichfolge
:$$\left\langle {x_\nu } \right\rangle = \left\langle {g_\nu } \right\rangle = \left\langle {\;1,\;1,\;1,\;1,\;1,\;1,\;1,\;1,\;...} \right\rangle .$$

:die Sinusfolge mit der Periodendauer T0 = 4 · TA:
:$$\left\langle {x_\nu } \right\rangle = \left\langle {s_\nu } \right\rangle = \left\langle {\;0,\;1,\;0, - 1,\;0,\;1,\;0, - 1,\;...} \right\rangle .$$

:Hinweis: Die Aufgabe bezieht sich auf das Kapitel 5.2 im vorliegenden Buch sowie auf das Kapitel 3 im Buch [[Signaldarstellung]].

===Fragebogen===

<quiz display=simple>
{Wie lautet die Filter–Impulsantwort h(t)? Zu welchem Zeitpunkt ν · TA hat diese ihr Maximum?
|type="{}"}
$v$ = { 1 3% }

{Berechnen Sie den Frequenzgang H(f). Wie groß ist der Wert bei f = 0?
|type="{}"}
$H(f = 0)$ = { 4 3% }

{Welche Ausgangsfolge 〈yν〉 ergibt sich für die Gleichfolge 〈gν〉 an seinem Eingang? Interpretieren Sie dieses Ergebnis unter Berücksichtigung von Punkt (b). Welcher Ausgangswert ergibt sich für ν = 4?
|type="{}"}
$Eingangsfolge 〈g_ν〉: y4$ = { 4 3% }

{Welche Ausgangsfolge 〈yν〉 ergibt sich für die Folge 〈sν〉 am Eingang? Welcher Ausgangswert ergibt sich für ν = 4?
|type="{}"}
$Eingangsfolge 〈s_ν〉: y4$ = - { 2 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die Impulsantwort lautet:
:$$h(t) = \delta (t) + 2 \cdot \delta ( {t - T_{\rm A} } ) + \delta ( {t - 2T_{\rm A} } ).$$

:Das Maximum liegt bei TA, d. h. es ist ν = 1.

:2.  Der Frequenzgang H(f) ist die Fouriertransformierte der Impulsantwort h(t). Die um TA nach links verschobene Impulsantwort
:$$h'(t) = \delta ( {t + T_{\rm A} } ) + 2 \cdot \delta ( t ) + \delta ( {t - T_{\rm A} } )$$

:ist symmetrisch um t = 0 und hat dementsprechend den rein reellen Frequenzgang
:$$H'(f) = 2\left( {1 + \cos ( {2{\rm{\pi }}fT_{\rm A} } )} \right).$$

:Durch Anwendung des Verschiebungssatzes folgt weiter:
:$$H(f) = 2\left( {1 + \cos ( {2{\rm{\pi }}fT_{\rm A} } )} \right) \cdot {\rm{e}}^{ - {\rm{j}}2{\rm{\pi }}fT_{\rm A} } .$$

:Der Wert des Frequenzgangs bei der Frequenz f = 0 ist demzufolge H(f = 0) = 4.

:3.  Die zeitdiskrete Faltung der Eingangsfolge 〈gν〉 mit der Impulsantwort 〈hν〉 = 〈1, 2, 1〉 ergibt
:$$\left\langle {y_\nu } \right\rangle = \left\langle {\;1,\;3,\;4,\;4,\;4,\;4,\;4,\;4,\;4,\;4,\;4,\;...\;} \right\rangle $$

:und insbesondere y4 = 4. Mit Ausnahme der Werte y0 und y1 (Einschwingvorgang) erhält man auch am Ausgang eine Gleichfolge mit dem Wert 4:
:$$y(t) = H( {f = 0} ) \cdot x( t ).$$

:4.  Analog zur Teilaufgabe (c) erhält man nun durch Verschiebung, Gewichtung mit a1, a2, a3 und anschließender Überlagerung:
:$$\left\langle {y_\nu } \right\rangle = \left\langle {\;0,\;1,\;2,\;0,\; - 2,\;0,\;2,\;0,\; - 2,\;0,\;...\;} \right\rangle .$$

:Der gesuchte Wert ist somit y4 = –2.

:Anderer Lösungsweg: Die Eingangsfolge 〈xν〉 verläuft sinusförmig mit der Periode 4 · TA. Die Grundfrequenz ist dementsprechend f0 = 1/(4 · TA). Bei dieser Frequenz hat der Frequenzgang H(f) folgenden Wert (vgl. Punkt b):
:$$H( {f = f_0 } ) = 2\left( {1 + \cos ( {{{\rm{\pi }}}/{2}} )} \right) \cdot {\rm{e}}^{ - {\rm{j\pi /2}}} = 2 \cdot {\rm{e}}^{ - {\rm{j\pi /2}}} .$$

:Lässt man den Einschwingungsvorgang (abgeschlossen bei t = 2 · TA) außer Betracht, so ergibt sich mit τ = TA (Phase: 90°) folgender Zusammenhang zwischen Eingangs- und Ausgangssignal:
:$$y(t) = 2 \cdot x( {t - T_{\rm A} } ).$$

:Aus der Sinusfunktion wird die Funktion &bdquo;Minus-Cosinus” mit der Amplitude 2.

{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.2 Digitale Filter^]]

Zusatzaufgaben:5.3 Nichtrekursives Filter

2016-10-13T19:31:17Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.3 Nichtrekursives Filter nach Aufgaben:5.3Z Nichtrekursives Filter

#WEITERLEITUNG [[Aufgaben:5.3Z Nichtrekursives Filter]]

Aufgaben:Exercise 5.2Z: Two-Way Channel

2016-10-13T19:31:03Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.2 Zweiwegekanal nach Aufgaben:5.2Z Zweiwegekanal

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Stochastische Systemtheorie
}}

[[File:P_ID517__Sto_Z_5_2.png|right|]]
:Von einem Übertragungssystem ist bekannt, dass zwischen dem Eingangssignal x(t) und dem Ausgangssignal y(t) der folgende Zusammenhang besteht:
:$$y(t) = x( {t - \tau _1 } ) + \alpha \cdot x( {t - \tau _2 } ).$$

:Die dazugehörige Impulsantwort h(t) ist rechts skizziert.

:Verwenden Sie für die numerischen Berechnungen stets den Wert α = 0.5. Für die Teilaufgaben (1) und (2) gelte zudem τ1 = 0 und τ2 = 4 ms. Für die späteren Aufgabenteile soll von τ1 = 1 ms und τ2 = 5 ms ausgegangen werden.

:In der unteren Skizze ist die Funktion
:$$h(t) * h( { - t} )\circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\,\left| {H(f)} \right|^2$$

:dargestellt, wobei die Parameter C0, C3 und τ3 von α, τ1 und τ2 abhängen (siehe Teilaufgabe 4).

:Das Eingangssignal x(t) sei bandbegrenztes weißes Rauschen mit der Leistungsdichte N0 = 1 μW und der Bandbreite B = 10 kHz, woraus sich die Leistung Px = 10 mW berechnen lässt.

:Hinweis: Diese Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 5.1.

===Fragebogen===

<quiz display=simple>
{Berechnen Sie den Frequenzgang H(f) für τ1 = 0 und τ2 = 4 ms. Zeigen Sie, dass H(f) eine mit f0 periodische Funktion ist. Wie groß ist f0?
|type="{}"}
$f_0$ = { 0.25 3% } $kHz$

{Wie groß ist |H(f = 0)|2 mit τ1 = 0, τ2 = 4 ms, α = 0.5?
|type="{}"}
$|H(f = 0)|^2$ = { 2.25 3% }

{Wie verändert sich die Funktion |H(f)|2 mit τ1 = 1 ms und τ2 = 5 ms? Die Dämpfungskonstante α sei weiterhin 0.5. Geben Sie den Wert bei f = 0 ein.
|type="{}"}
$|H(f = 0)|^2$ = { 0.3 }

{Es gelte weiterhin α = 0.5, τ1 = 1 ms und τ2 = 5 ms. Welche Werte ergeben sich für die Funktionsparameter von h(t) ∗ h(–t) entsprechend der Skizze?
|type="{}"}
$C_0$ = { 1.25 3% }
$C_3$ = { 0.5 3% }
$\tau_3$ = { 4 3% } $ms$

{Wie groß ist die Leistung des Ausgangssignals y(t)?
|type="{}"}
$P_y$ = { 12.5 3% } $mW$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  H(f) ist die Fouriertransformierte zu h(t). Mit dem Verschiebungssatz lautet diese (τ1 = 0):
:$$H(f) = 1 + \alpha \cdot {\rm{e}}^{ - {\rm{j2\pi }}f\tau _2 } = 1 + \alpha \cdot \cos ( {{\rm{2\pi }}f\tau _2 } ) - {\rm{j}} \cdot \alpha \cdot \sin ( {{\rm{2\pi }}f\tau _2 } ).$$

:Falls H(f) periodisch mit f0 ist, muss für alle ganzzahligen Werte von i gelten:
:$$H( {f + i \cdot f_0 } ) = H( f ).$$

:Mit f0 = 1/τ2 = 0.25 kHz ist diese Bedingung erfüllt.
:$$H( {f + i \cdot f_0 } ) = 1 + \alpha \cdot \cos ( {{\rm{2\pi }}f\tau _2 + i{\rm{2\pi }}f_0 \tau _2 } ) - {\rm{j}} \cdot \alpha \cdot \sin ( {{\rm{2\pi }}f\tau _2 + i{\rm{2\pi }}f_0 \tau _2 } ) \\= 1 + \alpha \cdot \cos ( {{\rm{2\pi }}f\tau _2 } ) - {\rm{j}} \cdot \alpha \cdot \sin ( {{\rm{2\pi }}f\tau _2 } ).$$

:2.  Das Betragsquadrat ist die Summe von quadriertem Realteil und quadriertem Imaginärteil:
:$$\left| {H( f )} \right|^2 = \left( {1 + \alpha \cdot \cos ( A )} \right)^2 + \left( {\alpha \cdot \sin ( A )} \right)^2 .$$

:Hierbei ist das Argument der Winkelfunktionen mit A = 2πfτ2 abgekürzt. Nach Ausmultiplizieren unter Berücksichtigung von cos2(A) + sin2(A) = 1 erhält man:
:$$\left| {H(f)} \right|^2 = 1 + \alpha ^2 + 2\alpha \cdot \cos ( A ).$$

:Bei der Frequenz f = 0 (und somit A = 0) ergibt sich allgemein bzw. mit α = 0.5:
:$$\left| {H( {f = 0} )} \right|^2 = \left( {1 + \alpha } \right)^2 = 1.5^2\hspace{0.15cm} \underline{ = 2.25}.$$

:3.  Nun lässt sich das Übertragungssystem aus zwei Teilsystemen zusammensetzen (siehe Skizze):
[[File:P_ID551__Sto_Z_5_2_c.png|center|]]

:Die Übertragungsfunktion H1(f) ist wie unter b) berechnet. Für H2(f) gilt mit τ1 = 1 ms:
:$$H_2 (f) = {\rm{e}}^{ - {\rm{j2\pi }}f\tau _1 } \quad \Rightarrow \quad \left| {H_2 (f)} \right| = 1\quad \Rightarrow \quad \left| {H_2 (f)} \right|^2 = 1.$$

:Das bedeutet: Durch die zusätzliche Laufzeit wird |H(f)|2 gegenüber der Teilaufgabe b) nicht verändert. Bei der Frequenz f = 0 gilt also weiterhin |H(f = 0)|2 = 2.25.

:4.  Durch Vergleich der gezeichneten Funktion h(t) ∗ h(–t) mit dem Ergebnis von b) erhält man:
:$$C_0 = 1 + \alpha ^2 \hspace{0.15cm} \underline{= 1.25},
\hspace{0.5cm}C_3 = \alpha \hspace{0.15cm} \underline{= 0.5},
\hspace{0.5cm}\tau _3 = \tau _2 - \tau _1 \hspace{0.15cm} \underline{= 4\;{\rm{ms}}}.$$

:5.  Das LDS des Ausgangssignals y(t) ist auf den Bereich von ±B begrenzt und ergibt sich zu
:$${\it \Phi}_y(f) = {N_0}/{2} \cdot |H(f)|^2 = N_0/{2} \cdot {\left( {1 + \alpha ^2 + 2\alpha \cdot \cos ( {2{\rm{\pi }}f\tau _3 } )} \right)}.$$

:Unter Ausnutzung von Symmetrieeigenschaften erhält man somit für die Leistung:
:$$P_y = N_0 \cdot \int_0^B {\left( {1 + \alpha ^2 + 2\alpha \cdot \cos ( {2{\rm{\pi }}f\tau _3 } )} \right)}\hspace{0.1cm} {\rm{d}}f.$$

:Da B = 10 kHz ein ganzzahliges Vielfaches der Frequenzperiode f0 = 1/τ3 = 250 Hz ist (vgl. Lösung zu Teilaufgabe 1), trägt die Cosinus-Funktion nicht zum Integral bei, und man erhält:
:$$P_y = N_0 \cdot B \cdot \left( {1 + \alpha ^2 } \right) = 1.25 \cdot P_x \hspace{0.15cm} \underline{ = 12.5\;{\rm{mW}}}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.1 Stochastische Systemtheorie^]]

Zusatzaufgaben:5.2 Zweiwegekanal

2016-10-13T19:31:03Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.2 Zweiwegekanal nach Aufgaben:5.2Z Zweiwegekanal

#WEITERLEITUNG [[Aufgaben:5.2Z Zweiwegekanal]]

Aufgaben:Exercise 5.1Z: Cosine Square Noise Limitation

2016-10-13T19:30:50Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.1 cos^2-Rauschbegrenzung nach Aufgaben:5.1Z cos^2-Rauschbegrenzung

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Stochastische Systemtheorie
}}

[[File:P_ID491__Sto_Z_5_1.png|right|]]
:Wir betrachten ein bandbegrenztes weißes Rauschsignal x(t) mit dem oben skizzierten Leistungsdichtespektrum Φx(f). Dieses ist im Bereich |f| ≤ Bx konstant gleich N0/2 und außerhalb gleich Null. 
:Gehen Sie von folgenden Zahlenwerten aus:

:* N0 = 10–16 V²/Hz, Bx = 10 kHz.

:Dieses Signal wird an den Eingang eines Tiefpassfilters mit dem Frequenzgang
$$H(f) = \left\{ {\begin{array}{*{20}c} {\cos ^2 \left( {\frac{{{\rm{\pi }}f}}{2f_0 }} \right)} & {\rm{f\ddot{u}r}\quad \left| \it f \right| \le \it f_{\rm 0} ,} \\ 0 & {{\rm{sonst}}} \\\end{array}} \right.$$

:angelegt. Hierbei bezeichnet f0 die absolute Filterbandbreite, die zwischen Bx/2 und 2Bx variieren kann.

:Das Filterausgangssignal wird mit y(t) bezeichnet.

:Hinweis: Diese Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 3.5, Kapitel 4.5 und Kapitel 5.1. Benutzen Sie, falls nötig, die nachfolgenden Gleichungen:
:$${\rm Q}(x) \approx \frac{1}{{\sqrt {2{\rm{\pi }}} \cdot x}} \cdot {\rm{e}}^{ - x^2 /2} \quad {\rm{(f\ddot{u}r }}\;{\rm{grösse }}\;x{\rm{)}}{\rm{,}}$$
:$$\int {\rm{cos}}^{\rm{2}}( {ax} )\hspace{0.1cm}{\rm{d}}x = \frac{1}{2} \cdot x + \frac{1}{4a} \cdot \sin ( {2ax} ),$$
:$$\int {\cos ^4 } ( {ax} )\hspace{0.1cm}{\rm{d}}x = \frac{3}{8} \cdot x + \frac{1}{4a} \cdot \sin ( {2ax} ) + \frac{1}{32a} \cdot \sin ( {4ax} ).$$

===Fragebogen===

<quiz display=simple>
{Wie groß ist der Effektivwert des Eingangssignals x(t)?
|type="{}"}
$\sigma_x$ = { 1 3% } $\mu V$

{Wie groß ist die Wahrscheinlichkeit, dass ein momentaner Spannungswert des Eingangssignals betragsmäßig größer als 5 μV ist?
|type="{}"}
$Pr(|x(t)| > 5 μV)$ = { 6 3% } $\cdot 10^{-7}$

{Wie groß ist der Mittelwert (Gleichanteil) des Ausgangssignals y(t)?
|type="{}"}
$m_y$ = { 0 3% } $\mu V$

{Berechnen Sie den Effektivwert des Ausgangssignals y(t) für
f0 = Bx/2.
|type="{}"}
$f_0 = B_x/2:\ \ \sigma_y$ = { 0.433 3% } $\mu V$

{Berechnen Sie den Effektivwert von y(t) unter der Bedingung f0 = 2Bx.
|type="{}"}
$f_0 = 2B_x:\ \ \sigma_y$ = { 0.731 3% } $\mu V$

{Es gelte weiter f0 = 2Bx. Wie groß ist die Wahrscheinlichkeit, dass das Ausgangssignal y(t) betragsmäßig größer als 5 μV ist?
|type="{}"}
$Pr(|y(t)| > 5 \mu V)$ = { 8 3% } $\cdot 10^{-12}$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die Varianz (Leistung)  ⇒  Effektivwert zum Quadrat des Signals x(t) beträgt
:$$\sigma _x ^2 = \frac{N_0 }{2} \cdot 2B_x = N_0 \cdot B_x = 10^{ - 12} \;{\rm{V}}^2
\hspace{0.3cm}\Rightarrow\hspace{0.3cm}
\sigma _x \hspace{0.15cm}\underline{ = 1\,\,{\rm \mu}{\rm V}}.$$

:2.  Entsprechend dem Kapitel 3.5 und der hier angegebenen Näherung erhält man:
:$$\Pr \left( {\left| {x(t)} \right| > 5\;{\rm{\mu V}}} \right) = 2 \cdot {\rm Q}(5) = \frac{2}{{\sqrt {2{\rm{\pi }}} \cdot 5}} \cdot {\rm{e}}^{ - 12.5}\hspace{0.15cm} \underline{ \approx 6 \cdot 10^{ - 7}} .$$

:3.  Das Eingangssignal x(t) ist mittelwertfrei (mx = 0), da sonst Φx(f) noch eine Diracfunktion bei f = 0 beinhalten müsste. Der Mittelwert wird durch das lineare Filter nicht verändert  ⇒  my = 0.

:4.  Für das Leistungsdichtespektrum des Ausgangssignals gilt allgemein:
:$${\it \Phi}_y (f) = \frac{N_0 }{2} \cdot \left| {H( f )} \right|^2 .$$

:Damit kann die Varianz σy2 berechnet werden. Unter Ausnützung der Symmetrie erhält man:
:$$\sigma _y ^2 = \frac{N_0 }{2} \cdot \int_{ - \infty }^{ + \infty } {\left| {H( f )} \right|^2 \left( f \right)\hspace{0.1cm}{\rm{d}}f} = N_0 \cdot \int_0^{f_0 } {\cos ^4 } \left( {\frac{{{\rm{\pi }}f}}{2f_0 }} \right)\hspace{0.1cm}{\rm{d}}f .$$

:Das bestimmte Integral ist vorgegeben. Bei jedem der drei Lösungsterme ergibt sich für die untere Grenze der Wert 0. Daraus folgt:
:$$\sigma _y ^2 = \frac{N_0}{2} \cdot \left( {\frac{3}{8} \cdot f_0 + \frac{f_0 }{{2{\rm{\pi }}}} \cdot \sin ( {\rm{\pi }} ) + \frac{f_0 }{{16{\rm{\pi }}}} \cdot \sin ( {{\rm{2\pi }}} )} \right) = \frac{3}{8} \cdot N_0 \cdot f_0 .$$
:$$f_0 = B_x/2:\hspace{0.2cm}\sigma _y ^2 = \frac{3}{16} \cdot N_0 \cdot B_x = \frac{3}{16} \cdot \sigma _x ^2 = 0.1875 \cdot 10^{ - 12} \;{\rm{V}}^2 \hspace{0.2cm}\Rightarrow \hspace{0.2cm}\sigma _y \hspace{0.15cm}\underline{ = 0.433\;{\rm{\mu V}}}{\rm{.}}$$

:5.  Nun besitzt das Eingangs-LDS für |f| > Bx keine Anteile. Deshalb gilt:
:$$\sigma _y ^2 = N_0\cdot \int_0^{B_x } {\cos ^4 \left( {\frac{{{\rm{\pi }}f}}{2f_0 }} \right)\hspace{0.1cm}{\rm{d}}f = N_0 \cdot \int_0^{f_0 /2} {\cos ^4 } \left( {\frac{{{\rm{\pi }}f}}{2f_0 }} \right)\hspace{0.1cm}{\rm{d}}f.}$$

:Die numerische Auswertung liefert hierfür:
:$$\sigma _y ^2 = N_0 \left( {\frac{3}{8} \cdot B_x + \frac{B_x }{{2{\rm{\pi }}}} \cdot \sin ( {\frac{{\rm{\pi }}}{2}} ) + \frac{B_x }{{{\rm{16\pi }}}} \cdot \sin ( {\rm{\pi }} )} \right)$$
:$$ \Rightarrow \sigma _y ^2 = N_0 \cdot B_x \left( {\frac{3}{8} + \frac{1}{{2{\rm{\pi }}}}} \right) = 0.534\cdot \sigma _x ^2 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\sigma _y \hspace{0.15cm}\underline{ = 0.731\;{\rm{\mu V}}}{\rm{.}}$$

:6.  Analog zur Musterlösung der Teilaufgabe (b) gilt:
:$$\Pr \left( {\left| {y\left( t \right)} \right| > 5\;{\rm{\mu V}}} \right) = 2 \cdot {\rm Q}\left( {\frac{{5\;{\rm{\mu V}}}}{{0.731\;{\rm{\mu V}}}}} \right) = 2 \cdot {\rm Q}( {6.84} ).$$

:Mit der angegebenen Näherung hat diese Wahrscheinlichkeit den Wert 8 · 10–12.
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^5.1 Stochastische Systemtheorie^]]

Zusatzaufgaben:5.1 cos^2-Rauschbegrenzung

2016-10-13T19:30:50Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:5.1 cos^2-Rauschbegrenzung nach Aufgaben:5.1Z cos^2-Rauschbegrenzung

#WEITERLEITUNG [[Aufgaben:5.1Z cos^2-Rauschbegrenzung]]

Aufgaben:Exercise 4.16Z: Multi-dimensional Data Reduction

2016-10-13T19:30:37Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.16 2D- und 3D-Datenreduktion nach Aufgaben:4.16Z 2D- und 3D-Datenreduktion

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Verallgemeinerung auf N-dimensionale Zufallsgrößen
}}

[[File:P_ID678__Sto_Z_4_16.png|right|]]
:Wir betrachten Gaußsche mittelwertfreie Zufallsgrößen x, y und z mit den Dimensionen N = 1, N = 2 und N = 3:

:* Die eindimensionale Zufallsgröße x ist durch die Varianz σ2 = 1 bzw. die Streuung σ = 1 charakterisiert. Wegen der Dimension N = 1 gilt x = x.

:* Der Korrelationskoeffizient zwischen den Komponenten y1 und y2 der 2D-Zufallsgröße y beträgt ρ = 1/3 (siehe Matrix Ky). y1 und y2 weisen ebenfalls die Streuung σ = 1 auf.

:* Die Statistik der dreidimensionalen Zufallsgröße z ist durch die Korrelationsmatrix Kz vollständig bestimmt.

:Quantisiert man die Zufallsgröße x im Bereich zwischen –4 und +4 mit Intervallbreite Δx = 1/32, so gibt es insgesamt N1 = 256 unterschiedliche Quantisierungswerte, für deren Übertragung somit n1 = 8 Bit benötigt würden.

:Analog ergeben sich bei der Zufallsgröße y insgesamt N2 = 2562 = 65536 unterschiedliche quantisierte Wertepaare, wenn man die Korrelation zwischen y1 und y2 nicht berücksichtigt. Durch Ausnutzung dieser Korrelation – zum Beispiel durch Koordinatentransformation vom Ursprungsystem (y1, y2) zum neuen System (η1, η2) – ergibt sich eine geringere Zahl N2' quantisierter Wertepaare.

:Hierbei ist zu berücksichtigen, dass jede Komponente entsprechend ihrer jeweiligen Streuung (σ1 bzw. σ2) im Bereich von –4σi bis +4σi zu quantisieren ist und die Quantisierungsintervalle in beiden Richtungen gleich sein sollen: Δx = Δy = 1/32.

:Den Quotienten N2'/N2 bezeichnen wir als Datenreduktionsfaktor bezüglich der 2D-Zufallsgröße y. In analoger Definition ist N3'/N3 der entsprechende Reduktionsfaktor der 3D-Zufallsgröße z für Δx = Δy = Δz = 1/32. Anzumerken ist, dass in beiden Fällen ein möglichst kleiner Wert günstig ist.

:Hinweis: Diese Aufgabe bezieht sich auf die Seite Eigenwerte und Eigenvektoren im Kapitel 4.7. Die Bestimmungsgleichung der Eigenwerte von Kz lautet:
:$$\lambda^3 - 3 \lambda^2 + \frac{24}{9}\lambda - \frac{20}{27} = 0.$$
:Eine der drei Lösungen dieser Gleichung ist λ1 = 5/3.

===Fragebogen===

<quiz display=simple>
{Berechnen Sie die Eigenwerte der Korrelationsmatrix Ky. Es gelte λ1 ≥ λ2.
|type="{}"}
$\lambda_1$ = { 1.333 3% }
$\lambda_2$ = { 0.667 3% }

{Wie groß ist der Datenreduktionsfaktor bei der 2D-Zufallsgröße y?
|type="{}"}
$N_2'/N_2$ = { 0.943 3% }

{Es gelte λ1 = 5/3. Berechnen Sie die Eigenwerte λ2 und λ3 ≤ λ2 von Kz.
|type="{}"}
$\lambda_2$ = { 0.667 3% }
$\lambda_3$ = { 0.667 3% }

{Wie groß ist der Datenreduktionsfaktor bei der 3D-Zufallsgröße z?
|type="{}"}
$N_3'/N_3$ = { 0.861 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Aus der Bedingung Ky – λ · E = 0 folgt:
:$${\rm det}\left[ \begin{array}{cc}
1- \lambda & 1/3 \\
1/3 & 1- \lambda
\end{array} \right] = (1-\lambda)^2 -\frac{1}{9} = 0$$
:$$\Rightarrow \hspace{0.3cm}\lambda^2 -2\lambda+ \frac{8}{9}= 0
\hspace{0.3cm}\Rightarrow \hspace{0.3cm}\lambda_{1/2}= 1 \pm
\sqrt{1-\frac{8}{9}}= 1 \pm \frac{1}{3}.$$

:Die Eigenwerte dieser 2×2-Matrix sind somit λ1 = 4/3 und λ2 = 2/3.

:2.  Ohne Berücksichtigung von Korrelationen gibt es
:$$N_2 = \left( \frac{8}{\it \Delta_x}\right)^2= 256^2 = 65536$$

:verschiedene Wertepaare. Unter Berücksichtigung der Korrelationen und des Sachverhaltes, dass die beiden durch Koordinatendrehung entstandenen Komponenten η1 und η2 jeweils im Bereich von –4σ1 bis +4σ1 (bzw. von –4σ2 bis +4σ2) zu quantisieren sind, erhält man
:$$N_2' = \frac{8 \hspace{0.05cm}\sigma_1}{\it \Delta_x}\cdot\frac{8
\hspace{0.05cm}\sigma_2}{\it \Delta_y}= N_2 \cdot \sigma_1 \cdot
\sigma_2 .$$

:Der Quotient lautet somit mit σ12 = λ1 und σ22 = λ2:
:$$\frac{N_2'}{N_2} = \sigma_1 \cdot \sigma_2 = \sqrt{{4}/{3}}
\cdot \sqrt{{2}/{3}} = \frac{2 \cdot \sqrt{2}}{3} \hspace{0.15cm}\underline{ \approx 0.943}.$$

:3.  Die Bestimmungsgleichung der Eigenwerte von Kz lautet:
:$${\rm det} \left[ \begin{array}{ccc}
1-\lambda & 1/3 & 1/3\\
1/3 & 1-\lambda & 1/3\\
1/3 & 1/3 & 1-\lambda
\end{array}\right] = 0$$
:$$\Rightarrow \hspace{0.3cm}(1- \lambda) \left[(1- \lambda)^2 -
\frac{1}{9} \right]- \frac{1}{3} \left[\frac{1}{3}(1- \lambda) -
\frac{1}{9} \right] + \frac{1}{3} \left[\frac{1}{9} -
\frac{1}{3}(1- \lambda)
\right] = 0$$
:$$\Rightarrow \hspace{0.3cm}(1- \lambda) (\lambda^2 -2\lambda+
\frac{8}{9})- \frac{1}{9} (\frac{2}{3}- \lambda )+ \frac{1}{9} (
\lambda - \frac{2}{3})= 0$$
:$$\Rightarrow \hspace{0.3cm}\lambda^2 - 2\lambda + \frac{8}{9} -
\lambda^3 + 2 \lambda^2 - \frac{8}{9}\lambda - \frac{4}{27} +
\frac{2}{9}\lambda = 0$$
:$$\Rightarrow \hspace{0.3cm}\lambda^3 - 3 \lambda^2 +
\frac{24}{9}\lambda - \frac{20}{27} = 0.$$

:Diese Gleichung wurde bereits als Lösungshinweis angegeben, ebenso wie eine der Lösungen: λ1 = 5/3. Damit ergibt sich die Bestimmungsgleichung für die weiteren Eigenwerte λ2 und λ3 zu
:$$\frac{\lambda^3 - 3 \lambda^2 + {24}/{9}\lambda -
{20}/{27}}{\lambda -{5}/{3}} = \lambda^2 -
{4}/{3} \cdot \lambda + {4}/{9} =0.$$

:Diese Bestimmungsgleichung lässt sich wie folgt umformen:
:$$(\lambda - {2}/{3})^2 =0.$$

:Die weiteren Eigenwerte neben λ1 = 5/3 sind somit gleich und ergeben sich zu λ2 = λ3 = 2/3.

:4.  Analog zur Vorgehensweise unter Punkt b) ergibt sich hier:
:$$\frac{N_3'}{N_3} = \sqrt{\lambda_1 \cdot \lambda_2\cdot
\lambda_3} = \sqrt{\frac{5}{3} \cdot \frac{2}{3}\cdot \frac{2}{3}}
= \sqrt{\frac{20}{27}} \hspace{0.15cm}\underline{ \approx 0.861}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.7 Verallgemeinerung auf N-dimensionale Zufallsgrößen^]]

Zusatzaufgaben:4.16 2D- und 3D-Datenreduktion

2016-10-13T19:30:37Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.16 2D- und 3D-Datenreduktion nach Aufgaben:4.16Z 2D- und 3D-Datenreduktion

#WEITERLEITUNG [[Aufgaben:4.16Z 2D- und 3D-Datenreduktion]]

Aufgaben:Exercise 4.16Z: Multi-dimensional Data Reduction

2016-10-13T19:30:20Z

Nabil:

Aufgaben:Exercise 4.15Z: Statements of the Covariance Matrix

2016-10-13T19:29:20Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.15 Aussagen der Kovarianzmatrix nach Aufgaben:4.15Z Aussagen der Kovarianzmatrix

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Verallgemeinerung auf N-dimensionale Zufallsgrößen
}}

[[File:P_ID664__Sto_Z_4_15.png|right|]]
:Gegeben seien die beiden Gaußschen Zufallsgrößen u und υ, jeweils mittelwertfrei und mit Varianz σ2 = 1. Daraus werden durch Linearkombination drei neue Zufallsgrößen gebildet:
:$$x_1 = A_1 \cdot u + B_1 \cdot v,$$
:$$x_2 = A_2 \cdot u + B_2 \cdot v,$$
:$$x_3 = A_3 \cdot u + B_3 \cdot v.$$

:Vorausgesetzt wird, dass in allen Fällen (i = 1, 2, 3) gilt:
:$$A_i^2 + B_i^2 =1.$$

:In der Grafik sehen Sie drei Signalverläufe x1(t), x 2(t) und x3(t) entsprechend den Parametern

:* A1 = B2 = 1,

:* B1 = A2 = 0,

:* A3 = 0.8, B3 = 0.6.

:Dieser Parametersatz wird für die Teilaufgabe (3) vorausgesetzt.

:Der Korrelationskoeffizient ρij zwischen den Zufallsgrößen xi und xj wird wie folgt angegeben:
:$$\rho_{ij} = \frac{A_i \cdot A_j + B_i \cdot B_j}{\sqrt{(A_i^2 +
B_i^2)(A_j^2 + B_j^2)}} = A_i \cdot A_j + B_i \cdot B_j.$$

: Unter der hier implizit getroffenen Annahme σ12 = σ22 = σ32 = 1 lautet die Kovarianzmatrix K, die bei mittelwertfreien Zufallsgrößen identisch mit der Korrelationsmatrix R ist:
:$${\mathbf{K}} =\left[ K_{ij} \right] = \left[ \begin{array}{ccc}
1 & \rho_{12} & \rho_{13} \\ \rho_{12} & 1 & \rho_{23} \\
\rho_{13} & \rho_{23} & 1
\end{array} \right] .$$

:Hinweis: Die Aufgabe bezieht sich auf die theoretischen Grundlagen von Kapitel 4.7. Einige Grundlagen zur Anwendung von Vektoren und Matrizen finden sich auf den folgenden Seiten:      Determinante einer Matrix,      Inverse einer Matrix.

===Fragebogen===

<quiz display=simple>
{Welche der nachfolgenden Aussagen sind zutreffend? Begründung.
|type="[]"}
- K kann geeigneter Wahl von A1, ... , B3 eine Diagonalmatrix sein. Oder anders ausgedrückt: ρ12 = ρ13 = ρ23 = 0 ist möglich.
+ Bei geeigneter Wahl der Parameter A1, ... , B3 kann genau einer der Korrelationskoeffizienten ρij gleich 0 sein.
- Bei geeigneter Wahl der Parameter A1, ... , B3 können genau zwei der Korrelationskoeffizienten ρij gleich 0 sein.
+ Bei geeigneter Wahl der Parameter A1, ... , B3 können alle drei Korrelationskoeffizienten ρij ungleich 0 sein.

{Wie lauten die Matrixelemente mit A1 = A2 = –A3 und B1 = B2 = –B3?
|type="{}"}
$\rho_\text{12}$ = { 1 3% }
$\rho_\text{13}$ = - { 1 3% }
$\rho_\text{23}$ = - { 1 3% }

{Berechnen Sie die Koeffizienten ρij für den in der Grafik dargestellten Fall, also für    A1 = 1, B 1 = 0; A2 = 0, B2 = 1; A3 = 0.8, B3 = 0.6.
|type="{}"}
$\rho_\text{12}$ = { 0 3% }
$\rho_\text{13}$ = { 0.8 3% }
$\rho_\text{23}$ = { 0.6 3% }

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Die zweite und die letzte Aussage treffen zu. Aussage 2 beschreibt den in der Grafik betrachteten Fall, dass zwei Größen (hier: x1 und x2) unkorreliert sind, während x3 statistische Bindungen bezüglich x1 (über die Größe u) und auch in Bezug zu x2 (bedingt durch die Zufallsgröße v) aufweist.

:Die Kombination ρ12 = ρ13 = ρ23 = 0 ist bei der hier gegebenen Struktur dagegen nicht möglich. Dazu würde man eine dritte statistisch unabhängige Zufallsgröße w benötigen und es müsste beispielsweise x1 = u, x2 = υ und x3 = w gelten.

:Die dritte Aussage ist ebenfalls nicht zutreffend: Sind x1 und x2 unkorreliert und gleichzeitig auch x1 und x3, so können auch zwischen x2 und x3 keine statistischen Bindungen bestehen.

:Im Allgemeinen werden allerdings sowohl ρ12 als auch ρ13 und ρ23 von 0 verschieden sein. Ein ganz einfaches Beispiel hierfür wird in der Teilaufgabe 2) betrachtet.

:2.  In diesem Fall sind die Größen x1 = x2 vollständig (zu 100%) korreliert. Mit A2 = A1 und B2 = B1 erhält man für den gemeinsamen Korrelationskoeffizienten:
:$$\rho_{12} = A_1 \cdot A_2 + B_1 \cdot B_2 = A_1^2 + B_1^2 \hspace{0.15cm}\underline{=1}.$$

:In gleicher Weise gilt mit A3 = –A1 und B3 = –B1:
:$$\rho_{13} = A_1 \cdot A_3 + B_1 \cdot B_3 = -(A_1^2 + B_1^2) \hspace{0.15cm}\underline{=-1
\hspace{0.1cm}(= \rho_{23})}.$$

:3.  Mit diesem Parametersatz ist x1 identisch mit der Zufallsgröße u, während x2 = υ gilt. Da u und υ statistisch voneinander unabhängig sind, ergibt sich ρ12 = 0. Demgegenüber gilt für die beiden weiteren Korrelationskoeffizienten:
:$$\rho_{13} = A_1 \cdot A_3 + B_1 \cdot B_3 = 1 \cdot 0.8 + 0 \cdot
0.6 \hspace{0.15cm}\underline{ = 0.8}.$$

:Für ein (sehr gut) geschultes Auge ist aus der Grafik auf der Angabenseite zu erkennen, dass das Signal x3(t) mehr Ähnlichkeiten mit x1(t) aufweist als mit x2(t). Diese Tatsache drücken auch die berechneten Korrelationskoeffizienten aus.

{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.7 Verallgemeinerung auf N-dimensionale Zufallsgrößen^]]

Zusatzaufgaben:4.15 Aussagen der Kovarianzmatrix

2016-10-13T19:29:20Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.15 Aussagen der Kovarianzmatrix nach Aufgaben:4.15Z Aussagen der Kovarianzmatrix

#WEITERLEITUNG [[Aufgaben:4.15Z Aussagen der Kovarianzmatrix]]

Aufgaben:Exercise 4.14Z: Echo Detection

2016-10-13T19:28:38Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.14 Auffinden von Echos nach Aufgaben:4.14Z Auffinden von Echos

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Kreuzkorrelationsfunktion und Kreuzleistungsdichte
}}

[[File:P_ID440__Sto_Z_4_14.png|right|]]
:Zur Messung akustischer Echos in Räumen – zum Beispiel bedingt durch Reflexionen an einer Wand – kann die nebenstehende Anordnung verwendet werden. Der Rauschgenerator erzeugt ein &bdquo;im relevanten Frequenzbereich Weißes Rauschen” x(t) mit der Rauschleistungsdichte N0 = 10–6 W/Hz. Dieses ist bandbegrenzt auf Bx = 20 kHz und wird auf einen Lautsprecher gegeben. Die gesamte Messeinrichtung ist für den Widerstandswert R = 50 Ω ausgelegt.

:Das vom Mikrofon aufgenommene Signal ist im allgemeinsten Fall wie folgt beschreibbar:
:$$y(t) = \sum_{\mu = 1}^M \alpha_\mu \cdot x ( t - t_\mu ) .$$

:Hierbei bezeichnen αμ Dämpfungsfaktoren und tμ Laufzeiten.

:Bei dem hier gezeichneten Zweiwegemodell gilt M = 2: Zu dem direkten Pfad S1 kommt hier der Umweg S2 hinzu. Benutzen Sie für numerische Berechnungen die Parameterwerte
:$$\alpha_1 = 0.5, \hspace{0.2cm}t_1 = 200 \,{\rm ms}, \hspace{0.2cm}, \alpha_2 = 0.1, \hspace{0.2cm}t_2 = 250 \,{\rm ms}.$$

:Hinweis: Diese Aufgabe bezieht sich auf den Lehrstoff von Kapitel 4.6.

===Fragebogen===

<quiz display=simple>
{Geben Sie die AKF φx(τ) am Sender an. Wie lautet diese umgerechnet auf den Widerstand R = 1 Ω? Wie groß ist der Effektivwert σx?
|type="{}"}
$\sigma_x$ = { 1 3% } $V$

{Berechnen Sie die KKF φxy(τ) zwischen Sende– und Empfangssignal. Welche Werte ergeben sich für τ = 0, τ = t1 und τ = t2?
|type="{}"}
φxy(τ = 0) = { 0 3% } $V^2$
φxy(τ = 200 ms) = { 0.5 3% } $V^2$
φxy(τ = 250 ms) = { 0.1 3% } $V^2$

{Berechnen Sie das Kreuzleistungsdichtespektrum Φxy(f). Welcher Wert ergibt sich bei der Frequenz f = 0?
|type="{}"}
$\phi_\text{xy}(f = 0)$ = { 15 3% } $.10^{-6}\ V^2/Hz$

{Welche der nachfolgenden Aussagen sind zutreffend, wenn Sie anstelle der in (a) berechneten AKF die Näherung φx(τ) ≈ N0/2 · δ(τ) verwenden?
|type="[]"}
+ Das Rauschen ist nun &bdquo;echt” weiß – also nicht bandbegrenzt.
- Die Rauschleistung wird gegenüber Punkt (1) vermindert.
+ Die KKF ist die Summe gewichteter und verschobener Diracs.
- Das Kreuzleistungsdichtespektrum ist wie unter (3) berechnet.

{Berechnen Sie unter Verwendung der Näherung φx(τ) ≈ N0/2 · δ(τ) die AKF φy(τ). Welche Gewichte ergeben sich bei τ = 0 und τ = Δt = t2 – t1?
|type="{}"}
φy(τ = 0) = { 13 3% } $.10^{-8}\ W/hz$
φy(τ = Δ t) = { 2.5 3% } $.10^{-8}\ W/hz$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Das zweiseitige Leistungsdichtespektrum Φx(f) ist im Bereich von -Bx bis Bx konstant gleich N0/2. Dessen Fouriertransformierte ergibt die AKF:
:$$\varphi_x (\tau) = \frac{N_0}{2} \cdot 2 B_x \cdot {\rm si} (2 \pi B_x \tau) = 0.02 \hspace {0.05cm}{\rm W} \cdot {\rm si} (2 \pi B_x \tau).$$

:Umgerechnet von R = 50 Ω auf R = 1 Ω erhält man somit (Multiplikation mit R = 50 Ω):
:$$\varphi_x (\tau) = 0.02 \hspace {0.05cm}{\rm VA} \cdot 50 \hspace {0.05cm}{\rm V/A}\cdot {\rm si} (2 \pi B_x \tau)= 1 \hspace {0.05cm}{\rm V}^2 \cdot {\rm si} (2 \pi B_x \tau).$$

:Der Effektivwert ist die Wurzel aus dem AKF-Wert bei τ = 0:
:$$\sigma_x \hspace{0.15cm}\underline{= 1 \hspace {0.05cm}{\rm V}}.$$

:2.  Für die KKF gilt im vorliegenden Fall:
:$$\varphi_{xy} (\tau) = \overline {x(t) \hspace{0.05cm}\cdot \hspace{0.05cm}y(t+\tau)} = \overline {x(t) \hspace{0.05cm}\cdot \hspace{0.05cm}\left [ \alpha_1 \cdot x(t- t_1+ \tau)\hspace{0.1cm}+\hspace{0.1cm} \alpha_2 \cdot x(t- t_2+ \tau)\right] } . $$

:Nach Aufspaltung der Mittelwertbildung auf die beiden Terme erhält man hieraus:
:$$\varphi_{xy} (\tau) = \alpha_1 \cdot \overline {x(t) \hspace{0.05cm}\cdot \hspace{0.05cm} x(t- t_1+ \tau)} \hspace{0.1cm}+\hspace{0.1cm} \alpha_2 \cdot \overline {x(t) \hspace{0.05cm}\cdot \hspace{0.05cm} x(t- t_2+ \tau)} .$$

:Unter Verwendung der AKF kann hierfür auch geschrieben werden:
:$$\varphi_{xy} (\tau) = \alpha_1 \cdot {\varphi_{x}(\tau- t_1)} \hspace{0.1cm}+\hspace{0.1cm} \alpha_2\cdot {\varphi_{x}(\tau- t_2)} = \\ = 1 \hspace {0.05cm}{\rm V}^2 \cdot \left[ \alpha_1 \cdot {\rm si} (2 \pi B_x (\tau - t_1)) + \alpha_2 \cdot {\rm si} (2 \pi B_x (\tau - t_2)) \right].$$

:Die si-Funktion weist äquidistante Nulldurchgänge bei allen Vielfachen von 1/(2Bx) = 25 μs auf, jeweils bezogen auf deren Mittellagen bei t1 = 200 ms bzw. t2 = 250 ms.

:Daraus ergeben sich die KKF-Werte zu:
:$$\varphi_{xy} (\tau = 0) \hspace{0.15cm}\underline{= 0} ,$$
:$$\varphi_{xy} (\tau = t_1)= \alpha_1 \cdot \varphi_{x} (\tau = 0) \hspace{0.15cm}\underline{= 0.5\,{\rm V}^2} ,$$
:$$\varphi_{xy} (\tau = t_2)= \alpha_2 \cdot \varphi_{x} (\tau = 0) \hspace{0.15cm}\underline{= 0.1\,{\rm V}^2} .$$

:3.  Das Kreuzleistungsdichtespektrum ist die Fouriertransformierte der KKF, ebenso wie das LDS die Fouriertransformierte der AKF angibt. Mit den Ergebnissen aus 2) und 3) gilt deshalb:
:$${\it \Phi}_{xy} (f) = \alpha_1 \cdot {\it \Phi}_{x} (f) \cdot {\rm e}^{-{\rm j}2 \pi f t_1} \hspace{0.15cm}+ \hspace{0.15cm}\alpha_2 \cdot {\it \Phi}_{x} (f) \cdot {\rm e}^{-{\rm j}2 \pi f t_2}. $$

:Außerhalb des Bereichs |f| ≤ Bx ist das LDS Φx(f) - und dementsprechend auch das KLDS Φxy(f) - identisch 0. Innerhalb dieses Intervalls gilt Φx(f) = N0/2. Daraus folgt in diesem Bereich:
:$${\it \Phi}_{xy} (f) = \frac{N_0}{2} \left( \alpha_1 \cdot {\rm e}^{-{\rm j}2 \pi f t_1} \hspace{0.15cm}+ \hspace{0.15cm}\alpha_2 \cdot {\rm e}^{-{\rm j}2 \pi f t_2} \right). $$

:Es ist ersichtlich, dass Φxy(f) im Gegensatz zu Φx(f) eine komplexe Funktion ist. Bei f = 0 gilt:
:$${\it \Phi}_{xy} (f = 0) = \frac{N_0}{2} \left( \alpha_1 \hspace{0.15cm}+ \hspace{0.15cm}\alpha_2 \right) = 0.3 \cdot 10^{-6}\hspace{0.05cm}{\rm W/Hz} \hspace{0.15cm}\underline{= 15 \cdot 10^{-6}\hspace{0.07cm}{\rm V^2/Hz}} . $$
[[File:P_ID450__Sto_Z_4_14_d.png|right|]]

:4.  Die Fouriertransformierte einer diracförmigen AKF führt zu einem für alle Frequenzen f konstanten LDS, das heißt tatsächlich zu echt &bdquo;Weißem Rauschen”. Dieses besitzt eine unendlich große Leistung, und für die KKF kann dann geschrieben werden:
:$$\varphi_{xy} (\tau) = \frac{\alpha_1 N_0}{2} \cdot {\rm \delta}( \tau - t_1) \hspace {0.1cm}+ \hspace {0.1cm} \frac{\alpha_2 N_0}{2} \cdot {\rm \delta}( \tau - t_2) .$$

:Dieser Verlauf ist in der Grafik oben skizziert.

:Im Frequenzbereich ist für |f| ≤ Bx tatsächlich kein Unterschied gegenüber Teilaufgabe 3) feststellbar. Da nun aber echt weißes Rauschen vorliegt, ist hier im Gegensatz zu Punkt c) das KLDS nicht auf diesen Bereich beschränkt. Richtig sind demnach die Lösungsvorschläge 1 und 3.

:5.  Die AKF des echobehafteten Signals lautet wie folgt:
:$$\varphi_{y} (\tau) = \overline {y(t) \hspace{0.05cm}\cdot \hspace{0.05cm}y(t+\tau)} \\ = \alpha_1^2 \hspace{0.02cm}\cdot\hspace{0.02cm} \overline {x(t - t_1) \hspace{0.02cm}\cdot \hspace{0.02cm}x(t - t_1+ \tau)} \hspace{0.1cm} + \hspace{0.1cm} \alpha_1\hspace{0.02cm}\cdot \hspace{0.02cm}\alpha_2 \hspace{0.02cm}\cdot\hspace{0.02cm} \overline {x(t - t_1) \hspace{0.02cm}\cdot \hspace{0.02cm}x(t - t_2+ \tau)} \\ + \hspace{0.05cm} \alpha_2\hspace{0.02cm}\cdot \hspace{0.02cm}\alpha_1 \hspace{0.02cm}\cdot\hspace{0.02cm} \overline {x(t - t_2) \hspace{0.02cm}\cdot \hspace{0.02cm}x(t - t_1+ \tau)}\hspace{0.1cm} + \hspace{0.1cm}\alpha_2^2 \hspace{0.02cm}\cdot\hspace{0.02cm} \overline {x(t - t_2) \hspace{0.02cm}\cdot \hspace{0.02cm}x(t - t_2+ \tau)}. $$

:Für den ersten und den letzten Mittelwert gilt:
:$$\overline {x(t - t_1) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t - t_1+ \tau)} = \overline {x(t - t_2) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t - t_2+ \tau)} = \overline {x(t ) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t + \tau)} =\varphi_x(\tau).$$

:Dagegen erhält man für den zweiten und den dritten Mittelwert mit Δt = t2 - t1 = 50 ms:
:$$\overline {x(t - t_1) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t - t_2+ \tau)} = \overline {x(t ) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t + t_1- t_2+ \tau)} =\varphi_x(\tau - \Delta t),$$
:$$\overline {x(t - t_2) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t - t_1+ \tau)} = \overline {x(t ) \hspace{0.05cm}\cdot \hspace{0.05cm}x(t + t_2- t_1+ \tau)} =\varphi_x(\tau + \Delta t).$$

:Insgesamt ergibt sich somit wieder eine symmetrische AKF (siehe unteres Bild):
:$$\varphi_{y} (\tau) = \frac{N_0}{2} \cdot \left( ( \alpha_1^2 \hspace{0.1cm} + \hspace{0.1cm} \alpha_2^2 ) \cdot {\rm \delta} (\tau) \hspace{0.1cm} + \hspace{0.1cm} \alpha_1 \cdot \alpha_2 \cdot {\rm \delta}(\tau - \Delta t) \hspace{0.1cm} + \hspace{0.1cm} \alpha_1 \cdot \alpha_2 \cdot {\rm \delta}(\tau + \Delta t) \right).$$
:$$\Rightarrow \hspace{0.3cm}\varphi_{y} (\tau = 0 ) \hspace{0.15cm}\underline{= 13 \cdot 10^{-8}\, {\rm W/Hz}},
\hspace{0.3cm}\varphi_{y} (\tau = \Delta t )\hspace{0.15cm}\underline{ = 2.5 \cdot 10^{-8}\, {\rm W/Hz}}.$$
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.6 Kreuzkorrelationsfunktion und Kreuzleistungsdichte^]]

Zusatzaufgaben:4.14 Auffinden von Echos

2016-10-13T19:28:38Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.14 Auffinden von Echos nach Aufgaben:4.14Z Auffinden von Echos

#WEITERLEITUNG [[Aufgaben:4.14Z Auffinden von Echos]]

Aufgaben:Exercise 4.13Z: AMI Code

2016-10-13T19:28:18Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.13 AMI-Code nach Aufgaben:4.13Z AMI-Code

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Leistungsdichtespektrum (LDS)
}}

[[File:P_ID427__Sto_Z_4_13.png|right|]]
:Zur Spektralanpassung (Formung) eines Digitalsignals an die Eigenschaften des Kanals verwendet man so genannte Pseudoternärcodes. Bei diesen Codes wird die binäre Quellensymbolfolge 〈qν〉 nach einer festen Vorschrift in eine Folge 〈cν〉 von Ternärsymbolen umgesetzt:
:$$q_{\nu} \in \{ -1,\hspace{0.1cm} +1 \} \hspace{0.3cm}\Rightarrow \hspace{0.3cm} c_{\nu} \in \{ -1, \hspace{0.1cm}0, \hspace{0.1cm}+1 \} .$$

:Der bekannteste Vertreter der Pseudoternärcodes ist der AMI-Code (von Alternate Mark Inversion). Hier wird der Binärwert qν = –1 stets auf cν = 0 abgebildet, während qν = +1 abwechselnd (alternierend) durch die Ternärwerte cν = +1 und cν = –1 dargestellt wird. Vereinbarungsgemäß wird beim ersten Auftreten von qν = +1 das Ternärsymbol cν = +1 ausgewählt.

:Weiter wird vorausgesetzt, dass die zwei möglichen Quellensymbole jeweils gleichwahrscheinlich sind und die Quellensymbolfolge 〈qν〉 keine inneren statistischen Bindungen aufweist. Somit sind alle diskreten AKF-Werte gleich 0 mit Ausnahme von φq(k = 0):
$$\varphi_q ( k \cdot T) = 0 \hspace{0.5cm} {\rm f alls} \hspace{0.5cm} k \not= 0.$$

:T bezeichnet den Abstand der Quellen– bzw. Codesymbole. Verwenden Sie den Wert T = 1 μs.

:Das Bild zeigt die gegebenen Autokorrelationsfunktionen. Bitte beachten Sie:

:* Rot eingezeichnet sind jeweils die zeitdiskreten Darstellungen A{φq(τ)} und A{φc(τ)} der Autokorrelationsfunktionen, jeweils mit dem Bezugswert T.

:* Die blau dargestellten Funktionen zeigen die zeitkontinuierlichen Verläufe φq(τ) und φc(τ) der AKF, wobei Rechtecksignale vorausgesetzt sind.

:Hinweis: Die Aufgabe bezieht sich auf die Seite Numerische Ermittlung des LDS im Kapitel 4.5. Benutzen Sie die folgende Fourierkorrespondenz
:$${\rm \Delta} (t) \hspace{0.3cm} \circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.3cm} T \cdot {\rm si}^2 ( \pi f T).$$

:Δ(t) bezeichnet einen um t = 0 symmetrischen Dreieckimpuls mit Δ(0) = 1 und Δ(t) = 0 für |t| ≥ T.

===Fragebogen===

<quiz display=simple>
{Wie groß ist der diskrete AKF-Wert der Quellensymbole für k = 0?
|type="{}"}
φq(k = 0) = { 1 3% }

{Welche Aussagen gelten für die LDS–Funktionen Φq(f) und P{Φq(f)}?
|type="[]"}
+ P{Φq(f)} ist für alle Frequenzen eine Konstante.
- Φq(f) ist für |f · T| < 0.5 konstant und außerhalb 0.
+ Φq(f) verläuft si2- förmig.

{Die Quellensymbolfolge sei 〈qν〉 = +1, –1, +1, +1, –1, +1, +1, –1, –1, –1. Wie lauten die Codesymbole cν? Geben Sie das Codesymbol c6 ein.
|type="{}"}
$c_6$ = { 1 3% }

{Wie groß ist der quadratische Mittelwert der Codesymbolfolge 〈cν〉.
|type="{}"}
φc(k = 0) = { 0.5 3% }

{Berechnen Sie die AKF-Werte φc(k = +1) und φc(k = –1).
|type="{}"}
φc(k = +1) = { 0.25 3% }
φc(k = -1) = { 0.25 3% }

{Welche spektrale Leistungsdichte Φc(f) ergibt sich für die Frequenz f = 0 bzw. für f = 500 kHz? Hinweis: Für |k| ≥ 2 sind alle AKF-Werte φc(k) = 0.
|type="{}"}
$\phi_c(f = 0)$ = { 0 3% }
$\phi_c(f = 500 kHz)$ = { 0.405 3% } $.10^{-6}\ 1/Hz$

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Der diskrete AKF-Wert für k = 0 gibt den quadratischen Mittelwert (hier gleich der Varianz) der Quellensymbole an. Da qν nur die Werte –1 und +1 annehmen kann, ist φq(k = 0) = 1.

:2.  Die zeitdiskrete AKF und deren Fouriertransformierte lauten:
:$${\rm A} \{ \varphi_q ( \tau ) \} = \varphi_q ( k = 0) \cdot T \cdot \delta (\tau) \hspace{0.3cm} \circ\!\!-\!\!\!-\!\!\!-\!\!\bullet\, \hspace{0.3cm} {\rm P} \{{\it \Phi_q}( f) \} = \varphi_q ( k = 0) \cdot T = T.$$

:Es ist berücksichtigt, dass φq(k = 0) = σq2 = 1 ist. Das bedeutet: Die periodische Fortsetzung von Φq(f) ergibt für alle Frequenzen den gleichen Wert.

:Dagegen kann die zeitkontinuierliche AKF wie folgt dargestellt werden:
:$$ \varphi_q ( \tau ) = {\rm A} \{ \varphi_q ( \tau ) \} \star ( {\rm \Delta} ( \tau) / T ).$$

:Das dazugehörige Leistungsdichtespektrum (Fouriertransformierte der AKF) ist dann das Produkt der Fouriertransformierten der beiden Faltungsterme:
:$$ {\it \Phi_q} ( f) = {\rm P} \{ {\it \Phi_q}( f) \} \cdot {\rm si}^2 (\pi f T ) = T \cdot {\rm si}^2 (\pi f T ) .$$

:Aufgrund der gewählten AKF-Interpolation (mit Geradenabschnitten) aus ihren Abtastwerten ergibt sich ein si2-förmiges LDS. Ein rechteckförmiges Spektrum (Lösungsvorschlag 2) würde sich nur bei si-förmiger Interpolation einstellen. Richtig sind die Lösungsvorschläge 1 und 3.

:3.  Die codierte Folge lautet: +1, 0, –1, +1, 0, –1, +1, 0, 0, 0. Das 6. Symbol ist somit c6 = –1.

:4.  Die Auftrittswahrscheinlichkeiten der Werte –1, 0 und +1 sind 0.25, 0.5, 0.25. Daraus folgt:
:$$\varphi_c ( k = 0) = 0.25 \cdot (-1)^2 + 0.5 \cdot 0^2 +0.25 \cdot (+1)^2\hspace{0.15cm}\underline{ = 0.5}. $$

:5.  Für den AKF-Wert bei k = 1 betrachtet man das Produkt cν · cν+1. Es ergeben sich die unten gezeigten Kombinationen. Einen Beitrag liefern nur Produkte cν · cν+1 ≠ 0 mit Pr[cν ∩ cν+1] ≠ 0:
:$$\varphi_c ( k = 1) = {\rm Pr} \left ( ( c_{\nu} = +1) \cap ( c_{\nu + 1} = -1) \right ) \cdot (+1) \cdot (-1) \\ + {\rm Pr} \left ( ( c_{\nu} = -1) \cap ( c_{\nu + 1} = +1) \right ) \cdot (-1) \cdot (+1).$$
[[File:P_ID428__Sto_Z_4_13_e.png|center|]]

:In der Tabelle sind diese Terme rot gekennzeichnet. Weiter gilt:
:$$ {\rm Pr} \left ( ( c_{\nu} = +1) \cap ( c_{\nu + 1} = -1) \right ) = {\rm Pr} ( c_{\nu} = +1) \cdot {\rm Pr} \left ( c_{\nu + 1} = -1\hspace{0.1cm} | \hspace{0.1cm}c_{\nu } = +1) \right ) \\ = {1}/{4} \hspace{0.1cm}\cdot\hspace{0.1cm} {1}/{2}\hspace{0.1cm} =\hspace{0.1cm} {1}/{8} . $$

:Hierbei ist vorausgesetzt, dass „+1“ mit der Wahrscheinlichkeit 0.25 auftritt und danach „–1“ nur in der Hälfte der Fälle folgt. Das gleiche Ergebnis erhält man für den zweiten Beitrag. Damit gilt:
:$$\varphi_c ( k = 1) = \frac {1}{8} \cdot (+1)\cdot (-1) + \frac {1}{8} \cdot (-1)\cdot (+1) \hspace{0.15cm}\underline{= -0.25}.$$

:Für k = –1 ergibt sich aus Symmetriegründen der gleiche Wert. Zur Berechnung von φc(k = 2) muss über 33 = 27 Kombinationen gemittelt werden. Das Ergebnis ist jedoch Null.

:6.  Die Fouriertransformierte der zeitdiskreten AKF A{φc(τ)} lautet:
:$$P \{{\it \Phi_c}( f) \} = T\cdot \varphi_c ( k = 0) +2T \cdot \varphi_c ( k = 1) \cdot {\rm cos} ( 2 \pi f T ).$$

:Mit dem Ergebnis von 5) folgt daraus:
:$$P \{{\it \Phi}_c( f) \} = \frac {T}{2} (1 - {\rm cos} ( 2 \pi f T ) )= T \cdot {\rm sin}^2 ( \pi f T ).$$

:Wie unter Punkt (b) gezeigt, gilt dann für das LDS – also die Fouriertransformierte von φc(τ):
:$${\it \Phi_c}( f) = T \cdot {\rm sin}^2 ( \pi f T ) \cdot {\rm si}^2 ( \pi f T ) = T \cdot \frac {{\rm sin}^4 ( \pi f T )}{( \pi f T )^2 } .$$

:Bei der Frequenz f = 0 ergibt sich der Wert 0. Für f = 500 kHz erhält man f · T = 0.5 und somit:
:$${\it \Phi_c}( f = {\rm500 \hspace{0.1cm}kHz}) = T \cdot \frac {{\rm sin}^4 ( \pi /2 )}{( \pi /2 )^2 } = \frac {4 T}{\pi^2} \hspace{0.15cm}\underline{= 0.405 \cdot 10^{-6} {1}/{Hz}}.$$

{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.5 Leistungsdichtespektrum (LDS)^]]

Zusatzaufgaben:4.13 AMI-Code

2016-10-13T19:28:18Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.13 AMI-Code nach Aufgaben:4.13Z AMI-Code

#WEITERLEITUNG [[Aufgaben:4.13Z AMI-Code]]

Aufgaben:Exercise 4.12Z: White Gaussian Noise

2016-10-13T19:26:18Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.12 Weißes Rauschen nach Aufgaben:4.12Z Weißes Rauschen

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Leistungsdichtespektrum (LDS)
}}
[[File:P_ID409__Sto_Z_4_12.png|right|]]
:Man bezeichnet ein Rauschsignal n(t) als weiß, wenn darin alle spektralen Anteile ohne Bevorzugung von irgendwelchen Frequenzen enthalten sind.

:* Das physikalische, nur für positive Frequenzen f definierte Leistungsdichtespektrum Φn+(f) ist konstant (gleich N0) und reicht frequenzmäßig bis ins Unendliche.

:* Φn+(f) ist in der oberen Grafik grün dargestellt. Das Pluszeichen im Index soll anzeigen, dass die Funktion nur für positive Werte von f gültig ist.

:* Zur mathematischen Beschreibung verwendet man meist das zweiseitige Leistungsdichtespektrum Φn(f). Hier gilt für alle Frequenzen von –∞ bis +∞ (blauer Kurvenzug im oberen Bild):
:$${\it \Phi}_n (f) ={N_0}/{2}.$$

:Im unteren Bild sind die beiden Leistungsdichtespektren Φb(f) und Φb+(f) eines bandbegrenzten weißen Rauschsignals b(t) dargestellt. Es gilt mit der einseitigen Bandbreite B:
:$${\it \Phi}_b(f)=\left\{ {N_0/2\atop 0}{\hspace{0.5cm} {\rm f\ddot{u}r}\quad |f|\le B \atop {\rm sonst}}\right.,$$
:$${\it \Phi}_{b+}(f)=\left\{ {N_0\atop 0}{\hspace{0.5cm} {\rm f\ddot{u}r}\quad 0 \le f\le B \atop {\rm sonst}}\right..$$

:Bei der Rechnersimulation von Rauschvorgängen muss stets von bandbegrenztem Rauschen ausgegangen werden, da hier nur zeitdiskrete Vorgänge behandelt werden können. Dazu muss das Abtasttheorem (siehe Buch [[Signaldarstellung]], Kapitel 5.1) eingehalten werden. Dieses sagt aus, dass die Bandbreite B gemäß dem Stützstellenabstand TA der Simulation eingestellt werden muss.

:Gehen Sie in der gesamten Aufgabe von folgenden Zahlenwerten aus:

:* Die Rauschleistungsdichte (bezogen auf den Widerstand 1 Ω) beträgt N0 = 4 · 10–14 V2/Hz.

:* Die (einseitige) Bandbreite des bandbegrenzten weißen Rauschens beträgt B = 100 MHz.

:Hinweis: Die Aufgabe bezieht sich auf Kapitel 4.4 und Kapitel 4.5. Die Eigenschaften von weißem Rauschen sind in einem Lernvideo zusammengefasst: 

===Fragebogen===

<quiz display=simple>
{Welche Aussagen treffen bei einem weißen Rauschsignal n(t) immer zu? Begründen Sie Ihre Antworten.
|type="[]"}
- Die AKF φn(τ) hat einen si-förmigen Verlauf.
+ Die AKF φn(τ) ist ein Dirac bei τ = 0 mit Gewicht N0/2.
+ Im mathematisch strengen Sinn gibt es kein weißes Rauschen.
+ Thermisches Rauschen kann stets als weiß angenähert werden.
- Weißes Rauschen ist stets gaußverteilt.

{Berechnen Sie die AKF φb(τ) des bandbegrenzten Zufallssignals b(t). Welcher Wert ergibt sich für τ = 0?
|type="{}"}
$B = 100 MHz: \ \ \ \phi_b(\tau\ =\ 0)$ = { 4 3% } $.10^{-6}\ V^2$

{Wie groß ist der Effektivwert dieses Rauschsignals?
|type="{}"}
$\sigma_b$ = { 2 3% } $.10^{-3}\ V$

{Welcher Abtastabstand TA ist (mindestens) zu wählen, wenn das Signal b(t) zur zeitdiskreten Simulation von weißem Rauschen eingesetzt wird?
|type="{}"}
$T_A$ = { 5 3% } $ns$

{Gehen Sie nun vom Abtastabstand TA = 1 ns aus. Welche der Aussagen treffen dann für zwei aufeinanderfolgende Abtastwerte des Signals b(t) zu?
|type="[]"}
- Die Abtastwerte sind unkorreliert.
+ Die Abtastwerte sind positiv korreliert.
- Die Abtastwerte sind negativ korreliert.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Richtig sind die Lösungsvorschläge 2, 3 und 4. Die Autokorrelationsfunktion (AKF) ist nämlich die Fouriertransformierte des Leistungsdichtespektrums (LDS). Dabei gilt:
:$${\it \Phi}_n (f) = \frac {N_0}{2} \hspace{0.3cm} \bullet\!\!-\!\!\!-\!\!\!-\!\!\circ\, \hspace{0.3cm} \varphi_n (\tau)=\frac {N_0}{2} \cdot {\rm \delta} ( \tau).$$

:&bdquo;Echt” weißes Rauschen gibt es in der Physik allerdings nicht, da ein solches eine unendlich große Signalleistung aufweisen müsste (das Integral über das LDS und der AKF-Wert bei τ = 0 sind jeweils unendlich groß). Thermisches Rauschen hat bis zu Frequenzen von etwa 6000 GHz ein konstantes LDS. Da alle (derzeitigen) Übertragungssysteme in einem sehr viel niedrigeren Frequenzbereich arbeiten, kann man thermisches Rauschen mit guter Näherung als &bdquo;weiß” bezeichnen.

:Die statistische Eigenschaft &bdquo;weiß” sagt nichts über die Amplitudenverteilung aus, die allein durch die Wahrscheinlichkeitsdichtefunktion (WDF) festgelegt ist. Betrachtet man beispielsweise die Phase eines bandpassförmigen Signals als die stochastische Größe, so wird diese oft als gleichverteilt zwischen 0 und 2π modelliert. Bestehen zwischen den jeweiligen Phasenwinkeln zu unterschiedlichen Zeiten keine statistischen Bindungen, so ist auch dieser Zufallsprozess &bdquo;weiß”.
[[File:P_ID410__Sto_Z_4_12_b.png|right|]]

:2.  Das LDS ist ein Rechteck der Breite 2B und der Höhe N0/2.
:Die Fourierrücktransformation ergibt eine si-Funktion:
:$$\varphi_b(\tau) = N_0 \cdot B \cdot {\rm si} (2 \pi B \tau).$$

:Der AKF-Wert an der Stelle τ = 0 entspricht der Rechteckfläche: (N0/2) · 2B = 4 · 10–6 V2.

:3.  Der AKF-Wert an der Stelle τ = 0 ergibt die Leistung; die Wurzel hieraus bezeichnet man als den Effektivwert: σb = 2 mV.

:4.  Die bei (b) berechnete AKF hat Nullstellen im äquidistanten Abstand von 1/(2B) = 5 ns = TA. Das bedeutet: Es bestehen somit keine statistischen Bindungen zwischen den beiden Signalwerten b(t) und b(t + ν · TA), wobei ν alle ganzzahligen Werte annehmen kann.

:5.  Der AKF-Wert bei τ = TA = 1 ns beträgt
:$$\varphi_b(\tau = T_{\rm A}) = {\rm 4 \cdot 10^{-6} \hspace{0.1cm}V^2 \cdot si (\pi/5) \approx 3.742 \cdot 10^{-6} \hspace{0.1cm}V^2}$$

:und ist damit positiv. Dieses Ergebnis besagt: Zwei um TA = 1 Nanosekunde auseinander liegende Signalwerte sind positiv korreliert  ⇒  Lösungsvorschlag 2. Ist b(t) positiv und groß, dann ist mit großer Wahrscheinlichkeit auch b(t + 1 ns) positiv und groß. Dagegen besteht zwischen b(t) und b(t + 7 ns) eine negative Korrelation: Ist b(t) positiv, so ist b(t + 7 ns) wahrscheinlich negativ.
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.5 Leistungsdichtespektrum (LDS)^]]

Zusatzaufgaben:4.12 Weißes Rauschen

2016-10-13T19:26:18Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.12 Weißes Rauschen nach Aufgaben:4.12Z Weißes Rauschen

#WEITERLEITUNG [[Aufgaben:4.12Z Weißes Rauschen]]

Aufgaben:Exercise 4.11Z: C Program "acf2"

2016-10-13T19:26:02Z

Nabil: Nabil verschob die Seite Zusatzaufgaben:4.11 C-Programm „akf2” nach Aufgaben:4.11Z C-Programm „akf2”

{{quiz-Header|Buchseite=Stochastische Signaltheorie/Autokorrelationsfunktion (AKF)
}}

[[File:P_ID395__Sto_Z_4_11.png|right|]]
:Sie sehen rechts das C-Programm &bdquo;akf2” zur Berechnung der diskreten AKF-Werte φx(k) mit Index k = 0, ... , l. Im Gegensatz zum Programm &bdquo;akf1” aus Aufgabe A4.11 wird hier der im Theorieteil 4.4 beschriebene Algorithmus direkt angewendet. Dabei ist zu beachten:

:Der an das Programm übergebene Long-Wert sei hier l = 10. Die berechneten AKF-Werte φx(0) ... φx(10) werden mit dem Float-Feld AKF[ ] an das Hauptprogramm zurückgegeben. In den Zeilen 7 und 8 wird dieses Feld mit Nullen vorbelegt.

:Die Zufallsgröße x( ) ist als Float-Funktion in Zeile 4 definiert, ebenso ein Hilfsfeld H[10000], in das die N = 10000 Abtastwerte xν eingetragen werden (Zeile 9 und 10).

:Die Bezeichnungen der Laufvariablen in Zeile 6 sind an den angegebenen Algorithmus angepasst.

:Die eigentliche AKF-Berechnung erfolgt ab Zeile 11. Dieser Programmteil ist im Programmcode rot gekennzeichnet.

:Hinweis: Die Aufgabe beschreibt den im Kapitel 4.4 angegebenen Berechnungsalgorithmus.

===Fragebogen===

<quiz display=simple>
{Auf wie vielen Summanden (S) basiert die AKF-Berechnung für den Index k = 0 bzw. für k = 10?
|type="{}"}
$S_\text{$k=0$}$ = { 10000 3% }
$S_\text{$k=10$}$ = { 9990 3% }

{Welche der nachfolgenden Aussagen sind richtig?
|type="[]"}
+ Die Rechenzeit steigt linear mit l + 1, also mit der Anzahl der zu berechnenden AKF-Werte.
- Die Rechenzeit nimmt mit der Anzahl N der berücksichtigten Abtastwerte quadratisch zu.
+ Die Berechnung wird mit steigendem N genauer.
+ Wird eine Floatvariable mit 4 Byte dargestellt, so benötigt &bdquo;akf2” mindestens 4 · N Byte Speicherplatz.

{Welche der nachfolgenden Aussagen sind zutreffend?
|type="[]"}
+ Je stärker die inneren statistischen Bindungen des Prozesses sind, desto ungenauer ist bei gegebenem N das AKF-Ergebnis.
- Je stärker die inneren statistischen Bindungen des Prozesses sind, desto genauer ist bei gegebenem N das AKF-Ergebnis.
+ Besitzt der Prozess statistische Bindungen, so sind die Fehler der numerischen AKF-Berechnung ebenfalls korreliert. Beispiel: Ist der Wert φx(k = 5) zu groß, so werden mit großer Wahrscheinlichkeit auch φx(k = 4) und φx(k = 6) zu groß sein.

</quiz>

===Musterlösung===
{{ML-Kopf}}
:1.  Zur Berechnung des AKF-Wertes φx(0) wird über N = 10000 Summanden gemittelt, für φx(10) nur über N – l = 9990.

:2.  Die Rechenzeit steigt mit N und l + 1 näherungsweise linear an, wie aus der rot hervorgehobenen AKF-Berechnung hervorgeht. Die Rechenzeit für die weiteren Programmteile kann demgegenüber vernachlässigt werden. Natürlich wird die Berechnung mit steigendem N auch genauer. Dies geht hier – im Gegensatz zum Programm &bdquo;akf1” von Aufgabe A4.11 – allerdings auf Kosten des erforderlichen Speicherbedarfs. Da jede Float-Variable genau vier Byte beansprucht, benötigt alleine das Hilfsfeld H[10000] einen Speicher von 40 kByte. Richtig sind somit die Lösungsvorschläge 1, 3 und 4.

:3.  Je stärker die statistischen Bindungen innerhalb des Zufallsprozesses sind, desto ungenauer ist bei gegebenem N die AKF-Berechnung. Diesen Sachverhalt kann man sich beispielsweise anhand der Leistungsberechnung (AKF-Wert an der Stelle k = 0) verdeutlichen: Sind alle N Abtastwerte statistisch unabhängig, so liefern alle Beiträge die maximale Information über den AKF–Wert φx(k = 0).

:Bestehen jedoch statistische Bindungen zwischen xν und xν+1, nicht jedoch zwischen xν und xν+2, so liefern nur die Hälfte aller Abtastwerte die volle Information über φx(k = 0) und alle anderen nur eingeschränkte Informationen. Dieser auf Korrelationen beruhende Informationsverlust kann in diesem Beispiel nur durch eine Verdopplung von N ausgeglichen werden.

:Die letzte Aussage trifft ebenfalls zu, wie im Kapitel 4.4 auf der Seite Genauigkeit der numerischen AKF-Berechnung im Theorieteil ausführlich erläutert wird. Richtig sind somit die Lösungsvorschläge 1 und 3.
{{ML-Fuß}}

[[Category:Aufgaben zu Stochastische Signaltheorie|^4.4 Autokorrelationsfunktion (AKF)^]]