Exercise 4.16Z: Multi-dimensional Data Reduction

Korrelationsmatrizen
$\mathbf{K_y}$ und $\mathbf{K_z}$

Wir betrachten Gaußsche mittelwertfreie Zufallsgrößen $\mathbf{x}$, $\mathbf{y}$ und $\mathbf{z}$ mit den Dimensionen $N= 1$, $N= 2$ und $N= 3$:

Die eindimensionale Zufallsgröße $\mathbf{x}$ ist durch die Varianz $\sigma^2 = 1$ bzw. die Streuung $\sigma = 1$ charakterisiert.
Wegen der Dimension $N= 1$ gilt $\mathbf{x} = x$.

Der Korrelationskoeffizient zwischen den Komponenten $y_1$ und $y_2$ der 2D-Zufallsgröße $\mathbf{y}$ beträgt $\rho = 1/3$ $($siehe Matrix $\mathbf{K_y})$.
$y_1$ und $y_2$ weisen ebenfalls die Streuung $\sigma = 1$ auf.

Die Statistik der dreidimensionalen Zufallsgröße $\mathbf{z}$ ist durch die Korrelationsmatrix $\mathbf{K_z}$ vollständig bestimmt.

Quantisiert man die Zufallsgröße $\mathbf{x}$ im Bereich zwischen $-4$ und $+4$ mit Intervallbreite $\Delta_x = 1/32$, so gibt es insgesamt $N_1 = 256$ unterschiedliche Quantisierungswerte, für deren Übertragung somit $n_1 = 8\ \rm {Bit}$ benötigt würden.

Analog ergeben sich bei der Zufallsgröße $\mathbf{y}$ insgesamt $N_2 = 256^2 = 65536$ unterschiedliche quantisierte Wertepaare, wenn man die Korrelation zwischen $y_1$ und $y_2$ nicht berücksichtigt.

Durch Ausnutzung dieser Korrelation – zum Beispiel durch Koordinatentransformation vom Ursprungsystem $(y_1, y_2)$ zum neuen System $(\eta_1, \eta_2)$ – ergibt sich eine geringere Zahl $N_2\hspace{0.01cm}'$ quantisierter Wertepaare.

Hierbei ist zu berücksichtigen, dass jede Komponente entsprechend ihrer jeweiligen Streuung $(\sigma_1$ bzw. $\sigma_2)$ im Bereich von $-4$ bis $+4$ zu quantisieren ist und die Quantisierungsintervalle in beiden Richtungen gleich sein sollen: $\Delta_x = \Delta_y =1/32$.

Den Quotienten $N_2\hspace{0.01cm}'/N_2$ bezeichnen wir als Datenreduktionsfaktor bezüglich der 2D-Zufallsgröße $\mathbf{y}$.
In analoger Definition ist $N_3'/N_3$ der entsprechende Reduktionsfaktor der 3D-Zufallsgröße $\mathbf{z}$ für $\Delta_x = \Delta_y =\Delta_z =1/32.$
Anzumerken ist, dass in beiden Fällen ein möglichst kleiner Wert dieses Quotienten günstig wäre.

Hinweise:

Die Aufgabe gehört zum Kapitel Verallgemeinerung auf N-dimensionale Zufallsgrößen.
Insbesondere wird auf die Seite Eigenwerte und Eigenvektoren Bezug genommen.
Grundlagen zur Anwendung von Vektoren und Matrizen finden sich auf den Seiten Determinante einer Matrix sowie Inverse einer Matrix.

Die Bestimmungsgleichung der Eigenwerte von $\mathbf{K_z}$ lautet: $\lambda^3 - 3 \lambda^2 + {24}/{9}\lambda - {20}/{27} = 0.$
Eine der drei Lösungen dieser Gleichung ist $\lambda_1 = 5/3$.

Fragebogen

$\lambda_1 \ = \ $

$\ (\lambda_1 \ge \lambda_2)$

$\lambda_2 \ = \ $

$\ (\lambda_2 \le \lambda_1)$

$N_2\hspace{0.01cm}'/N_2 \ = $

$\lambda_2 \ = \ $

$\ (\lambda_2 \ge \lambda_3)$

$\lambda_3 \ = \ $

$\ (\lambda_3 \le \lambda_2)$

$N_3\hspace{0.01cm}'/N_3 \ = $

Musterlösung

Solution

(1) Aus der Bedingung $\mathbf{K_y} - \lambda \cdot\mathbf{E} = 0$ folgt:

$${\rm det}\left[ \begin{array}{cc} 1- \lambda & 1/3 \\ 1/3 & 1- \lambda \end{array} \right] = (1-\lambda)^2 -{1}/{9} = 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\lambda^2 -2\lambda+ {8}/{9}= 0 \hspace{0.3cm}\Rightarrow \hspace{0.3cm}\lambda_{1/2}= 1 \pm \sqrt{1-{8}/{9}}= 1 \pm {1}/{3}.$$

Die Eigenwerte dieser $2\times2$-Matrix sind somit $\lambda_1 = 4/3\hspace{0.15cm}\underline{=1.333}$ und $\lambda_2 = 2/3\hspace{0.15cm}\underline{=0.667}$.

(2) Ohne Berücksichtigung von Korrelationen gibt es $N_2 = \left({8}/{ \Delta_x}\right)^2= 256^2 = 65536$ verschiedene Wertepaare.

Unter Berücksichtigung der Korrelationen und des Sachverhaltes, dass die beiden durch Koordinatendrehung entstandenen Komponenten $\eta_1$ und $\eta_2$ jeweils im Bereich von $-4\sigma_1$ bis $+4\sigma_1$ $($bzw. von $-4\sigma_2$ bis $+4\sigma_2)$ ) zu quantisieren sind, erhält man

$$N_2\hspace{0.01cm}' = \frac{8 \hspace{0.05cm}\sigma_1}{\it \Delta_x}\cdot\frac{8 \hspace{0.05cm}\sigma_2}{\it \Delta_y}= N_2 \cdot \sigma_1 \cdot \sigma_2 .$$

Der Quotient lautet somit mit $\sigma_1^2 = \lambda_1$ und $\sigma_2^2 = \lambda_2$:

$${N_2\hspace{0.01cm}'}/{N_2} = \sigma_1 \cdot \sigma_2 = \sqrt{{4}/{3}} \cdot \sqrt{{2}/{3}} = \frac{2 \cdot \sqrt{2}}{3} \hspace{0.15cm}\underline{ \approx 0.943}.$$

(3) Die Bestimmungsgleichung der Eigenwerte von $\mathbf{K_z}$ lautet:

$${\rm det} \left[ \begin{array}{ccc} 1-\lambda & 1/3 & 1/3\\ 1/3 & 1-\lambda & 1/3\\ 1/3 & 1/3 & 1-\lambda \end{array}\right] = 0 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}(1- \lambda) \left[(1- \lambda)^2 - \frac{1}{9} \right]- \frac{1}{3} \left[\frac{1}{3}(1- \lambda) - \frac{1}{9} \right] + \frac{1}{3} \left[\frac{1}{9} - \frac{1}{3}(1- \lambda) \right] = 0$$

$$\Rightarrow \hspace{0.3cm}(1- \lambda) (\lambda^2 -2\lambda+ \frac{8}{9})- \frac{1}{9} (\frac{2}{3}- \lambda )+ \frac{1}{9} ( \lambda - \frac{2}{3})= 0$$

$$\Rightarrow \hspace{0.3cm}\lambda^2 - 2\lambda + \frac{8}{9} - \lambda^3 + 2 \lambda^2 - \frac{8}{9}\lambda - \frac{4}{27} + \frac{2}{9}\lambda = 0 \hspace{0.3cm} \Rightarrow \hspace{0.3cm}\lambda^3 - 3 \lambda^2 + \frac{24}{9}\lambda - \frac{20}{27} = 0.$$

Diese Gleichung wurde bereits als Lösungshinweis angegeben, ebenso wie eine der Lösungen: $\lambda_1= 5/3$.
Damit ergibt sich die Bestimmungsgleichung für die weiteren Eigenwerte $\lambda_2$ und $\lambda_3$ zu

$$\frac{\lambda^3 - 3 \lambda^2 + {24}/{9}\lambda - {20}/{27}}{\lambda -{5}/{3}} = \lambda^2 - {4}/{3} \cdot \lambda + {4}/{9} =0.$$

Diese Bestimmungsgleichung lässt sich wie folgt umformen: $(\lambda - {2}/{3})^2 =0.$

Die weiteren Eigenwerte neben $\lambda_1= 5/3$ sind somit gleich und ergeben sich zu $\lambda_2 = \lambda_3 =2/3\hspace{0.15cm}\underline{=0.667}$.

(4) Analog zur Vorgehensweise in der Teilaufgabe (2) ergibt sich hier:

$${N_3\hspace{0.01cm}'}/{N_3} = \sqrt{\lambda_1 \cdot \lambda_2\cdot \lambda_3} = \sqrt{\frac{5}{3} \cdot \frac{2}{3}\cdot \frac{2}{3}} = \sqrt{\frac{20}{27}} \hspace{0.15cm}\underline{ \approx 0.861}.$$