Difference between revisions of "Aufgaben:Exercise 1.16Z: Bounds for the Gaussian Error Function"

From LNTwww
 
(32 intermediate revisions by 7 users not shown)
Line 1: Line 1:
{{quiz-Header|Buchseite=Kanalcodierung/Schranken für die Blockfehlerwahrscheinlichkeit
+
{{quiz-Header|Buchseite=Channel_Coding/Limits_for_Block_Error_Probability}}
  
 +
[[File:P_ID2415__KC_A_1_15.png|right|frame|Function&nbsp; Q(x)&nbsp; and approximations;<br>it holds:&nbsp; Qu(x)Q(x)Qo(x)]]
  
 +
The probability that a zero-mean Gaussian random variable&nbsp; n&nbsp; with standard deviation&nbsp; σ &nbsp; &rArr; &nbsp; variance&nbsp; σ2&nbsp; is greater in magnitude than a given value&nbsp; A&nbsp; is equal to
  
}}
+
:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$
 +
 +
Here is used one of the most important functions for Communications Engineering&nbsp; (drawn in red in the diagram): &nbsp;<br>the&nbsp; [[Theory_of_Stochastic_Signals/Gaussian_Distributed_Random_Variables#Exceedance_probability|"complementary Gaussian error function"]]
 +
 
 +
:Q(x)=12π+xeu2/2du.
 +
 +
Q(x)&nbsp; is a monotonically decreasing function with&nbsp; Q(0)=0.5.&nbsp; For very large values of&nbsp; x &nbsp; &rArr; &nbsp;  Q(x) tends 0.
  
[[File:P_ID2415__KC_A_1_15.png|right|farme|Q(<i>x</i>) und verwandte Funktionen]]
 
  
Die Wahrscheinlichkeit, dass eine Gaußsche Zufallsgröße n mit Streuung $\sigma$ → Varianz $\sigma^2betragsmäßiggrößeristalseinWertA$, ist gleich
+
The integral of the ${\rm Q}$&ndash;function is not analytically solvable and is usually given in tabular form.&nbsp; From the literature,&nbsp; however,&nbsp; manageable approximations or bounds for positive&nbsp; $x$&nbsp; values are known:
  
:$${\rm Pr}(n > A) = {\rm Pr}(n < -A) ={\rm Q}(A/\sigma) \hspace{0.05cm}.$$
+
*the&nbsp;  "upper bound" &nbsp; &rArr; &nbsp; upper &nbsp; (German:&nbsp; "obere" &nbsp; &rArr; &nbsp; subscript: "o"$)$&nbsp; blue curve in adjacent graph,&nbsp; valid for&nbsp; $x > 0$:
 
   
 
   
Hierbei verwendet ist eine der wichtigsten Funktionen für die Nachrichtentechnik (in der Grafik rot eingezeichnet): [[Stochastische_Signaltheorie/Gaußverteilte_Zufallsgrößen#.C3.9Cberschreitungswahrscheinlichkeit|die Komplementäre Gaußsche Fehlerfunktion]]
+
:$$ {\rm Q_o}(x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot {\rm e}^{-x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} {\rm Q} (x) \hspace{0.05cm},$$
  
:$$\rm Q (\it x) = \frac{\rm 1}{\sqrt{\rm 2\pi}}\int\limits_{\it x}^{+\infty}\rm e^{\it -u^{\rm 2}/\rm 2}\,d \it u \hspace{0.05cm}.$$
+
*the&nbsp;  "lower bound" &nbsp; &rArr; &nbsp; upper &nbsp; (German:&nbsp; "untere" &nbsp; &rArr; &nbsp; subscript: "u")&nbsp; blue curve in adjacent graph,&nbsp; valid for&nbsp; x>1:
 +
:$$ {\rm Q_u}(x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm}  {\rm Q} (x) \hspace{0.05cm},$$
 +
 
 +
*the&nbsp; "Chernoff-Rubin bound"&nbsp; (green curve in the graph, drawn for&nbsp; $K = 1)$:
 
   
 
   
${\rm Q}(x)isteinemonotonfallendeFunktionmit{\rm Q}(0) = 0.5.FürgroßeWertevonxtendiert{\rm Q}(x)$ gegen Null.
+
:$${\rm Q_{CR}}(x)=K \cdot {\rm e}^{-x^{\rm 2}/\rm 2} \hspace{0.15cm} \ge \hspace{0.15cm} {\rm Q} (x) \hspace{0.05cm}.$$
  
Das Integral der Q–Funktion ist analytisch nicht lösbar und wird meist in Tabellenform angegeben. Aus der Literatur bekannt sind aber handhabbare Näherungslösungen bzw. Schranken für positive x–Werte:
+
In the exercise it is to be investigated to what extent these bounds can be used as approximations for&nbsp; ${\rm Q}(x)$&nbsp; and what corruptions result.
  
*die obere Schranke (obere blaue Kurve in nebenstehender Grafik, nur gültig für x>0):
+
 
 +
 
 +
 
 +
Hints:
 +
* This exercise belongs to the chapter&nbsp; [[Channel_Coding/Bounds_for_Block_Error_Probability|"Bounds for block error probability"]].
 +
 
 +
*Reference is also made to the chapter&nbsp; [[Theory_of_Stochastic_Signals/Gaussian_Distributed_Random_Variables|"Gaussian distributed random variables"]]&nbsp; in the book&nbsp; "Stochastic Signal Theory".
 
   
 
   
:$$ \rm Q_o(\it x)=\frac{\rm 1}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2}\hspace{0.15cm} \ge \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$
+
*The exercise provides some important hints for solving&nbsp; [[Aufgaben:Exercise_1.16:_Block_Error_Probability_Bounds_for_AWGN|"Exercise 1.16"]],&nbsp; in which&nbsp; ${\rm Q}_{\rm CR}(x)$&nbsp; is used to derive the &nbsp; [[Channel_Coding/Limits_for_Block_Error_Probability#The_upper_bound_according_to_Bhattacharyya|"Bhattacharyya Bound"]]&nbsp; for the AWGN channel.
 
 
*die untere Schranke (untere blaue Kurve in der Grafik, nur gültig für x>1):
 
 
   
 
   
:$$ \rm Q_u(\it x)=\frac{\rm 1-{\rm 1}/{\it x^{\rm 2}}}{\sqrt{\rm 2\pi}\cdot x}\cdot \rm e^{-\it x^{\rm 2}/\rm 2} \hspace{0.15cm} \le \hspace{0.15cm} \rm Q (\it x) \hspace{0.05cm},$$
+
* Further we refer to the interactive HTML5/JavaScript applet&nbsp; [[Applets:Komplementäre_Gaußsche_Fehlerfunktionen| "Complementary Gaussian error functions"]].
  
*die Chernoff–Rubin–Schranke (grüne Kurve in der Grafik, gezeichnet für K=1):
 
 
   
 
   
:QCR(x)=Kex2/2Q(x).
 
  
In der Aufgabe ist zu untersuchen, in wie weit diese Schranken als Näherungen für Q(x) herangezogen werden können und welche Verfälschungen sich dadurch ergeben.
 
  
''Hinweis:''
 
  
Die Aufgabe bezieht sich auf das Kapitel [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit|Schranken für die Blockfehlerwahrscheinlichkeit]] dieses Buches sowie auf das Kapitel [[Kanalcodierung/Distanzeigenschaften_und_Fehlerwahrscheinlichkeitsschranken|Distanzeigenschaften und Fehlerwahrscheinlichkeitsschranken]] im Buch „Stochastische Signaltheorie”. Die Aufgabe bietet auch einige wichtige Hinweise zur Lösung der [[Aufgaben:1.16_Schranken_für_AWGN|Aufgabe 1.16]], in der die Funktion QCR(x) zur Herleitung der [[Kanalcodierung/Schranken_für_die_Blockfehlerwahrscheinlichkeit#Die_obere_Schranke_nach_Bhattacharyya|Bhattacharyya–Schranke]] für den AWGN–Kanal benötigt wird. Weiter verweisen wir auf das folgende Interaktionsmodul:
 
  
Komplementäre Gaußsche Fehlerfunktion
+
===Questions===
 
 
 
 
===Fragebogen===
 
  
 
<quiz display=simple>
 
<quiz display=simple>
  
{Welche Werte liefern die obere und die untere Schranke für x=4?
+
{What values do the upper and lower bounds for&nbsp; x=4&nbsp; provide?
 
|type="{}"}
 
|type="{}"}
${\rm Q}_{o}(x = 4)$ = { 3.346 3% } 105
+
${\rm Q_{o}}(x = 4) \ = \ { 3.346 3% }\ \cdot 10^{-5} $
${\rm Q}_{u}(x = 4)$ = { 3.137 3% } 105
+
${\rm Q_{u}}(x = 4) \ = \ { 3.137 3% }\ \cdot 10^{-5} $
  
 
+
{What statements hold for the functions&nbsp; ${\rm Q_{o}}(x)$&nbsp; and&nbsp; ${\rm Q_{u}}(x)$?
{Welche Aussagen gelten für die Funktionen ${\rm Q}_{o}(x = 4)$ und ${\rm Q}_{u}(x = 4)$?
 
 
|type="[]"}
 
|type="[]"}
+ Für x2 sind die beiden Schranken brauchbar.
+
+ For&nbsp; x2:&nbsp; Both bounds are usable.
+ Für x<1 ist ${\rm Q}_{u}(x)$ unbrauchbar (wegen ${\rm Q}_{u}(x) < 0$).
+
+ For&nbsp; x<1:&nbsp;  ${\rm Q_{u}}(x)$&nbsp; is unusable &nbsp; $($because&nbsp; ${\rm Q_{u}}(x)< 0)$.
- Für x<1 ist ${\rm Q}_{o}(x)$ unbrauchbar (wegen ${\rm Q}_{o}(x) > 1$).
+
- For&nbsp; x<1:&nbsp;  ${\rm Q_{o}}(x)$&nbsp; is unusable&nbsp; $($because&nbsp; ${\rm Q_{o}}(x)> 1)$.
  
  
{1
+
{By what factor is the Chernoff-Rubin Bound above&nbsp; ${\rm Q_{o}}(x)$?
Um welchen Faktor liegt die Chernoff–Rubin–Schranke oberhalb von ${\rm Q}_{o}(x)$?
 
 
|type="{}"}
 
|type="{}"}
$\ {\rm Q}_{\rm CR}(x)/{\rm Q}_{o}(x) \ : \ \ \ x =2$ = { 5 3% }
+
${\rm Q}_{\rm CR}(x = 2)/{\rm Q_{o}}(x = 2 ) \ = \ $ { 5 3% }
 x=4 = { 10 3% }
+
${\rm Q}_{\rm CR}(x = 4)/{\rm Q_{o}}(x = 4 )  \ = \  $ { 10 3% }
 x=6 = { 15 3% }
+
${\rm Q}_{\rm CR}(x = 6)/{\rm Q_{o}}(x = 6 )  \ = \  $ { 15 3% }
  
{Bestimmen Sie K derart, dass $K \ \cdot \ {\rm Q}_{\rm CR}(x)$ möglichst nahe bei Q(x) liegt und gleichzeitig im gesamten Bereich ${\rm Q}(x) \ \ K · \ {\rm Q}_{\rm CR}(x)$ eingehalten wird.
+
{Determine&nbsp; K&nbsp; such that&nbsp; KQCR(x)&nbsp; is as close as possible to&nbsp; Q(x)&nbsp; and at the same time&nbsp; Q(x)K·QCR(x)&nbsp; is observed for all &nbsp;x>0&nbsp;.
 
|type="{}"}
 
|type="{}"}
$\ K$ = { 0.5 3% }
+
$K \ = \ $ { 0.5 3% }
 
 
 
 
 
 
 
</quiz>
 
</quiz>
  
===Musterlösung===
+
===Solution===
 
{{ML-Kopf}}
 
{{ML-Kopf}}
'''(1)'''&nbsp; Die obere Schranke lautet:
+
'''(1)'''&nbsp; The upper bound is:
  
 
:Qo(x)=12πxex2/2Qo(4)=12π4e83.346105_.
 
:Qo(x)=12πxex2/2Qo(4)=12π4e83.346105_.
 
   
 
   
Die untere Schranke kann wie folgt umgewandelt werden:
+
*The lower bound can be converted as follows:
 
   
 
   
 
:Qu(x)=(11/x2)Qo(x)Qu(4)3.137105_.
 
:Qu(x)=(11/x2)Qo(x)Qu(4)3.137105_.
  
Die relativen Abweichungen gegenüber dem „echten” Wert Q(4)=3.167·105 sind +5 bzw. 1
+
*The relative deviations from the&nbsp; actual&nbsp; value&nbsp; Q(4)=3.167·105&nbsp; are&nbsp; $+5\%$&nbsp; resp.&nbsp; $–1\%$.
 +
 
 +
 
 +
 
 +
'''(2)'''&nbsp; Correct are the&nbsp; <u>solutions 1 and 2</u>:
 +
*For&nbsp; x=2,&nbsp; the actual function value&nbsp; Q(x)=2.275102&nbsp; is bounded by&nbsp; ${\rm Q_{o}}(x) = 2.7 \cdot 10^{-2}$&nbsp; and&nbsp; Qu(x)=2.025102, respectively.
 +
 +
*The relative deviations are therefore&nbsp; 18.7%&nbsp;resp.&nbsp; 11%,.
 +
 
 +
*The last statement is wrong: &nbsp; Only for&nbsp; x<0.37 &nbsp; &rArr; &nbsp;  Qo(x)>1&nbsp; is valid.
  
  
'''(2)'''&nbsp; Richtig sind <u>Antwort 1 und 2</u>. Für x=2 wird der tatsächliche Funktionswert Q(x)=2.275·102 begrenzt durch Qo(x)=2.7·102 bzw. Qu(x)=2.025·102. Die relativen Abweichungen betragen 18.7 bzw. 11 Die letzte Aussage ist falsch. Erst für x<0.37 gilt Qo(x)>1.
 
  
  
'''(3)'''&nbsp; Für den Quotienten aus QCR(x) und ${\rm Q}_{o}(x)$ gilt nach den vorgegebenen Gleichungen:
+
'''(3)'''&nbsp; For the quotient of&nbsp; QCR(x)&nbsp; and&nbsp; ${\rm Q_o}(x)$,&nbsp; according to the given equations:
  
 
:q(x)=QCR(x)Qo(x)=exp(x2/2)exp(x2/2)/(2πx)=2πx
 
:q(x)=QCR(x)Qo(x)=exp(x2/2)exp(x2/2)/(2πx)=2πx
 
    
 
    
:q(x)2.5xq(x=2)=5,q(x=4)=10,q(x=6)=15.
+
:$$\Rightarrow \hspace{0.3cm} q(x) \approx 2.5 \cdot x \hspace{0.3cm} \Rightarrow \hspace{0.3cm} q(x =2) \hspace{0.15cm}\underline{=5}\hspace{0.05cm}, \hspace{0.2cm}q(x =4)\hspace{0.15cm}\underline{=10}\hspace{0.05cm}, \hspace{0.2cm}q(x =6) \hspace{0.15cm}\underline{=15}\hspace{0.05cm}.$$
  
Je größer der Abszissenwert x, um so ungenauer wird Q(x) durch QCR(x) angenähert. Bei Betrachtung der Grafik auf der Angabenseite hat man (hatte ich) den Eindruck, dass QCR(x) sich aus Q(x) durch Verschieben nach unten bzw. Verschieben nach oben ergibt. Das ist aber nur eine optische Täuschung und entspricht nicht dem Sachverhalt.
+
*The larger the abscissa value&nbsp; $x$&nbsp; is,&nbsp; the more inaccurately&nbsp; Q(x)&nbsp; is approximated by&nbsp; QCR(x).
 +
 +
*When looking at the graph in the information section,&nbsp; I first had the impression that&nbsp; QCR(x)&nbsp; results from&nbsp; Q(x)&nbsp; by shifting to the right or shifting up.&nbsp;
  
 +
*But this is only an optical illusion and does not correspond to the facts.
  
'''(4)'''&nbsp; Mit <u>K = 0.5</u> stimmt die neue Schranke 0.5·QCR(x) für x=0 exakt mit Q(x=0)=0.500 überein. Für größere Abszissenwerte wird damit auch die Verfälschung q=1.25·x nur halb so groß.
 
  
{{ML-Fuß}}
 
  
  
 +
'''(4)'''&nbsp; With&nbsp; K=0.5_&nbsp; the new bound&nbsp; 0.5QCR(x)&nbsp; for&nbsp; x=0&nbsp; agrees exactly with Q(x=0)=0.500.
 +
*For larger abscissa values,&nbsp; the falsification&nbsp; q1.25x&nbsp; thus also becomes only half as large.
 +
{{ML-Fuß}}
  
[[Category:Aufgaben zu  Kanalcodierung|^1.6 Schranken für die Blockfehlerwahrscheinlichkeit
 
  
  
^]]
+
[[Category:Channel Coding: Exercises|^1.6 Error Probability Bounds^]]

Latest revision as of 18:03, 23 January 2023

Function  Q(x)  and approximations;
it holds:  Qu(x)Q(x)Qo(x)

The probability that a zero-mean Gaussian random variable  n  with standard deviation  σ   ⇒   variance  σ2  is greater in magnitude than a given value  A  is equal to

Pr(n>A)=Pr(n<A)=Q(A/σ).

Here is used one of the most important functions for Communications Engineering  (drawn in red in the diagram):  
the  "complementary Gaussian error function"

Q(x)=12π+xeu2/2du.

Q(x)  is a monotonically decreasing function with  Q(0)=0.5.  For very large values of  x   ⇒   Q(x) tends 0.


The integral of the Q–function is not analytically solvable and is usually given in tabular form.  From the literature,  however,  manageable approximations or bounds for positive  x  values are known:

  • the  "upper bound"   ⇒   upper   (German:  "obere"   ⇒   subscript: "o")  blue curve in adjacent graph,  valid for  x>0:
Qo(x)=12πxex2/2Q(x),
  • the  "lower bound"   ⇒   upper   (German:  "untere"   ⇒   subscript: "u")  blue curve in adjacent graph,  valid for  x>1:
Qu(x)=11/x22πxex2/2Q(x),
  • the  "Chernoff-Rubin bound"  (green curve in the graph, drawn for  K=1):
QCR(x)=Kex2/2Q(x).

In the exercise it is to be investigated to what extent these bounds can be used as approximations for  Q(x)  and what corruptions result.



Hints:

  • The exercise provides some important hints for solving  "Exercise 1.16",  in which  QCR(x)  is used to derive the   "Bhattacharyya Bound"  for the AWGN channel.




Questions

1

What values do the upper and lower bounds for  x=4  provide?

Qo(x=4) = 

 105
Qu(x=4) = 

 105

2

What statements hold for the functions  Qo(x)  and  Qu(x)?

For  x2:  Both bounds are usable.
For  x<1Qu(x)  is unusable   (because  Qu(x)<0).
For  x<1Qo(x)  is unusable  (because  Qo(x)>1).

3

By what factor is the Chernoff-Rubin Bound above  Qo(x)?

QCR(x=2)/Qo(x=2) = 

QCR(x=4)/Qo(x=4) = 

QCR(x=6)/Qo(x=6) = 

4

Determine  K  such that  KQCR(x)  is as close as possible to  Q(x)  and at the same time  Q(x)K·QCR(x)  is observed for all  x>0 .

K = 


Solution

(1)  The upper bound is:

Qo(x)=12πxex2/2Qo(4)=12π4e83.346105_.
  • The lower bound can be converted as follows:
Qu(x)=(11/x2)Qo(x)Qu(4)3.137105_.
  • The relative deviations from the  actual  value  Q(4)=3.167·105  are  +5%  resp.  1%.


(2)  Correct are the  solutions 1 and 2:

  • For  x=2,  the actual function value  Q(x)=2.275102  is bounded by  Qo(x)=2.7102  and  Qu(x)=2.025102, respectively.
  • The relative deviations are therefore  18.7% resp.  11%,.
  • The last statement is wrong:   Only for  x<0.37   ⇒   Qo(x)>1  is valid.



(3)  For the quotient of  QCR(x)  and  Qo(x),  according to the given equations:

q(x)=QCR(x)Qo(x)=exp(x2/2)exp(x2/2)/(2πx)=2πx
q(x)2.5xq(x=2)=5_,q(x=4)=10_,q(x=6)=15_.
  • The larger the abscissa value  x  is,  the more inaccurately  Q(x)  is approximated by  QCR(x).
  • When looking at the graph in the information section,  I first had the impression that  QCR(x)  results from  Q(x)  by shifting to the right or shifting up. 
  • But this is only an optical illusion and does not correspond to the facts.



(4)  With  K=0.5_  the new bound  0.5QCR(x)  for  x=0  agrees exactly with Q(x=0)=0.500.

  • For larger abscissa values,  the falsification  q1.25x  thus also becomes only half as large.