Methode der kleinsten Quadrate

Anpassung von beobachteten y-Werten an eine logistische Funktion

Das Verfahren

$y_m = f(t_1,\dots, t_q;x_1,\dots,x_p)$,

$\min_{\vec{x}} { \sum\limits_{i=1}^{n}(y_m - y_i)^2} \,$

$\min_{ \vec{x} } \| \vec{y}_{m} ( \vec{x} ) - \vec{y} \|_2 \ \,$

Lineare Modellfunktion

Der zweidimensionale Fall

$\min_{x_0,x_1}\left\|\begin{pmatrix}1 & t_1 \\ \vdots & \vdots \\ 1 & t_n \end{pmatrix} \begin{pmatrix} x_0\\ x_1\end{pmatrix} - \begin{pmatrix} y_1 \\ \vdots \\ y_{n}\end{pmatrix}\right\|_{2} = \min_x\|Ax-b\|_2\,$

$x_1 = \dfrac{\sum\limits\limits_{i=1}^n t_iy_i - n \cdot \bar t \bar y}{\sum\limits\limits_{i=1}^n t_i^2- n \cdot (\bar t)^2}$ und $x_0 = \bar y - x_1 \bar t$

$x_1 = \dfrac{\sum\limits\limits_{i=1}^n (t_i - \bar t)(y_i - \bar y)}{\sum\limits\limits_{i=1}^n (t_i - \bar t)^2}$

Beispiel

Streudiagramm von Länge und Breite 10 zufällig ausgewählter Kriegsschiffe

$x_1 = \dfrac{\sum\limits\limits_{i=1}^n (t_i- \bar {t})(y_i - \bar y)}{\sum\limits\limits_{i=1}^n (t_i- \bar t)^2}$ $= \dfrac{3287{,}820} {20391{,}60} = 0{,}1612 \;$,

$x_0 = \bar y - x_1 \bar t = 18{,}41 - 0{,}1612 \cdot 167{,}8 = -8{,}6451 \;,$

Der allgemeine lineare Fall

$y_m(t_1,\ldots,t_q;x_0, x_1, \dots, x_q )= x_0 + x_1 t_1 + \cdots + x_q t_q$

$\begin{matrix} x_0 + x_1 t_{11} + \cdots + x_j t_{1j}+ \cdots +x_q t_{1q} = y_1\\ x_0 + x_1 t_{21} + \cdots + x_j t_{2j}+ \cdots +x_q t_{2q} = y_2\\ \vdots \\ x_0 + x_1 t_{i1} + \cdots + x_j t_{ij}+ \cdots +x_q t_{iq}= y_i\\ \vdots\\ x_0 + x_1 t_{n1} + \cdots + x_j t_{nj}+ \cdots +x_q t_{nq}= y_n \end{matrix}$

$\begin{pmatrix} 1 & t_{11} & \cdots & t_{1j} \cdots & t_{1q}\\ 1 & t_{21} & \cdots & t_{2j} \cdots & t_{2q}\\ \vdots \\ 1 & t_{i1} & \cdots & t_{ij} \cdots & t_{iq}\\ \vdots\\ 1 & t_{n1} & \cdots & t_{nj} \cdots & t_{nq} \end{pmatrix} \cdot \begin{pmatrix} x_0 \\ x_1\\ x_2 \\ \vdots \\ x_j\\ \vdots\\ x_q \end{pmatrix} = \begin{pmatrix} y_0 \\ y_1\\ y_2 \\ \vdots \\ y_i\\ \vdots\\ y_n \end{pmatrix}$ bzw. $Ax = b~$.

$\min_x\|Ax-b\|_2$.

Lösung des Minimierungsproblems

$A^TAx=A^Tb \;,$

Anforderungen an die Daten

Multikollinearität

• Bei der vorwärts gerichteten Regression (Forward Regression) wird zuerst der Regressor in das Modell aufgenommen, der den größten Beitrag zur Erklärung von y liefert, also etwa die Quadratsumme der Residuen minimiert. Dann wird unter den verbliebenen potentiellen Regressoren der Regressor ausgewählt, dessen Beitrag zum bestehenden Modell maximal ist, usw. Das Verfahren wird beendet, wenn der zusätzliche maximale Beitrag eines Regressors statistisch insignifikant wird. Wird statt eines Tests eine kritische Genauigkeit verwendet, könnte man auch sagen, bis sich die Genauigkeit der Anpassung nicht mehr steigern lässt. Wenn das statistische Material nicht umfangreich genug ist kann es vorkommen, dass die Abhängigkeit der Genauigkeit von der Anzahl der Ansatzfunktionen nicht glatt, sondern rauh gegen einen Grenzwert konvergiert - daraus ergeben sich weitere Verbesserungsmöglichkeiten des Verfahrens.
• Bei der rückwärts gerichteten Regression (Backward Regression) werden zunächst alle Regressoren in das Regressionsmodell aufgenommen. Es wird dann der Regressor aus dem Modell entfernt, dessen Weglassen die Quadratsumme der Residuen am wenigsten reduziert. Dann wird der nächste Regressor entfernt usw. Das Verfahren stoppt, wenn der Beitrag des nächsten potentiellen Eliminationskandidaten zur Erklärung von y signifikant hoch wird, bzw. bis die Genauigkeit einen festgelegten Schwellenwert unterschreitet.

Im allgemeinen ist die Vorwärts-Elimination der Rückwärts-Elimination vorzuziehen, weil die Kreuzproduktmatrix $A^TA$ bei sehr vielen Regressoren häufig schon pathologisch ist und für die Eliminationsrechnung keine sinnvollen Ergebnisse liefert.

Ausreißer

Korrelierte Residuen: In den Residuen ist noch eine Schwingungskomponente, die man ev. mit dem Ansatz $y = x_{0} + x_{1} t + x_{2} \sin(t)$ einbinden könnte.	Verschiedene Varianz der Residuen: Die linken Residuen schwanken schwächer als die rechten. Vermutlich sind zwei verschiedene Populationen gemischt worden.	Ausreißer von y: Der Wert zieht die Gerade nach oben

Nichtlineare Modellfunktionen

$y = x_0 \cdot t^{x_1} \cdot e$

$y \approx x_0 + x_1 t + x_2 t^2+ \dots + x_q t^q$

Beispiel einer polynomialen Ausgleichskurve

Tabelle T1: Ergebnisse der Kleinst-Quadrate-Schätzung mit 4 gegebenen Datenvariablen $t^{\, j}$

$y \approx x_0 + x_1 t + x_2 t^2 + x_3 t^3 + x_4 t^4$

Tabelle T2: Ergebnisse der Kleinst-Quadrate-Schätzung mit 3 gegebenen Datenvariablen $t^{\, j}$

Streudiagramm: Durchschnittliches Gewicht von Männern nach Alter (Quelle der Daten: Statistisches Bundesamt, Wiesbaden 2004)	Streudiagramm von y und geschätztem y

Beispiel der Fourieranalyse

$y(t) \approx A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t)$$+ A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots$

$\dfrac{\partial}{\partial A_j} ( A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t)$$+ A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots \quad - \quad y(t) )^2 = 0$

$\dfrac{\partial}{\partial B_j} ( A_0 + A_1 \cos(\omega\,t) + B_1 \sin(\omega\,t)$$+ A_2\cos(2\omega\,t) + B_2 \sin(2\omega\,t) + \ldots \quad - \quad y(t) )^2 = 0$

Beispiel aus der Enzymkinetik einer nicht linearisierbaren Modellfunktion

$\nu_i = \dfrac{V_{max} \left[S_i\right]}{K_m+\left[S_i\right]}(1+e_i)\ {\nu}_i$

Siehe auch

• Konfidenzintervall
• Korrelationskoeffizient
• lineare Regression

Literatur

• Åke Björk: Numerical Methods for Least Squares Problems. SIAM, Philadelphia 1996. ISBN 0898713609
• Norman R. Draper, Harry Smith: Applied Regression Analysis. Wiley-Interscience, New York 1998. ISBN 0471170828
• Gerhard Opfer: Numerische Mathematik für Anfänger. Eine Einführung für Mathematiker, Ingenieure und Informatiker. Vieweg, Braunschweig 2002 (4. Aufl.). ISBN 3528372656
• R. J. Hanson, C. L. Lawson: Solving least squares problems. SIAM, Philadelphia 1995. ISBN 0898713560
• Volker Oppitz, Volker Nollau: Taschenbuch Wirtschaftlichkeitsrechnung. Carl Hanser, München 2003, ISBN 3446224637
• Volker Oppitz: Gabler Lexikon Wirtschaftlichkeitsberechnung. Gabler, Wiesbaden 1995, ISBN 3409199519
• Peter Schönfeld: Methoden der Ökonometrie. 2 Bd. Vahlen, Berlin-Frankfurt 1969-1971.
• Frederick Mosteller, John W. Tukey: Data Analysis and Regression - a second course in statistics. Addison-Wesley, Reading MA 1977. ISBN 020104854X
• E. Zeidler (Hrsg.): Taschenbuch der Mathematik. Begründet v. I.N. Bronstein, K.A. Semendjajew. Teubner, Stuttgart-Leipzig-Wiesbaden 2003. ISBN 3817120052
• Josef Schira: Statistische Methoden der VWL und BWL. Pearson Studium, München 2003, ISBN 3827370418

Hochtechnologie ist im wesentlichen mathematische Technologie.

Enquete-Kommission der Amerikanischen Akademie der Wissenschaften

Optimierung

• Lineare Optimierung
• Konvexe Optimierung
• Ausgleichungsrechnung
  • Methode der kleinsten Quadrate
  • Gauß-Newton-Verfahren
• Optimale Steuerung