9 Metoda nejmenších čtverců

**Obrázek:** Proložení přímky metodou nejmenších čtverců

Mějme naměřenou závislost, tj. soubor dvojic $\bf x_1\; ,y_1 \; ; \;\;\;\; x_2 \; , y_2 \;;\;\;\ldots \;\;\; ;x_n\; , y_n$
Těmito body proložíme funkci $\bf y=f(x,b_1,b_2,\ldots,b_p)$ , přičemž $\bf b_1,b_2,\ldots,b_p$ jsou její parametry, jejichž statistické odhady $\bf\hat{b}_1,\hat{b}_2,\ldots ,\hat{b}_p$ hledáme.
Kritérium: Součet S čtverců odchylek empirických hodnot $\bf y_i$ od vyrovnaných hodnot
$\bf y=f(x_i,b_1, \ldots,b_p)$ je minimální, tj.

$\begin{displaymath}\bf S=\sum_{i=1}^{n}(y_i-f(x_i,b_1, \ldots, b_p))^2 = min. \end{displaymath}$

(49)

Nutnou podmínkou existence minima funkce $\bf S$ je

$\begin{displaymath}\bf \frac{\partial S}{\partial b_j} = 0 \end{displaymath}$

(50)

pro j = 1, 2, ..., p.
Dále omezíme tvar funkce f na lineární regresní funkci

$\begin{displaymath}\bf y=b_1f_1(x)+b_2 f_2(x) + \ldots + b_p f_p(x) \end{displaymath}$

(51)

Podmínka pro minimum má tvar

$\begin{displaymath}\bf S=\sum_{i=1}^{n}(y_i-b_1 f_1(x_i)-\ldots-b_j f_j(x_i)- \ldots -b_p f_p(x_i))^2 = min \end{displaymath}$

(52)

Konkrétně pro parametr $\bf b_j$ obdržíme

$\begin{displaymath}\bf \sum_{i=1}^{n}f_j(x_i) f_1(x_i) b_1+ \ldots + \sum_{i=1}^{n} f_j(x_i) f_p(x_i) b_p= \sum_{i=1}^{n} y_i f_j(x_i) \end{displaymath}$

(53)

Označme

$\begin{displaymath}\bf \sum_{i=1}^{n}f_j(x_i)\:f_h(x_i)=a_{jh} \: \: \: \; \sum_{i=1}^{n} y_i f_j(x_i) = a_j \end{displaymath}$

(54)

Získáme tak soustavu rovnic:

$\begin{displaymath} \begin{array}{c} a_{11} b_1 + a_{12} b_2 + \ldots + a_{1p... ...{p1} b_1 + a_{p2} b_2 + \ldots + a_{pp} b_p = a_p \end{array} \end{displaymath}$

Řešením této soustavy tzv. normálních rovnic obdržíme hledané odhady $\bf\hat{b}_1,\hat{b}_2,\ldots ,\hat{b}_p$
Pro polynom

tého stupně $y = b_0 + b_1\;x +b_2\;x^2 +...+ b_m\;x^m$ mají rovnice tvar

$\begin{displaymath} \begin{array}{c} n\; b_o + \sum\limits _{i=1}^{n} x_i b_... ...i^{2m} b_m = \sum \limits _{i=1}^{n} x_i^m y_i \end{array} \end{displaymath}$

Pro příklad prokládání přímky $\bf y = k x + q$ dostaneme toto řešení

$\begin{displaymath}\bf \hat{k}=\frac{n \sum \limits_{i=1}^{n}x_i y_i - \sum \l... ... \sum \limits_{i=1}^{n}x_i \sum \limits_{i=1}^{n} x_i y_i}{W} \end{displaymath}$

(55)

kde

$\begin{displaymath}\bf W=n \sum \limits_{i=1}^{n} x_i^2 - (\sum \limits_{i=1}^... ...: S_o=\sum \limits_{i=1}^{n}(y_i - \hat{q}- \hat{k} x_i )^2 \end{displaymath}$

(56)

Pro směrodatné odchylky platí

$\begin{displaymath}\bf \hat{s}_q= \sqrt{\frac{\sum \limits_{i=1}^{n}x_i^2} {W... ... \: \: \: \hat{s}_k= \sqrt{\frac{n}{W}}\sqrt \frac{S_o}{n-2} \end{displaymath}$

(57)

Z obecných statistických úvah pro standardní odchylku parametru

plyne

$\begin{displaymath}\bf \hat{s}_{b_j}= \sqrt{a_{jj}} \sqrt{\frac{S_0}{n - p}}, \end{displaymath}$

(58)

kde

je počet měření,

je počet určovaných parametrů,

je zbytkový (reziduální) součet čtverců odchylek

$\begin{displaymath}\bf S_0 = \sum_{i = 1}^{n} \left(y_i - \hat{b}_1 f_1(x_i) - ... - \hat{b}_p f_p(x_i)\right)^2. \end{displaymath}$

(59)

$\bf a_{jj}$ je $\bf j$ - tý diagonální prvek matice inverzní k matici soustavy normálních rovnic. Funkce $\bf y=f(x_i,b_1, \ldots,b_p)$ se nazývá teoretická regresní funkce a její znázornění se nazývá teoretická regresní křivka. Regresní funkce $\bf y=f(\hat{b}_1,\hat{b}_2,\ldots,\hat{b}_p)$ v níž jsou neznámé parametry $\bf b$ nahrazeny odhady $\bf\hat{b}$ se nazývá empirická regresní funkce a její grafické znázornění se nazývá empirická regresní křivka.

Poznámka: Dostupné modely v systému FAMULUS 3.5
PRIMKA.FM : Proložení přímky metodou nejmenších čtverců
PRIMKAP.FM: Předcházející program doplněný o analýzu dat

**Obrázek:** Proložení přímky metodou nejmenších čtverců s vyznačením intervalu spolehlivosti

**Obrázek:** Proložení polynomu metodou nejmenších čtverců s vyznačením intervalu spolehlivosti