Metoda nejmenších čtverců

Naším cílem je určit parametry polynomu tak, aby střední kvadratická chyba na trénovací množině byla minimální. Tento problém lze jednoduše zapsat v maticovém vyjadření. Zaveďme nésledující značení

$${\mathbf X} = \left [ \begin{array}{ccccc} 1 & x_1 & ... ...0 \\ a_1 \\ \vdots \\ a_d \end{array} \right ].$$ (4)

Problém odhadu vektoru ${\mathbf a}$ pomocí nejmenších čtverců lze maticově zapsat jako

$${\mathbf a} = \mathop{\rm argmin}_{{\mathbf a}^{*}} ({\mat... ...hbf y})^T\cdot({\mathbf X}\cdot{\mathbf a}^{*} - {\mathbf y})$$ (5)

Tento problém má analytické řešení

$${\mathbf a} = ({\mathbf X}^T\cdot{\mathbf X})^{-1}\cdot{\mathbf X}^T\cdot{\mathbf y}$$ (6)