Odhad parametrů

Tomáš Svoboda

Předpokládáme, že tvar hustoty rozdělení je znám $f(\vc{x})$. Na základě pozorovaných dat se snažíme odhadnout parametry. Podrobnější odvození může čtenář najít v knize [1] nebo [2].

Maximálně věrohodný odhad

Uvažujme hustotu $f(\vc{x})$ zavisící na vektoru parametrů $\mbox{\boldmath$\theta$\unboldmath }=[\theta_1, \dots, \theta_M]^T$. Pro jednoduchost nyní zanedbejme označení příslušnosti ke třídě. Stejná úvaha platí pro všechny třídy. Pro vyjádření závislosti hustoty na paramtrech, zavedeme podmíněnou hustotu $f(\vc{x}\vert\mbox{\boldmath$\theta$\unboldmath })$. Z trénovací množiny máme $N$ vektorů $X=\{\vc{x}_1,\dots,\vc{x}_N\}$. Za předpokladu, že tyto vzorky byly vybrány náhodně, je jejich sdružená hutota rovna součinu jednotlivých hustot.

$$f(X\vert\mbox{\boldmath$\theta$\unboldmath }) = \prod_{n=1}^... ...\unboldmath }) \equiv L(\mbox{\boldmath$\theta$\unboldmath }).$$ (1)

$L(\mbox{\boldmath$\theta$\unboldmath })$ je funkce $\mbox{\boldmath$\theta$\unboldmath }$ pro dané $X$, nazýváme ji věrohodnost parametrů. Čili maximálně věrohodný odhad parametrů bude takový, jenž maximalizuje hodnotu věrohodnosti, rovnice (1) V praxi je mnohem snazší minimalizovat funkci

$$E = -\ln( L(\mbox{\boldmath $\theta$\unboldmath }) ) = - \sum... ...{N}\ln f(\vc{x}_n\vert\mbox{\boldmath $\theta$\unboldmath }).$$

Pro normální rozdělení můžeme odvodit nejvěrohodnější odhad střední hodnoty a kovarianční matice

$$\hat{\mbox{\boldmath$\mu$\unboldmath }} = \frac{1}{N} \sum_{n=1}^{N}\vc{x}_n$$ (2)

$$\hat{C} = \frac{1}{N}\sum_{n=1}^{N}(\vc{x}_n-\hat{\mbox{\boldmath$\mu$\unboldmath }})(\vc{x}_n-\hat{\mbox{\boldmath$\mu$\unboldmath }})^T.$$ (3)

Literatura

1

Christopher M. Bishop.
Neutral Networks for Pattern Recognition.
Clarendon Press, Oxford, Great Britain, 3th edition, 1997.

2

Athanasios Papoulis.
Probability and Statistics.
Prentice-Hall, 1990.