Random Samples

Tomáš Svoboda

Abstract:

Pomocný text objasňující základy teorie náhodných vzorků (random samples). Především odhad střední hodnoty a rozptylu. Vysvětelna je momentová funkce (moment generating) funkce a odvození jednotlivých momentů.

Contents

• Contents
• Základní vztahy
  • Momenty náhodné veličiny
  • Momentová funkce
  • Momentový teorém
  • Parametery transformované veličiny
• Náhodné vzorky - Random Sampling
  • Střední hodnota náhodných vzorků
  • Odhad parametrů z náhodných vzorků
• Bibliography

Základní vztahy

Momenty náhodné veličiny

Moment $n$-tého řádu je definován

$$m_n = {\sf E}\{{\bf x}^n\} = \int_{-\infty}^{\infty} x^n f(x) dx.$$ (1)

Centrální moment $n$-tého řádu

$$\eta_n = {\sf E}\{({\bf x}-\mu)^n\} = \int_{-\infty}^{\infty} (x-\mu)^n f(x) dx.$$ (2)

Moment prvního řádu označujeme jako střední hodnotu $m_1 = \mu$. Druhý centrální moment označujeme jako rozptyl $\eta_2 = \sigma^2$. Odmocninu $\sqrt{\sigma^2}$ nazýváme standardní odhylkou. Rozptyl lze spočítat z prvního a druhého momentu.

$$\sigma^2 = m_2 - \mu^2.$$ (3)

Důkaz:

$$\sigma^2 = {\sf E}\{({\bf x}-\mu)^2\} = {\sf E}\{{\bf x}^2 \}... ...mu{\sf E}\{{\bf x} \} + \mu^2 = {\sf E}\{{\bf x}^2 \} - \mu^2.$$

Momentová funkce

Odvození je převzato a upraveno z knihy [1]. Momentová funkce náhodné veličiny ${\bf x}$ je definována jako střední hodnota funkce $e^{s{\bf x}}$. Funkci označíme $\Phi(s)$ a je definována pro všechna $s$ pro která ${\sf E}\{e^{s{\bf x}}\}$.

$$\Phi(s) = {\sf E}\{e^{s{\bf x}}\} = \int_{-\infty}^{\infty} e^{sx}f(x) dx.$$ (4)

Tuto funkci s výhodou využijeme při transformaci náhodných veličin. Buď ${\bf y}=a{\bf x}+b$ náhodná veličina. Její momentová funkce je rovna:

$$\Phi_y(s) = {\sf E}\{e^{s(a{\bf x}+b)}\} = e^{bs}\Phi_x(as).$$ (5)

Momentový teorém

Buď $m_n$ $n$-tý moment náhodné veličiny.

$$m_n={\sf E}\{{\bf x}^n\} = \Phi^{(n)}(0).$$ (6)

Důkaz: $n$ diferencováním (4) podle $s$ vypočteme

$$\Phi^{(n)}(s) = \int_{-\infty}^{\infty} x^n e^{sx} f(x) dx.$$

jelikož $s=0$, tato rovnice je přesně rovnice (1).

Parametery transformované veličiny

Buď $\sigma^2_x$ rozptyl a $\mu_x$ střední hodnota náhodné veličiny ${\bf x}$. Definujeme náhodnou veličinu ${\bf y}$ jako

$${\bf y} = a{\bf x} + b.$$

Nyní chceme spočitat $\sigma^2_y$ a $\mu_y$ ze znalosti charakteristik náhodné veličiny ${\bf x}$. Známe vztah pro momentovou funkci transformované veličiny (5). Derivujeme podle $s$

$$\Phi'_y = be^{bs} \int_{-\infty}^{\infty} e^{asx} f(x) dx + e^{bs} a \int_{-\infty}^{\infty} xe^{asx} f(x) dx.$$ (7)

po dosazení $s=0$,

$$\mu_y = \Phi'_y(0) = b+a\mu_x.$$ (8)

Derivací rovnice (7) získáme

$$m_2(y) = b^2 + 2ba\mu_x + a^2 m_2(x).$$

připomeňme, že platí $m_2(x) = \sigma^2_x + \mu^2_x$, viz rovnice (3). Dosazením obdržíme

$$m_2(y) = (b+a\mu_x)^2 + a^2\sigma^2_x.$$

Rozptyl veličiny ${\bf y}$ je tedy roven

$$\sigma^2_y = m_2(y) - \mu^2_y = a^2\sigma^2_x.$$ (9)

Výše uvedené vztahy lze samozřejmě použít i ve vícedimenzionálním problému. Mějme $m$-rozměrnou náhodnou veličinu y, $n$-rozměrnou x a transformační matici $A$ o rozměru $m\times n$ a $m\times 1$vektor b.

$${\bf y} = A{\bf x} + {\bf b}.$$

Rovnice (8) se změní na

$${\sf E}\{{\bf y}\} = A {\bf x} + {\bf b}$$ (10)

a rovnice (9) bude

$$C_{\bf y} = A C_{\bf x} A^T.$$ (11)

$C_{\bf x}$ je $n\times n$ kovarianční matice x a $C_{\bf y}$ je $m \times m$ kovarianční matice vektoru y.

Náhodné vzorky - Random Sampling

Náhodné vzorky definujeme jako sekvenci nevzájem nezávislých náhodných veličin se stejným rozdělením (v anglické literatuře i.i.d - independent and identically distributed).

$${\bf x}_1, \dots, {\bf x}_i, \dots, {\bf x}_n.$$

Střední hodnota náhodných vzorků

Aritmetickému průměru

$$\mean{\vc{x}} = \frac{\vc{x}_1 + \dots + \vc{x}_n}{n}.$$ (12)

vzorků $\vc{x}_i$ se říká střední hodnota náhodných vzorků. Uvědomme si, že $\mean{\vc{x}}$ je také náhodná veličina. Připomeňme, že vzorky $\vc{x}_i$ mají stejnou střední hodnotu a rozptyl. S použitím rovnic (10) a (11) vypočteme střední hodnotu  $\mean{\vc{x}}$

$$\Expect{\mean{\vc{x}}} = \frac{\mu + \dots + \mu}{n} = \mu$$ (13)

pro rozptyl pak platí

$$\sigma_{\mean{\vc{x}}}^2 = \frac{\sigma^2 + \dots + \sigma^2}{n^2} = \frac{\sigma^2}{n}.$$ (14)

Odhad parametrů z náhodných vzorků

Buď $\vc{x}_i$ náhodné vzorky z rozdělení, jehož tvar známe, ale neznáme jeho parametry. Předokládejme náhodné rozdělení. Odhady budeme značit se stříškou, $\hat{\mu}$ je tedy odhad střední hodnoty $\mu$ a $\hat{\sigma}^2$ je odhad rozptylu $\sigma^2$. Metodou maximální věrohodnosti získáme následující odhady parametrů. Pro odhad střední hodnoty aritmetický průměr

$$\hat{\mu} = \frac{1}{N} \sum_{i=1}^{N} \vc{x}_i.$$ (15)

Střední hodnota odhadu je (viz předchozí podkapitola)

$$\Expect{\hat{\mu}}= \frac{1}{N} \sum_{i=1}^{N} \mu = \mu.$$ (16)

Odhad střední hodnoty je tedy nevychýlený. Pro odhad rozptylu:

$$\hat{\sigma}^2 = \frac{1}{N} \sum_{i=1}^{N} (\vc{x}_i - \hat{\mu})(\vc{x}_i - \hat{\mu})$$ (17)

Ukážeme ale, že tento odhad je vychýleným odhadem skutečného rozptylu $\sigma$.

Střední hodnota odhadu rozptylu je tedy

$$\Expect{\hat{\sigma}^2} = \sigma^2 - \Expect{(\hat{\mu}-\mu)^2}.$$

S použitím vztahu pro rozptyl střední hodnoty (14)

$$\Expect{\hat{\sigma}^2} = \frac{N-1}{N} \sigma^2.$$ (18)

Je zřejmé, že pro větší hodnoty $N$ je vychýlení zanedbatelné. Je třeba si uvědomit, že vychýlení je z důvodu použití odhadu střední hodnoty $\hat{\mu}$ místo skutečné střední hodnoty $\mu$. Pro nevychýlený odhad rozptylu se používá vztah

$$\hat{\sigma}^2 = \frac{1}{N-1} \sum_{i=1}^{N} (\vc{x}_i - \hat{\mu})(\vc{x}_i - \hat{\mu})$$ (19)

Po odvození zjistíme, že střední hodnota tohoto odhadu je $\sigma^2$.

Bibliography

1

Athanasios Papoulis.
Probability and Statistics.
Prentice-Hall, 1990.