Odhad parametrů metodou maximální věrohodnosti

Ve cvičení na bayesovské rozhodování jsme využívali znalosti jak podmíněných pravděpodobností porozorvání p(x|k), tak apriorních pravděpodobností P(k). V předchozích dvou cvičeních jsme si ukázali minimaxní a Neyman-Pearson strategii pro případ, že neznáme apriorní pravděpodobnosti. Situace však může být ještě složitější a nemusíme znát ani hustoty pravděpodobnosti p(x|k). A právě jejich odhadem se budeme zabývat v tomto cvičení.

Formulace problému

Pokusíme se opět sestrojit bayesovský klasifikátor obrázků písmen, tentokráte ale bez znalosti apriorních pravděpodobností P(k) a hustot pravděpodobností p(x|k). Ty si odhadneme z dodaných trénovacích příkladů a úspěšnost námi nalezené strategie budeme ověřovat na nezávislé testovací množině. K odhadu parametrů distribuce p(x|k) použijeme maximálně věrohodný odhad..

Použijeme opět jednoduché měření:

x = (součet hodnot pixelů v levé polovině obrázku) - (součet hodnot pixelů v pravé polovině obrázku)

Pro jednotlivé třídy (písmenka) budeme uvažovat gaussovský model distribuce: p(x|k) ~ N(μk, σk). Odhad tvaru distribuce závisí na dvou parametrech, μk a σk, které odhadneme metodou maximální věrohodnosti.

Odhadnuté apriorní pravděpodobnosti a hustoty pravděpodobnosti použijeme ke klasifikaci testovacích dat pomocí bayesovské strategie.

Zadání

  1. Napište formulaci maximálně věrohodného odhadu parametrů μk a σk distribucí p(x|A), p(x|C):

    Nápověda: (μk,σk) = argmax P({x1,x2 ...

    (musíte být schopni formulaci vysvětlit cvičícím)

  2. Stáhněte si a nahrajte do Matlabu soubor data_33rpz_cv04.mat.

  3. Pro všechny trénovací množiny proveďte:
    1. Spočtěte apriorní pravděpodobnosti P(A) a P(C).
    2. Metodou maximální věrohodnosti odhadněte parametry μk a σk distribucí p(x|A) a p(x|C).
    3. Pro výše vypočtené μk vykreslete odhadnutou střední věrohodnostní funkci L (viz [1]) jako funkci σk. Stačí jen pro jednu třídu, např. pro třídu A.

  4. Do jednoho grafu vykreslete odhadnuté distribuce p(x|A), p(x|C) společně s normalizovaným histogramem trénovacích dat.

  5. Na základě získaných odhadů klasifikujte testovací data pomocí bayesovské strategie a vypište chyby.

Bonusová úloha

  1. Zopakujte body 2.1, 2.2 a 4  pro dvourozměrné měření X = (x, y)T

    y = (součet hodnot pixelů v horní polovině obrázku) - (součet hodnot pixelů v dolní polovině obrázku)


  2. Podobně jako v bodě 3 zobrazte odhadnuté distribuce (použijte funkci pgauss) a testovací vzorky (použijte funkci ppatterns).

Doporučená literatura

[1] Maximálně věrohodný odhad

[2] Archív zápisů z přednášek rozpoznávání (33RPZ)
Created by Jan Šochman. Last modification 15.10.2008.