33PVR 2007 - DU-02 - Korespondence sekvence obrazů planární scény

Zadání

Vstup: Sekvence fotografií planární (tj. rovinné) scény, sejmutá kamerou z různých míst. Po sobě následující snímky byly sejmuty z blízkých míst.

Výstup: Sekvence homografií, kde t-tá homografie popisuje transformaci mezi (t-1)-ním a t-tým obrazem. Korespondence Harrisových bodů (rohů) přes celou sekvenci.

Úkolem je napsat automatický algoritmus v MATLABu, který tuto sekvenci homografií najde.

Termíny

Všimněte si, že datum odevzdání se kryje s datem cvičení. Je to proto, že na tomto cvičení můžeme vyřešit případné problémy s vložením do odevzdávacího systému. Proto úlohu zkuste vložit již před tímto cvičením.

Podrobnosti řešení

Zpracujte vždy dvojici obrazů t-1 a t, pro t=2...17. Označme obrazy v čase t-1 a t jako I1 a I2. V těchto dvou obrazech máme najít množinu korespondujících dvojic bodů (každý z jednoho obrázku), tj. těch, které odpovídají stejnému bodu ve scéně. Tyto korespondující body najdeme na základě toho, že musí splňovat dvě podmínky:

Obrázky je možno před zpracováním převést na černobílé.

Pro nalezení korespondence a homografie mezi obrazy I1 a I2 použijte následující postup:

  1. Detekujte v obrazech I1 a I2 rohy. Detektor rohů (také známý jako Harrisův detektor) implementujte podle přednášek. Označme N1 počet bodů detekovaných v obraze I1. Označme N2 počet bodů detekovaných v obraze I2.

    Detekované rohy v prvních dvou snímcích sekvence by měly vypadat přibližně takto. V Harrisově detektoru jsme použili parameter sigma=3.

  2. Kolem každého Harrisova bodu uvažujte okénko 7x7 pixelů (ve středu okénka je Harrisův bod). Spočítejte lineární korelační koeficient r(n1,n2) mezi okénky kolem bodů n1 a n2 pro n1=1...N1 a n2=1...N2. Argumenty lineárního korelačního koeficientu budou dva vektory o délce 49 obsahující jasy obou okének, srovnané např. po sloupcích.

    Lineární korelační koeficient (také nazývný normalized cross-correlation, zkratka NCC) je invariantní vůči lineárním transformacím jasu a jeho hodnota leží v intervalu <-1,+1> (viz teoretický návod), proto se často používá jako míra podobnosti okének.

    Matice r má tedy rozměr N1xN2. Její prvek r(n1,n2) udává, jak moc je okolí bodu n1 v obraze I1 podobné okolí bodu n2 v obraze I2. Pokud je hodnota r(n1,n2) blízká jedné, je to evidence, že body korespondují.

    Přesněji řečeno, nemusíte počítat všech N1*N2 korelačních koeficientů. Protože sousední obrázky sekvence jsou od sebe málo vzdálené, bod v obraze I1 nemůže být od svého korespondujícího bodu v obrázku I2 příliš daleko. Tudíž pokud body n1 a n2 jsou od sebe příliš daleko, koeficient r(n1,n2) můžeme položit roven -1 (nebo stačí i 0) bez jeho počítání.

  3. Najděte v matici r dvojice bodů (n1,n2), které splňují podmínku symetrie: Tyto dvojice mají velkou pravděpodobnost, že korespondují. Budeme je nazývat kandidáty na korespondenci.

  4. Pomocí metody RANSAC (Random Sampling Concensus, viz přednáška) vyberte z množiny kandidátů na korespondenci ty dvojice bodů, které jsou s dostatečnou přesností svázány homografií. Tj. hledáme množinu A dvojic bodů a zároveň homografii H tak, že pro každé (n1,n2) v A platí s nějakou přesností, že lambda*x2(n2)=H*x1(n1). Zde jsme x1(n1) označili homogenní souřadnice Harrisova bodu v prvním obraze s indexem n1, podobně pro x2(n2).

    Homografii H ještě můžete zpřesnit, tak že je přepočítáte ze všech bodů, které byly inliers (v pásmu tolerance) nejlepšího vzorku RANSACu. (Toto je nepovinné, ale stejně to budete dělat u třetí úlohy.)

    Uvědomte si, že výstupem RANSACu nejsou jen homografie. Neméně důležité je, že RANSAC rozdělí množinu kandidátů na "správné" a "špatné".

Až budete umět najít korspondence ve dvojici obrázků, zpracujete celou sekvenci takto:

Upozornění

Tato úloha je složitější než DU-01. Není to tak moc programování, ale je nutno tomu rozumět. Kdo si nechá úlohu na poslední chvíli, nemá šanci to stihnout (čímž nesplní podmínky pro absolvování předmětu). Proto doporučujeme průběžnou kontrolu implementovaných výsledků v následujících třech cvičeních takto: Kdo bude rychlejší (např. už na 6. cvičení ukáže kandidáty na korespondenci), tím lépe pro něj.