 |
Center for Machine Perception Department of Cybernetics Faculty of Electrical Engineering Czech Technical University in Prague |
 |
Computational and Cognitive Vision Systems: A Training European Network |
Abstrakt
Odhadování vnitřní a vnější kalibrace kamery je základním
prvkem v mnoha aplikacích počítačového vidění. Lokalizace snímku
nebo objektu, pohyb kamery z videa, rekonstrukce scény, sledování a rozpoznávání
představují jen několik příkladů takových aplikací. Tato
disertace se zaměřuje na minimální algoritmy pro výpočet
kalibrace kamery, tj. algoritmy, které potřebují minimální množství meření,
ku příkladu bodové korespondence mezi 2D a 3D prostorem, pro výpočet
pozice kamery a dalších parametrů, jako je neznámá ohnisková vzdálenost
nebo koeficienty modelu zkreslení objektivu.
V práci nejdříve studujeme problém určení absolutní pozice plně kalibrované kamery, který byl již v minulosti intenzivně studován a také pro něj existuje mnoho řešení. Navrhli a vyřešili jsme vlastní formulace tohoto problému, které jsou založena na známých invariantech. Dále ukážeme řešení pro kamery, které nemají kompletně známou vnitřní kalibraci a taky pro případy, kdy je k dispozici dodatečná znalost o scéně. Konkrétně, problém určení absolutní polohy kamery s neznámou ohniskovou vzdáleností, nebo s neznámou ohniskovou vzdáleností a s neznámým koeficientem radiálního zkreslení. Dále popíšeme případy, kdy je scéna pouze rovinná nebo je známý vertikální směr kamery (např. z akcelerometru, nebo pomocí úběžníků).
Všechny studované problémy jsme matematicky naformulovali pomocí základních vztahů mezi 2D měřeními a 3D prostorem. Ukážeme různé formulace a také, jak lze použít různé invarianty k zjednodušení rovnic nebo k snížení počtu neznámých. Každý studovaný problém vede k systémům polynomiálních rovnic. K jejich řešení použijeme populární metody pro řešení soustav polynomiálních rovnic a další metody, které jsme vyvinuli. Ukážeme, jak postupovat při řešení, na co si je třeba dávat pozor, jak vytvářet instance problémů v prvočíselných konečných polích. Každý řešený problém a každé jeho řešení ověřujeme pomoci řady experimentů na syntetických a reálných datech. Zkoumáme důležité vlastnosti, jakými jsou ku příkladu numerická stabilita, chování a přesnost, když jsou data poškozena šumem, a také je porovnáváme s existujícím stavem poznání.
Nakonec ukážeme obecné metody, kterými lze zrychlit nejen studované problémy, ale také další metody pro řešení systémů polynomiálních rovnic založených na výpočtu vlastních čísel. To je možné díky souvislosti, kterou jsme našli mezi metodami pro konverzi báze ideálu do báze v lexikografickém uspořádání a mezi výpočtem charakteristického polynomu multiplikační matice.
V práci nejdříve studujeme problém určení absolutní pozice plně kalibrované kamery, který byl již v minulosti intenzivně studován a také pro něj existuje mnoho řešení. Navrhli a vyřešili jsme vlastní formulace tohoto problému, které jsou založena na známých invariantech. Dále ukážeme řešení pro kamery, které nemají kompletně známou vnitřní kalibraci a taky pro případy, kdy je k dispozici dodatečná znalost o scéně. Konkrétně, problém určení absolutní polohy kamery s neznámou ohniskovou vzdáleností, nebo s neznámou ohniskovou vzdáleností a s neznámým koeficientem radiálního zkreslení. Dále popíšeme případy, kdy je scéna pouze rovinná nebo je známý vertikální směr kamery (např. z akcelerometru, nebo pomocí úběžníků).
Všechny studované problémy jsme matematicky naformulovali pomocí základních vztahů mezi 2D měřeními a 3D prostorem. Ukážeme různé formulace a také, jak lze použít různé invarianty k zjednodušení rovnic nebo k snížení počtu neznámých. Každý studovaný problém vede k systémům polynomiálních rovnic. K jejich řešení použijeme populární metody pro řešení soustav polynomiálních rovnic a další metody, které jsme vyvinuli. Ukážeme, jak postupovat při řešení, na co si je třeba dávat pozor, jak vytvářet instance problémů v prvočíselných konečných polích. Každý řešený problém a každé jeho řešení ověřujeme pomoci řady experimentů na syntetických a reálných datech. Zkoumáme důležité vlastnosti, jakými jsou ku příkladu numerická stabilita, chování a přesnost, když jsou data poškozena šumem, a také je porovnáváme s existujícím stavem poznání.
Nakonec ukážeme obecné metody, kterými lze zrychlit nejen studované problémy, ale také další metody pro řešení systémů polynomiálních rovnic založených na výpočtu vlastních čísel. To je možné díky souvislosti, kterou jsme našli mezi metodami pro konverzi báze ideálu do báze v lexikografickém uspořádání a mezi výpočtem charakteristického polynomu multiplikační matice.
Galerie:
Publikace:
Žurnálové články
- M. Bujnak, Z. Kukelova, and T. Pajdla. Efficient solutions to the absolute pose of cameras with unknown focal length and radial distortion by decomposition to planar and non-planar cases. IPSJ Transaction on Computer vision and Application (CVA), 4:78–86, May 2012.
- M. Bujnak, Z. Kukelova, and T. Pajdla. Making Minimal Solvers Fast. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR'12), 2012. pdf
- M. Bujnak, Z. Kukelova, and T. Pajdla. A general solution to the p4p problem for camera with unknown focal length. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR'08), Vols 1-12, pages 3506–3513, 2008. pdf
- M. Bujnak, Z. Kukelova, and T. Pajdla. New efficient solution to the absolute pose problem for camera with unknown focal length and radial distortion. In 10th Asian Conference on Computer Vision (ACCV'10), volume 6492 of Lecture Notes in Computer Science, pages 11–24, 2011. pdf
- Z. Kukelova, M. Bujnak, and T. Pajdla. Closed-form solutions to minimal absolute pose problems with known vertical direction. In 10th Asian Conference on Computer Vision (ACCV'10), volume 6493 of Lecture Notes in Computer Science, pages 216–229, 2011. pdf
- Z. Kukelova, M. Bujnak, and T. Pajdla. Automatic Generator of Minimal Problem Solvers. In 10th European Conference on Computer Vision (ECCV'08), volume 5304 of Lecture Notes in Computer Science, pages 302–315, 2008. pdf
- Z. Kukelova, M. Bujnak, T. Pajdla, Real-time solution to the absolute pose problem with unknown radial distortion and focal length, In IEEE International Conference on Computer Vision (ICCV'13), Sydney, Australia, 2013. pdf
- Z. Kukelova, M. Bujnak, and T. Pajdla. Polynomial eigenvalue solutions to minimal problems in computer vision. IEEE Transactions on Pattern Analysis and Machine Intelligence, 34(7):1381–1393, 2012. (Spotlight paper, IF 4.795) html
- Z. Kukelova, M. Bujnak, and T. Pajdla. Polynomial eigenvalue solutions to the 5-pt and 6-pt relative pose problems. In British Machine Vision Conference (BMVC'08), 2008. pdf
Download: