3. Sztereó kamera Kató Zoltá Képfeldolgozás és Számítógépes Grafika taszék SZTE (http://www.if.u-szeged.hu/~kato/teachig/)
Sztereó kamerák Az emberi látást utáozza
3 Sztereó kamera pár Két, ugaazo 3D látvát leképező projektív kamera A vetítési középpotjuk em esik egbe! Eg sztereo kamera-pár speciális em középpotos vetítést végez Az ile képpárokat sztereó képpárak evezzük. Az emberi látáshoz hasolóa3d rekostrukció állítható elő egszerű háromszögeléssel Stadard sztereó: azoos kamerák, a képsíkok eg síkba esek, és csak iráú eltolás va köztük Bal kép Jobb kép
4 Epipoláris geometria Geometriai kapcsolat a két kamera képe között A két kamera középpotot összekötő egees a bázis egees A bázis egees döféspotjai a képsíkoko az epipólusok C,C,, és X eg síkba esek: az X-hez tartozó epipoláris sík Képsíkok és az epipoláris sík metszetei az epipoláris egeesek
5 Epipoláris geometria Az epipoláris egeesek Az egik kamera vetítősugaráak képe a másik kamerába az és potokhoz tartozó epipoláris egeesek redre l és l. Az epipólusok A kamera középpotok képei az e és e epipólusok, ezek az epipoláris egeesek metszéspotjai
6 Epipoláris geometria Az epipoláris síkok és epipoláris egeesek helzete X- től függ Az epipoláris síkok közös metszete a bázis egees Az epipoláris egeesek képsíkbeli közös metszete az epipólus
7 Stadard sztereó kamerák esete Az epipólusok az tegel meté a végtelebe Epipoláris egeesek párhuzamosak és egbeesek a kép rasztersoraival
8 Epipoláris összefüggés C kamera középpot és képpot meghatároz eg vetítősugarat a 3D térbe, amiek a másik kamerába az l epipoláris egees lesz a képe (ugaazo az epipoláris síko vaak) Mivel az X 3D pot eze a vetítőegeese va X képe a másik kamerába ( ) az l epipoláris egeese lesz Vagis az epipoláris geometriai kapcsolat megad eg l leképezést, ami az egik kamera képpotjához a eki megfelelő l epipoláris egeest redeli
9 Fudametális mátri Az l leképezést algebrailag a fudametális mátri adja meg: l =F Az F fudametális mátri 33 méretű, de ragja (pot képe egees), tehát em ivertálható Szabadsági foka 7 (homogeitás és a kettes rag miatt: 9-=7) Ha C=C F=0! Csak két külöböző ézőpotra működik Mi az összefüggés eg (P,P ) sztereó kamerapár két egmásak megfelelő, potpárja között? Mivel az l egeese va: T l =0 másrészt l =F, tehát valamei potpárra teljesül: ' T F Fordított irába a (P,P) sztereó kamerapár fudametális mátria a traszpoált mátri lesz: F T 0
0 A Fudametális mátri kiszámítása Mide i i potmegfeleltetésre teljesül: Eg potpárra eg egeletet kapuk: ' T F 0 ' f ' f ' f3 ' f ' f ' f3 f 3 f 3 f33 0 Szétválasztva az ismeretlet az adattól: T ', ', ', ', ', ',,, f, f, f, f, f, f, f, f, f 0 adat (ismert pot koordiáták) 3 3 3 3 33 ismeretle (F elemei) Az összes potpárra felírva lieáris egeletredszert kapuk: ' ' ' ' ' ' ' ' ' ' ' ' Af 0 f 0
Há pot megfeleltetés szükséges? Ha A ragja 8 f eg skálafaktor erejéig meghatározható ehhez 8 pot megfeleltetés szükséges Ha A ragja > 8 Túlhatározott egeletredszer LSE megoldása: Af miimalizálása f = feltétellel (A SVD felbotásával) Legalább 8 pot megfeleltetés szükséges Azoba F szabadsági foka 7 rak A = 7 elvileg még elegedő megoldható 7 pot megfeleltetésből is, de umerikusa ehézkes (emlieáris egeletet kapuk) F szigularitását is fel kell haszáli a megoldáshoz. Bárhoga is számoljuk ki F-t, a ragja kell lege Ellekező esetbe F em fudametális mátri Af 0
F ragja F szigularitása fotos Eélkül az epipoláris egeesek em fogják eg potba metszei egmást! Ha rak F Ha rak F=
3 F ragja F kettes ragból eredő tulajdoságai: e' T F 0 0 F az Af=0 egeletredszer algebrai megoldása, ragja lehet >. SVD felbotással kapjuk: F Fe detf 0 rak F σ σ Keressük azt az F kettes ragú mátriot, amire: 3 V T U σ Megkapjuk, ha F legkisebb sziguláris értékét ullázzuk: F' σ U σ U σ V 0 T U σ V T V T U σ U V σ T mi V T U σ 3 3 F- F' V T 3 F
Normalizált 8 potos algoritmus Lieáris túlhatározott egeletredszer LSE megoldás A SVD felbotásával 8 egeletük va, de általába rak A = 9 zajos (tehát valós) adato Pot koordiáták ormalizálása kritikus, külöbe LSE em ad stabil megoldást! 4 0 33 3 3 3 3 f f f f f f f f f
5 Normalizálás/deormalizálása Traszformáljuk a potokat a [-,][-,] égzetbe (0,500) (700,500) 0 700 0 700 500 500 (-,) (0,0) (,) (0,0) (700,0) Adott >=8 pot megfeleltetés (-,-) (,-). Normalizálás T és T mátriokkal: T ad T. Oldjuk meg F -re a) F = a legkisebb sziguláris értékhez tartozó sziguláris vektor A SVD felbotásába. b) SVD(F ) F a kettes rag készerítése 3. Deormalizálás: F=T T F T
6 Epipólusok meghatározása Mivel az epipólus valamei epipoláris egeese rajta va: ' F 0 Fe 0 T Iput: Fudametális mátri F F SVD felbotásával kapjuk: ' T Fe 0 T F UDV Az e epipólus a V ulla sziguláris értékek megfelelő oszlopvektora lesz Az e epipólus pedig az U ulla sziguláris értékek megfelelő oszlopvektora lesz
7 Fudametális mátri összefoglaló F egértelműe meghatározott 3X3 rag mátri, bármel -re teljesül: T F=0. Traszpoált: ha F a (P,P ) fudametális mátria, akkor F T a (P,P) fudametális mátria. Epipoláris egeesek: l =F & l=f T 3. Epipólusok: mide epipoláris egeese rajta va : e T F=0, e T F=0, hasolóa Fe=0 4. F szabadsági foka 7: 3X3 - (homogé) -(rag ) 5. F eg pot projektív leképezése eg l =F egeesre (em ivertálható) 6. F ivariás eg midkét kamerára ható projektív traszformációra (PH, P H) ak ugaaz az F mátria, mit (P, P )-ek bármel teljes ragú H projekcióra (homográfia) tehát F a P kamerát méri a P -höz képest, függetleül attól, hog hová tesszük őket.
8 Esszeciális mátri Ha a K kalibrációs mátri ismert: iverzével szorozva a képpotokat ormalizált koordiátákat kapuk =K - =[R t]x iverzével szorozva a kamera mátriot megkapjuk a ormalizált kamera mátriot K - P=[R t] Tekitsük most eg ormalizált kamera párt: P=[I 0] és P =[R t]. A kamera párak megfelelő fudametális mátriot Esszeciális mátriak evezzük: E=[t] R=R[R T t] Továbbra is teljesül: T E=0 E és F közötti kapcsolat: E K' T FK
9 Esszeciális mátri 5 szabadsági fok (3 forgatás: R és eltolás: t) SVD felbotás tulajdoságai: Első két sziguláris érték egelő A harmadik 0 Mivel E eg skálafaktor erejéig meghatározott, írhatjuk: E=Udiag(,,0)V T Meghatározhatjuk a P, P kamera mátriokat eg skálafaktor megoldás erejéig, ég lehetséges
0 4 lehetséges megoldás Csak eg esetbe leszek a potok midkét kamera látóterébe
Felhaszált aagok Davi Geiger: Computer Visio 00 course