8. Opikai áramlás és köeés Kaó Zolán Képfeldolgozás és Számíógépes Grafika anszék SZT (hp://www.inf.u-szeged.hu/~kao/eaching/)
Mozgókép (ideo) = diszkré képsoroza Y T X
3 OPTIKAI ÁRAMLÁS
4 Opikai áramlás fogalma p 1 p p 3 Opical Flow 1 3 p 4 4 lmozdulás ekorok A izuális elmozdulás jellemzi (nem felélenül egezik meg a alós elmozdulással) Vekormező, amel minden pielben megadja az elmozdulás iráná és nagságá Álalános feléelezés az inenziás állandósága Vagis az elmozdulás köekezében a pielek NM álozaják meg inenziásuka.
5 Alapfeléelezés 1: inenziás megmaradás * Slide from Michael Black, CS143 003
6 Alapfeléelezés : Térbeli koherencia Miel a szomszédos pielek a érbeli objekum felüleének is szomszédos ponjai, ezér hasonlóan mozognak Köekezésképpen az opikai áramlásmező lokálisan sima * Slide from Michael Black, CS143 003
7 Alapfeléelezés 3: Időbeli állandóság g felüleelem képi elmozdulása időben lassan álozik * Slide from Michael Black, CS143 003
8 Aperura probléma Csak az élre merőleges elmozdulásekor komponens haározhaó meg.
9 Opikai áramlás számolása Megfeleleés alapú módszerek: speciális képponok megfeleleésén alapszik (~regiszráció) Nagobb elmozdulások kezelésére is képes Variációs módszerek: A kép összes pielében e érbeli és időbeli ariáción alapszik Tipikusan kis elmozdulások kezelésére alkalmas Piramis echnikáal alkalmassá eheő nagobb elmozdulások kezelésére is.
Inenziás megmaradás Inenziás megmaradás ele: A jobb oldal linearizálhajuk az (+u,+,+1) Talor sorá ée az (,,) körül: (,,) (,,+1) ), ( ),, ( 1, u u u ),, ( 1),, ( 0 u Vagis, 0 T u u u ),, ( 1),, ( 10
11 Inenziás megmaradás egenlee Idő szerini deriál 0 (hiszen nem álozik): Képi gradiens Opikai áramlás Időbeli deriál (frame diferencia)
1 Horn-Schunk egenle A képi elmozdulás és a kép inenziásának érbeli és időbeli deriáljának kapcsolaa: - / Az opikai áramlás ekor eg egenesen an
13 Normális (opikai) áramlás Az egenlee kielégíő (u,) érékek a sebesség érben eg egenesen helezkednek el g lokális mérés csak ez az egenes adja aperura probléma. 1 egenle ismerelen n n n, T Normal, u, Le n flow,, n T T
14 Regularizálás Toábbi feléelekre an szükség, ami pl. regularizálással érheünk el: g kis körnezeben (gakorlaban 5X5), az elmozdulás azonos, ezér minden ponra felírhajuk az egenlee uganazzal az (ismerelen) elmozdulással. Íg a megoldás a sebességér öbb egenesének meszésponjakén alakul ki. Az opikai áramlásmező szakaszosan sima.
A konsans áramlás egenleei N=5 5 egenle Sandard LS megoldás: b A ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( 1 1 1 N N N p p p u p p p p p p b A A A T T T T b A A) (A b A u LS megoldás 15
16 (A T A) érelmezése Megegezik a Harris sarokdeekornál használ márial: Szinguláris ha de(a T A)= 1 =0 bármel sajáérék 0 aperura probléma: Ha egik 0 csak eg él, nem sarokpon Mindkeő 0 homogén régió, nem sarokpon z a Kanade-Lucas algorimus lénege (ld. később a mozgás köeésnél).
17 Horn-Schunk algorimus Az inenziás megőrződik (amennire lehe): F h ( u, ) D u d d Regularizálás: Opikai áramlás sima F s u u d d ( u, ) D A megoldás az alábbi kombinál funkcionál minimalizálása adja: u d d min F( u, ) λ a regularizáció súlá haározza meg
18 Variációs megoldás A megoldásban a funkcionál első ariációja 0 Másodrendű differenciálegenle-pár kapunk, ami ieraí módon oldhaunk meg. A deriálaka éges differenciákkal közelíjük u n1 ij n1 ij u, a u n ij n ij u ahol ij ij 1 ( ) 4 szomszédérék álaga n n
19 Variációs megoldás Vagis az új érék a 4 szomszéd álaga, elola a képi gradiens iránába n1 n n n uij uij uij ij n1 n 1 ( ij u, ij ahol ) a 4 szomszédérék álaga (, ) ( u, ) Consrain line (u,) u
0 Horn-Schunk algorimus pszeudokódja begin for j := 1 o N do for I:= 1 o M do begin calculae he alues (i,j,), (i,j,) and (i,j,) using a seleced appro formula iniialize he alues u(i,j) and (i,j) o zero end {for} choose a suiable weighing alue choose a suiable number n 0 1 of ieraions n := 1 while n n 0 do begin for j := 1 o N do for i := 1 o M do begin compue u,, updae u(i,j), (i,j) end {for} n := n + 1 end {while} end
1 Nagobb elmozdulások kezelése u=1.5 piels u=.5 piels u=5 piels image H u=10 piels image I Gaussian pramid of image H Gaussian pramid of image I
Nagobb elmozdulások kezelése Compue Flow Ieraiel warp & upsample Compue Flow Ieraiel... image J H Gaussian pramid of image H image I Gaussian pramid of image I
3 Opikai áramlás példák
4 MOZGÁSKÖVTÉS
5 Jellemzők mozgásának köeése 1. Köeendő objekumok azonosíása Sarokponok, eseleg egész régiók. Az objekumok köeése az egmás köeő képkockákon. Hasonló az opikai áramláshoz, de i keesebb piel hosszabb idő ala égze mozgásá haározzuk meg.
6 A köeési probléma jellegzeességei Jellemző ponok kiálaszása Az eges képkockák közö kis elmozdulás Összességében azonban jelenős álozás Megoldások Kanade-Lucas-Tomashi racker ( good feaures o rack ) [Kanade-Lucas 81] [Shi-Tomasi 94] Kalman szűrő Valószínűségi modell-alapú köeő: CONDNSATION CONdiional DNSi propagation [Isard-Blake 98]
7 Kanade-Lucas-Tomasi köeő 1. Keressünk jól köeheő jellemzőke Lénegében sabil sarokponoka, amelek a köeendő objekumon egenleesen oszlanak el (gakorlaban néhán száz pono szokás enni).. Köessük a kiálaszo jellemző ponoka ~1 pielni elmozdulás feléeleze elolási mozgás A köee pon kis körnezeében azonos elmozdulás feléeleze konsans áramlás Időnkén ellenőrizzük, hog a köee ponhalmaz (eg affin ranszformáció erejéig) megegezik a kiindulási halmazzal Kilógó ponok elhagása, ha keés pon marad akkor újak hozzáéele (akarás/előűnés kezelése) Képkockák közöi nagobb elmozdulások kezelésére az opikai áramlás módszerénél alkalmazo echnikák jöhenek szóba.
8 Kanade-Lucas-Tomasi köeő Számoljuk ki a =(d,d ) elolás, feléeleze, hog az kicsi: Deriálja 0: Affin mozgásra is igaz (6 ismerelen hele):
9 Példa mozgásköeésre
30 Felhasznál anagok Derek Hoiem: Compuer Vision (CS 543 / C 549), Uniersi of Illinois Toábbi források az eges diákon felünee.