EM algoritmus. A feladat: egy valószínűség eloszlás valmilyen paraméterét(vektorát) akarjuk becsülni részlegesen megfigyelhető.

Átírás

1 Szegmentálás

2 Szegmentálás Hsztogram alapján, paraméteres hsztogram modell, EM algortmus Pontokra egyenes, lletve előre defnált alakú görbe llesztés, Hough transzformácó Modell alapú szegmentálás, ASM (AAM) és az alapját képező PCA

3

4

5 EM algortmus A feladat: egy valószínűség eloszlás valmlyen paraméterét(vektorát) akarjuk becsüln részlegesen megfgyelhető. adatok alapján. A megfgylések: X={x 1, x 2,, x L } smert Nem smert Z={z 1, z 2,, z L } A teljes adathalmaz: Y X Z Knduló hpozézs az smeretlen paraméterről h Ezt feltételezve tudunk becslést adn az smeretlen paraméterre

6 EM algortmus ML becslés lkelhood fv alapján Itt: P Y h a teljes megfgyelésnek megfelelő lkelhood fv-t kellene meghatározn. Helyette képezzük P Szélsőérték-keresés M lépés. Iteratív módon alkalmazzuk. x h PY h E P Y h Y szernt várható értékét E lépés.

7 Feladat a Gauss eloszlások paraméterenek becslése Itt csak 1 és 2 becslése x megfgyelhető z j nem megfgyelhető De: z j =1, ha x -t a j-edk Gauss generálta Knduló értékek Két egymást követő lépés: - Várható érték képzés - Maxmum keresés

8 A lkelhood függvény egy mntára ( l ) ( l (, ) μ) ahol μ P Y h p x z L mntára, ha azok függetlenek A log lkelhood fv: Helyette k ( l) ( l) ( l) P Y h p ( x, z μ) p ( x ) jelenleg k 2 l11 () l P Y h p( X, Z μ) p( x ) l11 L k () l () l z log P Y h log p( X, Z μ) log p( x ) l11 L k z L () l () l p x k log ( ) L k () l log log ( () l ) E P Y h E z p x l11 z () l z () l T

9 Várhatóérték-képzés ( l) ( l) ( l) ( l) E z 1 p( z 1) 0 p( z 0) p( z 1) () l ( 1 l p z x x ) l l p( x x ) P( ) p( x x ) E z l p( x x j) P( j) j () l Gauss eloszlás mellett és feltételezve, hogy P(1)=P(2) E z () l 1 () l exp x () l exp x 2 j j 2 2 2

10 Behelyettesítve a log lkelhood fv-be és elvégezve a szélsőérték-keresést ( l) ( l) ( l) ( l) E z1 x E z2 x 1 l ; l ( l) 2 ( l) E z 1 E z2 l l Kölcsönös függés Iteratív eljárásra van szükség E z () l 1 () l exp x () l exp x 2 j j 2 2 2

11

12 Transzformácó a Hough térbe

13 Egy példa 2 egyenessel

14 Egy példa

15 Egyéb, előre defnált alakzat detektálása

16 Létezk általánosabb alak detektáló verzó s

17 PCA x' 2 x 2 x' 1 y Tx T φ, φ,..., φ 1 2 N T x 1 T φ φ j j x 2 N 1 y φ xˆ M 1 y M N T T 1 T T I, vagys T T N M 2 N E E y y E y 1 1 M 1 2 x xˆ φ φ T y φ x 2

18 PCA 2 N N N T T T T T E φ x x φ φ E xx φ φ Rxxφ M 1 M 1 M 1 Lagrange multplkátoros feltételes szélsőérték-keresés 2 N T T T φ φ φ C φ φ φ ˆ 1 xx 1 N M 1 M 1 N ˆ 2 2 xx φ C φ φ 0 Cxxφ φ 2 M1 N N N φ T T R xx φ φ φ M 1 M 1 M 1

19 ASM/AAM Actve Shape Models objektumok alakjának statsztkus modellje, melyeket teratív módon deformálunk, hogy egy objektum új képéhez gazodjanak Az alak a statsztkus alak modell által megszabott feltételekhez lleszkedk, cmkézett, annotált tanítókészlettel ndul. A képekhez pontokat (landmarks) rendelünk és ezeket összekötő egyeneseket. A pontok teratív módosítását végezzük. Fgyelembevesszük az egyenesek mentén határgörbére merőlegesen az egyes pontoknál a gradensek statsztkus változását. Feltesszük, hogy smert egy kezdet becslés az alak és elhelyezkedés szempontjából az alakparamétereknél Frssítjük ezeket a paramétereket Mnden modellpontnál keressük a normáls rányokat, és a normáls rány mentén keressük a legjobban lleszkedő megjelenést Frssítjük a pose és shape paramétereket, hogy a legjobban lleszkedjen a modell a megtalált pontokra Folytatjuk az eljárást a konvergenca eléréség Az eljárás javítható, ha multresoluton megoldást választunk, amkor a keresést egy durva felbontású képen ndítjuk, majd fokozatosan fnomítunk (kép prams). Ez gyorsabb, pontosabb és robusztusabb megoldást ad.

20 ASM/AAM Referencapontokat (landmarks) kell meghatározn. Mnden alakot egy megfelelően (manuálsan) elhelyezett pontkészlettel jellemzünk. Ezek felcmkézett pontok, és egymásnak megfeleltethetők. A landmarkok célszerűen valamlyen jelentéssel kell rendelkezzenek: pl. sarokpont, egy arcon a szemközép, stb. (alkalmazásfüggő pontok) lehetnek alkalmazásfüggetlen pontok s: maxmumpont, egy görbület extrémpontja, stb A landmarkok össze vannak kötve. Az összeköttetés s fontos, (sorbarendezés, egyenesekkel összekötve A referencapontok átlagát és az átlagtól való eltérés varancáját meghatározzuk

21 ASM/AAM Egy példa Ellenállásokat kell körberajzoln egy áramkör alkatrészrajzán Néhány példa a körvonalakra Referencapontok és azok összeköttetése

22 Prokrusztész ágy Procrustes, also called Polypemon, Damastes, or Procoptas, n Greek legend, a robber dwellng somewhere n Attca n some versons, n the neghbourhood of Eleuss. Hs father was sad to be Posedon. Procrustes had an ron bed (or, accordng to some accounts, two beds) on whch he compelled hs vctms to le. Here, f a vctm was shorter than the bed, he stretched hm by hammerng or rackng the body to ft. Alternatvely, f the vctm was longer than the bed, he cut off the legs to make the body ft the bed s length. In ether event the vctm ded. Ultmately Procrustes was slan by hs own method by the young Attc hero Theseus, who as a young man slayed robbers and monsters whom he encountered whle travelng from Trozen to Athens. The bed of Procrustes, or Procrustean bed, has become proverbal for arbtrarly and perhaps ruthlessly forcng someone or somethng to ft nto an unnatural scheme or pattern.

23 ASM/AAM Modellépítés jellegzetes helyek referencapontokhoz A képen jelentéssel rendelkező alkalmazásspecfkus - pontok (pl. szem, orr, stb.) Alkalmazásfüggetlen jellegzetes pontok (Sarokpontok, nagy görbületű tartományok pontja, szélsőértékek, stb.)

24 ASM/AAM A landmarkok reprezentálása: 2n dmenzós vektor, ahol n a landmarkok száma egy képen Több képből ndulunk k, mnden képhez ugyanazokat a landmarkokat jelöljük meg Az alakok ugyanabban a koordnátarendszerben kell megjelenjenek: rány, pozícó, méret egységesítés, úgy hogy az átlagostól való négyzetes eltérés mnmumot adjon (Prokrusztész analízs) Van s képünk egy 2n dmenzós térben reprezentálva: s db 2n dmenzós adat (vektor) egy pontfelhő: A pontok hasonló pozícóban lesznek. A megengedhető alaktartományon belül hasonló, új alakokat s lehet generáln. A sokdmenzós térben a pontok a képek különbözősége matt egy közel ellpszodon belül helyezkednek el. Az ellpszod középpontját és tengelyet határozzuk meg. Alkalmazzuk a pontfelhőre a PCA-t közelítő repreentácó az eredet térben A A transzformácós mátrx t sajátvektorból A közelítő reprezentácó a transzformált térben (a sajátvektorok által kfeszített térben) b a leíró paramétervektor

25 ASM/AAM PCA 1. átlagképzés 2. számítsuk k az adatok kovaranca mátrxát 3. Határozzuk meg S sajátvektorat és sajátértéket =1,..., 2n 4. Rendezzük csökkenő nagyság szernt sorba 5. Számítsuk k a jel átlagos négyzetes értékét 6. Vegyük az első t legnagyobb sajátértéket ahol adja meg, hogy a teljes varanca hány százalékát akarjuk megtartan tpkus érték %

26 ASM/AAM A PCA célja olyan parametrkus leírása a képnek, ahol a paraméterek száma mnél ksebb, mközben a kép a lehető legkevésbé torzul. A paraméterek megváltoztatásával az eredet képkészlethez hasonló tovább képek generálhatók. A parametrkus leírást gazítan kell egy konkrét képhez. Ehhez költségfüggvény kell A pozícó, forgatás, nyújtás (Prokrusztész) mellett, a paraméterek írnak le egy képet, úgy, hogy az eltérés a lehető legksebb legyen. Az eltolás, skálázás, forgatás: Ahol X a modell pontokat, X a legközelebb él pontjat jelöl Tetszőleges optmalzáló eljárás használható. Multdmenzós optmalzálás (Powells módszer, genetkus algortmus,...), de nncs semm előzetes nformácónk, hogy hol vannak az objektum éle. A modell által generált kontúr és a képkontúrok összehasonlítása Az algortmus 1. vzsgáljuk meg a képet az X pontok mndegykének a környezetében, és keressünk a közelben legjobban lleszkedő X -t 2. Frssítsük a paramétereket úgy, hogy az új pontok a legjobban lleszkedjenek 3. A b paraméterekre alkalmazzuk a szóródás korlátokat

27 ASM/AAM Hogyan módosítsuk a pontokat? Ha határozott él van a képen: Jobb megoldás: A proflt feltérképezzük és építünk tt s egy statsztukus modellt Egy adott ponthoz lleszkedve a pont környezetében 2k+1 pontot mntavételezünk: ahol =1,...,s (nzetntásértékek vagy derváltak) Normlzálunk Ezt véggcsnáljuk az összes pontra és az összes képre Feltételezzük, hogy Gauss eloszlások Egy új mnta lleszkedésének mértéke: mnmuma maxmálja hogy a modellből származk A pontok mozgatása után újra a paraméteres modell llesztés jön. Multrezolúcós megoldás

28 ASM/AAM Multrezolúcó Durvábbtól fnomabb felé Negyed felbontású kép Fél felbontású kép Eredet kép A profl mentén a mntavétel értékek

29 ASM/AAM Egy jó megoldás Egy rossz megoldás

30 Alkalmazás egy MR képen ASM/AAM

31 ASM/AAM Átlag, átlagtól való eltérés (nulla középértékre hozás) PCA t alkalmazunk, az átlagtól való eltérésekre Kndulás 5 terácó után a konvergenca állapotában Kovaranca mátrx, sajátértékek, sajátvektorok. A sajátvektoroknak van az alakra vonatkozó jelentése. Pl. az első a drótok pozícója, a másodk a fő alak alakja, a harmadk a görbület, stb.

32 ASM/AAM

33 ASM/AAM AAM (Actve appearance model) Kndulás: mnt az ASM-nél Lényeges különbség: AAM mnden pxelt felhasznál és ezeket alak és megjelenés szempontból s néz Texturát s fgyelembe vesz A texturára s készít egy statsztka modellt: Átlagtextura, sajátvektorok textura paraméterek a sajátvektorok terében Az alakot és a texturát együttesen kezel, ezt s PCA-val

34 Fourer sor Alakmodell Fourer sor alakmodell x = x 0 + n=1 a n sn(n + n ) y = y 0 + b n sn(n + n n=1 ) Az alakot az a, b, n és n paraméterekkel írjuk le Változtatva a paraméterek értékét, és a szummában a tagok számát, különböző alakzatok generálhatók A paraméterek változtatása mellett egy mnmalzálás feladat s megfogalmazható, így a paraméteres görbék a képhez gazíthatók. Ilyen mnmalzálandó függvény egy energafüggvény Sznte tetszőleges alak leírható, anélkül, hogy bárm a pror nformácónk volna az alakról. A megközelítés gyenge pontja: A Fourer reprezentácó nem jó mnden alakhoz: egy négyszögletes sarok véges sok taggal csak közelítőleg adható meg. Adott típusú képekhez lehet a paraméterek eloszlásáról valam statsztkánk. Van egy tanító készletünk, adott típusú képekből. Ezeket a paraméteres Fourer modellel leírjuk, mndegykhez kellő pontossággal llesztjük a modelt, majd a paraméterek statsztkáját felvesszük. Valószínűség megközelítés s alkalmazható: maxmálunk egy olyan valószínűség mértéket, hogy az adott modell mellett a konkrét kép maxmáls valószínűségű legyen