Az alak- és formalátás mechanizmusai dr. Sáry Gyula 211. április 14. Alak- és formafelismerésünk robusztus, megbízható folyamat nekünk eredeti (másik) eredeti szemmozgás méret (távolság) fényviszonyok meg a nap forgatás (fák, kocsik, arcok) tükörkép nézıpont 1. nézıpont 2. (teória!) 1
alak háttér szétválasztás Kezdeti lépések A stimulus lebontása retina sejtjei: fénymintázatok - - - - + - V1 sejtjei: orientált vonalak, élek (él-detektorok) szín, vonalhossz, görbület, sarkok, metszések, irány, 3D retinotopikus tulajdonság (feature) térképek ( guruló ceruza esete) parallel processing 2
A stimulus rekonstruálása 1. Össze kell rakni az egyes vonásokat, de melyiket és hogyan? Gestalt pszichológusok: melyik elemeket rakjuk össze? a jó folytonosság elve a közelség elve közös sors elve (madárraj) összekapcsolódás A stimulus rekonstruálása 2. Hogyan rakjuk össze az elemeket? a figyelem fényszórója térbeli figyelem figyelem limitált, egyszerre kicsi felszín, mozogni kell és akkor: a tárgy képe egységes reprezentációvá áll össze hasonlítható a belsı reprezentációhoz A change blindness problémája: a reprezentáció nem is olyan teljes / korrekt? 3
Change blindness Change blindness 4
Change blindness Change blindnness 5
A tárgylátás teóriái a tárgylátás a retinán kezdıdik: a tüzelési mintázat a tárgy reprezentációja (de csak abban a helyzetben, világításban, stb.) tárgylátási teóriák: hogyan kompenzál a látórendszer? A 3D struktúra helyreállítása a retinális kép 2D-s (több 2D-s kép tartozik u. ahhoz a 3D-s tárgyhoz egyformán kell kezelni ıket! 3D helyreállítása nézıpont független reprezentáció nem mőködik mindig a rekonstrukció (David Marr) csak egyes részeket kell/lehet rekonstruálni (kis lépések, tárgy konstancia) nézıpont függı reprezentáció is mőködhet (típusos nézet) ha össze lehet vetni a belsı reprezentációval pontos strukturális leírás egyszerő illesztés nézıpont függı leírás bonyolult illesztés 6
Primitívek primitívek: elemi alkotók percepciós lépések lokális intenzitáskülönbségek kontúrok (orientált élek, metszéspontok, sarkok, stb) felszíndarabok (2,5 D) térbeli primitívek (kockák, hengerek, gúlák, stb.) Veszedelmes primitív viszonyok primitívek: elemi alkotók percepciós lépések intenzitási különbségek kontúrok (orientált élek) felszíndarabok (2,5 D) térbeli primitívek (kockák, hengerek, gúlák, stb.) pixelek élek strukturális leírás, primitívek nézıpont változik de leírás jó de! 7
Strukturális leírás vs. nézıpont primitívek és viszonyaik: nézıpont invariáns reprezentáció de: nem érzékeny a tárgyak közti kis különbségekre biz. információ elvész megoldás: hierarchikus descriptorok egyre pontosabbak, de egyre kevésbé stabilak Strukturális leírás vs. nézıpont Biederman geon (geometrical icon) teóriája 8
A tárgylátás elektrofiziológiája A tárgylátás elektrofiziológiája 9
A kérgi vizulális pályarendszerek (majomban) majomban) IP MT V1 V2 V4 STS F. SYLVII Cerebellum INFEROT NFEROTEMPORÁ EMPORÁLIS KÉREG A ventrális pályarendszer áttekintı sémája 1
Az inferotemporalis (IT) kéreg tulajdonságai utolsó vizuális terület a ventrális pályán complex, színes ingerekre reagál sejtjei szelektívek különbözı alakzatokra az IT eltávolítása alakfelismerési zavarokkal jár Alak- és formafelismerésünk robusztus, megbízható folyamat színes fekete-fehér vonalas rajz sziluett textúra illuzórikus kontúr 11
A regisztrációs kamra helyének meghatározása A: 17, L: 23 Kísérleti elrendezés fixációs pont stimulus (Wurtz után) 12
Az IT sejtek ingerszelektivitása aktivitás (kisülés/s) 1 c191fx.exp - 3 idö (ms) 1 1-3 1 1-3 1 1-3 1 1-3 1-3 1-3 1-3 1-3 1-3 1-3 1-3 1-3 1-3 1-3 1-3 - 3-3 - 3-3 A színek eltávolításának hatása az inferotemporalis sejtek szelektivitására színes szürkeárnyalatos Tompa et al., 25 13
A színek eltávolításának hatása az inferotemporalis sejtek szelektivitására Netto tüzelési aktivitás [kisülés/s] 3 25 2 15 1 5-5 -1 A színes és a szürkeárnyalatos stimulusokra kapott populációs hangolási görbék ANOVA: F(3, 96)=1,3668, p=,2576 n= 33 leghatékonyabb hatékony rossz legrosszabb Stimulussorrend Tompa et al., 25 szürkeárnyalatú színes Egy négyszög három arca luminancia mozgás textúra 14
A sejtek szelektivitása független a háttértıl való elkülönülés módjától luminancia mozgás textura luminancia mozgás textura Sáry et al. 1993. Takart tárgyak 15
IT sejt szelektivitása a takart alakzatokra takaratlan % takarás takaratlan % takarás Kovács et al. 1995 Illuzórikus kontúrok 16
time [ms] Illuzórikus kontúrok reprezentációja az inferotemporális kéregben avr. net firing rate [spikes/s] Sáry et al., 28 17
time [ms] Illuzórikus kontúrok reprezentációja az inferotemporalis kéregben avr. net firing rate [spikes/s] Sáry et al., 27 A képi inger redukciója és ennek hatása az IT kéreg sejtjeinek aktivitására Kovács et al., 23 18
IT sejtek reagálnak 3 D tárgyakra sztereo bal szem jobb szem bal szem jobb szem STS Janssen et al. 1999 Az IT sejtek tulajdonságai Szelektívek lehetnek egyes alakzatokra. A szelektivitás megtartott akkor is, ha a háttértıl való elkülönülést változtatjuk. A szelektivitás megtartott akkor is ha csökkentjük a kép felszínérıl érkezı információt. A szelektivitás megtartott akkor is ha a kép egyes részei hiányoznak (takarásban vannak). 19
arcra specifikusan reagáló sejt kéz sejt Az IT sejtek nagymama sejtek? (Sárga Volkswagen detektorok?) Az IT sejtek ideális jelöltek. De: kevesebb sejt van, mint ahány felismerendı tárgy a sejtek pusztulása nem jár felismerési zavarokkal a sejtek nem igazán szelektívek (stimulus preferencia) egy sejt egymástól nagyon különbözı stimulusokra is reagálhat 2
Az IT sejtjei egyes, kritikus részletekre reagálnak 21
Feladatfüggı moduláció az inferotemporalis kéregben vizuális felismerési feladatban Fixáció Diszkrimináció Sáry et al., 26 22
Feladatfüggı moduláció az inferotemporalis kéregben vizuális felismerési feladatban C157 sejt átlagos tüzelése a fixációs és diszkriminációs feladatban FIX DIS aktivitás (kisülés/s) 8 6 4 2 1 2 2 3 3 4 idõ (ms) Sáry et al., 26 23