Szemmozgás-követés/eyetracking Laborgyakorlat előadás 2017/18 tavasz
1. előadás: Az eye-tracker működési elve Adatfeldolgozás Adatelemzés 2. Előadás (péntek): Eye-tracker felhasználási területei a kognitív tudományban Kutatási terv elkészítése iránymutatás és ötletek
1. Eye-tracking : történet
Edmund B. Huey, 1898, 1900
Szemmozgás mérésének lehetséges módozatai 1. Elektro-okulográfia A fej helyzetéhez képest méri a szemmozgást 2. Scleral Contact Lens/Search Coil legpontosabb, de legintruzívabb módszer 3. Corneal Reflection / Pupil Centre eyetracking Legelterjedtebb Duchowsky, 2003
Az elmúlt 20 év: kereskedelmi forgalomba kerülnek KORÁBBAN MA Heywood & Churcher, 1981 Mason & Richardson, 2010
Felhasználási területek (a teljesség igénye nélkül) 1.Ember-gép interakció Autó, repülőgép-vezetés Visual Inspection 2. Marketing Hirdetések hatékonysága Weblapok struktúrája 3. Informatika - Gaze-contingent displays 4. Pszichológia és idegtudomány Olvasás Észlelés, figyelem, emlékezet Pszichiátriai és neurológiai kórképek vizsgálata Duchowsky (2002). A breadth-first survey of eye-tracking applications. Behavior Research Methods, Instruments, & Computers November 2002, Volume 34, Issue 4, pp 455-470.
2. Corneal reflection/pupil centre method
Videokamera alapú eye-tracker működési elve Purkinje tükörképek Infravörös- fényforrás Videokamera
Videokamera alapú eye-tracker működési elve Pupilla középpontja Infravörös fény visszatükröződése a szaruhártyán (I. Purkinje-tükörkép)
Videokamera alapú eye-tracker működési elve
Videokamera alapú eye-tracker működési elve Kalibráció x x x x x x x x x Kalibráció után a két pont viszonylagos helyzetéből kiszámítható a tekintet iránya
3. Eye-tracker típusok és működésük
ADATMINŐSÉG Eye-tracker típusokower-mounted Tower-mounted Remote Head-mounted ÖKOLÓGIAI VALIDITÁS
4. Adatok feldolgozása
Adatok feldolgozása
A szemmozgások fajtái FIXÁCIÓ Drift Micro-saccade Tremor SZAKKÁD Glissade FINOM KÖVETŐ SZEMMOZGÁS (Smooth Pursuit) PISLOGÁS PUPILLA-ÁTMÉRŐ
Event detection előtt nyers adat
Event detection után a feldolgozott adat
Event detection előtt nyers adat
Event detection után a feldolgozott adat
Event detection típusai 3 módszer Adatfeldolgozás során a nyers adatokban a jellemzőik alapján azonosítjuk a különböző okulomotoros eseményeket. Pl: a szakkád alatt a szem hirtelen nagyon gyorsan mozog A fixáció alatt a tekintet hosszú ideig nem változik. Duchowsky, 2003
Pislogás detektálása
Pupilladilatáció - adatfeldolgozás Pislogás, zaj detektálása, kiszűrése A görbe simítása, baseline korrekció
Pupilladilatáció - adatfeldolgozás Egy k.sz. összes trial alatti görbéje Egy k.sz. átlag-görbéje Az összes k.sz. átlaggörbéje A minta átlaggörbéje
5. Adatminőség
Adatminőség PRECISION (reliabilitás) Zaj keletkezhet: Rendszer működése Okulomotoros zaj Mikor fontos: Egyes szemmozgások egyes idői/téri paramétereinek vizsgálata ACCURACY (validitás) Probléma lehet: Máshol mér, mint ahova néz (offset) Optikai műtermék 70 cm távolságról kb. 0.5 cm Mikor fontos: Ha az a fontos, hogy pontosan az ingermező mely részére néz a ksz.
Adatminőség rossz precision, nyers adat
Adatminőség rossz precision, event detection után
Adatminőség rossz accuracy
A felvétel minőségét rontó tényezők Szempillafesték
A felvétel minőségét rontó tényezők Szemüveg Beeső szemhéj Kontaktlencse
Adatminőség ellenőrzése Eye-tracking adatfeldolgozásban használt mértékegység: látószög Precision Accuracy
Adatminőség hatása az event detection-re
6. Adatelemzés
Adatok elemzése elemzési lehetőségek 1., Szemmozgás-paraméterek kiszámolása Fixációk átlagos hossza Pupilla átmérő Fixációk száma Szakkádok hosszúsága 2., AOI elemzés Hány fixáció? Milyen hosszúak a fixációk? Mikor volt az első fixáció? Hányszor tért vissza a tekintet? 3., Scanpath 4., Figyelmi térképek
Szemmozgás paraméterek Fixáció Szakkád Más SZM Pozíció dispersion measures similarity measures Időtartam fixation duration first fixation duration saccadic duration blink duration Latencia eye-voice latency saccadic latency Smooth pursuit gain Szám Number of fixations global vs local saccades Microsaccade rate Mozgás overall fixation vector saccadic acceleration smooth pursuit velocity BÓNUSZ: PUPILLA-ÁTMÉRŐ
Area of Interest elemzések Fixáció Szakkád Más SZM AOI Pozíció dispersion measures similarity measures landing position in AOI Időtartam fixation duration first fixation duration saccadic duration blink duration total dwell time first fixation duration Latencia eye-voice latency saccadic latency Smooth pursuit gain time until first entry Szám Number of fixations global vs local saccades Microsaccade rate Number of returns Mozgás overall fixation vector saccadic acceleration smooth pursuit velocity transition analysis
Area of Interest elemzések Az AOI hozzákapcsolja az okulomotoros eseményeket az ingerekhez. AOI-események 1.Hit 2.Transition 3.Dwell 4.Return
Area of Interest elemzések Transition Matrix AOI rácsok AOI síkok
AOI kijelölés buktatói Matematikus Bölcsész
Figyelmi térképek: Heat Map, Luminance Map
Figyelmi térképek - buktatók Csak téri leképeződése az adatoknak, következtetések levonása problematikus lehet. Nem egyértelmű, hogy hány próba, Effect size kérdése hány ksz-ről van szó benne.