Szemmozgás-követés/eyetracking

Átírás

1 Szemmozgás-követés/eyetracking Laborgyakorlat előadás 2017/18 tavasz

2 1. előadás: Az eye-tracker működési elve Adatfeldolgozás Adatelemzés 2. Előadás (péntek): Eye-tracker felhasználási területei a kognitív tudományban Kutatási terv elkészítése iránymutatás és ötletek

3 1. Eye-tracking : történet

4 Edmund B. Huey, 1898, 1900

5 Szemmozgás mérésének lehetséges módozatai 1. Elektro-okulográfia A fej helyzetéhez képest méri a szemmozgást 2. Scleral Contact Lens/Search Coil legpontosabb, de legintruzívabb módszer 3. Corneal Reflection / Pupil Centre eyetracking Legelterjedtebb Duchowsky, 2003

6 Az elmúlt 20 év: kereskedelmi forgalomba kerülnek KORÁBBAN MA Heywood & Churcher, 1981 Mason & Richardson, 2010

7 Felhasználási területek (a teljesség igénye nélkül) 1.Ember-gép interakció Autó, repülőgép-vezetés Visual Inspection 2. Marketing Hirdetések hatékonysága Weblapok struktúrája 3. Informatika - Gaze-contingent displays 4. Pszichológia és idegtudomány Olvasás Észlelés, figyelem, emlékezet Pszichiátriai és neurológiai kórképek vizsgálata Duchowsky (2002). A breadth-first survey of eye-tracking applications. Behavior Research Methods, Instruments, & Computers November 2002, Volume 34, Issue 4, pp

8 2. Corneal reflection/pupil centre method

9 Videokamera alapú eye-tracker működési elve Purkinje tükörképek Infravörös- fényforrás Videokamera

10 Videokamera alapú eye-tracker működési elve Pupilla középpontja Infravörös fény visszatükröződése a szaruhártyán (I. Purkinje-tükörkép)

11 Videokamera alapú eye-tracker működési elve

12 Videokamera alapú eye-tracker működési elve Kalibráció x x x x x x x x x Kalibráció után a két pont viszonylagos helyzetéből kiszámítható a tekintet iránya

13 3. Eye-tracker típusok és működésük

14 ADATMINŐSÉG Eye-tracker típusokower-mounted Tower-mounted Remote Head-mounted ÖKOLÓGIAI VALIDITÁS

15 4. Adatok feldolgozása

16 Adatok feldolgozása

17 A szemmozgások fajtái FIXÁCIÓ Drift Micro-saccade Tremor SZAKKÁD Glissade FINOM KÖVETŐ SZEMMOZGÁS (Smooth Pursuit) PISLOGÁS PUPILLA-ÁTMÉRŐ

18 Event detection előtt nyers adat

19 Event detection után a feldolgozott adat

20 Event detection előtt nyers adat

21 Event detection után a feldolgozott adat

22 Event detection típusai 3 módszer Adatfeldolgozás során a nyers adatokban a jellemzőik alapján azonosítjuk a különböző okulomotoros eseményeket. Pl: a szakkád alatt a szem hirtelen nagyon gyorsan mozog A fixáció alatt a tekintet hosszú ideig nem változik. Duchowsky, 2003

23 Pislogás detektálása

24 Pupilladilatáció - adatfeldolgozás Pislogás, zaj detektálása, kiszűrése A görbe simítása, baseline korrekció

25 Pupilladilatáció - adatfeldolgozás Egy k.sz. összes trial alatti görbéje Egy k.sz. átlag-görbéje Az összes k.sz. átlaggörbéje A minta átlaggörbéje

26 5. Adatminőség

27 Adatminőség PRECISION (reliabilitás) Zaj keletkezhet: Rendszer működése Okulomotoros zaj Mikor fontos: Egyes szemmozgások egyes idői/téri paramétereinek vizsgálata ACCURACY (validitás) Probléma lehet: Máshol mér, mint ahova néz (offset) Optikai műtermék 70 cm távolságról kb. 0.5 cm Mikor fontos: Ha az a fontos, hogy pontosan az ingermező mely részére néz a ksz.

28 Adatminőség rossz precision, nyers adat

29 Adatminőség rossz precision, event detection után

30 Adatminőség rossz accuracy

31 A felvétel minőségét rontó tényezők Szempillafesték

32 A felvétel minőségét rontó tényezők Szemüveg Beeső szemhéj Kontaktlencse

33 Adatminőség ellenőrzése Eye-tracking adatfeldolgozásban használt mértékegység: látószög Precision Accuracy

34 Adatminőség hatása az event detection-re

35 6. Adatelemzés

36 Adatok elemzése elemzési lehetőségek 1., Szemmozgás-paraméterek kiszámolása Fixációk átlagos hossza Pupilla átmérő Fixációk száma Szakkádok hosszúsága 2., AOI elemzés Hány fixáció? Milyen hosszúak a fixációk? Mikor volt az első fixáció? Hányszor tért vissza a tekintet? 3., Scanpath 4., Figyelmi térképek

37 Szemmozgás paraméterek Fixáció Szakkád Más SZM Pozíció dispersion measures similarity measures Időtartam fixation duration first fixation duration saccadic duration blink duration Latencia eye-voice latency saccadic latency Smooth pursuit gain Szám Number of fixations global vs local saccades Microsaccade rate Mozgás overall fixation vector saccadic acceleration smooth pursuit velocity BÓNUSZ: PUPILLA-ÁTMÉRŐ

38 Area of Interest elemzések Fixáció Szakkád Más SZM AOI Pozíció dispersion measures similarity measures landing position in AOI Időtartam fixation duration first fixation duration saccadic duration blink duration total dwell time first fixation duration Latencia eye-voice latency saccadic latency Smooth pursuit gain time until first entry Szám Number of fixations global vs local saccades Microsaccade rate Number of returns Mozgás overall fixation vector saccadic acceleration smooth pursuit velocity transition analysis

39 Area of Interest elemzések Az AOI hozzákapcsolja az okulomotoros eseményeket az ingerekhez. AOI-események 1.Hit 2.Transition 3.Dwell 4.Return

40 Area of Interest elemzések Transition Matrix AOI rácsok AOI síkok

41 AOI kijelölés buktatói Matematikus Bölcsész

42 Figyelmi térképek: Heat Map, Luminance Map

43 Figyelmi térképek - buktatók Csak téri leképeződése az adatoknak, következtetések levonása problematikus lehet. Nem egyértelmű, hogy hány próba, Effect size kérdése hány ksz-ről van szó benne.