Szemmozgáskövetés: Bepillantás a mondatok megértésének folyamataiba Káldi Tamás MTA NYTI, BME Pszichológia Doktori Iskola
Kérdések 1. Miért vizsgáljuk a szem mozgását? 2. Hogyan vizsgálhatjuk a szem mozgását? 3. Hogyan elemezzük a szemmozgás adatokat? 4. Két klasszikus kísérlet
Miért vizsgáljuk a szem mozgását? Pluribus intentus, minor est ad singula sensus. (Aki sokfelé figyel, semmire sem figyel igazán.) Amikor figyelmünket valamire irányítjuk, minden mást háttérbe kell, hogy szorítsunk. Ezt hívjuk szelektív figyelemnek.
A látás élessége (1/ ) A látás sem kivétel [1],[2] Vakfolt Pozíció a retinán ( ) A teljes élességű látás szöge: 2. Ez 64 cm-es távolságból egy 2,5 cm átmérőjű kör.
A látás sem kivétel [1],[2] Yarbus (1976) klasszikus kísérlete: Máshová nézünk, ha másra figyelünk.
Figyeld meg a képet!
Figyeld meg a képet! Gazdagok vagy szegények?
Figyeld meg a képet! Hány évesek? Gazdagok vagy szegények?
A látásról általában [1] Látásunk egy kis foltban éles. Ahhoz, hogy valamit megfigyeljünk, rá kell iránytanunk a tekintetünket (fixációk). Egyik fixációtól a másikig el kell jutni (szakkádok). fixáció: szakkád: 250 500 ms, van információfeldolgozás 20 33 ms, nincs információfeldolgozás A vizuális észlelés során sok kis mozaikból rakjuk össze a nagyképet.
Miért vizsgáljuk tehát a szem mozgását? Ha követni tudjuk, hogy valaki hová néz, azt is meg tudjuk állapítani, hogy mire irányítja a figyelmét. Mivel a vizuális észlelés rövid szakkádok és fixácikók sorozatából áll, a figyelem fókuszát az idő függvényében is követni tudjuk.
Egy egyszerű példa Félbevágta az epret vagy a kivit. Félbevágta az epret és a kivit. Az epret és a kivit jelentése egyszerűbb, mint az epret vagy a kivit jelentése.? Az egyszerűbb esetben a nézések hamarabb esnek a jobb felső képnegyedbe.
Hogyan vizsgáljuk a szem mozgását? [5][6] Tekercs + kontaktlencse: Mágneses térben mérhető a tekercs elmozdulása. Elektro-okulográfia: A szem köré helyezett elektródákban mért potenciál változás alapján. Optikai A szemről visszaverődő fény segítségével.
Az optikai módszer Monitor Hangszórók Button-box Infra-illuminátor & kamera Kamera Illuminátor
Az optikai módszer
Az optikai módszer [7] A pupilla tükröződése A szaruhártya tükröződése Infravörös fény
A szaruhártya és a pupilla tükröződésének helyzetéből kiszámítható, hogy hová nézünk.
Adatfelvétel néhány bemutatás
A szemmozgás adatok elemzése A kísérletekből származó legfontosabb szemmozgás adatok: Egy adott területre eső fixációk száma, ezen fixációk hosszának összege, vagyis a nézési idő, valamint ezek aránya a többi területhez viszonyítva.
Megkóstolta az almát és a körtét.
A fixációk számának aránya (%) Megkóstolta az almát és a körtét. A célképre eső nézések aránya a többihez képest idő (1 egység = 20ms)
A fixációk számának aránya (%) Megkóstolta az almát és a körtét. A célképre eső nézések aránya a többihez képest A versengő képre eső nézések aránya a többihez képest idő (1 egység = 20ms)
A fixációk számának aránya (%) Az egyértelműbb mondat feldolgozása gyorsabb. Félbevágta az epret és a kivit. idő (1 egység = 20ms)
A fixációk számának aránya (%) Az egyértelműbb mondat feldolgozása gyorsabb. Félbevágta az epret és a kivit. Félbevágta az epret vagy a kivit. idő (1 egység = 20ms)
Két klasszikus kísérlet Elménk a mondatmegértés során a mondat egyes szavai, vagy a mondat kontextusa alapján a mondat jelentésével kapcsolatos elvárásokat alakít ki.
Altmann és Kamide 1999 [8] A mondatok megértése során egyes szavak (pl. igék) jelentése alapján elvárásaink lesznek arra nézvést, hogy miről teszünk állítást. Példa Lehetséges folytatás prediktív A fiú meg fogja enni a tortát a kisvonatot nem-prediktív A fiú meg fogja mozdítani a tortát? a kisvonatot Prediktív esetben: valamit, amit meg lehet enni. Nem-prediktív esetben: valamit, amit meg lehet mozdítani.
Szó alapú elvárások enni a tortát mozdítani a tortát The boy will eat The boy will move the the cake. cake.
Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog
Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog on the napkin
Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog on the napkin in the box. helyhatározó, vagy célhatározó???
A kontextus jól meghatározható időpillanatokban befolyásolja a mondatok megértésének folyamatát. célhatározói értelmezést támogató kontextus helyhatározói értelmezést támogató kontextus Put the frog on the napkin in the box. Feladat: Helyezd el a békát az utasítás szerint!
A fixációk számának aránya (%) célhatározói értelmezést támogató kontextus (szalvétára) helyhatározói értelmezést támogató kontextus (szalvétán lévő) A célhatározót támogató kontextusban megnő a helytelen célra eső nézések aránya. Put the frog on the napkin in the box. idő (1/30ms)
Összegzés A szemmozgáskövetés egy kifinomult módszer, mellyel valós időben követhetjük a tekintetet. A tekintet követéséből következtetni tudunk arra, hogy a kísérleti személy mikor mire irányítja figyelmét. Jól megtervezett kísérletekkel bepillantást nyerhetünk az elmében zajló nyelvi értelmezési folyamatokról. A bemutatott kísérletek tanulsága: A mondatfeldolgozás ideje megjósolható a mondat szerkezetének bonyolultságából. A megértés folyamán nyelvi, és nem nyelvi információkra hagyatkozva alakítjuk elvárásainkat, a lehetséges értelmezések közül ezek alapján választunk.
KÖSZÖNÖM A FIGYELMET! kaldi.tamas@nytud.mta.hu
Források [1] Michael D. (2015) The Nervous System in Action. Online anyag, elérhető: http://michaeldmann.net/ [2] Szteklács, J. (2014) A szemmozgás vizsgálatának lehetőségei az olvasás és a vizuális információfeldolgozás képességének a megismerésében. Anyanyelv-pedagógia, 2014. 3. Online anyag, elérhető: http://www.anyanyelvpedagogia.hu/cikkek.php?id=524 [3] Yarbus, A. L. (1967). Eye Movements and Vision. New York: Plenum Press. [4] Archibald, S. (2008) Ways of seeing. The Underground Summer. Issue 30. Online anyag, elérhető: http://www.cabinetmagazine.org/issues/30/archibald.php [5] Duchowski, A. T. (2007) Eye Tracking Methodology. Theory and Practice. Springer. London [6] A Biopac Systems, Inc. honlapján elérhető online szemléltető anyag: http://www.biopac.com/curriculum/l10-electrooculogram-i/ [7] Popelka, S., Brychtova, A., Brus, J. & Voženílek, V. (2012) Advanced Map Optimalization Based on Eye- Tracking. Intech. Online anyag, elérhető: http://www.intechopen.com/books/cartography-a-tool-forspatial-analysis/advanced-map-optimalization-based-on-eye-tracking, DOI: 10.5772/46190. [8] Altmann, G. T. M., & Kamide, Y. 1999. Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition 73: 247 264 [9] Trueswell, J. C., Sekerina, I., H., N., & Logrip, M. (1999). The kindergarten-path effect: Studying on-line sentence processing in young children. Cognition, 73, 89 134.