Szemmozgáskövetés: Bepillantás a mondatok megértésének folyamataiba. Káldi Tamás MTA NYTI, BME Pszichológia Doktori Iskola

Átírás

1 Szemmozgáskövetés: Bepillantás a mondatok megértésének folyamataiba Káldi Tamás MTA NYTI, BME Pszichológia Doktori Iskola

2 Kérdések 1. Miért vizsgáljuk a szem mozgását? 2. Hogyan vizsgálhatjuk a szem mozgását? 3. Hogyan elemezzük a szemmozgás adatokat? 4. Két klasszikus kísérlet

3 Miért vizsgáljuk a szem mozgását? Pluribus intentus, minor est ad singula sensus. (Aki sokfelé figyel, semmire sem figyel igazán.) Amikor figyelmünket valamire irányítjuk, minden mást háttérbe kell, hogy szorítsunk. Ezt hívjuk szelektív figyelemnek.

4 A látás élessége (1/ ) A látás sem kivétel [1],[2] Vakfolt Pozíció a retinán ( ) A teljes élességű látás szöge: 2. Ez 64 cm-es távolságból egy 2,5 cm átmérőjű kör.

5 A látás sem kivétel [1],[2] Yarbus (1976) klasszikus kísérlete: Máshová nézünk, ha másra figyelünk.

6 Figyeld meg a képet!

7 Figyeld meg a képet! Gazdagok vagy szegények?

8 Figyeld meg a képet! Hány évesek? Gazdagok vagy szegények?

9 A látásról általában [1] Látásunk egy kis foltban éles. Ahhoz, hogy valamit megfigyeljünk, rá kell iránytanunk a tekintetünket (fixációk). Egyik fixációtól a másikig el kell jutni (szakkádok). fixáció: szakkád: ms, van információfeldolgozás ms, nincs információfeldolgozás A vizuális észlelés során sok kis mozaikból rakjuk össze a nagyképet.

10 Miért vizsgáljuk tehát a szem mozgását? Ha követni tudjuk, hogy valaki hová néz, azt is meg tudjuk állapítani, hogy mire irányítja a figyelmét. Mivel a vizuális észlelés rövid szakkádok és fixácikók sorozatából áll, a figyelem fókuszát az idő függvényében is követni tudjuk.

11 Egy egyszerű példa Félbevágta az epret vagy a kivit. Félbevágta az epret és a kivit. Az epret és a kivit jelentése egyszerűbb, mint az epret vagy a kivit jelentése.? Az egyszerűbb esetben a nézések hamarabb esnek a jobb felső képnegyedbe.

12 Hogyan vizsgáljuk a szem mozgását? [5][6] Tekercs + kontaktlencse: Mágneses térben mérhető a tekercs elmozdulása. Elektro-okulográfia: A szem köré helyezett elektródákban mért potenciál változás alapján. Optikai A szemről visszaverődő fény segítségével.

13 Az optikai módszer Monitor Hangszórók Button-box Infra-illuminátor & kamera Kamera Illuminátor

14 Az optikai módszer

15 Az optikai módszer [7] A pupilla tükröződése A szaruhártya tükröződése Infravörös fény

16 A szaruhártya és a pupilla tükröződésének helyzetéből kiszámítható, hogy hová nézünk.

17 Adatfelvétel néhány bemutatás

18 A szemmozgás adatok elemzése A kísérletekből származó legfontosabb szemmozgás adatok: Egy adott területre eső fixációk száma, ezen fixációk hosszának összege, vagyis a nézési idő, valamint ezek aránya a többi területhez viszonyítva.

19 Megkóstolta az almát és a körtét.

20 A fixációk számának aránya (%) Megkóstolta az almát és a körtét. A célképre eső nézések aránya a többihez képest idő (1 egység = 20ms)

21 A fixációk számának aránya (%) Megkóstolta az almát és a körtét. A célképre eső nézések aránya a többihez képest A versengő képre eső nézések aránya a többihez képest idő (1 egység = 20ms)

22 A fixációk számának aránya (%) Az egyértelműbb mondat feldolgozása gyorsabb. Félbevágta az epret és a kivit. idő (1 egység = 20ms)

23 A fixációk számának aránya (%) Az egyértelműbb mondat feldolgozása gyorsabb. Félbevágta az epret és a kivit. Félbevágta az epret vagy a kivit. idő (1 egység = 20ms)

24 Két klasszikus kísérlet Elménk a mondatmegértés során a mondat egyes szavai, vagy a mondat kontextusa alapján a mondat jelentésével kapcsolatos elvárásokat alakít ki.

25 Altmann és Kamide 1999 [8] A mondatok megértése során egyes szavak (pl. igék) jelentése alapján elvárásaink lesznek arra nézvést, hogy miről teszünk állítást. Példa Lehetséges folytatás prediktív A fiú meg fogja enni a tortát a kisvonatot nem-prediktív A fiú meg fogja mozdítani a tortát? a kisvonatot Prediktív esetben: valamit, amit meg lehet enni. Nem-prediktív esetben: valamit, amit meg lehet mozdítani.

26 Szó alapú elvárások enni a tortát mozdítani a tortát The boy will eat The boy will move the the cake. cake.

27 Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog

28 Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog on the napkin

29 Trueswell [9] A kontextus befolyásolja a mondatok megértésének folyamatát. Vizsgált mondattípusok kertiösvény Put the frog on the napkin in the box. helyhatározó, vagy célhatározó???

30 A kontextus jól meghatározható időpillanatokban befolyásolja a mondatok megértésének folyamatát. célhatározói értelmezést támogató kontextus helyhatározói értelmezést támogató kontextus Put the frog on the napkin in the box. Feladat: Helyezd el a békát az utasítás szerint!

31 A fixációk számának aránya (%) célhatározói értelmezést támogató kontextus (szalvétára) helyhatározói értelmezést támogató kontextus (szalvétán lévő) A célhatározót támogató kontextusban megnő a helytelen célra eső nézések aránya. Put the frog on the napkin in the box. idő (1/30ms)

32 Összegzés A szemmozgáskövetés egy kifinomult módszer, mellyel valós időben követhetjük a tekintetet. A tekintet követéséből következtetni tudunk arra, hogy a kísérleti személy mikor mire irányítja figyelmét. Jól megtervezett kísérletekkel bepillantást nyerhetünk az elmében zajló nyelvi értelmezési folyamatokról. A bemutatott kísérletek tanulsága: A mondatfeldolgozás ideje megjósolható a mondat szerkezetének bonyolultságából. A megértés folyamán nyelvi, és nem nyelvi információkra hagyatkozva alakítjuk elvárásainkat, a lehetséges értelmezések közül ezek alapján választunk.

33 KÖSZÖNÖM A FIGYELMET! kaldi.tamas@nytud.mta.hu

34 Források [1] Michael D. (2015) The Nervous System in Action. Online anyag, elérhető: [2] Szteklács, J. (2014) A szemmozgás vizsgálatának lehetőségei az olvasás és a vizuális információfeldolgozás képességének a megismerésében. Anyanyelv-pedagógia, Online anyag, elérhető: [3] Yarbus, A. L. (1967). Eye Movements and Vision. New York: Plenum Press. [4] Archibald, S. (2008) Ways of seeing. The Underground Summer. Issue 30. Online anyag, elérhető: [5] Duchowski, A. T. (2007) Eye Tracking Methodology. Theory and Practice. Springer. London [6] A Biopac Systems, Inc. honlapján elérhető online szemléltető anyag: [7] Popelka, S., Brychtova, A., Brus, J. & Voženílek, V. (2012) Advanced Map Optimalization Based on Eye- Tracking. Intech. Online anyag, elérhető: DOI: / [8] Altmann, G. T. M., & Kamide, Y Incremental interpretation at verbs: Restricting the domain of subsequent reference. Cognition 73: [9] Trueswell, J. C., Sekerina, I., H., N., & Logrip, M. (1999). The kindergarten-path effect: Studying on-line sentence processing in young children. Cognition, 73,