Az eredményesség dimenziói elméleti és gyakorlati megközelítésben

Átírás

1 Az eredményesség dimenziói elméleti és gyakorlati megközelítésben Bander Katalin Gyökös Eleonóra Szemerszki Marianna ONK, Eger november 7.

2 Elméleti megközelítés: oktatáseredményességi kutatás Az oktatáseredményességi kutatás (educational effectiveness research): az oktatáskutatáson belül az eredményességgel foglalkozó diszciplína, arra keres magyarázatot, miért teljesítenek eltérően a különböző oktatási rendszerek és alrendszerek iskolaeredményességi kutatás (school effectiveness research) az iskola hatásának mértékét vizsgálja az eredményes iskola intézményi és osztálytermi változóit azonosítja (pl. iskola klímája, missziója, tanítási gyakorlatra vonatkozó irányelvei) tanári eredményesség kutatás (teacher effectiveness research) a tanári tényezők és az osztálytermi folyamatok vizsgálata (pl. tanári viselkedés, tanári elvárások, osztályszervezés, osztálytermi erőforrások felhasználása) iskolafejlesztési kutatás (school improvement research) hogyan tehetők eredményesebbé az iskolák (Reynolds et al. 2000)

3 A mérések elméleti megalapozottsága kezdeti kritikák a mérések konkrét metodikája az eredményesség faktorainak különböző meghatározásai és különböző mérései elméleti megalapozottság hiánya egyszerű statisztikai összefüggések megállapítása a változók közötti kapcsolatok megmagyarázatlanok fejlesztési stratégiák megalapozására alkalmatlan az elméleti modellek és módszertani kézikönyvek a kutatások viszonylag kései stádiumában láttak napvilágot

4 Elméleti modellek az oktatáseredményességi kutatásban 1. Oktatási termelési modellek (Hanushek 1979, Elberts & Stone 1988, Brown & Saks 1986) közgazdasági megközelítés az input és output tényezők összevetése közvetlen hatások feltételezése ha növelik a ráfordításokat, az pozitívan befolyásolja a teljesítményt egyszintű (vagy iskolai, vagy tanulói) megközelítés 2. Tanulási modellek (Carroll 1963, Bloom 1968, Rosenshine 1983) szociológiai, pszichológiai megközelítésből nőttek ki tanulói teljesítményt jósló háttérváltozók keresése az iskola hogy képes csökkenteni ezeket (méltányossági dimenzió) szociológia: családi háttér, szervezetelméleti folyamatváltozók, iskolai háttérváltozók pszichológiai: tanulási hajlam, személyiség, motiváció, osztálytermi tanulási-tanítási folyamatváltozók ezek a modellek a tanulók eltérő teljesítményét magyarázzák egy feladat megoldása során

5 Az iskolai eredményesség integrált modellje (Creemers 1996) Háttér - A magasabb adminisztratív szintekről érkező eredményösztönzők - A felhasználóbarát oktatás fejlődése - Intézményi háttérváltozók: az iskola mérete, a tanulók összetétele, iskolatípus, városi/vidéki környezet Inputok - Tanítási tapasztalat - Egy tanulóra eső költség - Szülői támogatás - Infrastruktúra - Felszereltség Folyamat Iskolai szint - Az iskolai politika teljesítményorientáltsága - Szakmai vezetés - A tanári munka konszenzusos és kooperatív tervezése - Az iskolai tanterv tartalmi és formai minősége - Rendezett környezet - Értékelési potenciál Outputok A tanuló teljesítményét befolyásoló tényezők: - Korábbi eredmények - Intelligencia - Szocioökonómiai státusz Osztálytermi szint - Feladatra fordított idő (házi feladat is) - A tananyag strukturált átadása - Tanulási alkalmak - Magas elvárások a tanulókkal szemben - Tanulói előmenetel értékelése és monitorozása - Tanári visszajelzés

6 Elméleti modellek az oktatáseredményességi kutatásban 3. Az iskolai eredményesség integrált modelljei (Stringfield & Slavin 1992, Scheerens 1992, Creemers 1994) az oktatási rendszerek eltérő teljesítményére adnak magyarázatot a tanulókat érő hatások több szintűek (osztálytermi/tanári, iskolai, oktatási rendszer) feltételezi, hogy közvetlen és közvetett kapcsolatok is vannak a szintek, valamint a kimenetek között az iskolai eredményesség, a tanári eredményesség és a korai outputinput kutatások eredményeit kombinálja vagy az iskolai (szervezetelméletek) vagy az osztálytermi szintre helyezi a hangsúlyt (tanulási elméletek) 1-3. modellek kritikája ezek a modellek nem foglalják magukban az oktatás új céljait a vizsgált faktorokat egydimenziós változókként kezelik nem segítik elő az oktatáseredményességi kutatások eredményeinek gyakorlati alkalmazását

7 Az oktatási eredményesség dinamikus modellje (Creemers és Kyriakides 2008) Faktor dimenziók - Gyakoriság - Fókusz - Időbeli stádium - Minőség - Differencialitás Tanulási képesség Kitartás a tanulásban Nemzeti/regionális oktatáspolitika Az oktatáspolitika értékelése Az oktatási környezet Az iskolai politika Az iskolai politika értékelése A tanítás minősége - Orientáció - Strukturálás - Modellezés - Alkalmazás - Kérdezés - Tanári értékelés - Időmenedzsment - Osztálytermi tanulási környezet Szocioökonómiai státusz Nem Elvárások Kimenetek - Kognitív - Affektív - Pszichomotoros - Új kompetenciák az oktatás új céljainak figyelembevétele Kognitív eredmények Affektív eredmények Pszichomotoros képességek Új kompetenciák a faktorok többdimenziós felfogása gyakoriság fókusz időbeli stádium minőség differencialitás faktorok csoportosítása (szintek között és szinteken belül is hathatnak egymásra) faktorok közötti kapcsolat nemcsak lineáris, hanem reciprokális is lehet, optimális értékük meghatározása a cél Feladatra fordított idő Tanulási lehetőségek Etnikum Személyiségjegyek Gondolkodási stílus Tantárgyi motiváció

8 Az eredményesség mérhetőségének kérdései 1. Egy komplex rendszer teljesítményének (iskola, oktatás) mérhetősége kérdéses a leggyakrabban használt teljesítménymutatók (előrehaladási és tanulmányi eredmények) nem nyújtanak teljes képet akkor sem, ha jó az adatok minősége és megbízhatósága torzító hatások szándékolt: eredmények hamisítása a jobb teljesítmény érdekében nem szándékolt: tesztre tanítás, a többi terület háttérbe szorul az összetett célok esetében nehezen meghatározhatók az általános mérőszámok, és ezek egymáshoz viszonyított súlya a mutatók közötti kapcsolat, konzisztencia mérése időben iskolán belül a különböző évfolyamok között egyes tantárgyak között különféle kimenetek között

9 Az eredményesség mérhetőségének kérdései 2. A kognitív eredményességi mutatók aránytalanul nagy szerepe az anyanyelvi és a matematikai teljesítménymérés dominanciája nem mérik kellő mértékben az iskolai tantervek teljes spektrumát non-kognitív (affektív, pszichomotoros, szociális területek) és a metakognitív képességek fejlődését a méltányosság dimenzióját kutatási eredmények szerint a non-kognitív készségeknek akár nagyobb hatásuk is lehet a későbbi munkaerő-piaci sikerességre, mint a tantárgyi eredményeknek személyes és társas kompetenciák tanulással kapcsolatos motiváció és önértékelés

10 Az eredményesség mérhetőségének kérdései 3. Az adott intézmény céljainak nem kielégítő figyelembevétele Egy ausztrál kutatás (Townsend 1994) bemutatta, mennyire differenciált lehet a célstruktúra, ami alapján meghatározhatók az eredményesség kritériumai különböző szereplők igényei állam fenntartó pedagógusok szülők tanulók különböző szintek igényei országos: oktatási célok helyi (helyi közösség igényeitől függ, főként a regionális viszonyok és a szülők iskolázottsága befolyásolja): énkép fejlődése, állampolgári és munkavállalói ismeretek fejlesztése

11 Iskolai célok Az iskola legfontosabb céljai az iskolavezetők szerint (a célokhoz rendelt rangsorszámok (1-12) átlaga), ,85 10, ,22 3,47 4,44 5,8 6,13 6,58 6,84 6,97 7,47 7, Forrás: JKA 2009

12 Az iskola feladatai Az iskola feladatai a lakosság szerint (az egyes feladatokat nagyon fontosnak tartók aránya, %), ,1 91,9 91,7 90, ,9 89,5 89, ,1 85,9 85,4 83,4 82, ,4 70,9 64,3 64,1 62,9 57,7 49,5 36,4 Forrás: JKA 2009

13 Iskolai célok iskolatípus szerint Iskola céljai Ált. isk. Szakisk. Gimnázium Szakközép. Összes isk.típus I - segítsük a gyerekek képességeinek kibontakozását 3,07 3,74 3,2 3,91 3,22 K - szilárd értékrendet közvetítsen az iskola. 3,38 4,44 3,51 3,71 3,47 G - jó légkörű legyen az iskola. 4,31 4,91 4,64 4,89 4,44 F - az iskola segítse a hátrányos helyzetű tanulók iskolai beilleszkedését. 5,6 5,65 6,62 6,29 5,8 E - a továbbtanulási eredmények minél jobbak legyenek. 6,12 7,14 5,07 7,2 6,13 C - a helybéliek és a vonzáskörzetben lakók legyenek minél jobb véleménnyel az iskoláról. D - a kompetenciamérésen növekedjenek a tanulói teljesítmények. 6,54 6,72 6,58 6,76 6,58 6,68 6,74 7,08 7,67 6,84 L - minél több tárgyi ismeretet szerezzenek a diákok. 7,17 6,98 7,01 5,62 6,97 A - a beiskolázási létszámot tudjuk biztosítani. 7,76 6,28 7,66 5,78 7,47 B - a fenntartó elvárásainak megfeleljünk. 7,51 7,14 7,55 7,18 7,48 J - több anyagi forrást szerezzen az iskola. 8,98 7,91 8,8 8,44 8,85 H - minél kedvezőbb családi hátterű gyerekeket vonzzon az iskola. 10,8 10, ,36 10,62 Forrás: JKA 2009

14 A közoktatás teljesítményének értékelése Indikátorok vs. közönséges statisztikai adatok A mutatókkal szembeni elvárások a figyelmet a legfontosabb kérdésekre irányítják hosszú távon is érvényesek és megbízhatóak elfogadható költségekkel előállíthatók megismételhetők, időben konzisztensek a torzító hatás kiküszöbölhető A mutatók típusai bemenet (input) folyamat közvetlen kimenet (output) hosszú távú kimenet (outcome) Az oktatási rendszer komplexitása összetett célok ---- többféle mérőszám és ami nem (könnyen) számszerűsíthető

15 Nemzetközi eredményességi indikátorok (OECD, Eurostat) Részvételi és végzettségi adatok az oktatás különböző szintjeire vonatkoznak demográfiai és egyéb háttérváltozók Az oktatás/képzés rövid- és hosszú távú hatásainak mutatói elhelyezkedés, munkába állás keresetek, munkaerő-piaci státusz, életminőség Nemzetközi mérések adatai (PISA, TIMSS, PIRLS) meghatározott életkorú tanulókra vonatkozóan országok közötti összehasonlításra adnak lehetőséget mintavételen alapuló egyéni szintű adatok háttérváltozókkal iskolán belüli és iskolák közötti eltérések vizsgálata

16 Megfontolások az eredményesség vizsgálatára és mérésére Milyen szinten? Országos szint intézményi/telephelyi szint egyéni szint Milyen típusú mutatók? Input output folyamatindikátorok Vizsgálható területek Tanulási eredmények (tantárgyi mérési eredmények, vizsgák, versenyek) Évismétlések, bukások, lemorzsolódás, iskolaelhagyás, hiányzások Képzési szintek közötti átmenetek illetve munkaerő-piacra való kilépés eredményessége Tanulási motiváció, attitűdök, szocializáció Méltányosság/esélyegyenlőség szempontjai Iskolai és osztálytermi folyamatok (pl. tanítási és számonkérési módszerek, eszközök, házi feladatok stb.) Háttérváltozók

17 Lehetséges eredményességi mutatók: versenyeredmények A középiskolák száma és az OKTV versenyeken helyezést elért iskolák száma gimnázium szakközépiskola vegyes középiskola Forrás: Neuwirth Szemerszki, 2009

18 Lehetséges eredményességi mutatók: vizsgaeredmények A legalább egy tantárgyból emelt szintű érettségi vizsgát tettek aránya a képzés típusa szerint Forrás: : Közoktatási Statisztika, 2009: KIR-STAT adatbázis

19 Lehetséges eredményességi mutatók: továbbtanulási mutatók Forrás: Felsőoktatási jelentkezési és felvételi adatok

20 Lehetséges eredményességi mutatók: Országos Kompetenciamérés eredményei iskolai, telephelyi és egyéni szintű eredmények idősoros eredmények egyéni szintű követés, hozzáadott érték 3 képességterület (nem tárgyi tudást, hanem tanulási alapképességeket vizsgál) átlageredmények, képességszintek CSH index (nem minden iskolában, nem minden tanulónál)

21 Esélyek, méltányosság A különböző felsőfokú képzésben tanulók középiskolai háttere 100% 80% 60% 40% 20% 0% BA hallgatók FSZ-felsőoktatás FSZ-középiskola 4 osztályos gimnázium 6 vagy 8 osztályos gimnázium szakközépiskola egyéb A különórák és a nyelvvizsgák összefüggései Iskolai és iskolán kívüli nyelvi különóra Csak iskolai nyelvi különóra Csak iskolán kívüli nyelvi különóra Egyik sem Iskolai és iskolán kívüli nyelvi különóra Csak iskolai nyelvi különóra Csak iskolán kívüli nyelvi különóra Egyik sem Nem rendelkezik Egy nyelvből Több nyelvből FSZ (N=1592) BA (N=1351) Forrás: FSZ és BA képzésben résztvevő elsőévesek, 2011

22 Hátrányos helyzetű tanulók aránya a nappali oktatásban (2011/2012) Százalék 20,0 20,1 30,0 30,1 40,0 40,1 Forrás: Oktatási adatok, 2011/ ksh.hu

23 Eredményességi mutatók értékelése A viszonylag könnyen előállítható mérőeszközök intézményközi összehasonlításra korlátozottan alkalmasak előrehaladási eredmények (bukás, évismétlés, továbbhaladás, felvételi) tanulmányi eredmények (osztályzatok, félévi, év végi érdemjegyek, átlageredmények, vizsgaeredmények) A drágán előállítható munkaerő-piaci eredményváltozók nem köthetők egyszerűen az oktatás adott szintjeihez, információk visszacsatolása lassú foglalkoztatási esély, státusz előrehaladás, kereset, kereseti pálya Standardizált teszteredmények és hozzáadott érték modell intézményközi összehasonlításra alkalmas, univerzális mércék alkalmazása, hatékony visszacsatolás a veleszületett képességek és múltbeli ráfordítások nehezen mérhető hatásainak kiküszöbölése teszteredmények és háttérváltozók összefüggéseinek tisztázása, a jó/rossz teljesítmény hatásmechanizmusainak feltárása (az iskolai szintű reziduum szétbontása), elemszám problémák (kis létszám) (Kertesi 2008) Fontos a méltányossági dimenzió és a háttérváltozók figyelembe vétele, új dimenziók (pl. tanulási attitűdök, motiváció) és intézményi folyamatok vizsgálata

24 Köszönjük a figyelmet! bander.katalin@ofi.hu gyökös.eleonora@ofi.hu szemerszki.marianna@ofi.hu