Az eredményesség dimenziói és mérési lehetőségei. Szemerszki Marianna Nikitscher Péter Ercsei Kálmán. Oktatáskutató és Fejlesztő Intézet

Átírás

1 Az eredményesség dimenziói és mérési lehetőségei Szemerszki Marianna Nikitscher Péter Ercsei Kálmán EDUCATIO Nemzetközi Oktatási Szakkiállítás Papp László Budapest Sportaréna Oktatáskutató és Fejlesztő Intézet január 16.

2 Az előadás főbb pontjai Eredményesség az oktatásban elméleti és gyakorlati kitekintés Mérhető-e az eredményesség és ha igen, hogyan és milyen korlátokkal Lehetséges megközelítések és dimenziók Egy mérési dimenzió és ami mögötte van

3 Eredményesség és kapcsolódó fogalmak Minőség és eredményesség Eredményesség és méltányosság (Forrás: Radó 2009) Lehet-e egyidejűleg méltányos és eredményes egy oktatási rendszer? Eredményesség és hatékonyság Adott ráfordítással elérhető maximális output. Adott eredmény elérése minimális költséggel.

4 A téma gyakorlati vonatkozásai: globális folyamatok Nemzetközi tanulói teljesítménymérések (IEA, majd PISA, TIMMS, PIRLS) és hatásaik Oktatási indikátorok előtérbe kerülése Egyre nagyobb figyelem irányul a tanulók, tanárok, iskolavezetők és oktatási rendszerek értékelésére és mérésére - OECD tematikus összefoglaló (Synergies, 2013) - az eredményesség különböző szintjei: tanulói, intézményi rendszer - visszajelzés a rendszer működéséről - a vizsgálódás különböző terepei

5 A téma elméleti megközelítése: oktatáseredményességi kutatások Az oktatáseredményességi kutatás (educational effectiveness research): az oktatáskutatáson belül az eredményességgel foglalkozó diszciplína, arra keres magyarázatot, miért teljesítenek eltérően a különböző oktatási rendszerek és alrendszerek; iskolaeredményességi kutatás (school effectiveness research) az iskola hatásának mértékét vizsgálja az eredményes iskola intézményi és osztálytermi változóit azonosítja (pl. iskola klímája, missziója, tanítási gyakorlatra vonatkozó irányelvei, vezetés) tanári eredményesség kutatás (teacher effectiveness research) a tanári tényezők és az osztálytermi folyamatok vizsgálata (pl. tanári viselkedés, tanári elvárások, visszajelzések, osztályszervezés, osztálytermi erőforrások felhasználása) iskolafejlesztési kutatás (school improvement research) hogyan tehetők eredményesebbé az iskolák (Reynolds et al. 2000)

6 Az eredményesség mérhetőségének kérdései Egy komplex rendszer teljesítményének (iskola, oktatás) mérhetősége - összetett célok többféle mérőszám (ezek súlyozása, torzító hatások kiküszöbölése) - ami kimarad és ami nem (könnyen) számszerűsíthető Milyen típusú mutatók? Input output folyamatindikátorok, háttértényezők A kognitív eredményességi mutatók aránytalanul nagy szerepe Az adott intézmény céljainak figyelembevétele különböző szereplők igényei különböző szintek igényei (országos és helyi)

7 Intézményi célok Az iskola legfontosabb céljai az iskolavezetők szerint (a célokhoz rendelt rangsorszámok (1-12) átlaga), ,85 10, ,22 3,47 4,44 5,8 6,13 6,58 6,84 6,97 7,47 7, Forrás: JKA 2009

8 Intézményi célok iskolatípus szerint Iskola céljai Ált. isk. Szakiskola Gimnázium Szakközépiskola Összes isk. típus segítsük a gyerekek képességeinek kibontakozását szilárd értékrendet közvetítsen az iskola jó légkörű legyen az iskola az iskola segítse a hátrányos helyzetű tanulók iskolai beilleszkedését 3,07 3,74 3,2 3,91 3,22 3,38 4,44 3,51 3,71 3,47 4,31 4,91 4,64 4,89 4,44 5,6 5,65 6,62 6,29 5,8 a továbbtanulási eredmények minél jobbak legyenek 6,12 7,14 5,07 7,2 6,13 a helybéliek és a vonzáskörzetben lakók legyenek minél jobb véleménnyel az iskoláról. a kompetenciamérésen növekedjenek a tanulói teljesítmények. 6,54 6,72 6,58 6,76 6,58 6,68 6,74 7,08 7,67 6,84 minél több tárgyi ismeretet szerezzenek a diákok 7,17 6,98 7,01 5,62 6,97 a beiskolázási létszámot tudjuk biztosítani 7,76 6,28 7,66 5,78 7,47 a fenntartó elvárásainak megfeleljünk 7,51 7,14 7,55 7,18 7,48 több anyagi forrást szerezzen az iskola minél kedvezőbb családi hátterű gyerekeket vonzzon az iskola 8,98 7,91 8,8 8,44 8,85 10,8 10, ,36 10,62 Forrás: JKA 2009

9 Az iskola feladatai Az iskola feladatai a lakosság szerint (az egyes feladatokat nagyon fontosnak tartók aránya, %), ,1 91,9 91,7 90, ,9 89,5 89, ,1 85,9 85,4 83,4 82, ,4 70,9 64,3 64,1 62,9 57,7 49,5 36,4 Forrás: JKA 2009

10 Kontextusfüggő eredményesség Az iskolai eredményességet nem lehet pusztán a tanulási teljesítmények alapján mérni, megítélni, többdimenziós megközelítés szükséges. Hogy egy adott intézmény esetében mit tekintünk eredményességnek nagyban függ az intézmény jellegétől, az odajáró diákok összetételétől, különböző jellemzőitől. Nem minden esetben a tanulási eredmények jelzik az intézmény eredményességét, van ahol a nevelés, felzárkóztatás illetve különböző szocializációs deficitek hatékony, eredményes csökkentése jelenti az intézményi eredményességet.

11 Kvantitatív mutatók Előnyök: - országosan, a legtöbb intézmény esetében rendelkezésre álló adatok - egységes adatfelvételi módszerek, összehasonlíthatóság Hátrányok: - leginkább a tanulási teljesítményekkel érettségi eredmények, OKM eredmények, nyelvvizsga eredmények, verseny helyezések (pl. OKTV stb.) állnak összefüggésben, ennek megfelelően az iskolai eredményességet e dimenzió mentén írják le

12 Kvalitatív információk Empirikus kutatási eszközökkel nyert kvalitatív információk (kérdőíves vizsgálat, interjúk, fókuszcsoport stb.) Előnyök: - feltárják az iskolai eredményességgel kapcsolatos mélyebb dimenziókat, árnyaltabb képet adnak egy-egy intézményről, az ott zajló belső folyamatokról. - lehetőséget adnak az eredményesség kontextus-függő megítélésével kapcsolatban Hátrányok: - nagy erőforrásigény: kutatói és intézményi igénybevétel - eseti alkalmazhatóság: csak korlátozott számú intézményben végezhetők el mélyebb vizsgálatok esettanulmány jellegű eredmények

13 Az eredményesség vizsgálatának lehetséges dimenziói: Tanulási eredmények A tanulási-tanítási eredményeket befolyásoló egyéni/családi tényezők, egyéb inputok AZ OKTATÁS EREDMÉNYESSÉGE A tanulási-tanítási eredményeket befolyásoló iskolai tényezők A tanulási-tanítási eredményeket befolyásoló külső tényezők

14 Az eredményesség vizsgálatának lehetséges dimenziói: Tanulási eredmények: Telephelyi/iskolai szintű eredmények és különbségeik: Mérési és vizsgaeredmények és változásaik (kompetenciamérés, érettségi eredmények, nyelvvizsgák) Továbbhaladási és lemorzsolódási mutatók Versenyeredmények (pl. OKTV) Méltányossági mutatók bevonása: CSH indexszel korrigált mutatók az adott intézményből továbbtanuló HHH tanulók aránya

15 Az eredményesség vizsgálatának lehetséges dimenziói: A tanulási-tanítási eredményeket befolyásoló egyéni/családi tényezők, egyéb inputok: Családi és egyéni háttértényezők: demográfiai jellemzők szocio-ökonómiai státusz az iskola és a család kapcsolata, a bevonódás mértéke Megelőző tanulmányi/iskolai tapasztalatok: óvodáztatás általános iskolai eredmények évismétlések, bukások Tanulói motiváció, attitűd, szociális kompetenciák

16 Az eredményesség vizsgálatának lehetséges dimenziói: A tanulási-tanítási eredményeket befolyásoló iskolai tényezők: Képzési és intézménytípusok, intézményi célok Beiskolázási mutatók: a megelőző oktatási szint jellemzői bekerülési esélyek Iskolai ellátottság mutatói: pedagógusok szakmai segítők Infrastruktúra Tanulásszervezési és tanulási módszereket érintő megoldások tanórán kívüli foglalkozások (pl. tehetséggondozás, felzárkóztatás, sport) újszerű tanulási és tanítási módszerek, IKT

17 Az eredményesség vizsgálatának lehetséges dimenziói: A tanulási-tanítási eredményeket befolyásoló külső tényezők: Az iskola szűkebb és tágabb környezetét jellemző mutatók: településméret, regionális elhelyezkedés a térségben élők iskolai végzettsége és elvárásai gazdasági helyzet (életszínvonal, gazdasági aktivitás stb.)

18 Az érettségi eredmények mint az iskolai eredményesség lehetséges indikátorai - Alkalmazhatóak-e az érettségi vizsgák adatai az iskolai eredményesség mérésére? - Képezhetők-e indikátorok az iskolai eredményességre vonatkozóan az érettségi adatbázis adataiból amennyiben igen: milyen mutatók képezhetők és hogyan?

19 Az adatokról évi május-júniusi vizsgaidőszakra vonatkozó standard kutatói adatbázis; - a populáció behatárolása: - első kritérium: a tanulmányaikat a 2011/12-es tanévben befejező tanulói jogviszonnyal rendelkező nappali tagozatos tanulók; -második kritérium: érdemjegyet szerző, legalább egy vizsgán megjelenő tanulók;

20 Az adatokról gimnáziumi és szakközépiskolai képzést együttvéve: diák; 868 intézmény; vizsga;

21 Lehetséges eredményességi mutatók 1. a közép illetve emelt szintű vizsgák intézményenkénti száma és aránya; (2. előrehozott vizsgák intézményenkénti száma és aránya;) 3. vizsgaeredmények / vizsgaátlagok;

22 Az emelt szintű vizsgák száma és aránya 60% 50% 52,3% 47,7% Gimnáziumi képzés 51,5% Szakközépiskolai képzés 40% 30% 20% vizsga 12,1% vizsga 14,2% 10% 3,3% 0% Diákok eloszlása az emelt szintű vizsgák aránya az összes vizsga számához képest az adott képzési formán belül az emelt szintű vizsgát tevő diákok aránya

23 Érettségi vizsgaeredmények képzési formák szerint Közép szint Emelt szint ,8 62,9 50,5 56, Gimnáziumi képzés Szakközépiskolai képzés

24 Az érettségi eredmények és a kompetenciamérés intézményi szintű korrelációs összefüggései - gimnáziumi képzés Az országos kompetenciamérés matematika intézményi átlagok (y) és a középszintű érettségi vizsga intézményi átlagának (X) összefüggése Az országos kompetenciamérés olvasás és szövegértés intézményi átlagok (y) és a középszintű érettségi vizsga intézményi átlagának (X) összefüggése R = 0,831 p = 0, R = 0,809 p = 0,

25 Az érettségi eredmények és a kompetenciamérés intézményi szintű korrelációs összefüggései szakközépiskolai képzés Az országos kompetenciamérés matematika intézményi átlagok (y) és a középszintű érettségi vizsga intézményi átlagának (X) összefüggése Az országos kompetenciamérés olvasás és szövegértés intézményi átlagok (y) és a középszintű érettségi vizsga intézményi átlagának (X) összefüggése R = 0,685 p = 0, R = 0,678 p = 0,

26 Összegzés és kitekintés - az emelt szintű vizsgák intézményi aránya, valamint az érettségi átlageredmények az iskolai eredményesség meghatározásának indikátorai lehetnek; - érdemesnek látszik az érettségi eredmények más eredményességi mutatókkal való összevetése; - amennyiben különböző adatokat egyes intézmények eredményességi mutatójaként szeretnénk alkalmazni, vélhetően több év eredményét célszerű figyelembe venni; - végül: a kemény adatokat óhatatlanul szükséges kiegészíteni kvalitatív adatokkal / információkkal ahhoz, hogy beazonosíthassuk az iskolai eredményességet meghatározó tényezők hatásait;

27 Köszönjük a figyelmet! ercsei.kalman@ofi.hu nikitscher.peter@ofi.hu szemerszki.marianna@ofi.hu