A képzett szakemberekért SZFP II. Hazai Peer Review 2009 A külsk lső értékelés s módszertana m III.1.. előad adás
Szakképz pzési Önértékelési Modell ADOTTSÁGOK EREDMÉNYEK Emberi erőforrások Munkatársi eredmények Vezetés Stratégia Folyamatok Közvetlen partneri eredmények Kulcsfontosságú eredmények Erőforrások Társadalmi hatás eredményei INNOVÁCIÓ és TANULÁS 2
Szakképz pzési Önértékelési Modell ADOTTSÁGOK Emberi erőforrások Az Adottságok arra keresnek választ, hogy az intézmény mit tesz érte, és hogyan éri el az eredményeit. Vezetés Stratégia Erőforrások Folyamatok Azon módszerek összességét jelenti, amelyek segítségével az intézmény erőforrásait hasznosítja az eredmények elérése érdekében. 3
Szakképz pzési Önértékelési Modell Az Eredmények arra keresnek választ, hogy az alkalmazott módszerek meghozzák-e az intézmény által elvárt sikereket. Ezekben a kritériumokban azt kell bemutatni, hogy az intézmény milyen eredményeket ért el és ezen eredmények milyen mértékben az alkalmazott módszerek következményei. EREDMÉNYEK Munkatársi eredmények Közvetlen partneri eredmények Társadalmi hatás eredményei Kulcsfontosságú eredmények 4
Az Önértékelési Jelentés s tartalma 1. Bevezető 2. Önértékelés alkritériumonként, adottságok, (szöveges leírás, ábrák, táblázatok) eredmények, (grafikonok, táblázatok, rövid szöveges magyarázatok), speciális kérdések a Peer-ekhez. 3. Mellékletek 5
Az ÉRTÉKELÉS S LOGIKÁJA (1) Eredmények, célok megtervezése (Plan) Módszer és alkalmazás Értékelése Módszer és Felülvizsgálata PDCA kiválasztása (Check and Action ) (Plan) Módszer Alkalmazása (Do) 6
ADOTTSÁGOK Módszerek A megfelelő módszer kiválasztása és alkalmazása (P). A partnerek elvárásainak figyelembevétele (P). Az intézményi stratégia támogatottsága (P). Kapcsolat más, az intézményen belül alkalmazott módszerekkel (P). Bevezetettség és rendszeres alkalmazás minden szükséges területen (D). A módszer eredményességének és hatékonyságának értékelése (C). A módszerek továbbfejlesztése (egymástól tanulás, jó gyakorlat felismerése, átvétele és elterjesztése) (A). 7
Tervezés s (P) példa A munkatársi elégedettség mérésére 25 kérdésből álló kérdőíves felmérést alkalmazunk, amely 8 témakörben vizsgálja a munkatársak elégedettségét. A kérdőíveken ötös skálán kell értékelni a kérdéses területeken a munkatársak elégedettségét, valamint a kérdés fontosságát a munkatársak elégedettségével kapcsolatban. A kérdőíves felmérést további interjúkkal egészítjük ki, egy előzetes kérdőív alapján, amit a kérdőívek feldolgozása után készít el az elemzést végző csoport. 8
Alkalmazás s (D) példa A munkatársi felmérést minden év decemberében elvégezzük. A kérdőívet az intézmény minden dolgozójának átadjuk (pedagógus és nem pedagógus munkatárs). Majd utána a külön szabályzatban meghatározott mintavétellel végezzük el az interjúkat, hogy az intézmény teljes működését (minden munkatársi kört és minden intézményi egységet) lefedje a megkérdezettek köre. 9
Értékelés és s Felülvizsg lvizsgálat lat (CA) példa A munkatársi elégedettség mérés feldolgozása után az eredmények összegzésekor a felmérés módszertanát is értékeli a felmérésért felelős csoport, amit egy írásos beszámolóban is rögzítünk. Ezt segítik a kérdőívben a kérdőív megfelelőségére vonatkozó kérdések is. Ennek következtében vezettük be 2005-ben az interjúkat, és ennek köszönhető a kérdőív témákba történő besorolása 2006-ban. 2007-ben megvizsgáltuk másik 3 hasonló méretű intézmény alkalmazott gyakorlatát is. Ennek következménye volt az interjúkészítők képzése és a fókuszcsoportos interjúk bevezetése. 10
ERŐSS SSÉG ADOTTSÁGOK (P) Egyértelmű módszerek, szabályok, folyamatok, a tevékenységek megvalósítási rendszerének tényszerű bemutatása. (P,D) A vizsgált területen alkalmazott módszereket összehangolják az intézmény stratégiájával, valamint az intézmény más működési területeken alkalmazott módszereivel. (D) A belső szabályozásokat, a jó működési gyakorlatot széleskörűen és rendszeresen alkalmazzák. (CA) Az alkalmazott módszereket és eljárásokat rendszeresen értékelik, külső és belső tanulás segítségével folyamatos fejlesztést valósítanak meg. (C) Az alkalmazott módszerek, gyakorlat eredményességét és hatékonyságát az Eredmények oldalon szereplő mutatók alátámasztják. 11
MITŐL L VÁLIK V EGY ADOTTSÁG TÉNYSZERŰVÉ? MIT? HOGYAN? KI? MIKOR? HOL? MIÉRT? 12
FEJLESZTENDŐ ADOTTSÁGOK A módszereket nem egyértelműen, jól definiáltan, a stratégiai célokkal és a partnerek elvárásaival összhangban alakították ki. Az alkalmazott módszerek a céloknak, a partneri igényeknek és az alkalmazási területnek nem felelnek meg. Az alkalmazott módszerek eredményességét nem vizsgálják felül, nem értékelik, és ez alapján nem teszik meg a szükséges változtatásokat, módosításokat (azaz a módszerek továbbfejlesztése nem történik meg). 13
EREDMÉNYEK Az eredmények időbeli alakulása. Célok elérése (célok megfelelősége). Összehasonlítás más intézményekkel, szervezeti egységekkel. Okok (kapcsolat az Adottságokkal). Az eredmények kiterjedtsége (fontos eredmények). 14
EREDMÉNYEK ÉRTÉKELÉSE PÉLDA 8 7 6 Intézmény saját eredménye Más intézmény eredménye, vagy megyei, regionális, országos átlag Cél 5 4 3 2 1 0 2003 2004 2005 2006 2007 2008 15
ERŐSS SSÉG EREDMÉNYEK Folyamatosan javuló tendencia (legalább 3 év). Tartósan magas érték (több év távlatában). Saját célok, a célok megfelelősége. Világos kapcsolat a bemutatott módszerek és eredmények között. Minden szükséges területen rendelkeznek mérési eredményekkel, számszerű adatokkal. Az eredmények vizsgálata alapján fejlesztéseket indítottak a megfelelő működési területeken. Összehasonlítás (saját intézményen belül vagy más intézménnyel, más szervezettel). 16
MITŐL L VÁLIK V EGY EREDMÉNY TÉNYSZERŰVÉ? MENNYI? (adat) MIÓTA? (trend) MAGUNKHOZ képest? MÁSOKHOZ képest? MELY adatok? MIÉRT? (ok) IGAZOLÓ DOKUMENTUMOK 17
FEJLESZTENDŐ EREDMÉNYEK Az önértékelés nem számszerűen és nem szemléletesen mutatja be az eredményeket. Az eredményeket 1-2 évre mutatják be. Az eredmények folyamatosan romló, vagy hullámzó tendenciát mutatnak. A bemutatott eredményekhez kapcsolódóan nem vagy nem jól határoztak meg saját célokat. A célok nem érik el az előre tervezett értékeket. A bemutatott összehasonlító adatok jobbak az intézmény teljesítményénél. Az eredmények elemzése alapján, szükség esetén nem indítanak fejlesztéseket a szakmai munka és az intézmény működésének fejlesztésére. Nem mutatnak be összehasonlító adatokat. stb. 18
Cél Módszer Eredmény HármasH CÉL Kijelölése Cél megfelelőségének értékelése MÓDSZER Kiválaszt lasztásasa Bevezetése Alkalmazása Módszer értékelése és felülvizsgálata EREDMÉNY Mérése, Értékelése 19
A SZÖM M II. MODELL BELSŐ KAPCSOLATRENDSZERE Néhány nyilvánvaló kapcsolat az ADOTTSÁGOK és az EREDMÉNYEK között: Kritériumok 3 és 7 2 és 5/9 4/5 és 9 Alkritériumok 3a és 7a 5e és 6a Néhány példa az ADOTTSÁGOK alkritériumok közötti további kapcsolatokra: 4a és 5e partnerkapcsolatok menedzselése 1d és 3e munkatársak elismerése 20
Az ÉRTÉKELÉS S ALAPELVEI Alapja: írásos Önértékelési Jelentés. Alkritérium szintű értékelés. Mit kell bemutatni? A SZÖM II. Modell határozza meg. Szöveges értékelés (erősségek, fejlesztendő területek, kérdések). Adottságok Eredmények közötti összefüggés vizsgálata. Fejlesztési javaslatok megfogalmazása. 21
Az ÉRTÉKELÉSI FOLYAMAT Az értékelési folyamat elemei: Egyéni értékelés. Csoportos értékelés. Helyszíni látogatás. Újra értékelés, konszenzus. Értékelési összefoglaló, visszacsatolás. Peer Review Jelentés. 22
Az ÉRTÉKELÉS S LOGIKÁJA (2) Egyéni (Peer) értékelés 1. - erősségek, - fejlesztendő területek, - kérdések.... Egyéni (Peer) értékelés 4. - erősségek, - fejlesztendő területek, - kérdések. Konszenzus Egyetértési folyamat a Peer Team tagjai között - erősségek és fejlesztendő területek, - kérdések - további adatgyűjtés (Peer Látogatás) tekintetében. 23
EGYÉNI ÉRTÉKELÉS Minden Peer elvégzi, az Önértékelési Jelentés alapján. A teljes Önértékelési Jelentés elolvasása. Értékelés alkritériumonként (Adottságok és Eredmények): Erősségek meghatározása Fejlesztendő területek meghatározása Kérdések megfogalmazása Megjegyzések Jó gyakorlatok, fejlesztési javaslatok Egyéb, az értékelést segítő megjegyzések A nagyobb jelentőségű erősség és fejlesztendő terület kerüljön rögzítésre (alkritériumonként átlagosan 3-6). Eredmény: Egyéni értékelő könyv. 24
ERŐSS SSÉGEK MEGFOGALMAZÁSA ADOTTSÁGOK Az intézmény a tanulók egyéni képességeinek és tanulási nehézségeinek feltérképezésére a 9. és a 10. évfolyamon év elején bemeneti kompetenciaméréseket alkalmaz (OKM alapú és SZFP II.). Az adatlapok feldolgozásából származó információk, valamint a szöveges értékelésekben szereplő részletes értékelések és a fejlesztési javaslatok nagy segítséget nyújtanak felzárkóztatáshoz, és a fejlesztési tervek kidolgozásához. EREDMÉNYEK Az általános iskolák és a gyakorlóhelyek magas fokú elégedettséget mutatnak minden vizsgált szempont tekintetében. (8. kritérium 43.o.) A partnerek elégedettek az iskolával történő információ átadással, együttműködéssel, rendezvényekkel, a dolgozók magatartásával (3.2.5. 8.) 25
FEJLESZTENDŐK K MEGFOGALMAZÁSA ADOTTSÁGOK Kevés információ van arról, hogy az intézményen belüli munkarend (pl. órarend, ügyeleti rend, helyettesítések) megszervezése hogyan történik. Nem világos az sem, hogy az intézményen belüli munkarend kialakításánál (pl. tantárgyfelosztás) hogyan veszik figyelembe a munkatársak igényeit, javaslatait. EREDMÉNYEK Az iskola felszereltségével, a gyakorlati képzés tárgyi feltételeivel való szülői elégedettség csökkent, a tanulói elégedettség pedig stagnál, holott a szakmai eszközök, gépek és szemléltető eszközök beszerzésére fordított kiadások nőttek az elmúlt 2 tanévben (lásd 9b/6 j és k), és a gyakorlati képzőhelyek eszközfejlesztése kiemelt fejlesztési cél (6. oldal). 26
KONSZENZUS (1) Tényeken alapul, és nem véleményen (Önértékelési Jelentés az alapja). Egyetértésen alapuló folyamat. Alkritériumonként történik. Megszünteti a saját értékelés érzelmi alapon történő védelmét. 27
KONSZENZUS (2) Csoportos értékelés előkészítése: egyéni értékelő könyvek összemásolása és összefésülése és a konszenzus találkozó előtti eljuttatása a Peer Team minden tagjához. Közös álláspont: a SZÖM II alkritériumonkénti erősségek, fejlesztendő területek, kérdések tekintetében. KONCENTRÁLJUNK A LÉNYEGRE! Eredmény: Csoportos értékelő könyv, Egyeztetett kérdéslista. Helyszíni látogatás előkészítése. 28
Köszönöm m a figyelmet! 29
Kérdések 30