Projektek értékelése dr. Koós Tamás 2013. szeptember 18. Budapest
Az értékelés Annak a vizsgálata, hogy a projekt vagy program miképpen járul hozzá a kitűzött, átfogó célok eléréséhez; Annak vizsgálata, hogy a projekt milyen mechanizmusokon keresztül fejti ki hatását Az értékelési folyamat fő kérdései: Milyen hatást értünk el? Mitől működik?
Tevékenység Audit Monitoring Értékelés Célrendszer A külső és belső előírásoknak (pl. jogszabálynak) való megfelelés vizsgálata Megvalósulás vizsgálata az előre megadott működési célokhoz viszonyítva Ütemezés Folyamatos Folyamatos, az alapvető indikátorok gyűjtése üzemszerű A tevékenység vizsgálata a z elérni kívánt hatások szempontjából (hozzájárult-e a megoldani kívánt probléma kezeléséhez?) Lehet : előzetes, utólagos, köztes Megvalósító jellege szerint Külső vagy belső auditor Menedzsment Külső szakértő, de lehet belső team-tag is A tevékenység elsődleges célja Menedzsment Menedzsment Elemző-tudományos Következmény ei A szabályszegés szankcionálása és korrekciója Projekt módosítása, erőforrásátcsoportosítás, menedzseri döntések Megnövekedett ismeretek, Jobb projekt-tervezés a jövőben
Az értékelés Eredmény-értékelés : van-e olyan, a célok szempontjából fontos változó, amely kedvező v. bármilyen irányban változott a projekt/program nyomán? Akarjuk-e folytatni/megismételni/terjeszteni/fejleszteni a programot? Jobb lenne elfelejteni?
Az értékelés Folyamat-értékelés: nem az eredményekre, a kimenetelre koncentrál, hanem a megvalósítás végrehajtását, a részt vevők reakcióit, magatartását vizsgálja; A projekt/program működési mechanizmusait tanulmányozza (sikertényezők, kudarcok lehetséges okai)
Az értékelés legfontosabb Indikátorok: fogalmai eredmény-indikátorok: gyakran a projektek követően, akár évekkel később vizsgálhatóak. A kívánt hatásokra jellemző mutatók folyamat-indikátorok: célcsoport működése, intézményi működések jellemzői n.b. nem keverendő a monitorozási indikátorral (bár lehet átfedés). Ide tartoznak a minőségi indikátorok is
Az értékelés legfontosabb fogalmai Köztes indikátorok: a végső célok eléréshez szükséges változások bekövetkezését jelzik, tehát prediktív értékűek lehetnek a célok elérése tekintetében
Értékelés és tudomány A projektre/programra/politikára vonatkozó szakismeretek az indikátorok kiválasztásának alapja Kulcs-kérdések: relevancia, mérhetőség, megbízhatóság, tudományos megalapozottság
Értékelési eszköz Rövid leírás Eszköz típusa Felmérés (survey) Formális Informális Kvantitatív Kvalitatív Előre megadott kérdések bizonyos témában, amelyet a célcsoport megválaszol Interjú Kérdések csoportja, melyet a célcsoportnak feltesznek, és amelyet további kérdések és megbeszélés követ Tudás/készség tesztek Kérdések csoportja, amelyek a célcsoport bizonyos ismereteinek vagy készségeinek megismerésére irányulnak Főkuszcsoport Csoportmegbeszélés viszonylag kevés számú emberrel meghatározott témáról Értékelőlap Kérdések csoportja, melyek a részt vevők véleményét, attitűdjeit és megértését vizsgálják a projekt meghatározott fázisa után Feljegyzések Helyszíni látogatások Tevékenységi napló Megfigyelési feljegyzések A projekt észt vevőinek napi tevékenységeiről szóló, saját maguk által készített írásos jelentés Megfigyelések és interjúk kombinációja, amely a projekt megvalósítási helyszínén történik A projekt tagjainak napi tevékenységi jelentése előre megadott formában A projekt-tevékenységek közvetlen megfigyelése során készített feljegyzések Dokumentáció Projekt tevékenységek adminisztratív feljegyzései (pl. jelentések, megbeszélések emlékeztetői, regisztrációs lapok) Anekdotikus feljegyzések Történetek és elbeszélések egy projekt-eseményről, tapasztalatról vagy személyről, a projekt-team vagy részt vevő által Forrás: Project Evaluation Guide for Nonprofit Organisations, Imagine Canada, 2006
Az értékelési folyamat szervezése A programokat, projekteket az eredmények alapján, de a megvalósítás folyamatai szerint is értékelni kell Folyamatértékelés - eredményértékelés Miért? Az eredmények demonstrálják a hatásosságot, a folyamatok értékelése a hatásmechanizmus megértését segíti elő+monitoringot támogatja A döntéshozó és a projekt-menedzsment felelőssége, hogy az értékelés munkatervében mindkettő szempont kellő súllyal megjelenjen.
Az értékelési folyamat szervezése Az értékelés módszerének kiválasztása kritikus mozzanat, egy adott programot általában nem lehet randomizált, kettős vak kísérlet során értékelni Miért: drága, nem standardizálhatóak a körülmények, nem ad információt a program működéséről (pl. nincs két egyforma közösség, iskola, kórház, kommunikációs kampány stb.)