A helyi stratégiák értékelésének lehetısége, szükségessége és módszertana, avagy Hogyan és hogyan ne! XVII. Országos KEF Konferencia Felvinczi Katalin
Gyakran ismétlıdı kérdések (FAQ) Kell-e e egyáltalán értékelni, hiszen úgyis nyilvánvaló a válasz? Kell-e e szakértelem az értékeléshez? Kinek van haszna az értékelésbıl? Ki érti az értékelés eredményeit, tapasztalatait? Ki fogalmazza meg az értékelı munkával kapcsolatos kérdéseket?
ÉRT RTÉKEL KELÉS S FOGALMA Szisztematikus informáci ciógyőjtés s egy adott tevékenys kenységrıl l (programról) és annak hatásair sairól l a program leírása, következtetések levonása céljc ljából. l. Kutatás értékelés s egymáshoz való viszonya
Az értékelés indokoltsága, szükségessége AZ ELSZÁMOLTATHATÓSÁG (ACCOUNTIBILITY), ÁTLÁTHATÓSÁG KÍVÁNALMA A MODERN TÁRSADALMAK VELEJÁRÓJA (minıségügyi gondolkodás, közpénzek hatékony felhasználása)
CÉLJA 1 Megtudjuk, hogy az adott program (bevatkozás) a kívánt k hatásokat érte-e e el képet ad arról, hogy a programban megfogalmazott célok c milyen mértm rtékben valósulnak/val sulnak/valósultak sultak meg Ha reflektálunk az értékelés tapasztalataira, akkor segs egít t abban, hogy a (jövıben) jobb programokat hozzunk létre (szüks kségletek és s források tekintetében)
CÉLJA 2 Hozzájárul tudásanyagunk növeln veléséhez (mind a saját, mind a szakma számára) Segíti a különbk nbözı kezdeményez nyezések tökéletesítését, t, javítását Visszajelzést st ad a munkánkr nkról segíti a program megvalósítását, t, menedzsmentjét A program támogatt mogatóinak igazolja a költségeket
ALAPELEVEK AZ ÉRTÉKELÉSBEN Projektek,, programok, stratégiák erısítése se Többféle módszer m alkalmazása Valós s problémák k középpontba k állítása Részvételen alapuló munka megvalósítása sa Rugalmasság Kapacitásn snövelés
AZ ÉRTÉKELÉS S SZINTJEI Program, beavatkozás szintő értékelés (ebben van viszonylag nagyobb tapasztalatunk) Klaszter értékelés hasonló programok, beavatkozások csoportosítása sa Közös s vezérfonalak, témák, t azonosságok Szakmapolitikai értékelés nemzeti, helyi stratégia
AZ ÉRTÉKELÉS S FAJTÁI Kiinduló állapotfelmérés,, szükségletfelmérés - környezeti analízis A program végrehajtv grehajtásával kapcsolatos értékelés Folyamatértékelés Reagálás központú értékelés Eredmény nyértékelés Közvetlen eredmények out-put értékelés Eredmények értékelése a célok tükrében out-come értékelés Hosszú távú, kiterjedt eredmények értékelése impact
KIINDULÓ ÁLLAPOTFELMÉRÉS A probléma jellegének, meghatározóinak, a program kontextusának nak megért rtése Milyen az adott közössk sség g ahol ahol a programunkat meg akarjuk valósítani? Milyen tényezt nyezık k segíthetik avagy akadályozhatj lyozhatják k a munkánkat? nkat? Korai szakaszban Késıbbi szakaszban
A szükségletfelmérés algoritmusa (1) 1. lépés: a kezdet milyen populáció? mit akarunk elérni? kinek a szükségleteit akarjuk kielégíteni? milyen forrásokra van szükségünk? milyen kockázatokkal nézünk szembe? 2. lépés: a prioritások meghatározása A populáció profilja adatgyőjtés a szükségletek percepciója A problémát meghatározó tényezık azonosítása és felmérése
A szükségletfelmérés algoritmusa (2) 3. lépés: a prioritások meghatározása az akció számára olyan problémák és azok meghatározó faktorainak azonosítása, melyek a legnagyobb mérvőek és a súlyosságúak (szeveritás( szeveritás, ahogy a drogstratégia fogalmaz) a A hatékony és elfogadható intervenciók meghatározása 4. lépés: a változás tervezése az intervenció céljainak meghatározása akcióterv monitorozási és evaluációs stratégia kockázat-kezelési kezelési stratégia 5. lépés: folytatás, illetve áttekintés a projektbıl leszőrt tapasztalatok, a távolabbi hatások (impact( impact) mérése a következ prioritások meghatározása és a folyamat újraindul! Szükségletfelmérés értékelés tervezés egymástól elválaszthatatlanok
A PROGRAM VÉGREHAJTV GREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS A projekt gyakorlati megvalósítására vonatkozó informáci ciók k győjt jtése- a program fejlıdésének, elırehalad rehaladásának dokumentáci ciója Melyek a program kritikus tevékenys kenységei /alkotórészei? Hogyan kapcsolódnak mindezek a projekt céljaihoz? c
A PROGRAM VÉGREHAJTV GREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS A fejlıdés pozitív elemeinek azonosítása, erısítése Az akadályok azonosítása és minimalizálása Annak azonosítása, hogy a program céljai mennyire vannak összhangban a célpopuláció szükségleteivel A rendelkezésre álló források fenn tudják-e tartani a tevékenységeket A programban dolgozók teljesítményének, észrevételeinek mérése A közösség észrevételeinek mérése Interakciók vizsgálata a részvevık és a programban dolgozók között
A PROGRAM VÉGREHAJTV GREHAJTÁSÁVAL KAPCSOLATOS ÉRTÉKELÉS A program által létrehozott szolgáltatások minıségének vizsgálata Változások rögzítése A programban résztvevık és egyéb kulcsemberek tapasztalatainak, elégedettségének monitorozása Folyamat értékelés Formatív értékelés
EREDMÉNY NYÉRTÉKELÉS Rövid és s hosszú távú eredmények vizsgálata Közvetlen eredmények - output Rövid távút eredmények - outcome Hosszú távú eredmények nyek,, hatások - impact Célokkal összefüggı vs. benchmarking típusú: a mérce nem a célkitőzés, hanem valami elvi jó Problémák: OK-OKOZATI OKOZATI összefüggés s problémája Kísérleti kontroll csoportos vizsgálat uralma Emberi viselkedés, s, társas t interakciók k vizsgálata
AZ ÉRTÉKELÉS S FOLYAMATA Tervezés Végrehajtás, kivitelezés Hasznosítás
TERVEZÉS Programterv elkész szítésese Értékelésre vonatkozó kérdések, témák, t indikátorok megfogalmazása, azonosítása sa Kulcsemberek azonosítása, sa, értékelı team feláll llítása Költségvetés s készk szítésese
VÉGREHAJTÁS, KIVITELEZÉS Adatgyőjt jtési módszerek m kiválaszt lasztásasa Adatgyőjt jtés Adatelemzés, értelmezés
Ki végezze az értékelést? KÜLSİ Friss szemmel tekinthet a programra Nincs személyes érdekeltsége A programot, stratégiát, intervenciót kontrolláló hatalmi struktúrának nem része Semmit nem nyer a programból, azonban presztízsre tehet szert az értékelésbıl BELSİ Nagyon jól ismeri a programot Nehezen tud objektív lenni a kérdésben A programot, stratégiát, intervenciót kontrolláló hatalmi struktúrának része Saját, személyes érdekek motiválhatják
Ki végezze az értékelést? KÜLSİ Speciális képzettséggel rendelkezik, tapasztalt, mint szakértı elismert a programban kívülálló, aki lehet, hogy nem érti magát a programot és az érintett embereket Feszültséget kelthet ellenırzés jelleg BELSİ Elıfordulhat, hogy nincs képzettsége e téren, vagy csak nagyon kevés Érti, jól ismeri a programot, környezetet, résztvevıket Ismert személy a programban, nem okoz a munkája feszültséget, problémákat, a végsı javaslatok kevésbé tőnhetnek fenyegetınek
HASZNOSÍTÁS Javaslatok megtétele tele Eredmények kommunikálása Eredmények felhasználása sa
Elıkészület a délutáni csoport munkára néhány fontos fogalom Pillér megnevezése Indikátorok tevékenység folyamat eredmény az indikátor érvényessége folyamat eredmény adatgazda megnevezése Adatok/adatbázis Az adatgyőjtés módja Az adat hozzáférhetısége a KEF számára az adat érvényessége az adat megbízhatósága
Indikátor mérce (jelenség, történés, elterjedtség, számosság), ami jelzi, hogy valamely beavatkozást követıen MIBEN állt be változás Adat a mérce mentén regisztrálható elmozdulás (elterjedtség nı, drogügyi koordinátorok számában beállt változás, stb.) Érvényesség pl. tartalmi validitás: : A tartalmi validitás arra utal, hogy a mérıeszköz által nyert adat megfelelıen fedi-e e a vizsgálni kívánt jelenséget tehát azt a jelenséget mérjük-e, amit mérni akartunk? Kábítószer-probléma súlyosságának mérésére érvényes adat-e e a kábítószert valaha kipróbálók %-os% aránya? A kábítószer-probléma elterjedtségét jól mutatja-e e a kábítószerrel való visszaélés bőncselekmények száma? Megbízhatóság - reliabilitás: : azt vizsgálja, hogy a mérıeszköz pontosan és következetesen méri-e e az adott jelenséget? Pl. csak olyan kérdéseket tartalmaz-e e egy kérdıív, amelyek egymással, illetve a mérni kívánt jelenséggel összefüggésben vannak? Ha bizonyos idı elteltével megismételjük a vizsgálatot, akkor ugyanazt az eredményt kapjuk-e?