Projektek szakmai végrehajtása (Monitoring, ellenőrzés, értékelés) Monitoring Szűts László 1 Mi a monitoring? Folyamatos adatgyűjtés annak érdekében, hogy a management információkhoz jusson egy adott tevékenység előrehaladásával kapcsolatban, és szükség esetén befolyásolhassa menetét. 2 1
Az ellenőrzés, a monitoring és az értékelés kapcsolata Inputok A jogszerűség ellenőrzése Monitoring Output Eredmény/ hatás A minőség, a megvalósítás és a hatások értékelése A három tevékenység azonban nem egymás része! 3 A monitoring helye a projektciklusban Projekt tervezés Projekt értékelés Projekt életciklus Megvalósítás Monitoring 4 2
A monitoring szintjei KTK Monitoring Bizottság OP Monitoring Bizottság Program szintű monitoring OP Irányító Hatóság Közreműködő Szervezet Kedvezményezett Projekt szintű monitoring 5 A monitoring főbb jellemzői Hatékony eszköz a management kezében Folyamat, nem egyszeri tevékenység Konkrét, jól meghatározott célja van Adatokat, információkat gyűjt a megvalósításra vonatkozóan, a kitűzött célokhoz hasonlítja azokat Felhívja a figyelmet a céloktól való eltérésekre, Ezáltal lehetővé téve a management számára, hogy szükség esetén beavatkozzon. 6 3
Kinek van szüksége a monitoring tevékenységre? Menedzsment (projekt menedzsment) Finanszírozók, donor szervezetek 7 Miért van szükség monitoring tevékenységre? Mert a donor: Már a megvalósítás során is hozzájut a programmal kapcsolatos információkhoz; Szükség esetén időben be tud avatkozni; Tisztább képet kap, hogy a támogatott program mennyire járul hozzá saját céljai teljesüléséhez; A támogatás folyósítását jobban kapcsolhatja a fizikai teljesítéshez; Nagyobb az esély a támogatás hatékony felhasználására 8 4
Pénzügyi vs. teljesítmény monitoring Jellemző a pénzügyi monitoring túlsúlya, mert: Még ma is a legfontosabb elvárás a monitoringgal szemben, hogy elősegítse a források hatékony elköltését, valamint a közpénzekkel való visszaélés megakadályozását; A pénzügyi monitoring viszonylag egyszerűbb, a pénzügyi teljesítés egzaktabb módon nyomon követhető; Pénzügyi monitoring akkor is jól végezhető, ha a tervezés során a monitoring rendszer kialakítása kisebb hangsúlyt kapott; 9 Mire használható a monitoring információ? Képet ad a management számára egy finanszírozott tevékenység megvalósítási folyamatáról; Az aktuális teljesítményt a kitűzött célokhoz viszonyítja. Időben jelzi, ha a megvalósítás során probléma merül fel és lehetővé teszi a management-nek a beavatkozást. Mindezek eredményeként pedig lehetővé teszi az erőforrások optimalizálását. 10 5
A jó monitoring rendszer Kialakításra kerül már a tervezési szakaszban Biztosítja a szükséges információk rendszeres gyűjtését Olyan formában biztosítja az információkat, mely alkalmas a menedzsment döntések megalapozására Biztosítja a szükséges információkat a donor szervezetek felé 11 Meghatározza: A jó monitoring rendszer ismérvei Az inputokat: Milyen pénzügyi források, humán erőforrások, berendezés és infrastruktúra szükséges a projekt megvalósításához? A projekt keretében megvalósítandó akciókat, azt, kik és mikor hajtják azokat végre Az outputokat: Melyek lesznek a projekt közvetlen eredményei? Egyértelműen meghatározza a kapcsolódó jelentési kötelezettségeket. 12 6
A projekt szintű monitoring rendszer tervezésének öt lépése 1. a projekt céljainak elemzése, 2. a megvalósítás tevékenységeinek áttekintése, 3. indikátorok áttekintése, 4. a jelentések formátumának meghatározása, 5. a monitoring rendszer működtetésére vonatkozó terv kialakítása 13 A projekt céljainak elemzése Alapja a logikai keretmátrix módszer Kerüljük a célok változtatását 14 7
A megvalósítás tevékenységeinek áttekintése A különböző szerepek, funkciók és felelősségi körök tisztázása Projekt menedzser szerepe 15 INDIKÁTOROK Mutatószám = az komplex valóság egyszerűsített leképezése 16 8
Monitoring indikátorok 1260/99 Rendelet 6. Cikk (1083/2006 EK) (1) Input Indikátorok: A projekt megvalósításához szükséges pénzügyi és emberi erőforrások. (2) Output indikátorok: Fizikai output vagy termék (3) Eredmény indikátorok: A projektből származó közvetlen előnyök a kedvezményezettek számára. (4) Hatás indikátorok: A projekt hosszabb távú hatásai 17 Beavatkozási logika Objektív módon mérhető mutatók Átfogó cél A projekt célja Hatás indikátorok Eredmény indikátorok Eredmények Output indikátorok 18 9
Példák indikátorokra Projekt Input Output Eredmény Hatás Egy A és B település közötti út megépítése Az építés költsége Megépített útszakasz hossza Az A és B település közötti utazási idő csökkenése Az áru- és utasforgalom forgalom növekedése Támogatás KKV-knak Leromlott városi területek fejlesztése Összes támogatás nagysága Összes támogatás nagysága A támogatott vállalkozások száma Az átépített és újonnan épített lakások száma A támogatásokkal kiváltott magánbefektetések nagysága A lakásokat vásárlók vagy bérlők száma A támogatott vállalkozások által létrehozott új munkahelyek száma A terület munkanélkülisé gi rátájának alakulása 19 Output indikátorok Magát a támogatott fejlesztést (fizikai infrastruktúra) vagy tevékenységet (pl. képzés) írja le: megépített út hossza (km) megépített üzleti infrastruktúra (m 2 ) x óra képzés 20 10
Eredmény indikátorok A program keretében létrejött outputok közvetlen - a célcsoportok által élvezett - eredményeit írja le utazási idő csökkenése, a kialakított területekre betelepülő vállalkozások száma, valamilyen ismeretet, képesítést szerzett résztvevők száma (képzés esetén) 21 Hatás indikátorok Azt írja le, hogy a végrehajtott tevékenységek milyen mértékben járulnak hozzá az intézkedés, prioritás vagy program átfogó céljainak teljesüléséhez. azon vállalkozások aránya, amelyek elégedettek az üzleti infrastruktúrával létrehozott / megőrzött munkahelyek száma a képzést elvégzők közül azoknak az aránya, akik egy éven belül állást találnak 22 11
SMART indikátorok: Specific - Konkrét Measurable - Mérhető Available/Achievable - Rendelkezésre áll Relevant - Releváns Timely - Aktuális 23 Érvek a számszerűsíthető indikátorok mellett Objektívebb képet ad a program megvalósításáról; Összehasonlítható más, hasonló jellegű programok adataival; Összegezve inputot jelenthetnek magasabb szintű programok monitoringjához; Nyomtatványokra épülő, számítógépes alapú monitoringrendszerek kialakítására alkalmasabbak; Egyértelműbb jelzést ad, ha a program nem megfelelően halad a kitűzött célok elérése felé. 24 12
(1) Humán erőforrás OP Intézkedés: IT képzés munkanélkülieknek Output: Eredmény: Hatás: (2) Közlekedési OP Intézkedés: Regionális utak minőségének javitása Output: Eredmény: Hatás (3) Iparfejlesztési OP Intézkedés: Export tanácsadási program KKV-knak Output: Eredmény: Hatás: (4) Turizmus fejlesztési OP Intézkedés: Turisztikai szálláshelyek fejlesztése Output: Eredmény: Hatás: 25 Indikátorok forrásai Kontextus (a projekt környezete) indikátorok: hivatalos statisztikák Program indikátorok: output: projekt gazdák eredmény: projekt gazdák, értékelések hatás: értékelések 26 13
Indikátorok és program menedzserek Indikátorok 1 2 Indikátorok 27 A jelentések formátumának meghatározása Előrehaladási jelentés Záró jelentés Utánkövetési jelentés 28 14
Előrehaladási jelentés Az előrehaladási jelentés tartalma: Adatok (a projekt alapadatai) Projekt tevékenységek (a cselekvési és ütemterv tevékenységeinek ismertetése a tárgyidőszakra vonatkozóan, a jelentési időszakban végzett közbeszerzési eljárásokkal, a tájékoztatással és nyilvánossággal, a horizontális politikákkal környezetvédelem és esélyegyenlőség kapcsolatos tevékenységek ismertetése, az output és eredményindikátorok alakulása, a projekt fenntarthatóságának ismertetése) Pénzügyi jelentés (elszámolható költségek és a kifizetések alakulása a jelentési időszakba, költségek felmerülésére vonatkozó havi bontású előrejelzés, az igényelt támogatás alakulása, saját forrás felhasználásának alakulása) Igazolás (a pályázó cégszerű aláírása) 29 A zárójelentés tartalma : Záró jelentés Adatok (a projekt alapadatai) ismertetése, az output és eredményindikátorok alakulása, a projekt fenntarthatóságának ismertetése, a megvalósítás gyakorlati tapasztalatainak ismertetése, a projekt értékelése, beleértve a célcsoport véleményét is. Projekt tevékenységek (a cselekvési és ütemterv tevékenységeinek ismertetése a projekt teljes időtartamára vonatkozóan, közbeszerzési eljárásokkal, a tájékoztatással és nyilvánossággal, a horizontális politikákkal környezetvédelem és esélyegyenlőség kapcsolatos tevékenységek ismertetése, az output és eredményindikátorok alakulása, a projekt fenntarthatóságának ismertetése, a megvalósítás gyakorlati tapasztalatainak ismertetése, a projekt értékelése beleértve a célcsoport véleményét is.) Pénzügyi jelentés (A költségek és a finanszírozás alakulása partnerenként a támogatási szerződés költségvetési táblájának megfelelően) Igazolás (a pályázó cégszerű aláírása) 30 15
Utánkövetési jelentés Az utánkövetési jelentés tartalma : Adatok (a projekt alapadatai) Projekt tevékenységek (az utánkövetési időszakra vállalt tevékenységeinek ismertetése, eredményindikátorok alakulása, a projekt fenntarthatóságának ismertetése, a megvalósítás gyakorlati tapasztalatainak ismertetése, a projekt értékelése beleértve a célcsoport véleményét is. Pénzügyi jelentés (utánkövetési időszakra vonatkozó pénzforgalmi terv) Igazolás (a pályázó cégszerű aláírása) 31 Helyszíni monitoring látogatások Nem ellenőrzés!!! Mikor kell látogatást tenni? Kedvezményezettek feladatai Jegyzőkönyv 32 16
Projektek szakmai végrehajtása (Monitoring, ellenőrzés, értékelés) Ellenőrzés Szűts László 33 Az ellenőrzés fogalma Az ellenőrzés a folyamatok, tevékenységek állandó felülvizsgálatát jelenti és célja, hogy biztosítsa a közpénzek felhasználásának szabályszerűségét, vagyis a jogszabályoknak, előírásoknak és más kötelezettségeknek való megfelelést. 34 17
Ki végezhet ellenőrzést? Közpénzekből támogatott projektek esetében helyszíni ellenőrzést végezhet: a támogatást nyújtó szervezet (pl. minisztérium, közreműködő szervezet) vagy az általa megbízott szervezet, a Kormányzati Ellenőrzési Hivatal (KEHI), az Állami Számvevőszék (ÁSz). A fentieken túl, az EU által társfinanszírozott támogatási rendszerek esetében helyszíni ellenőrzést végezhet: a Pénzügyminisztérium (PM), amely felelős az Európai Bizottság számára benyújtott kifizetési kérelmek hitelességének igazolásáért, az Európai Bizottság érintett főigazgatósága, az Európai Számvevőszék. 35 Az ellenőrzés típusai Első szintű ellenőrzés (donor szervezet) Második szintű ellenőrzés (KEHI, ÁSZ, PM, EB stb.) Előzetes helyszíni szemle Közbenső helyszíni ellenőrzés Utólagos helyszíni ellenőrzés 36 18
Projektek szakmai végrehajtása (Monitoring, ellenőrzés, értékelés) Értékelés Szűts László 37 Az ellenőrzés, a monitoring és az értékelés kapcsolata Inputok A jogszerűség ellenőrzése Monitoring Output Eredmény/ hatás A minőség, a megvalósítás és a hatások értékelése A három tevékenység azonban nem egymás része! 38 19
Az értékelés fogalma A projektek értékelése során egy meghatározott időpontban vonjuk elemzés alá a projekt relevanciáját, eredményességét, hatékonyságát, hatását és fenntarthatóságát. Az értékelés célja az, hogy összehasonlítást végezzünk arra vonatkozólag, hogy a projekt a tervekben rögzített elvárásokhoz képest mit ért el (eredmények, projektcélok, átfogó célok), és hogy az értékelési folyamat végeredményéből fakadó tapasztalatokkal felvértezve a jövőbeli projektjeink tervezésének minőségét javítsuk. 39 Miért értékeljük a SA programjait? (1) Igazoljuk, az adófizetők pénzét helyesen költöttük el (Igazolást kereső megközelítés) A csalás felderíthető legyen (Csalásokat felderítő/megelőző megközelítés) Érdekes a kutatók számára (Elméleti megközelítés) 40 20
Miért értékeljük a SA programjait? (2) Mert az EU Bizottság megköveteli (Kötelességtudó megközelítés) Hogy a tanácsadóknak legyen mit csinálniuk (Cinikus megközelítés) Programok lebonyolításának eredményességét és hatékonyságát növeli (Szakmai megközelítés) 41 Értékelési kritériumok Relevancia: fennállnak-e még azok a körülmények, amelyek az eredeti projekt terv elkészítését vezérelték, létezik-e még az a probléma, amelyet a projekt eredeti célkitűzései orvosolni kívántak; Eredményesség: sikerült-e és ha igen, akkor milyen mértékben sikerült a kitűzött célokat elérni; Hatékonyság: milyen áron sikerült elérni a kitűzött célokat; vagyis ez elért eredmények összevetése a felhasznált erőforrásokkal; Hatás: a projektnek a tágabb projekt-környezetre gyakorolt hatása és ennek hozzájárulása az átfogó célokhoz; Fenntarthatóság: a projekt tevékenységeinek folytatása a projekt zárását követően pénzügyi és intézményi (működtetési) szempontból. 42 21
Szakmai megközelítés: A B Relevancia: El akarunk jutni A-ból B- be? (szükséglet és célkitűzés) Eredményesség: a cél elérése (eljutunk-e B-be)? Hatékonyság: milyen áron jutunk B-be? 43 Előzetes értékelés A projekt belső logikájának javítása A projekt külső koherenciájának javítása A projekt és célkitűzései megvalósíthatóságának elemzése Segíteni a célkitűzések és a mutatók előzetes meghatározásában 44 22
Közbenső értékelés A projekt előrehaladásának felmérése, mennyire éri el célkitűzéseit Módosítani a projektet, ahol szükséges (valóságos előrehaladás alapján) Megítélni a projekt intézkedéseinek pénzügyi felvevőképességét Pénzügyi források átcsoportosításának igazolása A projekt menedzsmentjének megítélése 45 Utóértékelés Projektek utólagos igazolása Hatások értékelése Tapasztalatcsere 46 23
Az előzetes értékelés 6 lépése 1. Korábbi értékelések eredményének elemzése 2. Erősségek és gyenge pontok elemzése 3. A kialakított stratégia megítélése 4. Célkitűzések mennyiségi meghatározása 5. Elvárt hatások elemzése 6. A projekt irányításának és végrehajtásának feltételei 47 Közbenső értékelés a gyakorlatban Természeténél fogva a legérdekesebb értékelés: Hasznos menedzsment eszköz projekt menedzsment céljaira Hasznos kommunikációs eszköz az EU és a tagállam/régió között Korlátozott lehetőségek a hatások megítélésére, mivel a projektek még nem fejeződtek be 48 24
Utóértékelések a gyakorlatban Hogy válasszuk el a program hatásait egyéb külső hatásoktól? Nem szerencsés időzítés az utóértékelésre a programok életciklusában Adatok korlátozott minősége és rendelkezésre állása (SMART!) 49 Az értékelés a következő programozási ciklust magasabb szintre emeli 3 2 1 50 25
Tevékenység Ellenőrzés Monitoring Értékelés Cél Időbeliség A szabályoknak való megfelelés vizsgálata Folyamatos A kitőzött célokhoz viszonyított megvalósulás vizsgálata Folyamatos A tevékenység hatásának vizsgálata a megoldani kívánt problémára Pontszerű, előzetes és utólagos A tevékenység végzője Külső vagy belső Belső Külső A tevékenység jellege Operatív Operatív Elemzőtudományos 51 (1) Humán erőforrás OP Output: képzési órák száma Eredmény: a speciális szakképesítést megszerző résztvevők száma Hatás: azon résztvevők száma, akik a képzést követő 2 éven belül munkához jutottak (2) Közlekedési OP Output: épített regionális utak hossza km-ben Eredmény: ESS csökkenése Hatás: létrehozott és megőrzött munkahelyek száma bruttó/nettó (3) Iparfejlesztési OP Output: támogatott vállalkozások száma Eredmény: újonnan exportálóvá váló vállalkozások száma Hatás: a külföldi eladások %-os aránya a támogatott vállalkozások forgalmi adataiban, a támogatás után 18 hónappal (4) Turizmus fejlesztési OP Output: létrehozott vagy fejlesztett férőhelyek (ágyak) száma Eredmény: vendégéjszakák száma Hatás: turizmusból adódó GDP növekedés 52 26
KÖSZÖNÖM A FIGYELMET! 53 27