Tartalomjegyzék 2 1. Vezetői összefoglaló Executive summary Bevezetés Az alkalmazott módszertan 12

Átírás

1 HUMÁNERŐFORRÁS-FEJLESZTÉSI OPERATÍV PROGRAM IDŐKÖZI ÉRTÉKELÉS 2005 INDIKÁTOROK ELEMZÉSE ZÁRÓTANULMÁNY február 28.

2 Tartalomjegyzék Tartalomjegyzék 2 1. Vezetői összefoglaló Az értékelés módszertana Legfontosabb megállapítások és javaslatok 3 2. Executive summary Methodology of the evaluation Most important observations and proposals 7 3. Bevezetés Az alkalmazott módszertan Bevezetés Az indikátorok szakértői felülvizsgálata EMIR adatelemzés Kérdőíves felmérés Kedvezményezetti interjúk Fókuszcsoportos interjú (workshop) A HEFOP indikátorértékelés átfogó megállapításai és ajánlásai Átfogó megállapítások Rendszerszintű ajánlások Indikátorok részletes értékelése alintézkedésenként HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP 2.1.5/05-1, 2.1.6/05/1, 2.1.7/05/1 és 2.1.8/05/ HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP 3.1.3/05 és 3.1.4/ HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP HEFOP Összefoglaló értékelési táblázat Melléklet Rövidítések jegyzéke Melléklet Kedvezményezettek számára kiküldött kérdőív Melléklet Kedvezményezettekkel készített interjú vázlata 124 2

3 1. Vezetői összefoglaló Jelen tanulmány a Humánerőforrás-fejlesztési Operatív Program időközi értékelésének Indikátorok elemzése része. Az EX ANTE Tanácsadó Iroda által elvégzett időközi értékelés rövid távú célja, hogy elősegítse a jelenleg is futó OP jobb és hatékonyabb megvalósítását, támogassa a végrehajtás tapasztalatainak strukturált összegzését, valamint, hogy támogatást nyújtson a as programozási időszak tervezéséhez. Emellett a hosszú távú cél, hogy olyan értékelési módszertan jöjjön létre, amely bejáratott alkalmazásaival képes a fejlesztési programok tervezését, megvalósítását és utólagos értékelését tudományos alapossággal, azonban a mindenkori igényeknek megfelelő gyakorlatiassággal támogatni Az értékelés módszertana A Strukturális Alapok programjai esetében az időközi értékelés egyik kulcseleme az indikátorok vizsgálata. A HEFOP időközi értékelése esetében ez két részt foglal magába: Az előrehaladás vizsgálatának keretében az értékelők feladata a programban bekövetkezett tényleges előrehaladás mérése, vizsgálata az indikátorok alapján, és összevetése a felhasznált költségvetési forrásokkal. A második elem maguknak az indikátoroknak, mint módszertani eszközöknek a vizsgálata, amely az egyes indikátorok módszertani megfelelőségét és gyakorlati alkalmazhatóságát vizsgálja a programvégrehajtás tapasztalatainak figyelembe vételével. Az indikátorrendszer elemzése keretében az indikátorok átfogó vizsgálatát végeztük el, vizsgálat alá véve a Programkiegészítő Dokumentumban és a pályázati dokumentációban, támogatási szerződésekben megjelenő indikátorokat. A HEFOP indikátorait az indikátorok alkalmazásának általánosan elfogadott módszertanának tükrében vizsgáltuk felül. A vizsgálat kiterjedt az EMIR adatok elemzésére, mellyel az egyes alintézkedések pénzügyi teljesítésének előrehaladását, valamint az alintézkedések kitűzött indikátor-célértékeinek időarányos teljesülését elemeztük. Strukturált, elektronikus kérdőívet juttattunk el valamennyi végső kedvezményezett részére, a saját intézkedésükben szereplő indikátorokra vonatkozó kérdésekkel. A kérdőíves felmérésen túl, a kiválasztott intézkedések esetében interjúkat készítettünk a kiválasztott kedvezményezettekkel (összesen 24 interjú). Fókuszcsoportos interjúkat folytattunk le a három szakmai KSZ (ESZA Kht., OMAI, EÜM STRAPI) monitoring munkatársaival, az indikátorok megfelelőségéről, az indikátorok alkalmazásának nehézségeiről, valamint a kialakított legjobb gyakorlatokról, megoldásokról Legfontosabb megállapítások és javaslatok Jelentős problémaként kísérte végig a tanulmány készítését az a tény, hogy az indikátorok teljes köre pontosan nem rögzített, abban jelentős bizonytalanságok vannak. A projekt indulásakor az Irányító Hatóság rendelkezésünkre bocsátott egy mutatólistát, ami elvileg az alintézkedések teljes indikátorkészletét tartalmazta. A projekt későbbi szakaszában elsősorban a kedvezményezettek kérdőíves megkérdezése során derült ki, hogy a program végrehajtásában résztvevők további indikátorokat is használnak. A 3

4 tanulmány első tervezetének véleményezésekor az IH egy teljesebb és számítási képleteket is tartalmazó nyilvántartást is a rendelkezésünkre bocsátott. Az eltérések okait az intézkedés szintű jelentések és az EMIR adatok elemzése, valamint a Közreműködő Szervezetek munkatársaival végzett fókuszcsoportos interjúk során igyekeztünk felkutatni. Így derült fény arra, hogy több alintézkedésnél új indikátorok kerültek bevezetésre a pályázati útmutatóban, a támogatási szerződésben, valamint a monitoring fázisában, ugyanakkor ez a központi nyilvántartásban nem mindig került átvezetésre. Bár az értékelés során nagyrészt mindenütt sikerült beazonosítanunk az alintézkedésszintű indikátorok pontos körét, súlyos hiányosságnak tartjuk, hogy a teljes indikátorkészlet együttesen, aktuális állapotában sehol sem jelenik meg; a projekt záró fázisában megismert, legteljesebb nyilvántartás is elavult információkat tartalmazott mind az indikátorok körét, mind azok célértékeit illetően. Ezért javasoljuk, hogy a HEFOP végrehajtásában alkalmazott, minden programindikátort egyetlen egységes, folyamatosan karbantartott, havi szinten frissített rendszerben, lehetőleg az EMIR vagy a már alkalmazott, Excel-alapú indikátortábla keretein belül tartsák nyilván. A másik jelentős probléma, amivel az értékelés során találkoztunk, az EMIR felhasználása az indikátorok terén. Az indikátorok előrehaladásának megítéléséhez szükséges adatokat a szakértőink az EMIR-ből nem tudták beszerezni tipikusan azért, mert egyes adatok (mutatók aktuális értékei a PEJ alapján) egyáltalán nem kerültek rögzítésre, a feltöltött adatok (pl. támogatási szerződésben rögzített indikátor-célértékek) pedig az Irányító Hatóság tájékoztatása szerint sokszor pontatlanok. Mindezekből következik, hogy az EMIR-t a HEFOP esetében gyakorlatilag sem intézkedésmonitoring sem programmonitoring célokra nem lehet használni. Ez annak ellenére is aggályos, hogy a monitoringnak egyéb jól definiált eszközei is léteznek (intézkedés szintű jelentések, az előrehaladást áttekintő ülések). Mivel azonban egységes információs rendszerben naprakész adatokat csak az EMIR keretein belül lehet kezelni, mindenképpen javasoljuk, hogy az indikátorok és azok cél- és tényértékei pontosan és rendszeresen kerüljenek rögzítésre az EMIR-ben, illetve haladéktalanul számoljanak föl minden olyan informatikai, eljárásrendbeli vagy kapacitásbeli akadályt, amely jelenleg ezt nem teszi lehetővé. A harmadik, rendszerszinten is jelentős probléma az indikátorok specifikusságának egy sajátos kérdéséhez, a közérthetőséghez, értelmezhetőséghez kapcsolódik. A Közreműködő Szervezetek munkatársainak beszámolói alapján több programelemnél is előfordult, hogy a kedvezményezettek a meghatározott indikátort az értelmezést segítő definíciók, standardok hiányában vagy nem tudták értelmezni, vagy egymástól, vagy akár a Közreműködő Szervezetektől eltérő módon értelmezték. A közérthetőséget a kedvezményezettek szintjén is vizsgáltuk, mind a kérdőív, mind az interjúk keretében, ami lehetőséget adott a felismert értelmezési problémák mérésére. A kedvezményezettek a mutatók jelentős részében érzékelnek értelmezési problémákat. Emellett jelentős a látens (a kedvezményezett által nem is érzékelt) értelmezési probléma, félreértés. Ez azt jelenti, hogy a kedvezményezettek ugyanazt az indikátort az eltérő értelmezések miatt különféle tartalommal töltötték fel, ami az indikátort már az alintézkedés, komponens szintjén is használhatatlanná tette (az aggregálhatóság gyakorlatilag megszűnt), de az egyes projektek, azok elvárt outputjai és eredményei szintjén is értelmezhetetlenné tette a célszámokat. Szintén e jelenség létezését támasztja alá az, hogy több esetben az értelmezési problémák olyan jelentősek voltak, hogy a Közreműködő Szervezetek és az IH rákényszerült arra, hogy utólagosan kiadott definíciókkal tisztázza azokat. Ezek a tisztázó anyagok általában eredményesek voltak, a további félreértéseket sikeresen megelőzték. Ezekre a tapasztalatokra alapozva javasoljuk, hogy a jövőben minden egyes intézkedés 4

5 esetében, már a programozás során, de mindenképpen a projektkiválasztás előtt, készüljön el az indikátorokhoz egy pontos értelmezést adó definíciós jegyzék, és ennek tartalmát lehetőség szerint teszteljék a kedvezményezetti kör egyes szereplőinél, a további esetleges félreértések, illetve eltérő értelmezések megelőzése végett. A negyedik tapasztalt probléma inkább módszertani, szemléletbeli jellegű, ugyanakkor korántsem elhanyagolható: ez a hatásmechanizmus egyes szintjeinek következetes alkalmazása az indikátorrendszerben. A HEFOP indikátorait alapvetően a hatásmechanizmus szintjei mentén, kimenet-, eredményés hatásmutatókként határozták meg. Azonban a jelenlegi gyakorlatban az értékelők két problémát is észleltek. Az egyik, hogy az indikátorlistában a fenti három indikátor típus mellett megjelentek egyéb kategóriába sorolt mutatók is, melyek a monitoring módszertani keretei között nem értelmezhetőek (legfeljebb akkor, ha ez pusztán adatszolgáltatási kötelezettségként jelenik meg, de célérték nem kapcsolódik hozzá. Ebben az esetben viszont nem monitoring indikátorról, hanem egyéb adatgyűjtésről van szó 1 ). További probléma, hogy ez a hármas tagolás az egyes dokumentumokban, és különösen a projektszintű anyagokban (támogatási szerződések, előrehaladási jelentések) már nem mindig jelenik meg; az indikátorok összemosva, együtt szerepelnek. Ettől természetesen az egyes indikátorok még ugyanúgy használhatóak, viszont a strukturált módszertani kereteket ez a gyakorlat némileg fellazítja, és semmiképpen sem járul hozzá az európai szinten is megkövetelt módszertani ismeretek hazai elterjedéséhez különösen a kedvezményezettek körében nem, holott a módszertani, projektmenedzsment tapasztalatok fejlesztése épp e körnél a legkritikusabb. Ezért javasoljuk, hogy a kimenet-eredmény-hatás tagolás alkalmazása következetesen és szigorú módszertani alapelvek mentén történjék a programvégrehajtás minden szintjén, az ebbe nem illeszkedő adatgyűjtési elemeket pedig az indikátoroktól egyértelműen megkülönböztetve szerepeltessék. A HEFOP indikátorrendszerére vonatkozó javaslatok, tekintettel a as programidőszak előkészületeire is: 1. Rögzíteni kell a monitoring szakértők és vezető monitorok indikátor-továbbfejlesztési jogosultságait, javaslattételi és módosítási lehetőségeit, és standardizálni ennek csatornáit. A monitoring gyakorlati tapasztalatai így tudnak a leghatékonyabban beépülni az indikátorrendszer továbbfejlesztésébe. 2. A jelenlegi HEFOP és a as program esetében is, a programok végrehajtásában alkalmazott, minden programindikátort (azaz nem projektspecifikus indikátort) egyetlen egységes, folyamatosan karbantartott, havi szinten frissített rendszerben, lehetőleg az EMIR vagy a már alkalmazott, Excel-alapú indikátortáblában szükséges nyilvántartani. 3. Az indikátorokat, valamint azok cél- és tényértékeit pontosan és rendszeresen szükséges rögzíteni az EMIR-ben, továbbá haladéktalanul fel kell számolni minden olyan informatikai, eljárásrendbeli vagy kapacitásbeli akadályt, ami jelenleg ezt nem teszi lehetővé. 4. A as program végrehajtásának előkészítése során az indikátorok meghatározása mindenképpen a tervezők és a jelenleg futó program végrehajtásában résztvevők által alkotott közös munkacsoportokban kell, hogy folyjon. 1 Az IH-val folytatott konzultáció alapján, minden egyéb mutatója esetén erről, vagyis további, a monitoring indikátorokhoz közvetlenül nem kapcsolódó adatgyűjtésről van szó. 5

6 5. A as program végrehajtásának előkészítése során az egyes intézkedésekhez olyan indikátorkészletet szükséges meghatározni, ami specifikus és releváns az intézkedés teljes tartalmára, vagyis valamennyi alintézkedést lefedi. 6. A jövőben minden egyes intézkedés esetében már a programozás során a munkacsoportok keretein belül, de mindenképpen a projektkiválasztás előtt, készüljön el az indikátorokhoz egy pontos értelmezést adó definíciós jegyzék, és ennek tartalmát tesztelni szükséges a kedvezményezetti kör egyes szereplőinél, a további esetleges félreértések, illetve eltérő értelmezések megelőzése végett. 7. A jelenleg futó program indikátorainak felülvizsgálata, vagy az eddiginél részletesebb definiálása esetén felül kell vizsgálni a támogatási szerződésekben rögzített kedvezményezetti célértékeket, az új vagy pontosított indikátor tartalmának fényében. 8. A kimenet-eredmény-hatás tagolás alkalmazása következetesen és szigorú módszertani alapelvek mentén történjék a programvégrehajtás minden szintjén, az ebbe nem illeszkedő (egyéb) adatgyűjtési elemeket pedig az indikátoroktól egyértelműen megkülönböztetve kell szerepeltetni. 9. Szükséges a kedvezményezettek erőteljesebb módszertani támogatása, képzése, tájékoztatása, valamint a köztük levő tapasztalatcsere lehetőségének biztosítása, a legjobb gyakorlatok terjesztése az indikátorok alkalmazása terén is. Ezzel a tevékenységgel a as programnak mindenképpen számolnia kell, ehhez megfelelő erőforrásokat kell biztosítani. Az egyes konkrét indikátorokhoz megfogalmazott ajánlásaink a mutatók részletes értékelését tartalmazó fejezet megfelelő részeinél találhatók. 6

7 2. Executive summary This study is the Evaluation of Indicators part of the mid-term evaluation of the Human Resource Development Operative Programme (HRDOP). The short-term objective of the evaluation, carried out by EX ANTE Consulting, is to assist the better and more effective execution of the present OP, to support the structured summation of the experiences of the implementation, as well as to give assistance to the planning of the programming period. Besides this, the long-term objective is to create an evaluation methodology that is able to support the planning, the implementation and the ex-post evaluation of development programmes with scientific thoroughness, but with practicality that suits to the all-time demands Methodology of the evaluation In the case of the programmes of Structural Funds, one of the key-parts of the mid-term evaluation is analysing the indicators. In the mid-term evaluation of HRDOP, it implies two parts: In the frame of the evaluation of progress, the task of evaluators is to measure and analyse the effective progress by the indicators, and to compare them with the expended budgetary funds. The second part is the analysis of the indicators themselves as methodological instruments, which examines the methodological eligibility and practical applicability of the single indicators considering the experiences of the programme implementation. In the frame of the analysis of the indicator-system, we have carried out an overall analysis of the indicators, taking under analysis the indicators involved in the Programme Complementary (PC), the tender dossiers and the support contracts. We have reviewed the indicators of HRDOP in the light of the generally accepted methodology of the use of indicators. The analysis has involved the data of EMIR (Standard Monitoring Information System), with which we analysed the progress of the financial implementation of the single sub-actions, as well as the pro rata temporis progress of the proposed target value of the indicators. We have sent a structured, electronic questionnaire to every single ultimate recipient with questions related to the indicators of their own action. Beyond the questionnaire survey, in the case of selected actions, we have made interviews with the selected recipients. We have made so-called focus group interviews with the monitoring staff of the three professional Intermediate Bodies (ESZA Kht., OMAI, EÜM STRAPI) on the eligibility of indicators, the difficulties of the use of indicators, as well as the developed best practices and solutions Most important observations and proposals During writing this study, it was a significant problem that the exact range of the indicators are not determined and recorded precisely; there is a great obscureness in them. At the launch of the project, the Managing Authority gave us free run of a list of indicators, 7

8 which theoretically contained all indicators of the sub-actions. In the further period of the project mainly from the returned questionnaires of the recipients it turned out that the attendance of the programme implementation uses further indicators. At the deliverance of the first draft of the study, the Managing Authority gave us a more complete list of the indicators, which contained computational formulas. We tried to find out the reasons of the variances in the course of analysing the action reports and the data of EMIR, as well as the focus group interviews made with the staff of Intermediate Bodies. So it emerged that new indicators had been introduced in the tender dossier, the support contracts, as well as in the monitoring period at several sub-actions, but these changes had not been recorded in the central record keeping in every case. However, in the course of the evaluation, we roughly managed to identify the exact range of indicators at every sub-action, we reckon a serious deficiency that the current state of the complete indicator-kit is not recorded anywhere. The utter list of indicators, we got acquainted with in the final period of the project, also contained out-of-date information about either the range of indicators and their target values. Hence, we propose every programme indicator that is used in the implementation of HRDOP to be registered in one solid, constantly maintained, monthly updated system, as far as possible in the EMIR or the yet applied Excel-base indicator-table. Another significant problem that occurred in the course of the evaluation is the use of EMIR in the field of the indicators. Our experts could not get data needed to sum up the progress of the indicators from the EMIR typically because some data (current values of indicators according to the Quarterly Progress Report) had not been recorded, and the recorded data (e.g. indicator target values of the support contracts) according to the information from the Managing Authority are often imprecise. It follows that in the case of HRDOP, the EMIR could not be used in practice for neither action-monitoring nor programme-monitoring. It is solicitous even though monitoring has other well defined tools. However, up-to-date data can be handled only in the frame of EMIR, so we propose the indicators, their target and current values to be recorded precisely and regularly into the EMIR, as well as every information technology, procedural or capacity difficulties to be eliminated immediately that do not allow that. The third problem, which is a significant problem on the level of the whole system, too, is related to one special part of the specific requirement of indicators, their understanding and interpretation. According to the report of the staff of Intermediate Bodies, it occurred at several programme elements that in absence of standards and definitions supporting the understanding the recipients could not interpret the indicators or they interpreted them contrary to each other and the Intermediate Bodies. We have analysed the understanding on the level of the recipients, too, in the frame of either questionnaires and interviews, which gave us the chance to measure the identified interpretation problems. Recipients feel interpretation problems at most of the indicators. In addition, there are several undercover interpretation problems and misunderstandings. It means that the recipients filled up the same indicator with different purports for the sake of the divergent interpretations. Therefore indicators became useless even on the level of subactions or components, but target values became inunderstandable on the level of single projects and their expected outputs and results. The existance of this phenomenon is confirmed by the fact that interpretation problems had been so significant at several cases that the Intermediate Bodies and the Managing Authority had had to clarify them with posteriorly issued definitions. Generally, these clarifying definitions were effective, they prevented the further misunderstandings. To build on these experiences, we propose to prepare a definition register of the indicators which gives 8

9 accurate interpretation. This register should be prepared during the programming period but at least before selection of the projects. The register should be tested on some recipients to prevent further misunderstandings. The fourth discovered problem is rather methodological, but not nearly negligible: this is the consequent use of the single levels of the mode of action in the indicator-system. Indicators of HRDOP are basically defined along the levels of the mode of action, as output, result and impact indicators. However, in the present practice, we detected two problems. First, besides the above-mentioned three types of indicators, further indicators appeared rated in an other category. But these indicators are not interpretable in the methodological frame of monitoring. Further problem is that this triple articulation does not always appear in the certain documents and especially in the project-level documents (support contracts, quarterly progress reports); the indicators appear interspersed in them. Irrespectively of this, the single indicators are useable, but this practice mellows the structured methodological frames and does not assists to the domestic spread of the methodological knowledge required on the European level especially does not assists to the spread of the methodological knowledge in the sphere of the recipients, where development of methodological and project management experiences are the most critical. Hence, we propose the use of the outputresult-impact articulation to be passed consistently and along strict methodological principles on every level of the programme implementation. Acquisition elements, which are not suit to this methodology should be featured separately. Proposals regarding to the indicator-system of the HRDOP, taking into consideration preparations of the programming period: 1. The indicator development rights, possibilities of posing proposals and modifications of the monitoring experts and of the leading monitors must be recorded; besides, these channels must be standardized. 2. In the case of the present HRDOP and of the programme, all programme indicators used during the execution of the programme (that is, not project specific indicators) must be recorded in a single, standard, continuously maintained and monthly updated system, possibly in the EMIR or in a previously applied Excel-based indicator table. 3. The indicators and their related goal- and actual values must be recorded precisely and regularly in the EMIR; furthermore all such information technology, procedure- or capacity related obstacles - which does not make this possible at present - must be eliminated. 4. During the course of preparing the execution of the programme, the indicators are by all means, to be identified within a joint work-group consisting of the planners and participants of the execution of the presently running programme. 5. During the preparation phase of the programme, such set of indicators must be identified to the individual actions, which are specific and relevant throughout the duration of the action, that is which covers all sub-actions. 6. In the future, in order to avoid any possible misunderstanding or difference in interpretation, in the case of all actions and during the programming period within the frame of the work-groups -, but at least before the project selection, it is necessary to prepare a precise definition list of all indicators, which must be tested on participants of the sphere of recipients. 7. In the case of reviewing indicators or defining in more details the presently running 9

10 programme, the recipient goal-value must be reviewed in the support agreements in the light of the content of the new or modified indicator. 8. The output-result-impact breakdown must be applied by consequent and strict methodology principles on all levels of program execution. Such non-conform data collection elements must be handled completely separately from the indicators. 9. Recipients must receive stronger methodology support, training, information and the possibility for exchange of experiences, the presentation of the best practices must be provided in the field of indicator application, too. The programme must by all means take these activities into consideration together with insurance of the necessary resources. Our proposals for the individual, specific indicators are found in the corresponding part of the chapter dealing with the detailed evaluation of indicators. 10

11 3. Bevezetés A projekt körülményei A Foglalkoztatáspolitikai és Munkaügyi Minisztérium HEFOP és EQUAL Program Irányító Hatóság megbízásából az EX ANTE Tanácsadó Iroda végezte el a Humánerőforrásfejlesztési Operatív Program (HEFOP) időközi értékelését. Az értékelés három fő részből állt: 1. A szerződéskötési folyamat kockázatainak elemzése, 2. A horizontális témák HEFOP-on belüli érvényesülésének elemzése, 3. Indikátorelemzés. A jelen tanulmány a Humánerőforrás-fejlesztési Operatív Program időközi értékelésének indikátorelemzési komponense keretében készült, az indikátorok vizsgálatával kapcsolatos megállapításokat, illetve javaslatokat foglalja magában. A tanulmány célja Az egész HEFOP időközi értékelési projekt, így az indikátorelemzési rész céljait is két részre lehet bontani. A tanulmány rövid távú célja, hogy elősegítse a jelenleg is futó OP jobb és hatékonyabb megvalósítását, támogassa a végrehajtás tapasztalatainak strukturált összegzését, valamint, hogy támogatást nyújtson a as programozási időszak tervezéséhez. Emellett a hosszú távú cél, hogy olyan értékelési módszertan kerüljön kialakításra, amely bejáratott alkalmazásaival képes a fejlesztési programok tervezését, megvalósítását és utólagos értékelését tudományos alapossággal, viszont a mindenkori igényeknek megfelelő gyakorlatiassággal támogatni. Tartalom, struktúra A jelen indikátorelemzési tanulmány elején bemutatjuk az elemzés során alkalmazott módszertant, valamint az értékelés tárgyául szolgáló indikátorok körét. A második fejezet átfogó megállapításokat tesz a HEFOP indikátorairól, majd a harmadik fejezetben ezt részletesen kibontva, az operatív program összes intézkedésére vonatkozóan alintézkedésenkénti bontásban ismertetjük a kérdőíves megkérdezések és az interjúk eredményeit, valamint az EMIR adatok elemzésének eredményeit, végül pedig összegezzük és véleményezzük az eredményekből levonható következtetéseket. A tanulmány utolsó fejezetében táblázatos formában összegző értékelést adunk a HEFOP minden egyes indikátoráról intézkedések szerint a SMART kritériumrendszer alapján. A március 1-i, az Értékelést Irányító Csoporttal folytatott megbeszélés alapján, az emlékeztetőben rögzítetteknek megfelelően, következetesen az alábbi megnevezéseket használjuk a tanulmányban: x.x: intézkedés (pl. 3.2) x.x.x: alintézkedés (pl ) x.x.x.x: komponens (pl ) Hangsúlyozzuk, hogy ez jelenleg nem egységes értelmezés a HEFOP-ban! Mindazonáltal jelen tanulmány koherenciájának érdekében szükséges egységesen használható fogalmi kategóriák definiálása. Megjegyezzük továbbá, hogy az egységes használat a HEFOP lebonyolításában résztvevő szervezetek közötti együttműködést is elősegítené, ezért a fenti értelmezést javasoljuk a későbbiekben bevezetni. 11

12 4. Az alkalmazott módszertan 4.1. Bevezetés A Strukturális Alapok programjai esetében az időközi értékelés egyik kulcseleme az indikátorok vizsgálata. Ez HEFOP időközi értékelése esetében két elemet foglal magába: Az előrehaladás vizsgálatának keretében az értékelők feladata a programban bekövetkezett tényleges előrehaladás mérése, vizsgálata az indikátorok alapján, és összevetése a felhasznált költségvetési forrásokkal. A második, a jelen feladatban némileg hangsúlyosabb elem maguknak az indikátoroknak, mint módszertani eszközöknek a vizsgálata, amely az egyes indikátorok módszertani megfelelőségét és gyakorlati alkalmazhatóságát vizsgálja a programvégrehajtás tapasztalatainak figyelembe vételével Az előrehaladás vizsgálata Az alábbi ábra a program hatásmechanizmusát szemlélteti, az inputoktól a hatásokig terjedően, és összekapcsolva a hatásmechanizmust az egyes célszintekkel. Hatások Átfogó célok Eredmények Specifikus célok Program célok Outputok Operatív célok Inputok Program tevékenységek A vizsgálat köre a program jelenlegi előrehaladottságát figyelembe véve valójában az eredményekig terjedően vizsgálta a program tényleges előrehaladását, noha az elemzésekben kitértünk a hatásokról rendelkezésre álló információkra, azokból még valós következtetéseket nem lehetett levonni. Vagyis a szakértői, értékelői munka a program valós tevékenységeire, kimeneteire és eredményeire fókuszált. Ennek keretében minden egyes alintézkedés esetében összegyűjtöttük mind a pénzügyi, mind a fizikai megvalósulás aktuális indikátorértékeit, mind a kötelezettségvállalás (támogatási szerződések), mind a tényleges előrehaladás szintjén, majd ezek felhasználásával elemeztük a pénzügyi és fizikai megvalósulás összhangját. Emellett a pénzügyi és fizikai megvalósulás időarányos elemzését is elvégeztük, vagyis megvizsgáltuk, hogy az előrehaladottság mértéke megfelel-e az adott intézkedés időbeli 12

13 előrehaladottságának (az intézkedés indulásától a program végéig tartó idősíkon belüli arányosítás alapján). Jelen tanulmány keretében tehát megvizsgáltuk a végrehajtás első tapasztalatai alapján, hogy a program valóban képes-e a tervezett mértékben kezelni a feltárt problémákat, azaz hogy mennyire tekinthetők megfelelőnek az indikátorok célértékei, azok reálisan elérhetők-e. Ehhez az indikátorok aktuális és kiinduló értékeit vizsgáltuk, és ezen adatok tükrében megbecsültük az intézkedések várható eredményeit Indikátorok felülvizsgálata Az indikátorrendszer vizsgálata keretében az indikátorok átfogó vizsgálatát végeztük el, vizsgálat alá véve a Programkiegészítő Dokumentumban és a pályázati dokumentációban, támogatási szerződésekben megjelenő indikátorokat. Az indikátorok alkalmazásának célja a Strukturális Alapok támogatásainak körében általában így a HEFOP-ban is a megfogalmazott különböző szintű szakpolitikai és programcélok számszerűsítése, annak érdekében, hogy mérésük, előrehaladásuk objektív megítélése megtörténhessen. Az indikátorok csak akkor használhatóak fel hatékonyan a programhoz kapcsolódó különféle tevékenységek során, amennyiben megfelelően, célszerűen határozták meg mind az egyes mutatókat, mind azok logikai rendszerét. Az alapvető elvárás a monitoring struktúrákkal kapcsolatban, hogy megbízható, valós, időszerű képet nyújtsanak gyakorlatiasan felhasználható formában a programvégrehajtásban érintett szereplők számára. Az ezek részét képező indikátorrendszereknek is ehhez az alapvető elváráshoz kell illeszkedniük. A közösségi fejlesztési források felhasználása kapcsán az indikátorok alkalmazásának részletes és jól meghatározott módszertana alakult ki, amely magában foglalja az indikátorokkal kapcsolatos minőségi követelményeket is. Ezeket összefoglalóan két kritériumrendszer, a SMART és a QQTTP mentén írhatjuk le. A legközismertebb és a jelen értékelés elsődleges elemzési kereteként is használt elvi követelményrendszer az úgynevezett SMART. A SMART kritériumrendszer alkalmazása túlmutat a fejlesztési programokhoz kapcsolódó monitoring-tevékenységen, gyakorlatilag a bármely folyamatban felhasználásra kerülő információval szemben fogalmaz meg elvárásokat. A betűszó többféleképpen is feloldható, az angol Specific, Measurable, Available / Achievable, Relevant / Reliable, Timely szavak kezdőbetűiből áll össze. A SMART kritériumok szerint az ideális indikátor Specific = specifikus: vagyis arra és elsősorban arra a jellemzőre vonatkozik, amelyhez hozzárendeljük, és az adott jellemzőről kellő mélységben és részletességgel szolgáltat információt. A specifikussághoz kapcsolódó feltétel az is, hogy az indikátor megfelelően definiált és értelmezhető legyen, hiszen értelmezési nehézségek esetén a célok méréséhez való kapcsolódása gyengül. Measurable = mérhető: azon indikátorok gyakorlati felhasználhatósága, amelyekhez nem tudunk számértéket rendelni, csekély. A számszerűsítés, az indikátorok mérhető formában történő meghatározása így alapvető fontosságú. Available/achievable = elérhető, rendelkezésre áll: alapvető, hogy az adott indikátor értékére vonatkozó információhoz hozzá lehessen férni, létezzen vagy létre lehessen hozni egy olyan információs rendszert, melyből az adott indikátorra vonatkozó információ kinyerhető. Az indikátor meghatározásánál figyelembe kell venni azt is, hogy milyen költségekkel, erőfeszítésekkel lehet megszerezni az indikátorra vonatkozó értékeket. 13

14 Relevant = releváns: az indikátornak a felhasználás szempontjából fontos és hasznos információt kell hordozniuk. A mutató közvetlenül kötődjön ahhoz a célhoz, amelyet mérünk vele. Reliable = megbízható: a menedzsment csak annyiban támaszkodhat az indikátorokból származó információkra, amennyiben azok a tényleges állapotokat tükrözik. Az adatok hitelességével, megbízhatóságával kapcsolatos kételyek elfogadhatatlan mértékű kockázatot jelenthetnek egy program vagy projekt végrehajtása szempontjából. Timely = aktuális: az időhöz való viszony két szempontból is jelentős. Egyrészt egyértelműnek kell lennie annak az időpontnak vagy időhorizontnak, amire egy adott mutató vonatkozik (melyik hónapra, melyik évre szóló adatról van szó, egyes célértékeket milyen időtávon kívánunk megvalósítani stb.) Másrészt mind a tervezés, mind a végrehajtás optimalizálásához elengedhetetlen, hogy a leíró jellegű mutatók az időszerű, időben is valósághű állapotot ábrázolják. A QQTTP kritériumrendszer a SMART-nál specifikusabb, a fejlesztési tevékenységekhez jobban kötődő elvárásokat fogalmaz meg. Míg a SMART az információ minőségével általában foglalkozott, addig a QQTTP az indikátor, az információ tartalmával szemben támaszt követelményeket. Ezen kritériumrendszer szerint az ideális indikátornak a következő kérdésekre kell választ adnia: Quantity = mennyiség Mennyit? az indikátor által leírt jellemzőben bekövetkezett mennyiségi változás; Quality = minőség Mit? az indikátor által leírt jellemző pontos definiálása szükséges, tehát például a megépült utak rangja és minősége, a megszerzett szakképesítések egzakt besorolása stb. Time = idő Mikor? mely időszakban következett be a változás a leírt jellemzőben, illetve hogyan alakult az idő függvényében. Target group = célcsoport Kinek? ahol ez értelmezhető, meg kell határozni a leírt jellemzőhöz kapcsolódó fejlesztések célcsoportjait. Place = hely Hol? az indikátornak szintén be kell számolnia az adott jellemző térbeli, földrajzi elhelyezkedéséről. A QQTTP kritériumrendszert úgy is felfoghatjuk, mint a SMART feltételek közül a specifikusság kibontását a fejlesztési programok kontextusában. Fontos hozzátennünk, hogy mindkét követelményrendszert indikátorkészletekre ugyanúgy vagy talán még inkább célszerű alkalmazni, mint az egyes indikátorokra. Ennek megfelelően egy indikátorrendszernek minden elemében SMART-nak kell lennie, a QQTTP feltételeknek azonban csak az egyes jellemzők, illetve a rendszer egésze szintjén kell teljesülnie; vagyis nem kell feltétlenül arra törekedni, hogy egyetlen mutatóba tömörítsük a QQTTP indikátoroktól megkövetelt valamennyi információt, amennyiben egy néhány indikátorból álló készlet sokkal hatékonyabb és átláthatóbb formában képes ennek eleget tenni Az értékelés tárgyául szolgáló indikátorok köre Jelen tanulmány keretében elvégzett értékelés kiterjed a HEFOP 42 alintézkedésének kimenet, eredmény és hatásindikátoraira. Az indikátorok mélységét tekintve nem csak a 14

15 Programkiegészítő Dokumentumban szereplő, intézkedés szintű indikátorokig vizsgálódtunk, hanem a pályázati kiírások, támogatási szerződések szintjén megjelenő alintézkedésszintű indikátorokig. Ugyanakkor az indikátorok pontos körének meghatározása egy az egész értékelési munkán végighúzódó problémát jelentett az ezzel kapcsolatos megállapításokat és javaslatokat a 4. fejezetben taglaljuk. A jelen értékelés nem terjedt ki a HEFOP technikai segítségnyújtási intézkedései keretében alkalmazott indikátorokra Alkalmazott módszerek listája Az indikátorok elemzése kapcsán a következő módszerekkel dolgoztunk: az indikátorok szakértői felülvizsgálata, EMIR adatelemzés, kérdőíves felmérés, kedvezményezetti interjúk, fókuszcsoportos interjúk. E módszereket az alábbiakban részletesen is bemutatjuk Az indikátorok szakértői felülvizsgálata Szakértőink megvizsgálták és elemezték az egyes alintézkedések kimenet, eredmény- és hatásindikátorait. Az elemzés elsősorban az indikátorok SMART kritériumrendszernek való megfelelőségét, ezen belül legfőképpen az intézkedéshez való specifikusságát, mérhetőségét és relevanciáját vizsgálta elméleti, módszertani szempontból EMIR adatelemzés Az EMIR adatelemzés eszközét az indikátorok kapcsán végzett előrehaladás-vizsgálat során alkalmaztuk. Az eredeti elképzelések szerint az EMIR, és annak is az intézkedés, illetve komponens szinten aggregált előrehaladási adatain (pénzügyi mutatók: kötelezettségvállalás és kifizetések, valamint fizikai mutatók: támogatási szerződésben rögzített célértékek és beszámolók alapján mért tényleges megvalósulás) keresztül a számszerű előrehaladást vizsgáltuk a programstruktúra (prioritások, intézkedések) mentén, valamint az egyes intérkedések idősíkjához viszonyítva. A gyakorlatban kiderült, hogy pusztán az EMIR-ben rendelkezésre álló adatok ehhez a vizsgálathoz nem elégségesek, mivel főként a tényleges megvalósulás esetében (aggregált PEJ-adatok) az EMIR nem tartalmazza az értékeléshez szükséges naprakész információkat. Ezért az adatelemzés alapjául szolgáló információs bázis más adatforrásokból (pl. intézkedés szintű előrehaladási jelentésekből) kellett kiegészíteni. Az adatok így sem minden esetben teljes körűek és pontosak, ezért a garbage in garbage out elvnek megfelelően nem mindenütt tudtunk érdemi megállapításokat tenni. A részletes elemzésben ezeket a pontokat mindig jeleztük. Fontos megemlíteni, hogy a tanulmányban a február 10-én aktuális EMIR adatokkal dolgoztunk. Az előrehaladás vizsgálatakor egyrészt elemeztük az egyes alintézkedések pénzügyi teljesítésének előrehaladását, valamint az alintézkedések kitűzött indikátor-célértékeinek időarányos teljesülését. Emellett az indikátorok jelenlegi állapotát a pontosabb kép miatt - összevetettük a szerződésekben vállalt értékekkel, és az ehhez történt megvalósulással is. 15

16 E módszertani eszköz kapcsán meg kell jegyeznünk, hogy minden olyan esetben, ahol értelmezési problémák merültek fel az indikátorral kapcsolatban, annak az indikátornak a megbízhatósága a különböző értelmezések, és számolási módok miatt megkérdőjelezhető. AZ EMIR adatelemzés eredményeit ezen fenntartással kell tehát kezelni Kérdőíves felmérés Strukturált, elektronikus kérdőívet juttattunk el teljes körű lekérdezéssel az összes végső kedvezményezett részére a saját intézkedésükben szereplő indikátorokra vonatkozó kérdésekkel. A kérdőíves felmérés külön-külön kérdéseket tartalmazott a kimenet-, az eredmény-, valamint a hatásmutatókra vonatkozóan. Az egyes indikátorfajtáknál rákérdeztünk azok specifikusságára, értelmezhetőségére, mérhetőségére, elérhetőségére, relevanciájára, időhöz kötöttségére, a célértékek megvalósulására, valamint az intézkedésszintű célértékek megvalósulására. Az alkalmazott kérdőívet a 2. melléklet mutatja be. A kérdőívben alapvetően zárt kérdések szerepeltek, azonban minden egyes válaszadási helyen lehetősége volt a kedvezményezetteknek szövegesen is kifejteni a véleményüket. A zárt kérdésekre adott válaszok négyfokozatú skálaindikátoros értékelésre épültek: a kérdéseknél négy választ adtunk meg teljesen rossz rossz jó teljesen jó típusú kategóriák, minden esetben a legrosszabb minősítésű volt az egyes, míg a legjobb minősítésű a négyes válasz. A beérkezett kérdőívekből az egyes kérdésekre adott válaszokat átlagoltuk, így megkaptuk, hogy általában milyen minőségűnek értékelik a kedvezményezettek az indikátornak azt a tulajdonságát, melyre a kérdés irányult. Az átlagos mint feldolgozási módszer jelen esetben azért volt indokolt, mert ez teremtett lehetőséget minőségi küszöbérték meghatározására: problémás indikátornak azokat a mutatókat értékeltük, melyeknél valamelyik érték 3,00 alatti volt, ami 75%-os minőségi küszöbnek felel meg. A kérdőíves felméréssel kapcsolatos módszertani tapasztalatok vegyesek voltak. Maga a kérdőíves megkérdezés az eredeti módszertani eszközrendszerben nem szerepelt, ezt a projektindító megbeszélés során vállalta fel az értékelő csapat. A kérdőíves felmérés megtervezésére és lebonyolítására rendkívül rövid idő állt rendelkezésre, ezért módszertani korrekciókat menetközben nem lehetett tenni. A tapasztalatok nagy része is ebből fakad: Noha a kérdőívet a közreműködő szervezetek véleményezték, a felmérés tervezése során nem volt lehetőség arra, hogy egy kiválasztott kedvezményezetti körön tesztjelleggel kipróbáljuk azt. Így az esetleges értelmezési, kitöltési problémák az éles felhasználás során kerültek felszínre. Noha pontos kimutatásokkal e tárgyban nem rendelkezünk, a válaszadó kedvezményezettek mintegy %-a vette igénybe az értékelő csapat által biztosított es, illetve telefonos segítségnyújtást. Kisebb félreértések még így is történtek: tipikusan az fordult elő, hogy a központi indikátorok mellett a kedvezményezettek a saját, projektspecifikus mutatóikat is értékelték. A későbbi értékelések során a hasonló felméréseknél mindenképpen szükséges az előkészítés során elegendő időt biztosítani arra, hogy a kérdőív tesztelése megtörténhessen. A szűk időkeretek a felmérés megvalósításában, a kérdőív kitöltésének határidejében is jelentkeztek. A rövid idő ellenére azonban viszonylag jó válaszadási arányt tapasztaltunk: a mintegy ötszáz megkérdezett kedvezményezettből 161 juttatott hozzánk vissza határidőre kérdőívet. Ez mindenképpen a mind a lebonyolításban tevékenyen résztvevő közreműködő szervezetek, mind a kedvezményezettek oldaláról megtapasztalt elkötelezettségnek és lelkesedésnek volt köszönhető. 16

17 4.5. Kedvezményezetti interjúk A kérdőíves felmérésen túl azon intézkedések esetében, ahol a monitoring látogatás esedékes volt, a monitoring munkatársak interjúkat készítettek az általuk kiválasztott kedvezményezettekkel (kivéve a 2.2 és 4.2 intézkedéseket, ahol a pályáztatási folyamat még nem jutott el a monitorozási szakaszba, így az interjúkat az EX ANTE Tanácsadó Iroda szakértői végezték el). Az interjú a kérdőíves felmérés kérdéseinél részletesebb, mélyebb véleménykifejtésre adott lehetőséget a kedvezményezetteknek az egyes indikátorokról, valamint az interjúztatást végző szakértők személyes benyomásokat is szerezhettek a kedvezményezettek viszonyulásáról az indikátorokhoz. Az alkalmazott interjúsablont a 3. melléklet tartalmazza. A tanulmány elkészítéséhez 20 darab, a monitoring munkatársak által elvégzett interjú (1.1. intézkedés) és 4 darab, az EX ANTE Tanácsadó Iroda szakértői által elvégzett interjú eredményei álltak rendelkezésünkre Fókuszcsoportos interjú (workshop) Workshop keretében beszélgetést folytattunk a kedvezményezettekhez, a fejlesztési folyamathoz közel álló, az indikátorokról nagy mennyiségű információval rendelkező munkatársakkal is, aminek keretében három fókuszcsoportos interjút folytattunk le, a három szakmai KSZ (ESZA Kht., OMAI, EÜM STRAPI) monitoring feladatait végző szakembereivel. A fókuszcsoportos interjú során már rendelkezésünkre álltak a kérdőíves felmérés egyes eredményei, így ezek felhasználásával tudtuk az indikátorokhoz kapcsolódó kérdéseket megvitatni a közreműködő szervezetek szakértőivel. 17

18 5. A HEFOP indikátorértékelés átfogó megállapításai és ajánlásai 5.1. Átfogó megállapítások Az egyes indikátoroknál tapasztalt konkrét felvetéseket, problémákat, javaslatokat a részletes elemzés szintjén mutatjuk be. Ugyanakkor mindenképpen szólnunk kell néhány olyan tényről, amely az indikátorrendszer egészét érinti, és annak megfelelő működését veszélyezteti. Az első ilyen probléma, hogy az indikátorok teljes köre pontosan nem rögzített, abban jelentős bizonytalanságok vannak. A HEFOP-ban alkalmazott mutatók köre alapvetően három szintre tagolódik, amit az alábbi ábrával szemléltettünk: PC INDIKÁTOROK Az indikátorrendszer gerincét a Programkiegészítő Dokumentumban is rögzített indikátorok adják. Ezek az intézkedés szinten rögzített célokhoz rendelnek számszerűsített mutatókat. Az egyes intézkedéseken belül, az alintézkedések, komponensek szintjén meglevő különbségek, eltérő tartalom és a mélyebb értelmezés miatt részletesebb indikátorkészlet jelenik meg, a Programkiegészítő Dokumentumban rögzített mutatók kiegészülnek az alintézkedés szintű indikátorokkal. Az egyes projektek szintjén pedig, a projekt sajátosságaihoz illeszkedve, ehhez járulnak még a projektspecifikus indikátorok. Némileg tovább bővíti ezt a rendszert, hogy egyes intézkedések esetében a fókuszcsoportos interjúkon adott információ szerint a gyakorlati projektmonitoringot végző szakemberek is definiálnak új indikátorokat a projektek kapcsán: e szakértők feladata a szakmai előrehaladás megítélése, és az e feladathoz alkalmazott eszközök megválasztásában bizonyos szabadságot élveznek, ezért határozhatnak meg új indikátorokat. Megjegyezzük, hogy habár ez a megoldás a rendszer továbbfejlesztése szempontjából hasznos lehet, viszont mindenképpen szükséges egyértelműbb, standardizáltabb alkalmazása. Pontosan rögzíteni kell akár intézkedésenként eltérő módon, hogy a monitoring szakértőknek mely indikátorok esetében milyen javaslattételi, módosítási lehetőségei vannak, és ezeket milyen csatornán keresztül érvényesítheti. Az értékelők tapasztalata szerint a probléma az indikátorok fent említett második szintjével, annak körülhatárolásával van. Az értékelési munka indulásakor ugyan az Irányító Hatóság rendelkezésünkre bocsátott egy mutatólistát, amely elvileg ennek a szintnek a teljes indikátorkészletét tartalmazta. A további munka és elsősorban a kedvezményezettek kérdőíves megkérdezése során derült ki, hogy a program végrehajtásában résztvevők az indikátoroknak ennél a listánál szélesebb körét alkalmazzák. Később a tanulmány első tervezetének véleményezése kapcsán az IH egy teljesebb és számítási képleteket is 18

19 tartalmazó nyilvántartást is átadott. Az eltérést az intézkedés szintű jelentések és az EMIR adatok elemzése, valamint a közreműködő szervezetek munkatársaival végzett fókuszcsoportos interjú során igyekeztünk felkutatni. Ennek során kiderült, hogy több alintézkedésnél új indikátorok kerültek bevezetésre a pályázati útmutató, a támogatási szerződés vagy a monitoring fázisában, ugyanakkor ez a központi nyilvántartásban nem mindig került átvezetésre. Az új indikátorok bevezetésére egyébként a közreműködő szervezetek munkatársaival folytatott fókuszcsoportos interjú tapasztalatai szerint gyakran programozási hiba miatt volt szükség: az Operatív Program és a Programkiegészítő Dokumentum készítésében nem jelentek meg eléggé a végrehajtók, a monitoringot végzők szempontjai, ezért azok most is panaszkodnak egyes indikátorok irreleváns voltára; emellett egyes indikátorok a Programkiegészítő Dokumentumban is módosításra kerültek. E problémakör kapcsán egy kedvezőnek semmiképpen sem nevezhető jelenség, hogy több esetben is példa van arra, hogy egy-egy intézkedés szintjén definiált indikátorok nem relevánsak, specifikusak az intézkedés minden egyes alintézkedésére. Ahol ezt kezelték, ott tulajdonképpen az történt, hogy az intézkedésszintű indikátor helyett új, alintézkedésszintű indikátort vezettek be. Azonban így is fennáll az az ellentét, hogy ha pusztán az indikátorok szemszögéből vizsgáljuk, akkor úgy tűnik, hogy egyes alintézkedések nem szolgálják az intézkedés szintű cél teljesülését (hiszen az intézkedésszintű indikátorokhoz nem járul hozzá). A programtartalom ugyanakkor nem ezt támasztja alá, vagyis az indikátorrendszer hibájáról beszélhetünk (ugyanakkor egyes intézkedéseknél felmerülhet ennél súlyosabb probléma, az intézkedésen belüli programozási inkoherencia is noha ezt kizárni nem tudjuk, az esetek többségében nem ezt valószínűsítjük). A jelenleg futó HEFOP esetében ez a probléma már nem igazán kezelhető illetve csak az alintézkedésszintű indikátorok bevezetésével kezelhető, ugyanakkor a következő időszak programjának előkészítése során az indikátorok megválasztására nagyobb gondot fordítva, az ilyen anomáliák elkerülhetőek. Megjegyezzük ugyanakkor, hogy ennek kezelési módja semmiképpen sem lehet az indikátorok számának elharapózása e tekintetben jónak tartjuk azt a programozás során követett alapelvet, amely az indikátorok számosságában a koncentrációt preferálta, ehelyett sokkal inkább a kevés számú, de az intézkedés egészére és annak minden elemére specifikus indikátorok azonosítása szükséges. Noha az értékelés során nagyrészt sikerült beazonosítani mindenütt az alintézkedésszintű indikátorok pontos körét, hiányosságnak tartjuk, hogy a teljes indikátorkészlet együttesen, aktuális állapotában sehol sem jelenik meg: a projekt záró fázisában megismert, legteljesebb nyilvántartás is elavult információkat tartalmazott mind az indikátorok körét, mind azok célértékeit illetően. Éppen ezért javasoljuk, hogy a HEFOP végrehajtásában alkalmazott, minden programindikátort (azaz nem projektspecifikus indikátort) egyetlen egységes, folyamatosan karbantartott, havi szinten frissített rendszerben, lehetőleg az EMIR vagy a már alkalmazott, Excel-alapú indikátortábla keretein belül tartsák nyilván. Ez részben át is vezet egy következő problémához, ez pedig az EMIR felhasználása az indikátorok terén. Mint az alkalmazott módszertan kapcsán is megjegyeztük (4.3 fejezet), az indikátorok előrehaladásának megítéléséhez szükséges adatokat az értékelők az EMIRből nem tudták beszerezni tipikusan azért, mert egyes adatok (mutatók aktuális értékei PEJ alapján) egyáltalán nem kerültek rögzítésre, más adatok (pl. támogatási szerződésben rögzített indikátor-célértékek) esetében pedig ugyan léteznek ilyen adatok, viszont az Irányító Hatóság tájékoztatása szerint annak tartalma pontatlan, helytelenül került rögzítésre. Ehhez kapcsolódó egyedi, ámde fontos hiányosságokra rámutató eset, hogy a fókuszcsoportos interjú keretében szúrópróbaszerűen megvizsgált, a 2.1 intézkedés keretében alkalmazott támogatási szerződésben az indikátorok egyáltalán nem kerültek rögzítésre. Mindezekből következik, hogy az EMIR-t intézkedés-monitoring, programmonitoring célokra a HEFOP esetében gyakorlatilag nem lehet használni, ami annak ellenére is aggályos, hogy a monitoringnak jól definiált egyéb eszközei vannak (intézkedés szintű jelentések, az 19

20 előrehaladást áttekintő ülések). Mivel azonban egységes információs rendszerben naprakész adatokat csak az EMIR keretein belül lehet kezelni, mindenképpen javasoljuk, hogy az indikátorok és azok cél- és tényértékei pontosan és rendszeresen kerüljenek rögzítésre az EMIR-ben, illetve haladéktalanul számoljanak föl minden olyan informatikai, eljárásrendbeli vagy kapacitásbeli akadályt, amely jelenleg ezt nem teszi lehetővé. Itt jegyezünk meg még egy, szintén az EMIR-be való rögzítéssel kapcsolatos problémát. A HEFOP egyes alintézkedéseinek keretösszegei a programidőszak során folyamatosan változtak/változnak, azonban ez a változás nem kerül rögzítésre az EMIR-ben, és az IH-nál, valamint a KSZ-eknél is csak egy-egy forrásátcsoportosítást jóváhagyó levélben van dokumentálva a keretösszeg változása. Ezáltal az érintetteknek alig van tudomásuk az alintézkedés aktuális keretösszegéről, ami számos pénzügyi monitoring problémát vethet fel, tekintve, hogy időszerű információk hiányában a pénzügyi előrehaladásról szóló monitoring jelentés nem a valós képet mutatja, mely így megkérdőjelezi a pénzügyi monitoring relevanciáját. Az egyes alintézkedések keretösszegeinek nyomonkövethetősége és időszerűsége érdekében javasoljuk, hogy vagy az IH vagy az érintett szakmai KSZ a változás elfogadását követően, azt azonnal rögzítse az EMIR-ben. A harmadik, rendszerszinten is jelentős probléma az indikátorok specifikusságának egy sajátos kérdéséhez, a közérthetőséghez, értelmezhetőséghez tartozik. A gyakorlati monitoring, és programmenedzsment során a mutató tulajdonképpen nem más, mint a kommunikáció eszköze. Ennélfogva viszont csak akkor tud eredményesen működni, ha a mutatók megtestesítette kódrendszer minden felhasználó számára egyértelmű. Az értékelés tapasztalatai azt mutatták, hogy ezen a téren jelentős problémák adódtak a HEFOP egyes intézkedései esetében. A közreműködő szervezetek munkatársainak beszámolói alapján több programelemnél is lezajlottak hasonló esetek, melyek során a kedvezményezettek a meghatározott indikátort vagy nem tudták értelmezni, vagy egymástól vagy akár a közreműködő szervezetektől eltérő módon értelmezték, az indikátor értelmezését segítő definíciók, standardok hiányában. A közérthetőséget a kedvezményezettek szintjén is vizsgáltuk, mind a kérdőív, mind az interjúk keretében, ami lehetőséget adott a felismert értelmezési problémák mérésére. Mint ez a következő fejezetben bemutatott részletes értékelés eredményeiben is látható, viszonylag sok mutató esetében érzékelnek a kedvezményezettek értelmezési problémákat, ráadásul emellett jelentős a látens (a kedvezményezett által nem is érzékelt) értelmezési probléma, félreértés. Ez azt jelenti, hogy a kedvezményezettek ugyanazt az indikátort az eltérő értelmezések miatt különféle tartalommal töltötték fel, ami az indikátort már az alintézkedés, komponens szintjén is használhatatlanná tette (az aggregálhatóság gyakorlatilag megszűnt), de az egyes projektek, azok elvárt outputjai és eredményei szintjén is értelmezhetetlenné tette a célszámokat. Mint az OMAI részéről a tanulmány tervezete kapcsán eljuttatott véleményezése is találóan leírja, az indikátorok alkalmazásának jelenlegi rendszerében éppen a standard hiányzik: a pályázati kiírásokban sem a PC szintű, sem a HEFOP szintű indikátorokhoz nem található értelmező és a számításmódot tartalmazó útmutató ( ). A reálisan, jóhiszeműen felmerülő értelmezések közt ily módon jelenleg nincsenek legitimnek és nem legitimnek tekinthető indikátor adatképzési módok, nincsenek jó értelmezések és félreértelmezések. Ez okozza az indikátorok monitoringhoz, valamint a szerződéses vállalások teljesítésének ellenőrzéséhez való alacsony szintű használhatóságát. Szintén e jelenség létezését támasztja alá az, hogy több esetben (például a 3.3.1, a 3.5.4, illetve az EÜM STRAPI által kezelt egyes esetekben) az értelmezési problémák olyan jelentősek voltak, hogy a közreműködő szervezetek és az IH rákényszerült arra, hogy utólagosan kiadott definíciókkal tisztázza azokat. E tisztázó anyagok viszont általában eredményesek voltak, a további félreértéseket sikeresen megelőzték. E tapasztalatokra alapítva javasoljuk, hogy a jövőben minden egyes intézkedés esetében már a programozás során, de mindenképpen a projektkiválasztás előtt készüljön el az indikátorokhoz egy pontos értelmezést adó definíciós jegyzék, és ennek tartalmát 20