MÓDSZERTAN A TELJESÍTMÉNY-ELLENŐRZÉSHEZ

MÓDSZERTAN A TELJESÍTMÉNY-ELLENŐRZÉSHEZ 2008

Készítette Bank Lajos, Dr. Beregi Anna, Bittó Zoltán, Fekete Gábor, Karsainé Dömsödi Éva, Kemény Emil, Malatinszky Istvánné dr., dr. Németh Péterné, Tóth Pál, Vörös Mária Szaklektorok Bihary Zsigmond, Dr. Lóránt Zoltán főigazgatók Szerkesztette Kemény Emil, Karsainé Dömsödi Éva A kiadásért felel Dr. Csapodi Pál főtitkár, a módszertani bizottság vezetője az ÁSZ Módszertani Kiadványok sorozat szerkesztője 2. bővített kiadás

TARTALOMJEGYZÉK ÉRTELMEZŐ SZÓTÁR 4 E L Ő S Z Ó 7 1. BEVEZETŐ 9 2. A TELJESÍTMÉNY-ELLENŐRZÉS ÉRTELMEZÉSE KÖVETELMÉNYEK, SAJÁTOSSÁGOK 11 2.1. A teljesítmény-ellenőrzés értelmezése 12 2.2. A teljesítménykategóriák meghatározása 14 2.2.1. Gazdaságosság 14 2.2.2. Hatékonyság 15 2.2.3. Eredményesség 16 2.2.4. A teljesítmény-kategóriák kapcsolata 17 2.3. Value for money pénzért értéket 19 2.4. A teljesítmény-ellenőrzés szervezési alapelvei 20 2.5. A teljesítmény-ellenőrzés kritériumai 22 2.6. A teljesítmény-ellenőrzés alkalmazási területei 26 2.7. Az ÁSZ teljesítmény-ellenőrzéseinek célja 26 2.8. Ellenőri követelmények 29 3. A TELJESÍTMÉNY-ELLENŐRZÉS TERVEZÉSE, ELŐKÉSZÍTÉSE 30 3.1. Az ellenőrzési téma kiválasztása 30 3.2. Felkészülés a teljesítmény-ellenőrzésekre, előtanulmány 31 3.2.1. Az ellenőrzési téma megismerése, helyzetfelmérés, információs források 33 3.2.2. Az ellenőrzési témakör szűkítése strukturált kérdések 35 3.2.3. Előzetes adatok 37 3.2.4. Adatgyűjtési és ellenőrzési szervezési technikák 38 3.2.5. Kockázatelemzés a teljesítmény-ellenőrzés korlátai 42 3.2.6. Az előtanulmány összeállítása 43 3.2.7. Az előtanulmány és előkészítésének felülvizsgálata 44 3.3. Ellenőrzési program 44 3.3.1. A teljesítmény-ellenőrzés szempontjai 45 3.3.2. A program mellékletei 46 3.3.3. Az ellenőrzési program felülvizsgálata 46 4. A HELYSZÍNI-ELLENŐRZÉS 46 4.1. A helyszíni ellenőrzés sajátosságai 47 4.2. Ajánlott technikák 49 1

4.3. Az ellenőrzési bizonyítékok jellemzői 50 4.4. Munkadokumentumok alkalmazása 53 4.5. A teljesítmény elemzése 54 4.6. A teljesítmény értékelése 55 4.7. A helyszíni ellenőrzés végrehatásának és a számvevői jelentéstervezet felülvizsgálata 56 5. JELENTÉSÍRÁS 57 5.1. A számvevői jelentések jellemzői 57 5.2. A számvevőszéki jelentések jellemzői 58 5.3. A jelentések egyeztetése és független felülvizsgálata 59 6. A TELJESÍTMÉNY-ELLENŐRZÉS EREDMÉNYEINEK HASZNOSULÁSA 60 1. SZ. MELLÉKLET 63 Csoporttechnikák a teljesítmény-ellenőrzésben 63 1. ÖTLETCSOPORT (Brain-storming) 65 1.1. Ötletcsoport a teljesítmény-ellenőrzésben 65 1.2. Az ötletcsoport szervezése, lefolytatása 65 1.3. A csoport eredményének kiértékelése, hasznosítása 66 2. FÓKUSZCSOPORT 66 2.1. Fókuszcsoport alkalmazása a teljesítmény-ellenőrzési munkában 67 2.1.1. A fókuszcsoport fő jellemzői 67 2.1.2. A fókuszcsoport alkalmazási területei 68 2.2. Fókuszcsoport szervezése 69 2.2.1. A levezető kiválasztása 70 2.2.2. A fókuszcsoportok számának és a megbeszélések helyének meghatározása 71 2.2.3. A fókuszcsoport tagjainak kiválasztása 72 2.2.4. Tematikus útmutató készítése 72 2.3. A csoportos megbeszélés levezetése, az eredmények hasznosítása 73 2.3.1. A levezető teendői és magatartása 73 2.3.2. A figyelem fenntartása a fókuszcsoportban 74 2.3.3. A kérdezés módszerei 74 2.3.4. Az eredményeinek rögzítése 75 2.3.5. Az összegyűjtött információk elemzése 76 2.4. A fókuszcsoport eredményeinek hasznosítása 77 2. SZ. MELLÉKLET 79 Kérdőíves felmérés 79 1. KÉRDŐÍVES FELMÉRÉS 81 1.1. A kérdőíves felmérés megalapozása 82 2

1.2. A felmérés előkészítése, megtervezése 82 1.3. A kérdőíves felmérés lefolytatása 85 1.4. A felmérés eredményeinek elemzése 86 1.5. Az eredmények jelentésbe foglalása 87 3. SZ. MELLÉKLET 89 Kérdések, kritériumok, adatforrások 89 4. SZ. MELLÉKLET 93 Munkadokumentumok 93 1. Ellenőrzési dokumentáció 95 1.1. Az ellenőrzési dokumentáció tartalma 96 1.2. A munkadokumentumok célja, tartalma 97 5. SZ. MELLÉKLET 101 Összehasonlítás (Benchmarking) 101 1. Benchmarking 103 1.1. Bevezető 103 1.2. Az összehasonlítás meghatározása 104 2. Magas (szervezeti) szintű összehasonlítások 105 3. Teljesítmény összehasonlítások 107 4. Folyamat összehasonlítások 109 6. SZ. MELLÉKLET 115 A teljesítmény-ellenőrzés logikai rendszere 115 7. SZ. MELLÉKLET 123 A teljesítmény-ellenőrzés fázisainál alkalmazandó felülvizsgálati lapok 123 3

ÉRTELMEZŐ SZÓTÁR Átláthatóság Elszámoltathatóság Helyzetátvilágítás Helyzetelemzés Helyzetfelmérés Helyzetvizsgálat A közpénzek felhasználására vonatkozó alapvető követelmény, amelynek teljesülését a teljesítmény-ellenőrzés támogatja. A közpénzfelhasználás zárt célrendszerének elemei: a költségvetési számadatok egyértelmű indokolása és alátámasztása; az éves beszámolók megjelentetése, és mindenki számára érthető formában való közreadása; a nyilvánosság eszközeivel ösztönzés a magasabb színvonalú munkavégzésre; független, megbízható ellenőrzés és elemzés; a nyilvánosság számára elérhető tájékoztatás biztosítása. A közpénzek felhasználására vonatkozó alapvető követelmény, amelynek teljesülését a teljesítmény-ellenőrzés támogatja. Összefüggésrendszerébe nyolc szempont együttes érvényesülése tartozik bele, amelyek: munkakörök és konkrét munkafeladatok meghatározottsága; egyezőség a költségvetési tervvel; a beszámolási kötelezettségek világos rögzítése; beszámoltatás a tervekről és a célok teljesüléséről; a beszámolók legyenek pontosak és a lehető legaktuálisabb információkat hordozzák; megfelelő belső kontrollmechanizmusok megléte; független külső ellenőrzés; szankciók érvényesítése. A teljesítmény-ellenőrzésre való felkészülés szakaszában az ellenőrök által végzett tevékenység, amelynek során a helyzetfelmérés részeként a vizsgálat tárgyköréből (szervezet, folyamat stb.) részletes, a kapcsolati rendszert és a tényleges működést leíró adat- és információhalmaz összegyűjtése történik meg. Az ellenőrzésre való felkészülés szakaszában a helyzetvizsgálatot követő ellenőri munkafázis, amelynek eredményeként a vizsgálatvezető az ellenőrzést végzőkkel meghatározza a teljesítmény-ellenőrzés fókuszpontjait, hangsúlyos értékelési szempontjait, azokat a részterületeket, amelyek teljesítmény-értékelése valószínűsíthetően a legtöbb hozzáadott értéket eredményezhet a vizsgálat lezárásakor. A teljesítmény-ellenőrzésre való felkészülés szakaszában, az ellenőrzök által végzett tevékenység, amelynek során az ellenőrzés tárgyköréről szereznek be széleskörű ismeretanyagot, a teljesítmény-ellenőrzés legtöbb hozzáadott értéket eredményező céljának és értékelési módjának meghatározása érdekében (külső/belső információ és adatgyűjtés). A teljesítmény-ellenőrzésre való felkészülés szakaszában az ellenőrök logikai, időrendi szabályozási rendben, rendszerszemléletben feldolgozzák a helyzetfelmérés, 4

Teljesítmény-ellenőrzés Teljesítmény-értékelés Teljesítménykategóriák Teljesítménykritériumok Teljesítménymutatók (illetve az azzal egyenértékű vagy annak részét képező helyzetátvilágítás) tapasztalatait, az összegyűjtött adatokat, információkat. A közpénzek felhasználásának értékelése, ami a gazdaságosság, a hatékonyság és az eredményesség kritériumaira alapozott rendszerszemléletű minősítéssel, vagy különböző célok elérése, programok valóra váltása eredményeinek, problémáinak és az ok okainak feltárásával végezhető el. A teljesítmény-ellenőrzés folyamatában a vizsgált témakörhöz tartozó teljesítmények (performance) minősítése (evaluation) a helyszíni ellenőrzés tapasztalatai alapján az ellenőrzési programban meghatározott szempontok és kritériumok figyelembevételével. A teljesítmény-ellenőrzés folyamatában az értékelés alapja, amely lehet: gazdaságosság, hatékonyság, eredményesség, környezettudatosság, etikusság és egyéb. Azoknak az értékelési szempontoknak, a közpénzfelhasználást minősítő eljárásoknak, számításoknak, mutatóknak stb. az összessége, amely alapján az ellenőrzés megteszi a megállapításokat. A teljesítménykritériumok részét képező, naturáliákban mérhető és kifejezhető mutatók összessége, amelyeket vagy az ellenőrzöttek alkalmaznak saját döntésük alapján, saját teljesítményeik értékelésére és/vagy az ellenőrzést végzők alkalmaznak a teljesítmények értékelésére. 5

E L Ő S Z Ó Az Állami Számvevőszékről szóló 1989. évi XXXVIII. törvény 16. (1) bekezdése szerint az Állami Számvevőszék az ellenőrzéseit célszerűségi, eredményességi és törvényességi szempontok szerint végzi. Ez a törvényi előírás fogalmazza meg a számvevőszéki ellenőrzésekkel szemben azt a követelményt, amely a teljesítmény-ellenőrzés módszerével végzett ellenőrzésekkel teljesíthető, összhangban a legfőbb ellenőrző intézmény stratégiai céljaival. Az eredményességben nevesítve megjelenik a pénzért értéket típusú teljesítményellenőrzési követelmény, amely ebben a vonatkozásban direkt teljesítményellenőrzési mandátumot jelent. A célszerűség követelménye indirekt teljesítményellenőrzési mandátumot jelent, összevontan tartalmazza a közszféra teljesítményével szembeni gazdaságossági, hatékonysági követelményeket. Ez a gyakorlati módszertan a számvevőszék teljesítmény-ellenőrzéseihez ad támogatást, bemutatva a teljesítmény-ellenőrzéseknél gyakrabban alkalmazott technikákat. A későbbiekben a legjobb gyakorlatnak minősített teljesítmény-ellenőrzések esettanulmányait segédletekben adjuk közre, a módszertanhoz illeszkedő egységes szerkezetben. A teljesítmény-ellenőrzésnél alkalmazott módszertan esetében felhasznált fontosabb forrásdokumentumok: a kanadai, az amerikai, a svéd és az angol számvevőszék teljesítmény-ellenőrzési módszertani jellegű kiadványai, kézikönyvei, útmutatói, illetve az ÁSZ Módszertani Osztályának korábbi kiadványai. Tartalmazza az ÁSZ és az Egyesült Királyság Számvevőszéke közötti twinning-, valamint az ÁSZ és az Egyesült Államok Számvevőszéke közötti intézményi szakmai együttműködés keretében tartott teljesítmény-ellenőrzési módszertani előadássorozatok dokumentumait, továbbá a teljesítmény-ellenőrzések megvalósításakor összegyűjtött ellenőrzési tapasztalatokat. Budapest, 2008. szeptember Dr. Kovács Árpád elnök 7

1. BEVEZETŐ Az államháztartás reformja, az egyes alrendszerek működésének, hatékonyságának, erőforrás gazdálkodásának javítása folyamatosan aktuális feladat. A változások követése és értékelése nagyobb hangsúlyt kapott az ÁSZ stratégiájában és a 2002-ben végrehajtott szervezeti átalakításakor elkülönített, elnevezésében és tartalmában is teljesítmény-ellenőrzéseket végző szervezeti egységek alakultak meg. A közszférában a teljesítményszemlélet előretörése összefügg a különböző menedzsment technikák megjelenésével, a fejlett országokban az új közmenedzsment ( New Public Management ) szemlélet 1980-as évektől kezdődő, egyre szélesebb körű elterjedésével. Nagyon leegyszerűsítve a teljesítmény megítélésében két alapkérdésre keresték a választ, nevezetesen: a közszféra szervezetei a dolgokat jól végzik-e el, valamint azt végzik-e el, amit kell. Ez a szemléletmód világított rá arra, hogy szükségszerű és elkerülhetetlen a közszolgálati szektor szervezeteinek, intézményeinek, folyamatosan bővülő szolgáltató tevékenységének újragondolása a gazdaságosabb, hatékonyabb, eredményesebb közpénzfelhasználás, illetve a közfeladat ellátás teljesítményeinek növelése érdekében. A teljesítmény központú értékelés igénye mára hangsúlyossá vált a pénzügyi-szabályossági típusú értékelés mellett. Fokozott érdeklődés mutatkozik mind a politika, mind az adófizetők részéről, hogy a közpénzeket értelmesen hasznosítsák, természetszerűleg fenntartva az igényt a törvényesség követelményének teljesülésére. Ezek az igények hatással voltak a közszféra átláthatóságát és elszámoltathatóságát befolyásoló követelményrendszer kialakulására, ezzel összefüggésben a közpénzek felhasználásának ellenőrzésében a teljesítményszemlélet erősödésére, a pénzért értéket elv ellenőrzési módszertanának folyamatos fejlődésére, térnyerésére. 1 Az ÁSZ megalakulásától kezdődően kiemelt figyelmet fordít az ellenőrzések módszertani fejlesztésére, a nemzetközi tapasztalatok nyomon követésére, fokozatos adaptálására és alkalmazására. A szabályozási hierarchiában a Szervezeti és Működési Szabályzat 2 kötelezően alkalmazandó alapelveket, követelményeket és eljárásokat határoz meg 1 Bouckaert, G (1992): Termelékenység a közszolgálatban: Történeti és módszertani áttekintés. Fordítás: BKÁE Közszolgálati Tanulmányi Központja. Eredeti: Bouckaert, G.: Public Productivity in Retrospective. Forrás: Marc Holzer (szerk.): Public Productivity Handbook. Marcel Dekker Inc., New York, 1992, 15-46. o. Király László György (1999): Teljesítménymérés és-értékelés a közigazgatásban. Vezetéstudomány 30. évf. 7-8. szám. 2 A 26/2004. számú Elnöki utasítás az Állami Számvevőszék 2004. június 28-tól hatályos Szervezeti és Működési Szabályzatának kiadásáról. 9

a Stratégia, a Magatartásszabály-gyűjtemény 3, az Ellenőrzési Elvek és Standardok 4, és az Ellenőrzési Kézikönyv. 5 A számvevőszéki ellenőrzések típusaihoz igazodó módszertanok feladata az Ellenőrzési Kézikönyvben megszabott általános követelmények specifikus alkalmazásának leírása. Részletekbe menő gyakorlati útmutatásokat a segédletek tartalmaznak (pl. a statisztikai mintavételre, az ellenőrzési bizonyítékok megszerzésének különböző eszközeire). Az ÁSZ az ellenőrzési tevékenységét meghatározó szabályozások kialakításánál figyelembe vette a Legfőbb Ellenőrzési Intézmények Nemzetközi Szervezete (INTOSAI) Limai Nyilatkozatát, Etikai Kódexét és Ellenőrzési Standardjait, a Könyvvizsgálók Nemzetközi Szövetsége (IFAC) standardjait, és a partner ellenőrző szervezetek tapasztalatait. A számvevőszéki ellenőrzések három fő típusba sorolhatók az Ellenőrzési Kézikönyvben leírt sajátosságok szerint, ezek: a szabályszerűségi-, az átfogó- és a teljesítmény-ellenőrzések. A módszertanban megtalálhatók azok a jellemzők, lényeges eljárási szabályok, ajánlások, illetve technikák, fontos szempontok, amelyeket teljes körűen figyelembe véve lehet és kell számvevőnek és vizsgálatvezetőnek együtt gondolkodnia az ellenőrzési tervben előírt teljesítmény-ellenőrzés tényleges megvalósításáról. 3 A 17/2003. számú Elnöki utasítás az ÁSZ Magatartásszabály-gyűjteményéről. 4 A 28/2004. számú Elnöki utasítás az Ellenőrzési Elvek és Standardok alkalmazásáról. 5 A 9/2008. számú Elnöki utasítás az Állami Számvevőszék Ellenőrzési Kézikönyvéről (amely egyúttal magában foglalja a magatartási szabályokat, valamint az ellenőrzési elveket és standardokat is). 10

2. A TELJESÍTMÉNY-ELLENŐRZÉS ÉRTELMEZÉSE KÖVETELMÉNYEK, SAJÁTOSSÁGOK Az INTOSAI 1977-ben tartott IX. kongresszusán, az ún. Limai Nyilatkozatban fogalmazta meg a pénzügyi ellenőrzés alapelvei között a törvényesség mellett a teljesítmény-ellenőrzés követelményét: a közpénzek kezelésének, az arról szóló döntések sikerének fontos feltétele a közpénzek szabályos és hatékony használata. Az ellenőrzési standardok kezdetben a pénzügyi ellenőrzésre összpontosítottak, de ma már lefedik a teljesítmény-ellenőrzést is. Több nemzetközi munkabizottság és kongresszus után 2004-re az INTOSAI Ellenőrzési Standardok bizottsága hozzájárult a teljesítmény-ellenőrzésekhez alkalmazható útmutató kiadásához, amely a számvevőszéki teljesítményellenőrzések egyik kiinduló pontját képezi 6. Az INTOSAI ISSAI 100 jelű dokumentum 40. és 41. szakaszának standardjai tartalmazzák a teljesítmény-ellenőrzés meghatározását, alkalmazási területeit és egymáshoz való viszonyukat. Az egyes ellenőrzési munkaszakaszok jellemzői mellett útmutatást adnak a teljesítménykritériumok értelmezésére, az adat-, és információgyűjtés, értékelés eljárásaira, a bizonyítékok követelményeire, továbbá kijelölik a teljesítmény-ellenőrzés értelmezési tartományát olyan speciális területeken, mint az információ technológia vagy a környezetvédelem. A teljesítmény-ellenőrzés a közpénzek felhasználásának széles körű, a gazdaságosság, a hatékonyság, az eredményesség elemzésén alapuló szisztematikus, rendszerszemléletű értékelése, amely az üzleti (verseny) szektor teljesítményközpontú értékelési szemléletmódját adaptálja a közpénzek felhasználásának teljesítmény szempontú minősítésére. A teljesítmény-ellenőrzések jelentősége a számvevőszéki ellenőrzési gyakorlatban a következő, általános célok megvalósításában nyilvánul meg: független szakvélemény készítése a törvényhozás számára a kitűzött cél gazdaságos és/vagy hatékony és/vagy eredményes végrehajtásáról; független szakvélemény készítése az ellenőrzött által nyilvánosságra hozott teljesítménymutatók vagy jelentések megbízhatóságáról; a gyenge teljesítményt nyújtó területek kiszűrése, ily módon segítve a kormányt vagy az ellenőrzött intézményt a gazdaságosság, a hatékonyság és/vagy eredményesség javításában; 6 Implementation Guidelines for Performance Auditing Standards and guidelines for performance auditing based on INTOSAI s Auditing Standards and practical experience Auditing Standards Committee 2004. Stockholm Risksrevisionen. Az INTOSAI 19. kongresszusa (2007., Mexico) jóváhagyta az ISSAI 3000 számú dokumentumot is (Implementation Guidelines for Performance Auditing). 11

a legjobb gyakorlat példáinak felkutatása és ismertetése a kormányzattal és/vagy a vizsgált intézményekkel. A teljesítmény-ellenőrzés értelmezésekor számos befolyásoló tényezőt kell figyelembe venni, mérlegelni. Meghatározza a teljesítmény-ellenőrzés értelmezési tartományát az ellenőrzés szakmai követelményrendszere, az optimális és/vagy standard követelményeket meghatározó előírások, kézikönyvek, útmutatók, esettanulmányok, egyéb szabályozások együttese. Az ellenőrző szervezet mandátuma mellett hangsúlyos szerepe van a teljesítmény-ellenőrzések sikeres megvalósításában a külső, belső befolyásoló tényezőknek. Függ a teljesítmény-ellenőrzés megvalósítása a számvevőszéki vezetés elvárásaitól, az ellenőrzött szervezetek lehetőségeitől és elvárásaitól, együttműködési készségétől, továbbá az ellenőrzést végzők felkészültségétől, képességeitől, tapasztalataitól. Az ellenőri kreativitás, az innovatív képességek, az előzetesen ellenőrzésre kiválasztott témakörről rendelkezésre álló információk mennyisége és minősége meghatározó tényezők a témakör, az ellenőrzési és értékelési módszerek kiválasztásában. Lényeges szempont a teljesítmény-ellenőrzéseknél az elért/elvárt befolyás megvalósulása, üzenetértékű, hozzáadott értéket jelentő, érdemi előremutató változást eredményező, pozitív hatást gyakorló megállapítások, javaslatok kialakítása. Az ellenőrzés megvalósítása során figyelemmel kell lenni az egyensúlyra a teljesítmény-ellenőrzési tartalom, a rendelkezésre álló ellenőrzési erőforrások és az ellenőrzés várható eredményei között, az ellenőrzésre kiválasztott témakör meghatározásakor. 2.1. A teljesítmény-ellenőrzés értelmezése Az ÁSZ Ellenőrzési Kézikönyve a teljesítmény-ellenőrzés általános meghatározását adja. A gyakorlati tapasztalatok lehetővé és szükségessé teszik ebben a módszertanban a teljesítmény-ellenőrzés meghatározásának további árnyalását, a különböző megközelítések részletesebb értelmezését. A teljesítmény-ellenőrzés tárgyának értékelési módja szerint kétféle megközelítés lehetséges: a rendszeralapú, illetve az eredményalapú teljesítményértékelés. Az Állami Számvevőszék teljesítmény-ellenőrzési tapasztalatai a hazai és nemzetközi dokumentumok és követelmények adaptálása alapján a teljesítmény-ellenőrzés fogalmának meghatározásakor az értékelés sokszínűségét támasztják alá (diverzifikáció). A teljesítmény-ellenőrzés értelmezésekor figyelemmel kell lenni arra is, hogy a közszféra teljesítményeinek értékelési módszerei folyamatosan fejlődnek. Ezért szükséges a változások nyomon követése, a 3E értékelési módszerek 7, eljárások, illetve adaptálási lehetőségek megismerése, mindezek alapján az értelmezések folyamatos pontosítása. 7 Részletes meghatározásuk a 2.2 pontban. 12

A teljesítmény-ellenőrzés tényszerű és szisztematikus elemzése, értékelése, minősítése mindazon bizonyítékoknak, amelyek elegendő és megfelelő alapul szolgálnak a gazdaságosság és/vagy hatékonyság és/vagy eredményesség megítéléséhez. A teljesítmény-ellenőrzés tárgya az állami feladatok irányításának és végrehajtásának, a működési rendszereknek és eljárásoknak a minősítése, a program-, projektteljesítmények értékelése. A teljesítményértékelés alapja az ellenőrzést végzők által gyűjtött, kifejlesztett, illetve alkalmazott teljesítménykritériumok és a feltárt bizonyítékok együttese. A kritériumoknak ki kell elégíteniük a mérhetőség, az objektivitás követelményeit. Képzésük, kiválasztásuk a vizsgált témakör sajátosságaihoz igazodó kell legyen, figyelemmel a legjobb gyakorlat vagy egyéb minősítő követelmények alkalmazási tapasztalataira. A teljesítmény-ellenőrzés a tényleges teljesítések minősítésével hozzáadott értéket állít elő. Ebben nyilvánul meg az ellenőrzés tanácsadó funkciója, amellyel hozzájárul a közszféra elszámoltathatóságának és átláthatóságának növeléséhez. A teljesítmény-ellenőrzés értelmezési tartományában elhelyezhető az operatív szinten a sajátos célok megvalósulásának, míg a rendszerszinten az általános célok megvalósulásának értékelése. A teljesítmény-ellenőrzés értelmezési tartományán belül a hangsúlyok megválaszthatók az ellenőrzési feladathoz igazítva. Kiterjesztve ezt az értelmezést: teljesítmény-ellenőrzés minden olyan ellenőrzés, amely nem csak pénzügyi-szabályszerűségi szempontokra irányul. Ebben a megközelítésben a teljesítmény-ellenőrzés típusába tartoznak az átfogó, széles körű ellenőrzési szempontrendszerre alapozott vizsgálatok. Ezek kiterjednek a szervezetek, a működési folyamatok általános vizsgálatára, a menedzsment, végrehajtás, kontroll funkciók megvalósításának gazdaságosságára, hatékonyságára és/vagy eredményességére. Az irányítási funkció része a pénzügyi és egyéb erőforrások, célok, elvárt eredmények, tevékenységek, feladatok megtervezése. A végrehajtási funkció alatt a ténylegesen megvalósult tevékenységek, folyamatok, azok valóságos feltételei és körülményei értendők. A kontroll funkció része a folyamatba épített, az előzetes és utólagos vezetői ellenőrzés, azok megállapításai és visszacsatolásuk, valamint a belső kontroll mechanizmusok működése. Az ellenőrzési feladattól függően fókuszált, szűkített értelmezésben a pénzért értéket (value-for-money) típusú teljesítmény-ellenőrzések elterjedtek. A pénzért értéket típusú ellenőrzés eredménye, hogy összpontosít egy előzetes helyzetfelmérés alapján meghatározott, jól körülhatárolt területre. Egy-egy konkrét tevékenység, folyamat, projekt, beruházás, informatikai rendszer stb. gazdaságosságát, hatékonyságát és/vagy eredményességét vizsgálja. A gyakorlat azt mutatja, hogy ritkán lehet vegytiszta ellenőrzést végezni az ellenőrzési típusok szerint. Ezen szabály alól egy kivétel tehető, amikor könyvvizsgálati, számviteli standardok alapján financial audit típusú ellenőrzést végez az ellenőr. Ez esetben adott a követelményrendszer, amely ha teljesült, akkor megfelelő, ha részben vagy nem teljesült, akkor korlátozottan felel meg vagy elutasító záradékkal értékelhető egy beszámoló. A teljesítmény-ellenőrzések sajátja, hogy a szabályozással összefüggő szempontokat nem annak teljesülése, hanem a szabályozási környezet alkalmassága szempontjából értékelik. A teljesítmény-ellenőrzés eszköztára alkalmas 13

a szabályozási környezet valódi hiányainak, gyenge pontjainak feltárására és az előremutató megoldási javaslat kialakítására. A teljesítmény-ellenőrzés ezért visszaható módon értékeli a szabályozási környezetet. Az ÁSZ teljesítmény-ellenőrzéseinek többségét a pénzért értéket típusú ellenőrzések adják, de az ellenőrzési gyakorlatunkban megtalálható a tágabb értelmezésben alkalmazott másik, ún. problémaközpontú megközelítés, ami rendszerközpontú vagy rendszerorientált teljesítmény-ellenőrzés is, amelyeket együttesen, összefoglaló néven teljesítmény-ellenőrzésnek nevez a módszertan. 2.2. A teljesítménykategóriák meghatározása A teljesítmény-ellenőrzés három követelmény elemet alkalmaz széles körűen az ellenőrzési gyakorlatban, ezek: a gazdaságosság, a hatékonyság és az eredményesség. A 3E kategória (Economy, Efficiency, Effectiveness) meghatározása, értelmezése folyamatosan fejlődik, egyre részletesebb és sajátos témakörök értékelési szempontjait figyelembe vevő rész-meghatározások (lényegében alkalmazott meghatározások) találhatók meg a különféle szakirodalmi forrásokban. A teljesítmény-ellenőrzés módszertana követi az Ellenőrzési Kézikönyv fogalmi meghatározásait, kiegészíti azokat a gyakorlati ellenőrzési tapasztalatok alapján, a könnyebb alkalmazás elősegítése érdekében. Ki kell hangsúlyozni a teljesítmény-ellenőrzést végző ellenőr szakmai elméleti tájékozottságának, és adaptációs képességének fontosságát. Lényeges, hogy az ellenőrök napi munkájuk mellett nyomon kövessék a közszféra teljesítéseinek értékelésére vonatkozó szakirodalmat, folyamatosan fejlesszék elméleti ismereteiket, és képessé váljanak a gazdaságosság, a hatékonyság és az eredményesség teljesítménykategóriák egyre részletesebb, sajátosabb témakörökben való alkalmazására, illetve e témakörökhöz a legjobban illeszthető teljesítménykritériumok definiálására. 2.2.1. Gazdaságosság A gazdaságosság teljesítmény-követelmény fogalma az ellenőrzött tevékenység ellátásához szükséges erőforrások (inputok) költségeinek minimalizálását jelenti, a megfelelő minőség biztosítása mellett. Az ellenőrzött tevékenység a teljesítmény-ellenőrzési témakörtől függően sokféle lehet. Jellegében eltérő eszközöket igényel egy jól körülhatárolható projekt (beruházás) vagy egy intézményi működés gazdaságosságának megítélése. Emiatt a gazdaságosság alatt az ellenőrzött témakörre történt tényleges ráfordítások minimalizálása értendő. A teljesítmény-ellenőrzés értelmezéséből kiindulva a gazdaságosság komplexen jelenti a menedzsment, végrehajtás, kontroll ráfordítások csökkentését, beleértve az irányítási elveket, a vezetési gyakorlatot. Az input lehet erőforrás, de szellemi termék, cél vagy szabályozás is. A ráfordítások jellegük szerint lehetnek pontosan mérhetők (pl. teljesített kiadások, kötelezettségvállalások stb.) és becsülhetők (pl. szellemi termék/munka értéke, know-how stb.). 14

A minimalizálás igénye nem azonosan értendő a legolcsóbb megoldással, ezért a ráfordításokat mindig a ténylegesen elért eredményekhez viszonyítva kell minősíteni. A teljesítmény-ellenőrzés kritériumait úgy kell meghatározni, hogy viszonyításként a szükséges és az elégséges ráfordítások kigyűjthetők vagy kalkulálhatók legyenek, amely alapján a tényleges ráfordítás ettől való eltérése megállapítható, a különbség pedig az elkerülhető ráfordításokat jelenti. A megfelelő minőség megítélésében ugyancsak a teljesítmény-ellenőrzés tárgyköréből következő sajátosságok, jellemzők adhatnak támpontot. A gazdaságossági szempontok alapján végzett teljesítmény-ellenőrzés kritériumaihoz pontosan, rendszerben elhelyezve kell értelmezni az ellenőrzési feladatot. A konkrét input és a konkrét output összevetése ad támpontokat az értékeléshez. A közszférában az ellenőrzött szervezet, tevékenység, folyamat stb. működésében, tényleges megvalósításában konzisztens kategória az adminisztratív szabályozási környezet megléte és betartása, ebben a tekintetben a gazdaságosságuk kevésbé függ a szakmai sajátosságoktól, mint egy műszaki vagy gazdasági területen. Ezért jobban hozzáférhetők a mutatók, mérőszámok a gazdaságosság megítéléséhez egy beruházási, logisztikai, nyilvántartási, kötelezettségvállalásokkal összefüggő vagy pénzintézeti területen. Nehezebb, de nem lehetetlen egy intézményi, önkormányzati működés vagy ezek részfolyamatainak gazdaságosságához kritériumokat rendelni. Ezek értékelésénél kerülnek előtérbe a külső tapasztalatok, a legjobb gyakorlat és az összehasonlítás eszközei a viszonyítási alap kialakítása érdekében. 2.2.2. Hatékonyság A hatékonyság teljesítmény-követelmény a termékek, szolgáltatások vagy egyéb végtermékek (outputok) és az előállításukhoz felhasznált erőforrások (inputok) viszonyaként fogalmazandó meg. A hatékonysági vizsgálatok felölelik az információs rendszerek, eljárások vizsgálatát is. Ezek jellegük szerint más-más kritériumrendszer alkalmazását igénylik. Figyelemmel kell lenni a teljesítmény-ellenőrzést végzőknek arra, hogy a hatékonyság kritériumait mindig az output/input viszonyában, de a vizsgált témakör jellegéhez igazítva kell meghatározni, míg a gazdaságosságnál az input/output viszony a mérvadó. Az erőforrások jellege lehet pénzügyi, humán, eszköz- és egyéb erőforrás, de felhasználásukat tekintve, az alkalmazott eljárásokat is erőforrásként lehet értékelni. A hatékonyság az egységnyi erőforrásra jutó teljesítményt hivatott meghatározni, szem előtt tartva a megfelelő minőségi szintet. A ténylegesen felhasznált erőforrások, volumene, jellege, összetétele viszonyítva a teljesített, ténylegesen megvalósított célokhoz. A közszolgáltató szférában a hatékonyság mérése ár- és piaci verseny hiányában más eszközöket kíván, mint a profitérdekelt szférában. Eligazodási pontként szolgálhat a teljesítmény-ellenőrzés adott területével szemben támasztott célkitűzések számszerűsítése, azonban a hatékonyság kifejezése 15

nem minden esetben szorítható a számszerűség korlátai közé. Az optimális feladatteljesítéshez való viszonyítást nehezíti, ha nem mérhető készségek, képességek stb. befolyásolják a vizsgált témakörben a hatékony megvalósítást. 2.2.3. Eredményesség Az eredményesség fogalma a kitűzött célok megvalósításának mértékeként vagy egy tevékenység outputja szándékolt és tényleges hatásának viszonyaként határozható meg. Ebben a meghatározásban kiterjesztve a teljesítmény-ellenőrzés értelmezési tartományára a hatás az operatív, a specifikus vagy az átfogó szinten keletkezett végterméket jelenti, amely lehet output, eredmény és hatás egyaránt. Míg a hatékonyság egy adott szervezet, rendszer, tevékenység vagy funkció megvalósításának módjára vonatkozó elvárást testesít meg, addig az eredményesség a következményeket, okozott hatásokat, a bekövetkező vagy éppen be nem következő hatásosságot hivatott jelezni. A tevékenységek tervezett, célul kitűzött hatását hasonlítja össze a ténylegesen elért hatásokkal, tulajdonképpen a társadalmi célok, és a közszolgáltatások outputjainak egymáshoz való viszonyát fejezi ki. Ennél a teljesítménykategóriánál játszik leginkább szerepet a minőségi követelmény. Az eredményesség, a társadalmi hatás vizsgálatakor fontos szem előtt tartani azt az időtartamot is, amely alatt a változás bekövetkezik (rövid, közép- és hosszú távon egyaránt értelmezett). A rendszerszemléletű gondolkodás gyakorlati alkalmazásához, illetve értelmezéséhez a következő táblázat ad segítséget a célhierarchia szerint: Az eredményesség és a hatékonyság mutatói Mutató végtermék Eredményesség Hatékonyság Operatív cél Pénzügyi/fizikai output Tényleges/tervezett output Az output összehasonlítása a költséggel Specifikus cél Eredmény Tényleges/tervezett eredmények Az eredmény összehasonlítása a költséggel Átfogó cél Hatás Tényleges/tervezett hatások A hatás összehasonlítása a költséggel Figyelemmel kell lenni arra, hogy a teljesítménykategóriák különböző szinteken különbözőképpen értelmezhetők. Más a 3E bármelyikének megítélése projektszinten, programszinten, folyamatszinten, szervezeti szinten, stratégiai szinten. Mindig a teljesítési szintnek megfelelően kell értékelni a 3E kritériumainak érvényesülését. 16

2.2.4. A teljesítmény-kategóriák kapcsolata Mindig valamiféle egyensúlyra kell törekedni a három szempont érvényesítésekor, hiszen előfordulhat az, hogy a gazdaságosság és a hatékonyság növelésére tett erőfeszítések egymásnak ellent mondanak, így egyik a másik rovására érvényesül. Például egy állami beruházás esetében a határidő, a költség és a műszaki tartalom szoros kölcsönhatásban van, így ezek menedzsmentje egyensúlyban kell tartsa e hármas folyamatokat, annak érdekében, hogy a beruházás közpénz ráfordításai is egyensúlyban legyenek. A gazdaságosság, hatékonyság, eredményesség kritériumainak meghatározását, a teljesítménykategóriák értelmezését megkönnyíti a műszaki irányítástechnikából adaptált black-box technika alkalmazása. A bemenet az input; a black-box helyére az ellenőrzési feladat helyettesítendő; a kimenet az output (hosszabb távon: hatás), a visszacsatolás pedig a belső kontroll rendszereknek feleltethető meg. A gazdaságosság input/output a hatékonyság output/input, az eredményesség a gazdasági-társadalmi hatások input/outcome viszonyában vizsgálja a teljesítéseket, tényleges teljesítményeket. Black-box modell input black box output outcome visszacsatolás rendszerszabályozás A három kategória külön-külön és együttesen is vizsgálható. A teljesítményellenőrzéseknél mindig az ellenőrzést végzők határozzák meg, a felkészülés szakaszában megszerzett ismereteik alapján, hogy mely teljesítménykategória szerinti értékelés adja a legtöbb hozzáadott értéket, illetve értelmezhető az adott teljesítmény-ellenőrzési témakörben. A kategóriák közötti egyensúly nem nélkülözheti a rendszerszemlélet, az átláthatóság, kiszámíthatóság és megvalósíthatóság szempontjainak érvényesítését. A teljesítmény-ellenőrzés önálló ellenőrzési típus, bármely más típusú ellenőrzéstől függetlenül végezhető. Meg kell jegyezni azonban, hogy a három kategória értékelése feltételezi, hogy a vizsgált terület működése, a pénzfelhasználás folyamata törvényes és szabályos. Ezért célszerű a teljesítményellenőrzés megkezdése előtt a vizsgált témakörben előzetesen tájékozódni a szabályozási környezet követelményeinek érvényesüléséről, az adatok, információk megbízhatóságáról, hiszen törvénytelenül elköltött közpénz felhasználását nem minősíthet a teljesítmény-ellenőrzés jól teljesítettnek. Nem kell pénzügyi vagy szabályszerűségi ellenőrzést végezni a teljesítményellenőrzés előtt, elegendő a felkészülés alatt a szükséges, megfelelő időtar- 17

tamban ezt az alapos felülvizsgálatot elvégezni. Ugyanakkor a teljesítményellenőrzés is természetszerűleg feltárhat akár súlyos szabálytalanságot, akár törvénytelenséget, bűncselekményt. Ilyen esetben a 3E kritériumok szerinti minősítés természetesen elhagyható, helyette a bizonyítékok a szabálytalanság feltárását és alátámasztását hivatottak szolgálni. A teljesítmény-ellenőrzés megalapozása lehetséges szabályossági ellenőrzés előzetes elvégzésével. Ennek előnye, hogy részletes és megbízható értékelést adhat a törvényes, szabályos működésről, közpénz felhasználásról. Hátránya, hogy időigényes és megterhelő ugyanazon ellenőrzött szervezetek számára egymást követően két különböző típusú ellenőrzés. Összegyűjthetők a szabályos működés megítélésére alkalmas információk a teljesítmény-ellenőrzésre való felkészülés szakaszában, amikor a helyzetfelmérés, a tényhelyzet megismerése és az előtanulmány készítése az ellenőrök feladata. Ez esetben a felkészülés munkaszakaszát lehet, illetve kell úgy tervezni, hogy a helyzetvizsgálatra szánt időtartam elegendő legyen a szabályosság megítéléséhez, annak vizsgálatához, hogy a vizsgált témakörben feltárt tényhelyzet jellemzői alapján alkalmas-e a teljesítmények értékelésére. A működés szabályosságának elemzése mellett ugyanezen munkaszakasz alatt kell meghatározni az ellenőrzés kritériumait, illetve azok alapján a teljesítmény-ellenőrzésre alkalmas ellenőrzési szempontokat. Ennek előnye, hogy egyetlen adatgyűjtő, felmérő időszakban két ellenőrzési cél teljesíthető, nevezetesen a szabályosság megítélése és a teljesítmény-értékelés fókuszpontjainak tisztázása. Hátránya, hogy felületesebb lehet a szabályos működés megítélése. Felhasználhatjuk a szabályosság megítélésének alapjául a teljesítményellenőrzést megelőzően végzett különböző típusú ÁSZ ellenőrzéseket (átfogó, pénzügyi), illetve más ellenőrző szervezetek által végzett ellenőrzéseket. Ezek előnye a gyors és egyszerű informálódás, hátránya a szabályosság megítélésének kockázata. Az ÁSZ hatóköre nem terjed ki a politika, illetve a gazdaságpolitika bírálatára, ez a felelős döntéshozó, végrehajtó hatalom kompetenciája. Az Országgyűlés pénzügyi-gazdasági ellenőrző szervezeteként feladata viszont e döntések következményeinek ellenőrzése, értékelése és a kockázatok bemutatása. Az ÁSZ a teljesítmény-ellenőrzéssel végzett értékeléssel a szabályozási politika következményeit minősíti, ezáltal rámutat olyan hiányosságokra, hibákra vagy felhívja a figyelmet olyan tapasztalatokra, amelyek pozitív eredményeket hozhatnak, ha a döntéshozók ezt a szabályozási politikában érvényesítik, ám ennek eldöntése nem az ellenőrző szervezet, illetve nem az ellenőrzés felelőssége. Környezet tekintetében nincs éles határvonal a szabályossági, a pénzügyi és a teljesítmény-ellenőrzések között. A szabályozási környezetet, mint egy lehetséges ellenőrzési szempontot értékeli, a teljesítmény-ellenőrzés, visszacsatolva a jogi- és egyéb szabályozás, előírások következményeit, vagyis visszaható módon. Ezzel nem lépi túl a hatáskörét, mégis értékeli a következményeket. Nem az előírások betartá- 18