PR2 dokumentum Javaslatok az érintett ágazatok (egészségügy, szociális, oktatás) értékelési gyakorlatának összehangolására, amely a kora gyermekkori ellátásban résztvevő intézmények értékelési gyakorlatának elemzésén alapszik A.I.M. 2011 KONZORCIUM 2012. február 6. Készült: az Educatio Társadalmi Szolgáltató Nonprofit Kft. megbízásából a TÁMOP 3.1.1. 21. századi közoktatás fejlesztés, koordináció c. kiemelt projekt 4. pillérének: Sajátos nevelési igényű gyermekek oktatási szolgáltatásokhoz való egyenlő hozzáférését biztosító tevékenységek támogatása keretében
A javaslatcsomag kialakításánál felhasználásra kerültek a projektben keletkezett alábbi tanulmányok is: Asbóth Katalin (OGYEI): Teljesítményértékelés a gyermekegészségügyben. Védőnői teljesítménymérési és értékelési gyakorlat. Dr. Bakonyi Anna: Változások az óvodai-bölcsődei nevelés területén Kereki Judit: A hazai kora gyermekkori intervenciós intézményrendszer működésének legfontosabb problématerületei és fejlesztési lehetőségei Dr. Németh Tünde: Teljesítményértékelés a hazai egészségügyi szféra gyakorlatában. Koncepció kialakítása és javaslatok kidolgozása a koragyermekkori ellátás intézményrendszere teljesítményértékelési rendszerének és egységes minőségi kereteinek kialakítására, valamint koncepció kialakítása az ellátórendszerben használatos protokollok egységes, átfogó alkalmazására Dr. Scheiber Dóra (OGYEI): Teljesítményértékelés lehetőségei a koragyermekkori ellátás intézményrendszerében. Sidlovics Ferenc: A kora gyermekkori ellátáshoz köthető adatkezelési és teljesítményértékelési gyakorlat fejlesztési kérdései a gyermekvédelemben Surányi Éva: A kora gyermekkori intervenció egységes teljesítményértékelési rendszere kialakításának nemzetközi tapasztalatai Szvatkó Anna: A hazai koragyermekkori ellátásban résztvevő pedagógiai szakszolgálatok teljesítményértékelési gyakorlatának áttekintése és bemutatása az intézmények és az intézményrendszer szintjén Szerkesztette: Kereki Judit és Surányi Éva
Bevezetés Mára hazánkban a kora gyerekkori ellátás meghatározó jelentőségű kérdésévé vált az intézményközi integráció problémaköre. A koragyerekkori ellátások különböző ágazatok közötti szétdaraboltsága és ebből fakadóan a gyakorlati munka összehangolatlansága számos anomáliához vezetett az ellátórendszer működésének eredményességében. A széttagoltság, a szükségesnél kevesebb kommunikáció és az együttműködés gyengesége rendszer szinten rontja az ellátás hatékonyságát. Az integráció azonban nem feltétlenül jelenti az eltérő felépítéssel, működési és irányítási tradíciókkal rendelkező ellátó hálózatok ténylegesen egyesített rendszerré alakítását. Sokkal valószerűbb kezdeményezés ma hazánkban a jelenlegi intézményi struktúra megtartása mellett egyfajta közös szemléletmód és együttgondolkodás elindítása azzal kapcsolatban, hogy mit gondolunk minőségi ellátásnak, mik ebben az ellátás egyes szereplőinek feladatai, felelősségei, s főként hogy sikerül-e felismerni és elfogadtatni azt, hogy a gyakorlati területen történő előrelépéshez az érintettek összefogására, együttes munkájára van szükség. Ma a minőségi ellátás irányába történő előrelépés egyik fő akadálya az, hogy az eltérő ellátási rendszerekhez tartozó szakemberek nem ismerik egymás működésének jellegzetességeit, struktúráját, pontos feladatkörét és még kevésbé azokat a nehézségeket, amelyekkel az egyes fejlesztő törekvések implementációi küzdenek. A fejlesztési stratégiák kidolgozása így legtöbbször egymás szempontjainak figyelembe vétele nélkül történik, annak ellenére, hogy a gyerekekkel és családokkal zajló mindennapi munka folyamán ezek a szerepek korántsem függetlenek egymástól. A kora gyermekkori intervenció komplex terület, amelyet nehéz ágazati megközelítéssel koherensen lefedni, az iskoláskor előtti gyermekekre és családjaikra irányuló szolgáltatások egymásra épülése az ágazatok között összehangolt együttműködést igényel. A kora gyermekkori intervenció rendszerszerű működése lehetne az egyik garanciája a kliensközpontú, mindenki számára megfelelő hozzáférést biztosító, elérhető, átlátható, időben nyújtott minőségi szolgáltatásnak. A gyermekekkel foglalkozó szolgáltatások, kiemelten a koragyermekkori ellátások minőségének és hozzáférhetőségének fejlesztését olyan befektetésként kell értelmeznünk, amely a jövő társadalmát fenntarthatóbbá, működőképesebbé, élhetőbbé teszi. Az ellátás minőségére, hatásosságára és hatékonyságára fókuszáló egységes szemléletű mérési-értékelési rendszer, mely a kezdetektől fogva közös gondolkodási keretben és szemléletben kezeli a korai ellátórendszer szereplőit, és közösen kidolgozott lehetséges fejlődési utakon történő előrelépésekről ad visszajelzést, hatékony eszköz lehet az ebben az irányban történő előrelépések ösztönzésében. A teljesítményértékelés ebben a vonatkozásban tehát jóval több, mint egy adatgyűjtési-értékelési rendszer. Sokkal inkább jelent egy olyan szakpolitikai eszközt, mely lehetőséget ad egy közös jövőkép felé vezető úton történő előrelépés értékelésére, az akadályok felismerésére, a rendszeres visszajelzésre és az arra való strukturált, objektív adatokra épülő visszacsatolásra, valamint újabb megoldási elképzelések és javaslatok kidolgozására. Ebben a szemléletben egy optimális teljesítményértékelési rendszer visszajelzést ad mindazokról a strukturális tényezőkről, melyek az ellátórendszer működésének hatékonyságát alapvetően meghatározzák. Az utóbbi néhány évben a kora gyermekkori intervenció rendszerének működését illetve fejlesztési lehetőségeit vizsgáló kutatások több
olyan kritikus tényezőre hívták fel a figyelmet, amelyek komoly akadályát képezik a rendszerszerű működés kialakításának. 1. Javaslat Fontos szempont azoknak a stratégiai jelentőségű beavatkozási pontoknak a felvázolása, amikben történő előrelépés várhatóan jelentős hozadékkal járhat az ellátórendszer számára, és amelyek rendszeres nyomon követése a teljesítményértékelésben visszajelzést adhat az ellátórendszer hatékonyságának fejlődéséről. Ezek mentén a témák mentén a konkrét mérőeszközök és indikátorok kidolgozása akkor kezdődhet meg, ha a stratégiai irányokról, a továbblépési utakról szakpolitikai szinten konszenzus jön létre. A teljesítményértékelés az input tényezőket mérő strukturális elemeken túl méri, követi a folyamatokat és értékeli ezek megfelelőségét/hatékonyságát. Az egyes ellátások, illetve a rendszer működésének értékelése nélkülözhetetlenné teszi a fő cél, vagyis az eredmények és kimenetek vizsgálatát. Az egészségügyi, oktatási és szociális ágazat mindegyikében van igény a teljesítmény valamilyen fokú mérésére és értékelésére. A különböző ágazatokban azonban gyakran más a mérések és értékelések célja, szerepe, felhasználása és ebből kifolyólag szabályozottsága is. Az egészségügyi körbe tartozó ellátások a feladat jellegéből adódóan általában szabályozottabbak, a mérés és értékelés általánosan elterjedtebb és standardizáltabb, mint a másik két ágazatban. Ez az értékelés érthetően az egészségügyi szempontokra fókuszál, a kora gyermekkori intervenciós tevékenységeket az egészségügyi ellátás részeként méri és kezeli, az ellátásra mint tevékenységre, illetve annak körülményeire helyezi a hangsúlyt, a megfelelő kontrollálás azonban nem biztosított. Az oktatási és a szociális terület tevékenysége kevésbé szabványosított, ott nagyobb tere van a sokféleségnek, az alternatív megközelítéseknek, ami nehezebb és kevésbé összehasonlítható mérési és értékelési környezetet jelent, különösen annak fényében, hogy az ellátás intézményi keretei és koncepciói sokkal gyakrabban és nagyobb mértékben változtak az elmúlt két évtizedben, mint az egészségügy területén. Ilyen környezetben a strukturális feltételek és a folyamatok mérésén, megfigyelésén túl még inkább szükség van a visszacsatolás érdekében az eredmények/kimenetek mérésére. Ez a koncepciók gyors változása miatt és az utánkövetéses vizsgálatok lebonyolítása nélkül igen nehéz. A kora gyermekkori intervenció alapvetően ellátó jellegű tevékenységeinek mérése több célból történhet. Az egyik cél a szolgáltatás/ellátás minőségének biztosítása. Ennek alapszintje egy ún. ellenőrző-lista típusú mérés, amely a különböző szintű szabályoknak, előírásoknak való megfelelést vizsgálja. Ebben a szemléletben a szabály tartalmazza a szükséges minőségi elvárásokat, tehát a szabály követése, betartása, az előírás teljesítése már eleve garantálja a szükséges minőséget. Ilyen előírásokat alapvetően strukturális feltételekre, és ahol ez eléggé részletesen szabályozható, ott folyamatokra lehet kialakítani, akkor, ha ezek a folyamatok standardizálhatók. Az előírásoknak való megfelelés ellenőrzése a legáltalánosabban működő mérés. Az egészségügyben több szintű szabályozás rögzíti azokat a feltételeket, amelyek mellett az intézményeknek az ellátást nyújtaniuk kell. Mivel itt a tevékenységek jobban standardizálhatók, a megfelelés típusú mérés és ellenőrzés általánosan alkalmazott. Ez a működési engedélyek kiadásától a tevékenység ellenőrzéséig, auditjáig sok mindenre kiterjed. Az Állami Népegészségügyi és Tisztiorvosi Szolgálat felügyelete alá tartozó megyei kormányhivatalok népegészségügyi szakigazgatási szervei
végzik az egészségügyi szolgáltatások működési engedélyének kiadását, ellenőrzik a Szakmai Kollégium által meghatározott és rendeletekkel szabályozott minimumfeltételek meglétét. Az ÁNTSZ Országos Tisztifőorvosi Hivatal gyakorolja a védőnői és a szakellátás szakmai irányítását és teljeskörű szakmai felügyeletét. Az orvosi szakmai felügyelet 2011 óta a Gyógyszerészeti és Egészségügyi Minőség és Szervezetfejlesztési Intézet hatásköre, ami az ellenőrzésen túl a módszertani fejlesztésekre és az értékelésre is kiterjed. A kora gyermekkori ellátásban résztvevő pedagógiai jellegű intézmények és a szociális ellátó intézmények működésének alapfeltételei szintén szabályozottak. Az oktatásban és a szociális területen a szabályozás a működéshez szükséges minimum feltételeket és az alapfeladatokat rögzíti, a folyamatokban azonban inkább csak keretek vannak, s ezen belül viszonylag tág mozgástere van az intézményi és módszertani önállóságnak. Az előírásoknak való megfelelést általában állami hatóságok, szakfelügyeletek mérik, s ez indokolt is a jogszabályi megfelelés esetében. Bizonyos esetekben, ahol alacsonyabb szintű szabályozás (pl. irányelv, módszertani útmutató, működési kódex, stb.) érvényesül, a külső audit is alkalmas lehet a mérésre. Fontos megjegyezni, hogy eredmény/kimenet jellegű mutatók nem vagy legalábbis sokkal kevésbé alkalmasak a standardizálásra, így ezek esetében a szabálynak való megfelelés nem is igazán értelmezhető. 2. Javaslat Célszerű áttekintetni a kora gyermekkori ellátást végző különböző ágazati intézmények létesítési és működési feltételeinek szabályozását és az ellátás indokolt ágazati szakmai szempontjainak maradéktalan érvényesítése mellett javaslatot kidolgozni az alapvető működés szabályainak és ellenőrzésének egységesebb kialakítása érdekében. A minőségbiztosítási célú mérés másik típusa az ellátás eredményére, kimenetére és az ezzel elért hatásra vonatkozó vizsgálat. A korszerű minőségbiztosítás és teljesítménymenedzsment megközelítésnek megfelelően a gyermekek egyéni fejlődése, a család helyzetének objektív vagy szubjektív változása és a környezetre gyakorolt hatások mutatják a legjobban, hogy az ellátás valóban mennyire volt képes segíteni a rászorulók problémáinak enyhítésében vagy megszüntetésében. Ilyen mérések, bár több területen is elismerik ezek szükségességét és valóban fontosak az ellátás minőségének megítéléséhez és fejlesztéséhez, nem kerülnek általánosan alkalmazásra. Általában az eredmények/kimenetek/hatások mérése papíron kinyilatkoztatott szándék, vagy vágy marad. Tipikusan ilyen a minden óvoda számára kötelező Intézményi Minőségbiztosítási Program (IMIP), amely tartalmazza ugyan a szülők véleményének, elégedettségének visszacsatolását, de általában nem határozza meg ennek eszközét/módját, s így a legtöbb esetben ez a mérés feltételezhetően módszertanilag nem eléggé megalapozott, vagy el is marad. A minőségbiztosítási célú mérések hiánya, vagy csak esetleges alkalmazása egyrészt abból adódik, hogy az ilyen vizsgálatok költségigénye nem finanszírozható az ellátási célokat támogató intézményi bevételekből, és ilyen forrás általában külön nem áll rendelkezésre. A másik ok, hogy ezek a mérések módszertanilag sokkal több kihívással járnak, mint például a
megfelelőségi ellenőrzések. Az alkalmazott mérési technikák gyakran komoly szakmai (kvalitatív és kvantitatív empirikus kutatás és elemzési) felkészültséget igényelnek, másrészt a hatások gyakran időben az ellátástól távolabb mérhetők igazán. Az intézmények általában nem rendelkeznek ehhez szakemberrel, s rendszerint külső intézménytől sem tudnak az ellátási folyamat részeként igénybe venni ilyen szolgáltatást. A gyermekek ellátását szolgáló módszerek és a minőség fejlesztéséhez szükséges visszacsatolás érdekében azonban az efféle vizsgálatok nélkülözhetetlenek az intézmények és a szakpolitika számára. Az eredmények komparatív értelmezése esetén óvatos kezelésre van szükség, mert összehasonlítás céljára csak korlátozottan alkalmazhatók. 3. Javaslat Az eredmény/kimenet/hatás jellegű vizsgálatokkal magának az ellátó intézménynek vagy valamilyen módszertani, minőségbiztosítási feladattal megbízott ágazati vagy ágazatközi módszertani, illetve kutató intézmény(ek)nek kellene foglalkoznia. Az ilyen vizsgálatok, bár összehasonlításra általában korlátozottan alkalmasak, nélkülözhetetlen visszacsatolást jelenthetnek a rendszer számára. 4. Javaslat A korszerű elképzelések szerinti szolgáltatások minőségének meghatározásában minden érdekeltet meg kell szólaltatni: egyrészt a szülőket és a gyerekeket, másrészt a finanszírozó szerveket, a szakmai szervezeteket, valamint a tudományos kutatókat, szakértőket. 5. Javaslat Az egyes ágazatok tapasztalatainak feldolgozásához elengedhetetlen az eredmény/kimenet/ hatás mérések kiterjedtebb alkalmazása. Ennek érdekében nagy szükség van a használható módszertanok vizsgálatára, tesztelésére, fejlesztésére kutatás-fejlesztési tevékenység keretében. A módszertani fejlesztés mellett fontos tevékenység e mérések gyakorlati alkalmazásban való bevezetése, elterjesztése. Sokat segítene, ha legalább néhány eredmény/kimenet/hatás mérésével foglalkozó intézményi vagy akár több intézményre kiterjedő projekt kapna pályázati rendszerben megfelelő támogatást. A vizsgálatok szakmai minőségi minőségbiztosítása és a publicitás érdekében fontos lenne, hogy a támogatással elvégzett vizsgálatok eredményei megfelelő szakmai nyilvánosságot kapjanak, s az intézmények visszacsatolásként építsenek is rájuk. A sikeres megoldások módszertani ajánlások, jó gyakorlatok formájában megosztásra kerülhetnek az érintett intézményekkel, szervezetekkel. Egy harmadik mérési, értékelési cél a finanszírozás céljából végzett mérés. Ekkor az elvégzett tevékenységet, ráfordítást mérjük a költségek fedezése, azaz a finanszírozás céljából. Az ilyen mutatókhoz gyakran valamilyen ösztönzés is kapcsolódik, ami egyrészt a költségmegtakarítást hivatott érvényesíteni, másrészt a konkrét teljesítéseket kívánja
pénzügyi eszközökkel elérni. Tipikusan ilyen rendszer az Országos Egészségbiztosítási Pénztár házi gyermekorvosi ellátás finanszírozása, ami mennyiségi teljesítést és minőségi és ösztönzési célokat is szolgál. A házi gyermekorvosi praxisok által ellátott körzetek indikátorokkal mért jellemzői finanszírozási pontokat jelentenek. Azokkal az endogén (tehát az intézmény/szereplő viselkedése által befolyásolható) teljesítménymutatókkal, amelyekhez valami más cél (különösen, ha finanszírozás) kapcsolódik, óvatosan kell bánni, ha értékelésre is használni akarjuk, mert a mutató némileg torzított lehet1, még akkor is, ha a finanszírozónak vannak eszközei a torzítások kiszűrésére. Ha valamilyen indikátor ugyan finanszírozási következménnyel jár, de az intézmény nincs rá befolyással, akkor használható, ugyanakkor ez leginkább egy adott intézmény illetve körzet igény oldali strukturális és nem a teljesítmény mutatóinál fordul elő. 6. Javaslat Általában olyan mutatók nem javasolhatók teljesítménymérési/értékelési célú használatra - különösen összehasonlításra -, amelyek a hozzájuk kapcsolódó valamilyen pénzügyi vagy más ösztönző hatás miatt torzítottak lehetnek. A teljesítménymérés kérdését közelíthetjük arról az oldalról is, hogy mit mérjünk, milyen mutatókat használjunk. A jó mutató természetesen a mérés céljától és a mérést végzőtől is függ. Önbevalláson, saját mérésen alapuló mutatókat akkor célszerű használni, ha objektív (és exogén) mutatóról van szó, s ha ezek használata nem vezet az eredmények torzításához, azaz nem kapcsolódik hozzá pozitív vagy negatív ösztönző. Az önbevalláson alapuló adatok előnye, hogy a felmerüléshez legközelebbi helyről gyűjthető. Ilyenek minden ágazatban az adatlapok, amelyeket az ellátók a kliensekről kitöltenek. Hasonlók az ellátási kartonok, védőnői jelentés adatlapok, fejlődési naplók, stb. Ezek a fontos elemi információkat tartalmazó dokumentumok önmagukban nem alkalmasak teljesítményértékelésre, csak akkor, ha ezek összességét vizsgáljuk. Jelentőségük viszont óriási a későbbi elemzési célú felhasználással kapcsolatban2. Önbevallással az elvégzett feladatok és ezek közvetlen eredményeinek rögzítése lehetséges. Külső mérés sokféle lehet. Erre leginkább akkor van szükség, ha a szervezet maga nem tudja mérni a vizsgált mutatót, vagy ösztönzési szempontból nem célszerű, ha ő méri. A megfelelőségi típusú, általában hatósági ellenőrzés tárgyát képező mutatókat ellenőrző listák (checklists) segítségével mérhetjük. Ehhez szükség van arra, hogy a mérni kívánt tényező standard és jól definiált legyen, s egyértelműen eldönthető legyen, hogy az elvárt kritérium teljesül-e vagy sem. Az eltérés általában meg nem felelést vagy minőségi problémát jelez. Az egészségügyi, oktatási és szociális ágazatban a szakhatóságok használnak ilyen ellenőrző listákat. Ezek a mutatók lehetnek strukturális és folyamat mutatók is. Teljesítménymérésre csak korlátozottan vagy egyáltalán nem alkalmasak, mivel általában kétértékűek (megfelelt/nem megfelelt), legfeljebb egyszerű minőségi indikátorként szolgálhatnak. 1 Nemcsak a pénzügyi természetű mutatókra, hanem általánosságban is igaz, hogy minden olyan indikátor/mutató esetén, amihez erős pozitív (jutalom) vagy valamilyen negatív következmény kapcsolódik, számíthatunk arra, hogy torzított lesz. 2 Ezek felhasználásának szempontjai az adatgyűjtési rendszerrel foglalkozó javaslatok között jelennek meg
Ellátás oldali strukturális mutatók azonban nem csak kétértékűek lehetnek. Ilyen indikátorokat tipikusan külső szervezet mér, de a vizsgált szervezetek jelentése alapján. Bemeneti strukturális indikátorokat használnak minden ágazatban, az intézmények a felettes szervek felé időről-időre jelentik ezeket a mutatókat. Az eszközellátottság, a szakemberek száma, a végzettség és képzettség szerinti megoszlása, tapasztalata már ellátási minőséget befolyásoló bemeneti tényező. Ezek megítélése már bonyolultabb, rendszerint valamilyen ideális vagy optimális értékhez képest kell mérni és értékelni őket. Ezekkel a strukturális bemeneti mutatókkal az a gond, hogy önmagukban nem alkalmasak arra, hogy az ellátás minőségét minősítsék. Hasznosak azonban az elemzéseknél, ahol a kontroll változók között szerepelve vizsgálható az eredményre/kimenetre gyakorolt hatásuk. Az ellátást jellemző másik mutató típus a ráfordítás jellegű bemeneti mutatók köre. A terápiás foglalkozások időtartama, fejlesztési órák száma, különböző fejlesztések típusa és száma, az elvégzett tevékenységet mérik mennyiségi és minőségi dimenzióban. Az egészségügyben és az oktatásban gyakoriak ezek a mutatók. Használatukra ugyanaz igaz, mint a strukturális bemeneti mutatókra, azaz az eredményre biztosan hatást gyakorolnak, de csak komplexebb statisztikai elemzéssel határozható meg, hogy milyet. Az efféle mutatók kontroll bemeneti változók a teljesítmény értékelés szempontjából. A ráfordítás jellegű mutatók hasznosak lehetnek az erőforrás tervezés és elosztás kialakításához. Az ellátó intézmények teljesítményére is képezhetők indikátorok. Ezek azonban általában nem alkalmasak az ellátás hatásának mérésére. Inkább olyan mutatókat lehet képezni, mint az adott időszakban bekerülők vagy ellátásában lévők száma, a valamilyen típusú ellátásban részesülők száma. Ezek a mennyiségi mutatók azonban nem alkalmasak az ellátás hatásának eredményének mérésére, sokkal inkább az intézmények terhelését, az adott körzetben lévő intézmény szolgáltatása iránti igényt/keresletet mutatják. A leterheltség tekintetében a tapasztalatok alapján komoly eltérések lehetnek az intézmények között, anélkül, hogy ez bármit elárulna a szakmai teljesítményről. Ezek a mutatók, mivel az igény helyét és mértékét jelzik, alkalmasak a szakmai és pénzügyi erőforrások elosztásának orientálására. Az indikátorok használata alapvető fontosságú a rendszer különböző metszetben történő vizsgálatához, az egyes intézmények, régiók összehasonlításához. Az indikátorok alapján megvalósítható teljesítményértékelésnek azonban számos gyengéje van. Először is csak nagyvonalú összehasonlításra, az eltérések kimutatására használhatók. Másodszor, mivel az oki tényezőket nem ismerjük az indikátorok eltérése mögött, nem tudjuk, hogy milyen tényező következménye az eltérés. Ezek közöl csak az egyik a teljesítmény, de sok más strukturális vagy egyéb ok lehet. Az indikátorok többsége inkább kontroll változóként használható komplex statisztikai elemzésekhez, ami több tényező együttes hatását vizsgálja. 7. Javaslat Minden ágazat használ indikátorokat az intézmények bemeneti vagy kimeneti eredményeinek mérésére. Célszerű az egyes ágazatok gyakorlatának ismeretében a kora gyermekkori ellátás egységes szemléletű indikátorainak kidolgozása és az indikátorokon alapuló összehasonlítás módszertani feltételeinek kidolgozása. Fel kívánjuk hívni a figyelmet arra, hogy az indikátorok önmagukban nem alkalmasak a teljesítmény mérésére, de még a jó (vagy rossz) gyakorlatok azonosítására sem, segíthetnek viszont abban, hogy felhasználásukkal komplexebb elemzéseket készítsünk. A jó indikátorrendszer kidolgozása ezért fontos.
Az eredmény/kimenet/ hatás típusú valódi eredménymutatók mérése nélkül nincs értelmes teljesítményértékelés. Ideális esetben az ellátás hatását valamilyen fejlődés/változás mutató méri. A változás mérhető standard módon, diagnosztikai eszközökkel, tesztekkel. A bemeneti és a kimeneti érték különbsége a változás. A standard mérés esetében is igaz, ami a többi indikátornál is felmerül, hogy a mért változás nem feltétlenül az ellátás következménye, mivel az állapotváltozásban, javulásban több tényező is szerepet játszhat. Több tényező hatását csak statisztikai elemzéssel lehet hatékonyan vizsgálni. A változás nem csak objektív eszközökkel mérhető, hanem szubjektíve is értelmezhető. Ha a kliens, a kliens családja, környezete javulást észlel, az ugyanúgy eredménynek tekinthető, mintha ez objektíve is azonosítható lenne. Az persze kérdés, hogy ez az ellátás mely elemének tudható be, a szűken vett terápiának, kezelésnek, fejlesztésnek, vagy a foglalkozásnak, odafigyelésnek, támogatásnak. Mivel az ellátórendszernek mindegyik feladata lehet, de csak a szubjektív értékelés alkalmas a jól-lét illetve az ebben bekövetkezett változás mérésére, nyilván erre is szükség van. A szubjektív értékelés tipikus eszköze a survey vagy kvalitatív esetben az interjús vizsgálat. A szubjektív értékelés változását lehet úgy vizsgálni, hogy a kliens, a kliens családja, környezete értékeli utólag a hatást. Sokkal jobb azonban, ha az állapot, közérzet, a jól-lét mérése mind az ellátásba kerüléskor, mind a kikerülés időpontjában mérésre kerül egy kérdőív segítségével. Csak az eredmény/kimenet/hatás vizsgálatok segítségével lehet valódi teljesítmény illetve hozzáadott érték mérést végezni, akár intézményi, akár makroszinten. Az efféle vizsgálatok nemzetközileg sem általánosak. Ugyanakkor minden új program esetén jogos elvárás annak mérése, hogy bevezetése milyen hatást gyakorolt, hogyan hatott az érintettekre, jobban teljesített-e más programokhoz képest. Intézményi szinten az intézmény saját minőségbiztosítása, saját teljesítményértékelése érdekében is szükség van az eredmény/kimenet vizsgálatokra. Gyakran ilyet az intézmények minőségbiztosítási rendszere is előír. Ha a módszertani kérdésekben az intézmények kapnak megfelelő segítséget, standard kérdőívek, tesztek formájában, e vizsgálatok beépíthetők az intézmény működési rendjébe, saját erőből elvégezhetők. A probléma az, hogy egy jó önértékeléshez is korrekt elemzés kell, amihez legtöbbször külső segítségre lehet szükség. Ebben segíthetne valamilyen módszertani központ, amely a módszertani és elemzési feladatokat támogatná és/vagy ellátná, és segítené az intézményeket az eredmények interpretálásában. Az eredmény vizsgálatokat intézmények fölötti szinteken (regionális, országos, ágazati) is lehetne végezni legalább bizonyos időközönként. E vizsgálatok adat-, idő- és munka igénye azonban igen nagy. Ha már intézményi célból amúgy is zajlik az adatok gyűjtése és feldolgozása, az adatgyűjtés megoldható az intézmények adatainak összegyűjtésével. Az időés munkaigény miatt ilyen vizsgálatokra csak bizonyos időközönként lehet szükség, akkor viszont alkalmasak lehetnek nagyobb léptékű, komplex összehasonlítások, elemzések megvalósítására. Ha intézményi szinten megfelelően zajlik az adatgyűjtés és az adatszolgáltatás, és van lehetőség az ellátottak útjának követésére, akkor utánkövetéses vizsgálatok is egyszerűbben végezhetők. Ezek jelentősége azért nagy, mert a korai ellátás hosszabb távú hatásainak vizsgálata csak ezzel az eszközzel lehetséges.
8. Javaslat Valódi teljesítménymérés csak eredmény/kimenet/hatás vizsgálatokkal lehetséges. Ez az ellátásban résztvevők, családjuk és környezetők állapotváltozásának, jóllétének mérését igényli, valamint annak identifikálását, hogy az ellátás különböző elemei és egyéb körülmények hogy járultak hozzá az eredményhez. Ilyen vizsgálatokat lehet végezni intézményi (azaz mikro) és rendszer (azaz makro) szinten. Mivel ez a fajta mérés olyan szakértelmet igényel, ami általában nincs meg az intézményekben ezek megvalósítását egy módszertani központ támogathatná, amely akár belső, akár külső szakmai erőforrások bevonásával kidolgozna mérési és értékelési módszertani javaslatokat, kérdőíveket, és el is végezné vagy elvégeztetné a szükséges vizsgálatokat, elemzéseket az intézmények számára, és segítene az eredmények értékelésében és a minőség javítására való felhasználásában. 8.1. A teljesítménymérés elsődleges célja a közvetlen visszacsatolás az intézmény vezetése és dolgozói számára szakmai munkájuk eredményéről, hatásáról. Az intézmények e visszajelzések alapján fejleszthetik, alakíthatják programjukat, gyakorlatukat. A különböző intézmények mérési, értékelési gyakorlatának konvergenciája fontos, de a tejes egységesítés nem cél, hisz csak így nyílik lehetőség különböző módszertani lehetőségek kipróbálására, bevezetésére. A jó intézményi szintű értékelés részletes és mélyreható összehasonlítás nélkül is alkalmas követésre érdemes jó gyakorlatok azonosítására. 8.2. A makroszintű teljesítményértékelés bevezetését a módszertani megalapozottság hiányában rövidtávon nem látjuk indokoltnak. Egy nem eléggé alapos és körültekintő értékelési rendszer többet árt, mint használ. Az intézmények bármilyen részletesebb összehasonlítása megbízható adatokat és a munkavégzés minősége mellett a teljesítményt befolyásoló különféle tényezők hatásának ismeretét is igényli. Az akadályok elhárítására megbízható adatok hiányában és módszertani nehézségek miatt rövid távon nem látunk lehetőséget. Ez a jogos óvatosság azonban éppen hogy szükségessé teszi intézmények feletti szintű (regionális, országos, ágazati, stb.) illetve követéses (longitudinális) kutatások rendszeres elvégzését. E kutatások sikerének egyik kulcsa az adatgyűjtés minősége, illetve az adatokhoz való hozzáférés szabályozása. Ennek érdekében szükség van az egységes rendszerbe szervezett elektronikus formában történő adatgyűjtésre, és a különböző adatbázisok elemzési célú összekapcsolásának lehetőségére. A rendszer, programok, vagy intézménytípusok működését vizsgáló kutatások alkalmasak arra, hogy megfelelő információval szolgáljanak a szakpolitikai döntéshozók, az egyes ágazatok és az egyedi intézmények számára. A korábbi kutatások kimutatták, hogy a kora gyermekkori szolgáltatásokhoz való hozzáférésben, a speciális képzettségű szakemberek elérhetőségében nemcsak regionális szinten mutatkoznak markáns eltérések/egyenlőtlenségek, hanem településtípusok, intézménytípusok szerint illetve az ellátásba kerülő gyerekek szüleinek iskolázottsága mentén is. Mivel a kora gyermekkori intervenciós rendszer fejlesztésének egyik célja az
egyenlőtlenségek csökkentése, ezért a megfelelő visszacsatolások érdekében szükség van az eltérő jellemzők teljesítményre gyakorolt hatásának vizsgálatára. 9. Javaslat A teljesítményértékelés során szükség van az egyenlőtlenségek hatásának figyelembe vételére mind közigazgatási területi szint, mind településtípus és a környezetet leíró szocio-demográfiai és ökonómiai tényezők szerint.