KSH/330-4/2013 Dokumentáció 1. sz. melléklete Műszaki leírás az Adatelőkészítési folyamatot és adatelemzést támogató informatikai tárgyú közbeszerzési eljáráshoz. 1/70
1. BEVEZETŐ... 4 2. MŰSZAKI LEÍRÁS FELÉPÍTÉSE... 5 3. AJÁNLATKÉRŐ BEMUTATÁSA... 6 4. JELENLEGI HELYZET BEMUTATÁSA... 7 4.1. PROJEKT HÁTTERE... 7 4.1.1. Az adatforrások biztosítása... 7 4.1.2. Az adatelőkészítés eszközei... 10 4.2. KAPCSOLÓDÓ ELŐZMÉEK... 11 4.2.1. A KSH Elektronikus adatgyűjtési rendszerének fejlesztése, kiterjesztése (ELEKTRA) EKOP 1.A.1. keretében... 11 4.2.2. Statisztikai címregiszter adattisztítása, általános adatelőkészítő rendszer megtervezése ÁROP-1.A.4... 11 4.2.3. Az Egységes Adatfeldolgozó Rendszer... 11 4.3. JELENLEGI MŰKÖDÉS... 12 4.3.1. A statisztikai adat-előállítás folyamata... 12 4.3.2. A releváns folyamatokat támogató számítógépes rendszerek... 17 5. A FEJLESZTÉS... 20 5.1. A FEJLESZTÉS CÉLJA... 20 5.2. A FEJLESZTÉS EREDMÉEKÉNT IGÉELT MEGOLDÁS... 20 AZ ESZKÖZ HASZNÁLATA ESETÉN MINDEN ADATÁTVÉTELHEZ ÁLTALÁNOSAN BIZTOSÍTANI LEHET, HOGY... 21 5.3. A JÖVŐBELI RENDSZER ÁLTAL LEFEDETT FUNKCIONALITÁS... 21 5.4. A PROJEKT ÁLTAL ÉNTETT EGYÉB SZAKTERÜLETI FOLYAMATOK... 22 5.5. A MEGVALÓSÍTÁS TERVEZETT ARCHITEKTÚRÁJA ÉS SZOFTVERE... 23 5.5.1. Informatikai architektúra... 23 5.5.2. Szoftver architektúra... 23 6. FUNKCIONÁLIS KÖVETELMÉEK... 26 6.1. A FEJLESZTÉS EREDMÉEKÉNT IGÉELT MEGOLDÁS... 26 6.1.1. Az adatelőkészítés... 26 6.1.2. Az adatelőkészítés automatizálása... 26 6.2. AZ ELŐKÉSZÍTÉS VÉGREHAJTÁSA... 31 6.2.1. Adatátemelés... 33 6.2.2. Ellenőrzés, elemzés... 33 6.2.3. Átalakítás... 37 6.2.4. Javítás... 40 6.3. TERVKÉSZÍTÉS (FELADATTERV ELŐÁLLÍTÁSA)... 41 6.4. TERV VÉGREHAJTÁSA... 45 6.5. KAPCSOLAT A META RENDSZERREL... 46 6.6. MONITONG... 47 6.7. PORTOK KÉSZÍTÉSE... 47 2/70
7. INFORMATIKAI KÖVETELMÉEK... 48 7.1. FELHASZNÁLÓI FELÜLETTEL KAPCSOLATOS KÖVETELMÉEK... 48 7.2. IT BIZTONSÁG... 49 7.3. FELHASZNÁLÓI AZONOSSÁG- ÉS JOGOSULTSÁGKEZELÉSSEL KAPCSOLATOS KÖVETELMÉEK... 51 7.4. VÁRHATÓ ADAT- ÉS TRANZAKCIÓS KÖVETELMÉEK... 51 7.4.1. Rendelkezésre állás, válaszidők... 51 7.5. MENTÉS, VISSZAKERESÉS, ARCHIVÁLÁS... 52 7.6. RENDSZER-TERVEZÉSSEL ÉS FEJLESZTÉSSEL KAPCSOLATOS KÖVETELMÉEK... 53 7.7. GARANCIÁHOZ KAPCSOLÓDÓ KÖVETELMÉEK... 54 7.8. INTERFÉSZEKKEL KAPCSOLATOS KÖVETELMÉEK... 55 7.9. EGYÉB KÖVETELMÉEK... 55 8. A KÖZBESZERZÉSI ELJÁRÁS ERTESE ÁLTAL ELVÉGZENDŐ TEVÉKESÉGEK ÉS LESZÁLLÍTANDÓ TERMÉKEK... 57 8.1. ELVÉGZENDŐ TEVÉKESÉGEK... 57 8.1.1. Projekt végrehajtásával kapcsolatos általános követelmények... 57 8.1.2. Rendszertervezés... 57 8.1.3. Megvalósítás... 59 8.1.4. Dokumentációk elkészítése... 59 8.1.5. Tesztelés... 60 8.1.6. Oktatás... 62 8.2. LESZÁLLÍTANDÓ TERMÉKEK... 63 8.3. ÜTEMEZÉSI KÖVETELMÉEK... 66 9. FOGALOM- ÉS RÖVIDÍTÉSJEGYZÉK... 67 3/70
1. Bevezető Jelen közbeszerzési Műszaki leírás a külső, adminisztratív vagy statisztikai forrásból érkező adatállományok statisztikai adatfeldolgozásra történő előkészítését biztosító rendszer fejlesztésére és bevezetésére vonatkozó projekt feladatait ismerteti. A feladatok ismertetése mellett a dokumentum meghatározza az ellátandó tevékenységeket, az ezek eredményeként leszállítandó termékeket, valamint az ezekkel szemben támasztott követelményeket. A közbeszerzési eljárás eredményeként kiválasztott Ajánlattevőnek (továbbiakban Nyertes Ajánlattevő) a jelen közbeszerzési Műszaki leírásban megfogalmazott tevékenységeket, valamint az ezek eredményeként leszállítandó termékeket a jelen közbeszerzési Műszaki leírásban meghatározott követelményeknek megfelelően kell elvégeznie, illetve leszállítania. 4/70
2. Műszaki leírás felépítése Jelen dokumentumban használt fogalmakat és rövidítéseket a 9. fejezet részletezi. Jelen Műszaki leírás további fejezetei az alábbi információkat tartalmazzák: - Ajánlatkérő bemutatása: Ajánlatkérő szervezeti felépítésének és tevékenységének rövid bemutatása - Jelenlegi helyzet bemutatása: Ajánlatkérő jelen kiíráshoz kapcsolódó tevékenységének rövid leírása - Követelményjegyzék: Funkcionális követelmények: A Nyertes Ajánlattevő által fejlesztendő rendszerrel szemben támasztott funkcionális követelmények bemutatása. Informatikai követelmények: A Nyertes Ajánlattevő által fejlesztendő rendszerrel szemben támasztott informatikai követelmények. Elvégzendő tevékenységekkel és leszállítandó termékekkel szemben támasztott követelmények: A Nyertes Ajánlattevő által a során elvégzendő tevékenységekkel, és a leszállítandó termékekkel szemben támasztott követelmények. A Nyertes Ajánlattevő rendszerfejlesztéssel kapcsolatos tevékenységével szemben támasztott ütemezési követelmények bemutatása. - Fogalom-és rövidítésjegyzék: Jelen közbeszerzési kiírásban használt KSH specifikus fogalmak jelentésének bemutatása A követelménytáblázatokban szereplő egyes részletes követelményekhez a táblázatok utolsó oszlopában hozzárendelt jelölések függvényében az Ajánlattevőknek az ajánlatadás során az alábbiak szerint kell eljárnia: Jelölés Jelentés Feladat Részletes információ Ajánlattevőnek nyilatkoznia kell a jelölt követelmény elfogadásáról és részletesen be kell mutatnia a vállalt követelmény teljesítési módját. A kifejtendő követelményekre adott válaszokat úgy kell összeállítani, hogy azok egyértelmű és számon kérhető formában mutassák be a vállalni kívánt megoldást. Ny Nyilatkozat Ajánlattevőnek nyilatkoznia kell a jelölt követelmény elfogadásáról. 5/70
3. Ajánlatkérő bemutatása A (KSH) jogállása szerint kormányhivatal, melynek egyszemélyi felelős vezetője az elnök, akinek a munkáját egy gazdaságstatisztikai, egy társadalomstatisztikai, valamint egy jogi és gazdálkodási elnökhelyettes segíti. A KSH felügyeletét a Közigazgatási és Igazságügyi Minisztériumot vezető miniszter látja el. A KSH önállóan gazdálkodó költségvetési szerv, amely egyes intézményeknek, mint részben önálló költségvetési szerveknek - megállapodásban rögzített - gazdálkodási feladatait is ellátja. A KSH feladata és hatásköre, melyet a statisztikáról szóló 1993. évi XLVI. törvény, és az annak végrehajtására kiadott 170/1993. (XII.3.) Korm. rendelet, valamint a módosított 3/2007. (SK 1.) KSH határozattal kiadott alapító okirat határoz meg, többek között: - adatfelvételek megtervezése, adatok felvétele, feldolgozása, tárolása, átadása, átvétele, elemzése, közlése, közzététele és védelme, - a statisztikai tevékenységek összehangolása, irányítási tevékenység ellátása, jogi előkészítése, - népszámlálás végrehajtása, egyéb országos összeírások szervezése és végrehajtása, - az Országos Statisztikai Tanács bevonásával a statisztikai módszerek, fogalmak, osztályozások kialakítása, meghatározása, készítése, nyilvánosságra hozatala, valamint használatuk kötelezővé tétele, statisztikai regiszter működtetése, és ennek alapján névjegyzék készítése, - a Magyar Köztársaság Közigazgatási Helynévkönyvének vezetése, a Magyar Köztársaság Helységnévtárának kiadása. Ennek alapján feladata, hogy valósághű, tárgyilagos képet adjon a társadalom, a gazdaság állapotáról és változásairól, az államhatalmi és a közigazgatási szervek, nemzetközi szervezetek részére, valamint a társadalom szervezetei és tagjai számára, évenként tájékoztassa az Országgyűlést és a Kormányt. 6/70
4. Jelenlegi helyzet bemutatása Jelen fejezet célja, hogy az Ajánlattevő számára bemutassa Ajánlatkérő jelenlegi, a projekttel kapcsolatos helyzetét, tevékenységeit. 4.1. Projekt háttere A Projekt hátterét a statisztikáról szóló 1993. évi XLVI. törvény (statisztikai törvény) 21. (4) alapozza meg, mely szerint a KSH jogosult: a) az (1) és (3) bekezdésben meghatározott adatgyűjtést végző szervtől az országos statisztikai adatgyűjtési programból rendelkezésre álló adatokat egyedi azonosításra alkalmas módon, b) az országos statisztikai adatgyűjtési programban, valamint nemzetközi kötelezettségvállalásban szereplő adatgyűjtéseiben meghatározott adatkörben, az adatgyűjtés céljának és időtartamának megjelölésével, a hatósági, ellenőrzési és gazdasági tevékenységgel járó, továbbá a nyilvános és közhitelű nyilvántartások vezetésével összefüggő adatgyűjtést végző szervtől a rendelkezésre álló személyes és nem személyes adatokat - ha törvényeltérően nem rendelkezik - egyedi azonosításra alkalmas módon, statisztikai felhasználás céljából, az adatvédelemre vonatkozó szabályok megtartása mellett átvenni. A KSH célja, hogy a felhasználók igényeinek megfelelő, hiteles, jó minőségű statisztikai szolgáltatást nyújtson a társadalom, a gazdaság és a környezet állapotáról és változásairól. A projekt a statisztika azon fontos szakterületét fedi le, melynek feladata megfelelő minőségű és hatékonyságú adatforrások biztosítása a statisztika számára. 4.1.1. Az adatforrások biztosítása Az adatforrásoktól kérdőíven alapuló adatszolgáltatást elváró adatgyűjtések mellett az adatszolgáltatói terhek csökkentését szolgáló kiemelt feladat a másodlagos adatok átvétele. A másodlagos adatok alatt olyan információkat értünk, melyeket más személy, szervezet gyűjtött a helyett, aki elemzi vagy használja az adatokat. Ez különbözteti meg az elsődleges adatoktól, amelyek esetében a két funkciót végző azonos. A statisztika adatforrásai így elsődleges adatforrásokra (statisztikai célra gyűjtött saját adatok) és a másodlagos forrásokra (minden egyéb adat) oszthatók. 7/70
Statisztikai adatforrások Másodlagos adatforrások Saját statisztikai adatgyűjtések Adminisztratív adatforrások Más szervezetek statisztikai és adminisztratív adatgyűjtései Vállalkozási szféra adatgyűjtései 1. ábra A statisztikai célra használható adatforrások típusai Az 1. ábra által mutatott másodlagos adatforrások közül a legnagyobb hányadot az adminisztratív célra, valamilyen jogszabály alapján létrehozott nyilvántartásokból való adatátvétel jelenti.. Az alábbi lista éppen ezért nem kimerítő, inkább csak a potenciálisan adatforrások főbb típusait és tartalmi sokszínűségét igyekszik megmutatni. Alap-nyilvántartások Adó adatok Személyi jövedelemadó Hozzáadottérték-adó (ÁFA) Társasági adók Vagyonadók Import / export vámok Szociális védelmi adatok Járulékok Segélyek Nyugdíj Egészségügyi és oktatási nyilvántartások Személyek / vállalkozások / ingatlanok / járművek nyilvántartási rendszerei Népességre vonatkozó regiszterek Vállalkozásokra vonatkozó regiszterek Lakásokra, ingatlanokra vonatkozó nyilvántartások Építési engedélyek Személygépkocsik nyilvántartása Személyazonosító igazolvány / útlevél / vezetői engedély Választói névjegyzék Mezőgazdasági regiszter Önkormányzati nyilvántartások Engedélyhez kötött tevékenységek, speciális jogosultságok 8/70
Adatállományokkal rendelkező magánvállalkozások adatai Hitel ügynökségek Üzleti elemzők Közművek Telefonkönyvek Telefonszolgáltatók Hűségkártya rendszert működtető kiskereskedők stb. Kutatóintézetektől származó adat pl. szociológiai felmérések epidemiológiai felmérések Mielőtt egy adatforrásról el lehet dönteni, hogy statisztikai hasznosításra alkalmas-e, illetve milyen feltételek mellett, milyen célra használhatók az adatok, nagyon alapos vizsgálódás szükséges az adatgazda bevonásával. Részletesen meg kell ismerni az adatok tartalmát, a változók összefüggéseit a statisztika igényeinek megfelelő információk kinyerése érdekében. A célsokaság egysége Ha másodlagos adatforrást használunk, az egyik gyakori probléma lehet, hogy az ott használt egységek nem felelnek meg a statisztikai célsokaság definíciójának. A külső adatállomány egységeit (jogi egységek, adózási egységek, szolgáltatások igénylői stb.) fogalmi szempontból statisztikai egységekké (vállalkozások, emberek, háztartások stb.) konvertálni sokszor meglehetősen nehéz, és modellezési feladatokkal jár együtt. A változók definíciója A másodlagos adatforrások használata esetén nem csak az egységek definíciója térhet el a statisztikaitól, hanem nagy valószínűséggel számolnunk kell a változók meghatározása közötti különbségekkel is a két adatrendszerben. Az adminisztratív adatokat általában egyedi igazgatási célra gyűjtik, és az ehhez kapcsolódó igények és prioritások eltérhetnek a statisztikai rendszer számára szükségestől. Osztályozási rendszerek Ahogy a másodlagos adatforrásokban a változók definíciója eltérést mutathat, a statisztikai szervezet által használtakhoz képest, az osztályozási rendszerek is különbözőek lehetnek. Időszerűség Az időszerűséggel kapcsolatban három olyan probléma merülhet fel, ami befolyásolja a másodlagos adatforrás használhatóságát: a statisztikai igényeknek megfelelő időben nem áll rendelkezésre az adat, a másodlagos és a statisztikai adat vonatkozási ideje nem azonos, az egyik rendszer adata tartam-specifikus, míg a másiké időpont-specifikus. Konzisztencia az adatforrások között Tekintettel arra, hogy egyetlen másodlagos adatforrás adattartalma az esetek nagy részében nem felel meg teljes mértékben a statisztikai igényeknek, ezért hatékony használatuknak az 9/70
a feltétele, hogy egyszerre több adatforrást is tudjunk használni, melyek szükség esetén összekapcsolhatók. Sokszor azonban a különböző adatforrások egymásnak ellentmondónak tűnő adatokat mutatnak, ami abból adódhat, hogy más a célsokaságuk, a vonatkozási idejük, a változók definíciója, vagy az osztályozási rendszerük, de akár az is előfordulhat, hogy valamelyikük hibás. Hiányzó adatok Az adminisztratív adatforrásokban az adathiány oka hasonlóan a statisztikai adatfelvételekhez lehet a válasz teljes vagy részleges hiánya, de előfordulhat, hogy a szerkesztés során törölték az értéket. Olykor azonban az adminisztratív források esetén az adathiány szisztematikusabb problémát jelez, mint a statisztikai adatgyűjtésekben, például bizonyos adatokat igazgatási nyilvántartásokban egyáltalán nem szabad gyűjteni, vagy csak olyan bizonyos egységekre engedélyezett, amelyek speciális jogi feltételeknek eleget tesznek. Ha az adatforrás adattartalma, olyan, hogy az esetleges statisztikai elvárásoktól való eltérése esetén is több előnnyel jár a használata, mint a közvetlen adatgyűjtésé, akkor az adatátvételhez meg kell teremteni a jogi, szervezeti, technikai és tartalmi, dokumentációs kereteket. 4.1.2. Az adatelőkészítés eszközei Az Európai Statisztika Gyakorlati Kódexe összhangban a statisztikai rendelettel szorgalmazza a közigazgatási szintű hatékony adatgyűjtési rendszer kialakítását, és hangsúlyozza a minőség iránti elkötelezettséget. A gyakorlati kódex hét elve fogalmazza meg a másodlagos adatforrások hasznosításának igényét, valamint azokat a prioritásokat, amelyek a standardizált adatelőkészítést támogatják. Ezek közül a 8. elv 5. ismérve előírja a megfelelő editálási és imputálási módszerek használatát, amelyeket rendszeresen felül kell vizsgálni, és szükség szerint javítani vagy aktualizálni. Az átvett adatok ellenőrzésére az adatgyűjtésekhez képest még kevésbé alakultak ki általános eljárások. Az adatgazdánál végzett ellenőrzések többnyire nem veszik figyelembe a statisztikai szempontokat, ezért a KSH-ban az adatokat tovább kell vizsgálni. Az adatelőkészítésnek Két fő fázisa van, az adatállomány önmagán belüli ellenőrzése és az adatok más állományból származó adatokkal való összevetése. Mindkét fázisban vizsgálni kell az adatok értelmezését (metaadatok) valamint az adatok értékbeli megfelelőségét: - a fogalmak, kódlisták megfeleltetése az adminisztratív adatok és a statisztikai elvárások között - az átvett állomány önmagán belüli ellenőrzése, adatok érvényesség és összefüggés vizsgálata - az átvett adatok fogalmainak, kódlistáinak összevétése más ellenőrzésre szolgáló állományok fogalmaival,kódlistáival - az átvett állományok adatainak ellenőrzése más adatállomány segítségével. 10/70
4.2. Kapcsolódó előzmények 4.2.1. A KSH Elektronikus adatgyűjtési rendszerének fejlesztése, kiterjesztése (ELEKTRA) EKOP 1.A.1. keretében A projekt 2009-ben kezdődött, a tartama meghaladta a két évet. Feladata: A fejlesztés lehetővé teszi a fokozatos áttérést a főként papíralapú adatszolgáltatásról az elektronikus útra úgy, hogy a létrejövő elektronikus szolgáltatás a leendő felhasználók számára vonzó, és könnyen használható legyen. A Projekt épít a megvalósult eredményekre. Az elkészült KSH-ELEKTRA rendszer ami jelenleg az elektronikus adatszolgáltatást teszi lehetővé bővítés után alkalmassá válik adatállományok a KSH és a társintézmények intézmények közötti biztonságos, irányított mozgatására. 4.2.2. Statisztikai címregiszter adattisztítása, általános adatelőkészítő rendszer megtervezése ÁROP-1.A.4 A projekt eredményeként a másodlagos adatforrásokhoz megvalósuló adatelőkészítő eszköz a párhuzamosan megvalósuló ÁROP-1.A.4 Statisztikai címregiszter adattisztítása, általános adatelőkészítő rendszer megtervezése keretében megszülető rendszertervre épít. 4.2.3. Az Egységes Adatfeldolgozó Rendszer Az EAR kialakítása mintegy egyéves előkészítő munka után 2008-ban kezdődött, és 2,5-3 évet vett igénybe. A statisztikai adat-előállítási folyamat feldolgozási fázisát általánosan használható, egységes rendszerként támogatja. Metavezérelt, és szabványos interfésszel kapcsolódik a már meglévő általános rendszerekhez. Feladata az adatok egységes eljárásokra épülő, dokumentált, megismételhető végrehajtása. Több módon csatlakozik az új rendszerhez: Az átvett adatállományok között vannak olyanok, amikben az adatok nem igényelnek adatelőkészítést. Ha ezek feldolgozása központilag történik, akkor közvetlenül ide lesznek betöltve a KARÁT-ból. Amennyiben az általános adatelőkészítő rendszer ellenőrzéseket javításokat végez az átvett adatokon, akkor ezek javítás után kerülnek a termelési adatbázisba, és dolgozhatók fel a rendszerrel. A feldolgozási rendszer átad adatot az általános adatelőkészítő rendszernek az adatok ellenőrzéséhez 11/70
4.3. Jelenlegi működés 4.3.1. A statisztikai adat-előállítás folyamata A statisztikai előállítási folyamat összesen kilenc lépésből áll. A konkrét lépéseket, és az adott fázishoz kapcsolódó adatbázis-használatokat a következő ábra mutatja. A STATISZTIKA ADAT - ELŐÁLLÍTÁSI FOLYAMATA METAADAT KEZELÉS - MINŐSÉGBIZTOSÍTÁS Felhasználói igények megh. Tájékoztatás Felvétel - tervezés Regiszterek karbantartása M e t a a d a t o k Tájékoztatási adatbázis Adattárház Termelési adatbázis Rögzítési adatbázis Adatgyűjtés-szervezési adatok Regiszterek Adattárolás, visszanyerés, elemzés Feldolgozás Adatgyűjtésszervezés Adatbegyűjtés Adatelő - készítés 2. ábra - A statisztika adat-előállítás folyamata Az eljárási cselekmények azt a folyamatot fedik le, melyben a felhasználói igényekre építve az adatgyűjtés megtervezése a legelső lépés, ezt követi a beérkező adatok gyűjtése, feldolgozása, a megfigyelt sokaságot jellemző információvá alakítása, az utolsó lépés pedig azok valamilyen formában való publikálása. Az adatelőállítási feladat lépéseit a 2. ábra mutatja. A narancssárgával jelölt folyamatszakaszok illetve adatbázis-elemek érintettek elsődlegesen az adott feladatban. 12/70
A statisztikai folyamaton végighúzódó minden szakaszt érintő átfogó feladat metaadatkezelés és a minőségbiztosítás. Metaadat-kezelés A metaadat-kezelés feladata a statisztikai információrendszert (adatokat, folyamatokat, módszereket) leíró strukturált információk, az ún. metaadatok aktualizálása és használatának biztosítása. A metaadatok a KSH információrendszerében központi integráló szerepet töltenek be. Új témák, rendszerek csak a metaadatokra vonatkozó általános elvek figyelembevételével, és a metaadatbázissal közös integrációban jöhetnek létre, fogadhatók el. A metaadatok használatára szinte minden funkciónak szüksége van. Ez az esetek egy részében tájékozódást jelent, vagyis a metaadatok az egyszerűen használható dokumentáció szerepét töltik be. Más esetekben a metaadatok központilag tárolt információk, melyeket a teljes adatelőállítási folyamat egységesen használ (pl. egy nómenklatúrával leírt kódrendszert az adatelőkészítés a bevitel ellenőrzésére, az adatbázislekérdezés a kódhoz tartozó szöveg megjelenítésére használ). Az adat- és adatgyűjtés-független általános alkalmazások vezérléséhez szükséges, a statisztikai információrendszer elemeit leíró speciális jellemzőket is a metaadatbázisban helyezik el. A metaadatok bizonyos részének aktualizálását statisztikusok végzik (pl. adatgyűjtések, fogalmak, módszerek, általános nómenklatúrák), más részét informatikusok aktualizálják (pl.: az adatbázis tartalmának leírása). A metaadat-kezelés funkciói az egyes metaadat típusok csoportjait követik. Az egyes fejlesztési módszertanok, illetve kiemelt rendszerek (pl.: ADÉL, GÉSA, KSH- ELEKTRA, adattárház) a META adatbázist egyszerre használják dokumentációs és programvezérlési feladatra. Ezzel egyrészt elérhető, hogy a dokumentáció és maga az alkalmazás nem fog eltérni, másrészt jelentősen megkönnyíti az alkalmazás adatgyűjtésfüggetlen megoldását, utólagos módosítását. Minőségbiztosítás A folyamat minden szakaszában biztosítani kell a folyamatok és termékek minőségének megfigyelését, a kiértékeléshez szükséges indikátorok képzését, a minőség leírását, ellenőrzését, kiértékelését és a kiértékelés eredményének visszacsatolását a minőség javítása érdekében. A felhasználói igények megismerése A felhasználói igények megismerése fázisban fogalmazódnak meg mind a külső elvárások egy új témával kapcsolatban, mind a már folyó felvételekhez kapcsolódó külső és a végrehajtásból visszacsatolódó belső igényekkel kapcsolatban. Ezen fázis összegzi a kívánt adatokat, azok fogalmait, ellenőrzi, hogy az igények nem elégíthetők-e ki már létező felvételből, más forrásból. Adatfelvétel tervezése 13/70
A statisztikai felvételek tervezése során a felhasználók igényeiből kiindulva a statisztikusok megtervezik az adott adatfelvétel tartalmát, az adatfelvétel forrását (adatgyűjtés vagy adatátvétel) az informatikusok pedig a hozzá tartozó informatikai rendszert. Ez a fázis jelöli ki a felvétel célsokaságát, a sokaság egységeit leíró regisztert, a felvétel gyakoriságát, módját. Az adatátvétel előkészítése során a tájékoztatás és a felhasználók igényeiből kiindulva a statisztikusok megkeresik azokat a már létező adatgyűjteményeket, amiket más szervezetek igazgatási, üzleti vagy statisztikai célra gyűjtöttek, és amik alkalmasak a KSH-ban további statisztikai hasznosításra csökkentve ezzel az adatszolgáltatási terheket, valamint az adatgyűjtés költségeit. Amennyiben adatátvétel mellett döntenek, akkor ebben a fázisban történik meg a kapcsolatfelvétel az adatgazdával, az adatállomány tartalmának, vonatkozási körének, minőségének és az ottani adatkezelési eljárásoknak a megismerése, döntés az adatok használhatóságáról, megállapodás az adatátvétel feltételeiről. Regiszterek karbantartása A regiszterek karbantartása valamely, a statisztikától függetlenül létező és változó egységek (pl. gazdálkodó szervezetek, települések, országok, címek) folyamatos aktualizálását jelenti. A nyilvántartás célja, hogy alapul szolgáljon adatgyűjtések sokaságának, megfigyelési egységeinek tervezéséhez, az adatgyűjtések szervezéséhez. Felvétel-szervezés A felvétel-szervezés feladata az adatgyűjtések, adatátvételek megszervezése, minél eredményesebb lebonyolítása és közben minden fázisban információ szolgáltatása a statisztikus számára. Szabályozza, meghatározza a különböző állomásokat, az azok közötti mozgás módját és időpontjait. A felvétel-szervezés időszakonként kijelöli az adott időszakra érvényes adatszolgáltatókat. Az adatszolgáltatóval megtörténik a kapcsolatfelvétel, a kérdőív vagy adatállomány beérkezik a hivatalba, és az adatelőkészítés fázisába kerül. Az adatfelvétel szervezés proaktív funkciókkal támogatja az adatszolgáltatást (személyre szabott határidőnaplóval, megszemélyesített kérdőívvel). Határidő előtti figyelmeztetéssel és késés esetén különböző szintű és erősségű sürgetéssel. A felvétel-szervezés során gyűjtött un. paraadatok segítik az adatfelvétel eredményességének kiértékelését, a következő időszakok adatfelvételéhez való visszacsatolást. Adatbegyűjtés Az adatgyűjtési módoknak négy csoportját különböztethetjük meg - az önkitöltést, amikor az adatszolgáltató valamilyen formában rendelkezésre álló kérdőíven megfogalmazott kérdésekre maga adja meg és írja le a válaszokat - az interjú típusú adatgyűjtés, amikor a válaszadás összeíró segítségével történik 14/70
- a direkt adatgyűjtés, amikor egy összeíró maga gyűjt adatokat (pld. árösszeírásnál) - az adatátvétel, amikor a más forrásban már rendelkezésre álló adatokat vesszük át, hasznosítjuk. A kérdőíves (önkitöltős, interjú típusú, direkt) adatgyűjtéseknél egyre jobban terjednek az elektronikus formák, postai beküldés helyett az internetes kérdőívkitöltés és továbbítás. Interjú típusú adatgyűjtésnél a mobil eszközös adatgyűjtés. Adatelőkészítés Az adatelőkészítés feladata papír alapú kérdőívek rögzítése, ellenőrzése, javítása, valamint a külső forrásból átvett vagy elektronikus úton beérkezett adatok ellenőrzése, szükség esetén javítása. Az adatelőkészítő alkalmazás az adatgyűjtés-tervezés adatelőkészítés tervezés fázisában megfogalmazott kritériumok szerint készül el. Az adatelőkészítés eredményeként áll elő az adatgyűjtés, adatátvétel elfogadott (a megfogalmazott ellenőrzési szempontoknak eleget tevő, adott hibaszázalékkal jónak tekintett) adatállománya. Az átvett adatok ellenőrzésére az adatgyűjtésekhez képest még kevésbé alakultak ki általános eljárások. Az adatgazdánál végzett ellenőrzések többnyire nem veszik figyelembe a statisztikai szempontokat, ezért a KSH-ban az adatokat tovább kell vizsgálni. Az adatelőkészítésnek két fő fázisa van, az adatállomány önmagán belüli ellenőrzése és az adatok más állományból származó adatokkal való összevetése. Mindkét fázisban vizsgálni kell az adatok értelmezését (metaadatok) valamint az adatok értékbeli megfelelőségét: - a fogalmak, kódlisták megfeleltetése az adminisztratív adatok és a statisztikai elvárások között - az átvett állomány önmagán belüli ellenőrzése, adatok érvényesség és összefüggés vizsgálata - az átvett adatok fogalmainak, kódlistáinak összevétése más ellenőrzésre szolgáló állományok fogalmaival, kódlistáival - az átvett állományok adatainak ellenőrzése más adatállomány segítségével. Gyakran az adminisztratív célra gyűjtött adatokat először át kell alakítani a statisztikai céloknak megfelelően. Új nyilvántartási egységeket, új változókat, nómenklatúrákat kell képezni az átvett adatokból. Adatfeldolgozás A folyamat célja kész, teljes sokaságra vonatkozó adatok, mutatószámok előállítása. A feldolgozás funkció feladata az adatelőkészítés eredményeként előállított ellenőrzött, javított statisztikai adatok további feldolgozása és elérhetővé tétele az adatbázisból. Ebben a fázisban történik a hiányzó adatok pótlása (imputálás), a minta megfigyeléséből származó adatok teljeskörűsítése, új aggregátumok, mutatószámok előállítása. A feldolgozás során új adatokkal bővül a statisztikai adatbázis. Ez jelenthet egy új témát, vagy jelentheti egy régi téma új időszakra vonatkozó adatait. Az adatfeldolgozás szolgáltat adatot az adatelőkészítés számára is, amikor az adatgyűjtések vagy adatátvételek adatait más témákkal vagy ugyanannak a témának előző időszaki adataival vetjük össze. 15/70
Ugyancsak az adatfeldolgozás feladata, ha olyan új állományokat, leválogatásokat hozunk létre, amelyek külső felhasználó megrendelésére készülnek, és amelyet aztán a megrendelt formában át kell adni a külső felhasználónak. Adatraktározás, visszanyerés, elemzés Az adattárház és a tájékoztatási adatbázis építése szorosan összefüggő, egymásra épülő folyamat. Mindkettő lefedi a statisztika összes tématerületét, s ezeket egységesen, azonos elvek alapján szervezi egy rendszerbe. A rendszer kiépítése témánként történik. Alapegysége a homogén adatkör, ami egymással logikailag összekapcsolható statisztikai mutatókból áll, s ezeknek azonos a dimenzionáltsága. Az adattárház az összes homogén adatkört tárolja, a tájékoztatási adatbázisba ezekből csak az kerül át, amelyet a statisztikus a külső felhasználóknak is elérhetővé kíván tenni. Tájékoztatás, elemzés A tájékoztatás a statisztikai munka végeredményét közvetíti a statisztika felhasználói számára. E munka során fény derülhet olyan adatigényekre, amelyeket a meglévő adatok alapján nem lehet kielégíteni. Ezeket a következő időszak adatgyűjtéseinek tervezésekor kell figyelembe venni. A tájékoztatásnak különböző formái vannak, az on-line kiadványok, statikus táblák, elemzések megjelenítése, a dinamikus lekérdezési eszközök biztosítása, amikor a felhasználó maga kérdezi le a kívánt körre, szintre az adatokat. Ide tartozik a kutatók számára az anonimizált elemi szintű adatok vizsgálatának lehetősége a kutatószobában. A tájékoztatás része a témánk szempontjából fontos adatátadások kezelése is. Az adatátadások is nagyon eltérők lehetnek, mind az adatok aggregáltsági szintje, tömege, gyakorisága, az átadás fizikai formája, közege szempontjából. Az adatok csak adatvédelmi szempontok szerinti jóváhagyás után közölhetők a felhasználókkal. Adatállományok előkészítésének jelenlegi gyakorlata A KSH-ba beérkező adatok ún. adatelőkészítésen esnek át, azaz ellenőrzik a teljességet, hogy minden kérdőív/rekord megérkezett-e, a kódok érvényességét, a kérdőíven belüli adatok közötti összefüggéseket. Az adatelőkészítő rendszerek két keretrendszerbe ágyazva működnek. A lakossági adatgyűjtésekre a Blaise alapú BLUMEN rendszer, a gazdaság- és társadalomstatisztikai adatgyűjtésekre az ADEL: Az ADEL a papír kérdőívek adatbevitelét és mind a papír mind az elektronikus kérdőívek ellenőrzését és javítását végző rendszer. Segítségével a központi felhasználók (központi statisztikusok, informatikusok) figyelemmel kísérhetik a teljes adatelőkészítési folyamatot. Bármikor lekérdezhetik a bevitt adatokat, összesítőket kérhetnek a hibákról, azok indoklásairól és tájékoztatást kapnak a munkafolyamat előrehaladtáról. Ezek az eszközök azonban nem kezelik a másodlagos adatok sajátos, a kérdőívekhez képest eltérő jellegű ellenőrzéseit. Az átvett adatok nagy részének ellenőrzése egyedi eljárással történik. 16/70
4.3.2. A releváns folyamatokat támogató számítógépes rendszerek A KSH számos statisztikai téma adatgyűjtésből és adatátvételből származó adatának feldolgozását kezeli. A KSH IT elvei szerint a feldolgozási szakaszokra olyan standard alkalmazásokat fejleszt ki, amelyek adott területen általános megoldást adnak. Az alkalmazások központi ORACLE adatbázison működnek A folyamatok egymásra épülnek, integrált rendszert alkotnak. A különböző feldolgozási szakaszokra kifejlesztett rendszereket a 3. ábra mutatja. A narancssárgával jelölt rendszerek érintettek elsődlegesen a feladat megvalósításában. Funkció Téma A, B, C, D, E... Statisztikai témák Meta-rendszer META ADELmeta GESAmeta Adattárház meta Regiszterek GSZR Kerreg Címregiszter Adatgyűjtésszervezés GÉSA LAKOS Adatbegyűjtés ELEKTRA KSHEMAIL TÉBA Mobil eszk. Adatelőkészítés ADÉL BLUMEN Feldolgozás EAR Adatraktározás ADATTÁRHÁZ Tájékoztatás STADAT Tájék. adatbázis Szakstat..dok. ADKI 3. ábra Az adatfeldolgozásban érintett KSH rendszerek 1. META-rendszer A statisztikai adatok és folyamatok dokumentálásának eszköze a meta- rendszer. Meta adatbázis: a statisztikai adatgyűjtésben használt adatokat, adatkapcsolatokat, fogalmakat, nomenklatúrák meghatározásait, leírásait, kérdőív ellenőrzési szempontokat, az adatstruktúra, értékkészletek, a kérdőívek más automatikus adatbázisba betöltéshez szükséges információit tartalmazza. Az egyes szakstatisztikákhoz módszertani dokumentációt ad. Leírja a folyamatok vezérléséhez szükséges információkat. A metarendszer karbantartását több az adott feldolgozási szakaszhoz tartozó alkalmazás segíti (META, ADEL-META, GESA-META, Adattárház-META. 2. Regiszterek 17/70
A KSH az adatgyűjtések sokaságának meghatározásához regisztereket kezel. Vannak alapregiszterek mint a Gazdasági Szervezetek Regisztere (GSZR). a Település és Címregiszter. A GSZR-hez több kiegészítő a szervezetek tevékenységét leíró regiszter társul (mint pld a kereskedelmi tevékenységet leíróregiszter KERREG, vagy a mezőgazdasági tevékenységet leíró MEZŐREG, stb. 3. Adatgyűjtés-szervezés A KSH-ban két általános adatgyűjtés-szervezési rendszer kezeli az adatgyűjtéseket. A GÉSA, ami a gazdaság- és társadalomstatisztikai adatgyűjtések adatgyűjtés-szervezési rendszere, valamint a LAKOS, ami a lakossági összeírások adatgyűjtés-szervezési rendszere. Az adatgyűjtés-szervezési rendszerek felelnek az adatgyűjtések sokaságának, mintájának leírásáért, a kérdőívek adatszolgáltatókhoz, összeírókhoz eljuttatásáért, a beérkező kérdőívek regisztrálásáért, monitorozásáért, az adatgyűjtő munkatársak és összeírók munkájának szervezésért. Az adatátvételek szervezésére még nem alakult ki rendszer, ennek kialakítása a projekt feladata. 4. Adatbegyűjtés A gazdaság- és társadalomstatisztikai adatok gyűjtését két elektronikus rendszer támogatja. Az EKOP 1.A.1. pályázat keretében kifejlesztett KSH-ELEKTRA rendszer, amely egyre szélesedő adatgyűjtés körre és adatszolgáltató körre nyújt lehetőséget az adatok web-en történő küldésére. Emellett az átmeneti időre megmarad a KSH honlapról letöltött Excel kérdőívek e-mailen történő beküldésének lehetősége is. A TÉBA rendszer az elektronikusan beérkező adatok automatikus meta-vezérelt adatbázisba töltését oldja meg. A lakossági adatgyűjtésekre is bevezetés alatt van a mobil eszközökön végzett adatgyűjtés. (laptop alkalmazása a korábban már bevezetett PDA mellett) 5. Adatelőkészítés Az adatelőkészítő rendszerek is két keretrendszerbe ágyazva működnek. A lakossági adatgyűjtésekre a Blaise alapú BLUMEN rendszer. A gazdaság- és társadalomstatisztikai adatgyűjtésekre az ADEL: Általános Adatelőkészítő Rendszer. Az ADEL a papír kérdőívek adatbevitelét és mind a papír mind az elektronikus kérdőívek ellenőrzését és javítását végző rendszer. Segítségével a központi felhasználók (központi statisztikusok, informatikusok) figyelemmel kísérhetik a teljes adatelőkészítési folyamatot. Bármikor lekérdezhetik a bevitt adatokat, összesítőket kérhetnek a hibákról, azok indoklásairól és tájékoztatást kapnak a munkafolyamat előrehaladásáról. 6. Feldolgozási szakasz Korábban ezen a területen egyedi alkalmazások végezték az ellenőrzött, javított adatok tovább feldolgozását. Bevezetésre került az EAR, az Egységes adatfeldolgozó rendszer, amely általános eljárásokból építi fel az egyes statisztikai területek egyedi feldolgozási folyamatait. A folyamatot dokumentálja, újrafuttathatóvá teszi. A folyamatok teljes mértékben a META rendszerre épülnek. 18/70
7. Adatraktározás A már feldolgozott, kész adatok KSH-n belüli elérését, támogató rendszer az un. Adattárház rendszer, amely hiperkockákon keresztül teszi lehetővé az adatok kívánt szinten való elérését, szükség esetén a mélyre ásást, az adatok letöltését. 8. Tájékoztatás A KSH adatok felhasználóinak tájékoztatására a KSH honlapján, a statikus adattáblákat tartalmazó STADAT, valamint egy dinamikus lekérdező rendszer, az un. Tájékoztatási adatbázis szolgál. Az utóbbi adatvédelmi szempontoknak megfelelően teszi lehetővé hiperkockákon keresztül az együtt értelmezhető adatok elérését. Az adatok értelmezését a szakstatisztikák META- rendszerre épülő dokumentációja segíti. Az adatkérések teljesítésének felügyeletére alakult ki az ORACLE rendszeren kívül (MSSQL alapokon) az un. ADKI rendszer, amely az adatvédelmi ellenőrzéseket követően jelzi az adatállományok kiadható státuszát 19/70
5. A fejlesztés 5.1. A fejlesztés célja A fejlesztés megvalósítása során olyan standardizált automatikus rendszer kialakítására van szükség, aminek működése leíró adatokra épül, és saját nyilvántartása alapján határozza meg, hogy mi történjen az egyes átvett adatállományokkal az adatelőkészítés során. A beérkező és alapvető ellenőrzéseken átesett, adatbázisba töltött fájlokon, az adat-előkészítő, fázisban olyan átalakításokat, ellenőrzéseket és javításokat kell végezni, hogy az eredmény tartalmában és minőségében megfeleljen a KSH saját statisztikai adatgyűjtéseinek, de legalábbis jól közelítse azokat. A fejlesztés célja egy olyan keretrendszer kialakítása, melynek segítségével a felhasználók önállóan dolgozhatnak úgy, hogy a kapcsolódó meta-rendszer megfelelő előkészítése után munkájuk ellátása során lényegében nincs szükség az informatikus segítségére. Állományonként, esetleg felhasználási területenként a szabályokat külön-külön kell megfogalmazni. Az eszköz rugalmasságát garantálja, ha a szakstatisztikus a képernyőn állíthatja össze az ellenőrzési szabályokat. Az eszköz alkalmazási lehetőségei nagyon sokrétűek, alkalmazkodni tud az adatállomány egyediségéhez, a felhasználó szakterületek számához, az eszközt használó munkatárs munkastílusához, időbeosztásához. Az adatok minőségét mérő indikátorok lehetővé teszik, hogy az adatgazdát tájékoztassuk a jellemző problémákról, és a visszacsatolás hasznosítása hozzájárulhat az adatok minőségének további javulásához. 5.2. A fejlesztés eredményeként igényelt megoldás Jelenleg az átvett adatok adatelőkészítése többnyire egyedi eljárásokkal történik. A projekt keretében az egyedi folyamatokat olyan rendszerrel kell kezelni, amely - általános keretrendszert ad - az általánosítható lépésekre standard megoldást ad - az egyedi folyamatok, standard építőkövekből építhetők fel, - az új eljárások a következő folyamatok számára már választható standard elemek lesznek. Az átvett adatok sajátosságait kezelő tervezett informatikai eszköz: - a meta rendszerben az adatátvételek jellemzőit leírja, dokumentálja; - lépésekre, szakaszokra bontással, moduláris megvalósítással átláthatóvá, hatékonyan fejleszthetővé és biztonságosan üzemeltethetővé teszi a folyamatot; - szabványos, egységes megoldásokat alkalmaz; - jogosultság kezelése biztosítja a szenzitív adatok védelmét; - támogatja, hogy az egyes átvételekhez kapcsolódó feladatok, funkciók (pl. ellenőrzés-előkészítés, ellenőrzés, adatjavítás) opcionálisan megvalósíthatók; 20/70
- folyamat-követő, a lépések dokumentáltak és a folyamat állapota lekérdezhető; - a lehető legkisebb mértékben igényel programozói kapacitást, főként a leírt meta adatok alapján üzemeltethető, ill. olyan eszközrendszerre épít, mellyel a felhasználók saját maguk valósíthatják meg az igényeiknek megfelelő funkciókat; - az adatok minőségét mérő indikátorokat állít elő, melyek alapján utólag értékelhető az állomány egésze. Az adatelőkészítő egy olyan általános keretrendszer, melybe az egyes szakstatisztikák alkalmazásai beilleszthetők. A rendszer futtatja ezeket az egyedi ellenőrző, javító programokat, és így lehetőséget biztosít a szükséges funkciók elvégzéséhez. A rendszer segítségével az átvett adatok adatelőkészítése a szokásos módon vezérelhető, ill. végezhető, így annak ellenére, hogy a fogadás és a betöltés olyan funkciók, amelyek egy átvett adatállomány egészére vonatkoznak, az ellenőrzés és javítás lépései rekordonként végrehajtandó tevékenységek. Az eszköz használata esetén minden adatátvételhez általánosan biztosítani lehet, hogy - adatbevitelt, javítást csak az arra kijelölt dolgozók végezhetnek, - minden ellenőrzést kötelező az állomány minden egységére elvégezni, - nem maradhat indoklás nélküli elfogadható hiba, - nem maradhat súlyos kategóriába sorolt hiba. 5.3. A jövőbeli rendszer által lefedett funkcionalitás A jövőbeni funkcionalitások az alábbi főbb funkciócsoportokra épülnek. A funkció követelmények a dokumentum későbbi, 6. fejezetében, a támogatandó főbb folyamatok mentén kerültek megfogalmazásra. Adatátvétel A funkció célja, hogy a másodlagos adatforrásból érkező állományok adatelőkészítésre történő átvétele a KARÁT rendszertől. Az adatelőkészítés során megtörténik a befogadott adatállomány átemelése saját környezetbe ahol a további vizsgálatok és manipulációk történnek. Az adatátemelés során elvégzett feladatok: o a befogadott adatállomány átemelése saját környezetbe, o a további felhasználásra meghatározott sorok és oszlopok leválogatása, o szükség esetén egy táblából több tábla kialakítása, vagy több táblából összemásolással egy tábla létrehozása. o a további felhasználáshoz szükséges új oszlopokkal történő bővítés. Ellenőrzés, elemzés A funkció célja, hogy az adatelőkészítésre átvett állományok statisztikai feldolgozhatóság szempontjából való megfelelőségének a vizsgálata, s a szükséges változtatások meghatározása megtörténjen. Az ellenőrzés és elemzés komplex 21/70
feladata történhet manuálisan és automatikusan (előre meghatározott folyamatok, feladattervek alapján). Az ellenőrzési funkciókat biztosíthatják: o KSH-ban már alkalmazott elemző rendszerek o KSH-ban későbbiekben alkalmazni tervezett elemző rendszer o Jelen projekt keretében kifejlesztett funkcionalitás Adatjavítás A funkció célja az adatellenőrzések illetve az adat összesítések során felderített hibák korrigálása. A felderítés helyének megfelelően beszélünk o adatjavításról az adatelőkészítés fázisában illetve o utólagos adatjavításról a feldolgozási fázisban történt adatjavítás esetén Átalakítás Az adatok előkészítése különböző átalakítások, ellenőrzések és szükség esetén javítások végrehajtásával biztosítja, hogy megfelelő minőségű adatok kerüljenek a feldolgozó rendszerbe. Az átalakítás célja az adminisztratív adatok átalakítása statisztikai jellegű adatokká, azaz a statisztikai feldolgozás inputjává. Az adatállomány átalakítása során megváltozik az állomány szerkezete. 5.4. A projekt által érintett egyéb szakterületi folyamatok Az adatküldő/fogadó rendszer az adatbegyűjtési folyamat során több egyéb szakmai terület rendszerével is kapcsolatba lép, ugyanis a rendszerfolyamathoz szükséges adatok kinyerése csak így lehetséges. Ezek az alábbiak: META rendszer - Másodlagos források leírása, adatgazda, gyakoriság, téma, átadási csatorna, továbbfeldolgozás, határidők, stb. leírása - Nómenklatúrák (kódok és a hozzájuk tartozó megnevezések) nyilvántartása - Másodlagos forrás szerkezetének, adattartalmának (mutatók, nomenklatúrák) leírása - Másodlagos forrás ellenőrzési szempontjainak leírása GÉSA Az adatgyűjtések és az adatátvételek nem alkotnak mindig diszjunkt halmazt, fogalmi megkülönböztetésük nem egyértelmű. Ezért vannak olyan adatátvételek, illetve azok adatszolgáltatói, amelyek a GÉSA rendszerben is kijelölésre kerülnek. Ezért a két rendszer között kapcsolat van. A beérkező adatállományokat meghatározott esetekben a GÉSA rendszerben is érkeztetni kell. A GÉSA rendszer feladata egyébként elsődlegesen az adatgyűjtésekre vonatkozóan az: - Adatszolgáltatói kötelezettségek meghatározása - Megszemélyesítő adatok szolgáltatása - Beküldési határidők figyelése - Beérkezési információk tárolása 22/70
- Kapcsolattartók adatainak tárolása ELEKTRA - A KSH elektronikus adatgyűjtési rendszere, amelynek párhozamosan futó továbbfejlesztése történik annak érdekében, hogy az ELEKTRA-ba regisztrált felhasználók képesek legyenek adatállományok feltöltésére, illetve az általuk kért adatállományok letöltésére. TÉBA - Interfész az elektronikus adatgyűjtő rendszerek, valamint a GÉSA és ADÉL rendszer között, - automatikus érkeztetés, kapcsolattartó információk karbantartása - ADÉL nyitottság figyelése - kérdőívadatok betöltése ADÉL-ba - Ezzel a rendszerrel a megoldás függvényében kell kapcsolatot kialakítani. 5.5. A megvalósítás tervezett architektúrája és szoftvere 5.5.1. Informatikai architektúra A rendszer működési környezetét biztosító rendszerelemek jellemzői: Oracle 11R2-es adatbázis HPUX rendszeren, támogatott Linux disztribúciók Oracle Linux, Suse Linux, támogatott virtualizált környezet Vmware. Intel X86/X64-es hardver architektúra Oracle Fusion Middleware 11G az alkalmazás rétegben. 5.5.2. Szoftver architektúra Az adatelőkészítési folyamatot és adatelemzést támogató rendszer tekintetében olyan megoldást kell választani, mely biztosítja a lehető legjobb illeszkedést a meglévő rendszerekhez és illeszkedik az ORACLE fejlesztési irányelvekhez. A fejlesztés során egy olyan architektúrát kell kialakítani, mely képes illeszkedni a KSH egyéb informatikai rendszereihez 23/70
Adatküldő/ fogadó szervezet ELEKTRA BEDSZ és BIGBEDSZ IBM Web Sphere MQ_ Web Service Adatállomány CD n/ vagy más módon Védett adatállományok ADKI GÉSA META ADEL KARÁT Adatforgalom nyilvántartás karbantartása Adatfogadás, érkeztetés Adatbetöltés Adatküldés Sürgetés Archiválás Monitor, minőség, stb. Adminisztratív adat ell. jav. Átvett adatok egységes adatelőkészítő rendszere Ellenőrzés Hibalistázás Interaktív javítás Kötegelt, automatikus javítás Monitoring, minőség Adatállomány közvetlen felhasználása EAR Adminisztratív adat átalakítása statisztikai adattá Sorok oszlopok leválogatása Új statisztikai egység képzése EAR Új ismérvek képzése Statisztikai adat 4. ábra Az Átvett adatok adat-előkészítő rendszerének átfogó környezeti diagramja 24/70
KARÁT Célrendszer (pl. EAR) Átelemelés Ellenőrzés Átalakítás Javítás Továbbítás Folyamatvezérlés Tervezés 5. ábra SW Architektúra Az üzleti folyamatokat biztosító funkciókat úgy kell kialakítani, hogy azok szabványos protokollokon és eljárásokon keresztül más rendszerekből is elérhetőek és meghívhatóak legyenek. 25/70
6. Funkcionális követelmények Az adatok felhasználásra való előkészítésének első két nagyobb összefoglaló eleme az adatfogadás és az előkészítés. A jelen informatikai fejlesztés során olyan eszközrendszert kell létre hozni, ami az átvett adatok esetében az elektronikus adatfogadó rendszerrel (KARÁT) együtt komplex egységet képez, és az adatelőkészítés befejezéséig minden munkafázist lefed. Az adatok előkészítése különböző átalakítások, ellenőrzések és szükség esetén javítások végrehajtásával biztosítja, hogy megfelelő minőségű adatok kerüljenek a feldolgozó rendszerbe. A rendszer segítségével a felhasználók önállóan dolgozhatnak, és a kapcsolódó metarendszer megfelelő előkészítése után munkájuk ellátásához nincs szükség informatikus segítségére. 6.1. A fejlesztés eredményeként igényelt megoldás 6.1.1. Az adatelőkészítés A Hivatal felé küldött rendszeres, vagy eseti adatátadások nem egységes módszertani alapokon nyugszanak, szerkezetük és adattartalmuk nem, vagy csak részben felel meg azoknak az elvárásoknak, melyeknek a hivatali adatfeldolgozásra alkalmas inputoknak meg kell felelniük. A kialakítandó rendszernek rendelkeznie kell mindazon funkciócsoportokkal melyek lehetővé teszik a felhasználók számára, hogy a beérkező állományokat megvizsgálják, a szükséges változtatásokat meghatározzák és azokat el is végezzék, majd olyan tartalmú és formátumú kimeneti adatállományt produkáljanak, mely a már megszokott eszközrendszerrel feldolgozható. Az adatelőkészítési feladatok lehetnek esetiek, vagy rendszeresek. A feldolgozás nyomon követését és az elvégzett feladatokat olyan módon kell rögzíteni, hogy az elvégzett műveletek reprodukálhatók legyenek. Az így rögzített lépéssorok az alapját képezhetik a feladatok automatikus elvégzésének. 6.1.2. Az adatelőkészítés automatizálása A Hivatal felé küldött rendszeres adatszolgáltatások struktúrája és adattartalma jellemzően közel állandó (az állandóság javítható a partneri együttműködés formalizálásával és módszertani támogatással). Az így küldött állományok kezelése az adatelőkészítő rendszerben részben, vagy teljesen automatizálható. Az előkészítési feladatok feltárását követően elkészíthető egy-egy olyan terv, feladatsor, melyek végrehajtásával a rutinfeladatok gépi úton elvégezhetőek. Annak érdekében, hogy könnyen lehessen olyan feladatterveket készíteni, mely lehetővé teszi az automatikus megoldások használatát, lehetővé kell tenni mind az egyedi lépéstervek készítését, mind az elvégzett feladatokról készített felvételek további felhasználását. A rendszernek grafikus megoldások segítségével kell biztosítani a feladattervek egyszerű és gyors elkészítését. 26/70
6. ábra Adatfogadás és előkészítés Az adatok előkészítése során három nagyobb feladatcsoportról beszélhetünk: Manuális feladatok elvégzése Rendszeresen feldolgozandó állományok adatelőkészítési feladattervének elkészítése Feladattervek végrehajtása Az adatelőkészítési feladatok eredményeként előállított állományok átadásra kerülnek a célrendszereknek, ahol a további feldolgozás, hasznosítás megvalósul. A meghatározott módon történő adatátadás (pl. illeszkedés az EAR adatstruktúrájához) biztosítják, hogy a további feldolgozás során a már korábban rögzített metaadatok felhasználásra kerüljenek, elkerülvén a többes rögzítés igényét. A feladatok adminisztratív lezárása biztosítja, hogy az elvégzett feladatok visszakereshetők és szükség esetén reprodukálhatók legyenek. 27/70
28/70
7. ábra Az adatelőkészítés fázisai 29/70
Ssz. 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. Követelmény leírása A rendszer tegye lehetővé automatizálható feladattervek készítését. A rendszer tegye lehetővé, hogy az előzetes tervek alapján, azokat végrehajtva automatizmusokkal támogatott, felügyelt folyamatok mentén biztosítsa a beérkező adatok fogadását követően azok feldolgozásra való előkészítését. A rendszer tegye lehetővé különböző fájlok (külső inputállomány) kezelését, felhasználását. A rendszer megfelelő eszközrendszert biztosítson a manuális állomány-feldolgozások támogatásához. A rendszer tegye lehetővé manuális feladatok és előzetes terv alapján végzett feladatok elvégzését úgy, hogy azok sorrendjére és kombinációjára ne tegyen megkötést. A rendszer biztosítsa az elkészült állományok átadását vagy elérhetőségét a megfelelő célrendszerek számára. (Például: EAR, ADÉL, egyedi Oracle regiszter-karbantartó feldolgozó és tájékoztatási rendszerek). Az adatátadások során a rendszernek együtt kell működnie a fogadó rendszerekkel azok fogadóképessége vagy egyéb speciális elvárások teljesítése érdekében. A rendszer legyen képes a célrendszerek által meghatározott struktúrájú output állományt előállítani. A célrendszeri átadás során a rendszernek képesnek kell lennie átadni a nézet szerinti szerkezet megadására, valamint a META-kapcsolatok megadására. A rendszer biztosítsa az elvégzett feladatok teljeskörű logolását és reprodukálhatóságát, valamint a feldolgozási feladatok adminisztrációjához a szükséges lehetőleg automatikus adatrögzítéseket. A rendszer biztoson felhasználóbarát felületet a logfájlok olvasására és azok tartalmában történő keresésre. A rendszernek biztosítani kell minőségi mutatók, jellemzők folyamati lépésekhez történő definiálásának a lehetőségét, azok értékének nyomonkövetését, riportolhatóságát. A rendszernek biztosítani kell, hogy a funkciók a META rendszerben meghatározottak szerint (META-vezérelten), adatforrástól független módon kerüljenek megvalósításra. A rendszer működése során biztosítani kell, hogy a folyamatok és adatok leírása a META rendszerben megtörténjen. 30/70