A Bükki Karsztvíz Észlelő Rendszer (BKÉR) adatainak adatbázisba szervezése Balla Béla, Hernádi Béla, Lénárt László Szervezet: Miskolci Egyetem Elérhetőség: belarnd@gmail.com, hernadib@t-online.hu, hgll@uni-miskolc.hu Előzmények. A BKÉR elindításának okai részben klimatológiai (a 80-as évek csapadékhiánya), részben az akkori magas vízigény miatti vízhiányos időszakok voltak (1. sz. szövegközi ábra). 1. ábra A Jávorkút (Bánkút) csapadékának éves összegzett eltérése a sokéves átlaghoz képest Az ÉVIZIG-nél ezért Stéfán Márton főmérnök előregondolkodást sürgetett a vízművek termelési lehetőségének vizsgálatára. A folyamatos mérés a helyi vízművek támogatásával, a Miskolci Egyetem koordinálásával 1992-ben kezdődött el, az 1983-ban Böcker Tivadar vezetésével lemélyített 5 db karsztvízszint észlelő kútban (2. sz. szövegközi ábra). 2. ábra Böcker Tivadar féle kutak 1983 1
A BKÉR az idők során több mint 80, különböző típusú mérési hellyel bővült. A mérési adatok uralkodóan vízszint- vagy nyomásszint, kis részben hőmérséklet és még kisebb részben vízvezető képesség adatok. A mérés a folyamatosan fejlesztett Dataqua típusú műszerek segítségével történt, illetve történik, az utóbbi 12-13 évben 15 perces mérési gyakorisággal. Az adatok gyűjtése, korrigálása, napi átlagképzése táblázatkezelő szoftverek (pl. MS Excel) segítségével történt. Az MS Excel óriási előnye az ismertsége, de hátránya a korlátosan kezelhető adatállomány-méret, valamint adatbiztonsági problémák. E miatt a műszerből származó adatok fogadására és előfeldolgozására egy adatbázis kezelőt kellett alkalmazni. A Kútfő Projekt keretében egy MS Access alapú adatbázis építését kezdtük meg, mellyel szemben elvárás volt, hogy az archív adatok mellett a program képes legyen a keletkező új adatok fogadására, a szükséges adatkorrekciók végrehajtására, átlagok képzésére, továbbá a leválogatott adatok vágólapon keresztül történő másolására MS Excelbe vagy más programokba. 1. Az adat tárolására egy tömör mag került kialakításra (3. szövegközi ábra): Az excellel ellentétben itt a magot adattáblák alkotják, melyek közt adatkapcsolat van. Az adattábláknak nevei jellemzőek: 1 a leg lényegesebb tábla, az adatokat tartalmazza (dátum, mért-, javított-, törölt- érték, hitelesítés jelzése a véletlen felülírás ellen) Fájlok táblája, a fájl azonosítója, amiben az adatok is eredetileg rögzítésre kerültek A kisebb kapcsolódó táblák nevei önmagukért beszélnek 3. ábra Az adatbázis magjának felépítése 2. Az adattáblákat a szűrő rész jól mutatja (4. szövegközi ábra): - A bal alsó tábla a kézi, egy és több műszeres kinyert adat típusokat kezelését. - A jobb alsó tábla, a barlangi, felszíni és felszínalatti objektum típusokat. - A jobb felső sarokban, a dimenziókat. - Fölötte a jobb oldalon, középen a tulajdonságok, a dimenziók definiálását. Erre azért van szükség, mert a mérések indításakor (egyes leolvasásokat követően) gyakran történtek dimenzió tévesztések, melyeket korrigálni kell a szokott dimenziókra (vízszint m, csapadék mm, stb). További korrigálás történt mikor a beépítési szint megváltozott (+/-) konstanssal. - A leszűrő rész és a szűrt mérési adatok (az első sor két táblája) már mindezekre épül. 2
4. ábra A szűrő rész, szűrt mérési adatok és az ehhez kapcsolódó adattáblák Célunk volt, hogy a rendszer tovább fejleszthető legyen, akár a BKÉR alapján kifejlesztendő Karsztárvíz Előrejelző Rendszer (KER) online adatainak fogadására vagy a Miskolci Vízműforrások Diagnosztikai Vizsgálatainak kötelező felülvizsgálata során keletkező adatok fogadására és kezelésére is. 3. Az adatokkal való feltöltés A kiindulást a 23 évnyi, mintegy 5,8 GB terjedelmű, többféle formátumú, csaknem 10.000 felhasználásra konvertált fájl jelentette, melynek feltöltésére külön felhasználói felületrész készült. Az adatfeltöltés felülete nagyon összetett (5. szövegközi ábra) 1. Fájlnév A fájl megnyitása. Ha ez XLS, akkor vágólapos másolással az adatok a táblába kerülnek. A program 14 féle fájl formát ismer fel automatikusan, a többit manuálisan kezeli. 2. Automatikus kitöltés, ha felismeri az adatokat. 3. Adatokat ellenőrzése, korrigálása 75 féleképpen történik, s ebből a program 34 problémát automatikusan megold. A többi 41-ben döntés szükséges a megoldáshoz. Ezért nem mindegy ki viszi fel az adatokat. Néhány probléma ezek közül: a) Az utolsó sorok az adatkinyerésnél a műszer adatgenerálási kényszere miatt nem korrektek. Az utolsó sor pedig átlag érték mely szintén elhagyandó. b) A régebbi txt fájlok hiányosak (relatív nívó, pontatlan név) c) Új műszer adatok REC-> TXT vagy DXT formában történő kimentésében is számos azonosító hiányzik (Z, rel, nívó, egyedi azonosító, mérési hely). d) Dátum problémák (nem szabványos forma, adattöbblet, dátumkonverzió, nyári-téli időszámítás) e) műszer hiba miatti megállás és újraindítás miatti adathiány 4. Mentés az adatbázisban Ha az adatok korrektek, a program csak akkor engedi a használatát. A feltöltő rész összetettsége miatt a felhasználók többsége jogosultság híján ezzel a résszel nem találkoznak. 3
5. ábra Az adat importálás felülete Az adatok ellenőrzése során a műszerhibák, mérési hibák, tárolási problémák adathiányokat okoztak. Ezek teljes értékű kezelését (régi tároló eszközökből való eredeti állományok visszanyerése, konvertálása, adatpótlások stb.) a nagy munkaigény és a régi kinyerési formák hiánya miatt nem tudtuk megoldani. Az adatok, adathiányok grafikusan is megjeleníthetőek (6. szövegközi ábra). 6. ábra Az adatok, adathiányok grafikus megjelenítése 4
Pillanatnyilag az adatbázisban 12.736.780 rögzített adat található, mely nem csak az új adatokkal, hanem a régi, előbányászott adatokkal is bővülhet. 4. Adatbázis kezelő felhasználói felülete Az adatbázis kialakítása nyitott, bővíthető. Az adatokkal történő feltöltéssel párhuzamosan továbbfejlesztettük és finomítottuk a felhasználói felület is. Az adatbevitelt és korrigálásokat könnyítendően a program SQL-be íródott, melynek 2015.04.11-i verzióját a Kútfő Projekt zárásával 1.0-s verziónak neveztük el. A program egyes funkciói a főmenüből érhetőek el. Az eltérő színű területeken jogosultság függő módon dolgozhatnak a felhasználók, történhetnek a hitelesítések, adatmódosítások, importálások (7. sz. szövegközi ábra). 7. ábra A program főmenüje 15.04.11 preverzió = 1.0 verzió Importálás (A főmenűben fekete kerettel jelölt területen) A program 14 féle különböző file formát ismer fel automatikusan, a többit manuálisan lehet lekezelni. Műszeres és kézi mérések is feldolgozhatók. A rendszer a rögzített adatokat 75 szempontból ellenőrzi, s ennek alapján 34 féle problémát automatikusan megold. A többi 41 esetben döntést kér a felhasználótól, mely után manuálisan megoldható a probléma. (Ezért sem mindegy ki viszi fel az adatokat!) Az adatmódosítások, hitelesítések (világos- és sötétkék) Az adatmódosításokat a hitelesítések védik az adatok véletlen felülírás ellen. De hitelesítés nélkül is a felhasználói felületen a szükséges leválogatások elvégezhetőek. 5
Felhasználói felületen elérhető lehetőségek (neon zöld) A nyers (konvertált), napi átlag, vegyes adatok megjelenítése az adatbázisban szereplő adattípusokból. Teljes vagy szűkített idősor megjelenítése minimális vagy bővített adattartalommal. Teljes mérési adatsor, vagy átlagok (napi, dekád, havi, hidrológiai féléves, éves, és naptári éves) listázása. A listázás közben megjelenő ablakban a kinyert, feldolgozott és hitelesített adatok száma megjelenik, melynek elfogadása esetén az adatok táblája elkészül. Vágólapon keresztül a kijelölt adatok MS Excelbe másolhatók (max. 65 535 adat egyszerre) és grafikon szerkeszthető. A napi átlagadatoknál az értékek és a napi pótolt értékek külön feltüntethetőek, és eltérő színnel jelölhetőek (8. sz. szövegközi ábra). 8. ábra NV-17-es mért és pótolt adatainak megjelenítése leválogatást követően MS excelben 5. Összefoglalás (Lehetőségek, javaslatok) A BKÉR archív és friss adatainak tárolására elkészített adatbázis kezelő SQL-ben (1898 oldalban) íródott. Az előzetes elvárásoknak megfelelően az archív adatok mellett a program képes a keletkező új adatok fogadására, a szükséges adatkorrekciók végrehajtására, átlagok képzésére, továbbá a leválogatott adatok vágólapon keresztül történő másolására MS Excelbe vagy más programokba. Az archív adatokból több mint 12 millió került feltöltésre. Ez óriási érték, melynek karbantartása, fejlesztése, alapvető feladat, de mint minden ez is támogatás függő. A finanszírozás nagyban függ az adatbázis potenciális felhasználói körétől, és az észlelő rendszerek (BKÉR, KER) bővülésétől: 6
Potenciális felhasználók lehetnek: A bükki hidegkarsztvíz művek (elsősorban a számukra kötelező mérési helyek miatt, valamint, mert karsztvíz termelők és vízellátók), A meleg karsztvizet termelők, akik zömmel egyben felhasználók is, A hatóságok, szakhatóságok, vízügyi szervezetek, polgármesteri hivatalok, akik részben ebből dolgozhatnak, részben pedig az adatbázishoz való csatlakozást az adatszolgáltatás részévé tehetik, Karsztkutatók (elsősorban szakmai tevékenységként), Szakmai szervezetek, A közösségi laikus érdeklődők. Javaslatok: 1. a BKÉR fenntartása, 2. a több mint 80 mérési objektum célszerű bővítése, a MIVIZ (Miskolc Holding, Polgármesteri Hivatal) diagnosztikai munkái alapján kötelezően mérendő mérőhelyekkel, a meleg karsztvizet termelők és felhasználók mérőhelyeivel, KER tervezett új vízrajzi és meteorológiai állomásaival. 3. A BKÉR 1.0-s adatbázis kezelő tovább fejlesztése a KER online adatainak fogadására alkalmas módon (2.0 verzió). weben történő megjelenítésre alkalmas forma kidolgozása (2.1 verzió). a rendszer egy adott (vagy létrehozandó) szervezeti egységbe való tartós integrálása, a működési feltételek biztosításával, ezáltal az adatbázis kezelésének egy kézben való tartása. 6. Köszönetnyilvánítás A kutatás a Miskolci Egyetem Műszaki Földtudományi Karának felszín alatti vizekhez kapcsolódó nemzetközi kutatási potenciáljának fejlesztése célzott alapkutatási támogatása által az Új Széchenyi Terv keretein belül a TÁMOP-4.2.2/A-11/1-KONV-2012-0049-es KŰTFŐ nevű projekt keretein belül az Európai Szociális Alap finanszírozásával jöhetett létre. 7