Adatok és használatuk

Átírás

1 UWexpert Adatok és használatuk RDBMS Készült az UWexpert projekt keretében, a DHI Prága oktatási anyagainak felhasználásával 1 UWexpert Motto Mivel a poszt-indusztriális szervezetek a környezeti komplexitás és zavarok növekedésével találják magukat szemben, igényük a folyamatokról szóló információkra és a kényszer, hogy döntéseket hozzanak jelentısen növekedni fog", (Huber, 1984). UWexpert Modell adatok Rendszer elemek Csıvezeték (X,Y,Z, hossz, átmérı, érdesség, lejtés, ) Akna (X,Y,Z1,Z2, átmérı, befolyó, elfolyó) Szerkezeti elemek (szivattyú, túlfolyó, tározó, bukó, ) Vízgyőjtıterület (méret, lejtés, vízzáróság, lakószám) Folyamatok (idısorok) Vízfogyasztási adatok Vízhozam adatok (v, h, Q) Vízminıségi adatok (O2, NH4, No3, P) Csapadék (intenzitás) Mőködési adatok Zsilipkezelés, szivattyú QH,.. 1

2 Adatforrások [m] 35.0 Flags h [mm] Untitle d Prága, szennyvízcsatornázás: Master Plan Bonyolult csatornahálózat [m] B_O5B V166Os V A_O18A B V167 A_ [m] P B_O11B A_O1A V BS A_O20A A_O20A A_O15A Os A_O2A A_O16A BS Os Vl F A_O13A D1 A_O21A D B C M_0 A_O9A A_O14A A_O10A A_O11A Po%% [m] F3 M A A_O4A Solid Stod Jih B Barr KSB JM modr [m] Prague Project Data Csatornarendszer - LIDS, 20M Digitális referencia terep, Prága, ArcInfo, 100M Digitális térkép, Prága, DGN, 48M Ortofotó, Prága, JPG, 77M, DMT Prága (10x10 m, 30 cm ), 240M Kartográfiai térkép, Prága, TIF, 80M Talajvízszintek, 30m x 30 m háló, MGE, 20M 7 mérıállomás 9 éves csapadék idısorai, ASCII, 5M Fejlesztési tervek Prágai beépítési térképek zöld felületek és védett területek térképei Mérési adatok (19i, 19Q, 25H) Csapadék adatok - Gandalf, 500M Csat. rendszer mat. modellje, MOUSE, 5000M Befogadók mat. modellje, MIKE11, 2000M Vízgyőjtı adat, lak., vízzáró terület, Mapinfo, 500M Szimulációs eredmények MOUSE, MikeView, 20000M Szimulációs eredmények MIKE11, MikeView, 10000M 2

3 Adatigény az egyes adat tulajdonosoktól Közmő vállalat GIS CAD RDBMS Tulajdonos RDBMS Kormányzati hivatalok Kutatóintézetek Speciális Szimulációs eszközök modell RDBMS GIS CAD Mérnöki tanácsadó cégek Szimulációs GIS, CAD Speciális modell RDBMS eszközök DHI szoftver család Együttes adatkezelés, Prága 3

4 Együttes adatkezelés, Szófia Feladat azonosítás A vízi környezet folyamatainak tervezése és kezelése integrált adatkezelésen alapuló, a jelenleginél lényegesen magasabbszintő munkát igényel az egyes szervezetektıl. Ez az igény ritkán elégíthetı ki. A menedzsment és a tervezési folyamatok egyik súlyos akadályozója az adatok inkonzisztenciája, ellentmondásossága. Dynamics of economical processes New technologies Management Management and planning and planning in urban in Water drainage utilities area Restricted financial sources Protection of living environment Az adatok állapota napjainkban Változások a vízhez kötıdı problémák megközelítésében Növekvı igény az integrált megoldásokra Az információ technológia hatásai Összpontosítás az élı környezetre Változások az adatigényben Növekvı adatigény (minıség, mennyiség) Az adatgyőjtés, frissítés és tárolás növekvı költségei Igény a gyors és olcsó adatcserére Igény a folyamatos adatfrissítésre és kezelésre Napjaink adatforrásai széles tartomány és nagy adattömeg Csak az adatok egy része digitális formátumú Sokféle, specializált adatbázis Változatos tulajdonságú adatbázisok, formátumok, minıségek Kommunikáció az export/import eljárások szerint 4

5 Az adatok értelmezése m Bf. m. Af. Csatorna adat? X? X Népesség adat?? + Hidraulikai adat? Tervezési módszer? Értékelési módszer Az adatok értelmezése Felmérések Relatív távolságok X1,Y1 X1,Y1 X2,Y2 X1,Y1 X1,Y1 X2,Y2 Topológia Szerkezetek L2 X2,Y2 L1 X1,Y1 X1,Y1 Példa szerkezetekre 5

6 EXCELL TABLE FROM MANHOLE SURVEY SITUATION PLAN IN CAD FORMAT FROM MANHOLE SURVEY GIS THEMES EXCELL TABLE FROM MANHOLE SURVEY SITUATION PLAN IN CAD FORMAT FROM MANHOLE SURVEY GIS \U+ 0442\U+ 0435\U+ 043C\U+ 0438: HORISONTAL, VERTICAL PLAN AND PHOTO FOR MANHOLE EXCELL TABLE FROM MANHOLE SURVEY kanal_pkt_ms kanal_pkt_ms kanal_pkt_ms START MS-GIS TRANSFER 1 CONTRACT CREATE THEME kanal_pkt_ms FOR COLLECTOR KAKACH VERIFICATION DOES MANHOLE EXIST IN GIS YES VERIFICATION DOES MANHOLE HAS RIGHT LOCATION YES ENTER DATA "A" IN GIS THEMES VERIFICATION OF NUMBERS -FILL FIELD SAVE AS kak_pkt Ms_No JOIN TABLES kanal_pkt_ms COPY FIELDS WITH DATA"B" FROM kanal_pkt_ms TO CUT THEME CUT THEME SAVE AS kak_lin CUT THEME weir SAVE AS kak_weir USE THEMES kak_pkt kak_lin kak_weir IN SIMULATION MODEL NO NO weir kak_pkt kak_lin kak_weir CREATE NEW MANHOLE IN GISTHEMES MOVE MANHOLES 2 CONTRACT DATA BASE corrected /PROGRAM SOFIYSKA VODA/ VERIFICATION DOESMANHOLE HAS RIGHT LOCATION YES START MS-GIS TRANSFER FILL DATA FROM 2 CONTRACT IN DATA BASE /PROGRAM SOFIYSKA VODA/ RUN AVENUE SCRIPTS TRANSFER MEASURED DATA IN GIS THEMES CORRECTPROBLEMS IN GIS THEMES RUN AVENUE SCRIPTS NO go to Eryl's team go to GIS team aqva base connectivity checks CORRECT LOCATION OF MANHOLES IN GISTHEMES Mőtárgy példa Adatkezelési folyamata Szerzıdési adatok Egyedi adat értékelés Adat összekapcsol hatóság ell. Terpadatok ellenırzése GIS adatok igazolása Szimulációs modellezés Egyéb adatforrások Adatkommunikációs problémák Adat formátum - vektor x raszter adat, ASCII x BIN x RDB, Adatszerkezet idısor, nyári/téli idıszak, objektumok Adat konverzió - hálózati topológia, koordináta rendszer, m.egys. Adathasználat mennyiség, kezelés, változások, frissítés Általános problémák adatforrás minısége, költs., egys, format, hibák Értelmetlen és idıtrabló munka a nagy valószínőséggel véletlen és/vagy szisztematikus hibákkal terhelt hosszú idısorok feldolgozása.! HIBÁS DÖNTÉSEKHEZ VEZET! 6

7 A. NW 150PVC S a h l i s t r a s s e S= C B. Sa= K l a v i e r w e g NW 120 BR NW 150 P VC E1 A2 A1 HE 81 D = E1 = A1 = A2 = ) ) Az Integrált Adatkezelés (AI) alaptézisei Az adatok manipulálásával kapcsolatos problémák az Adatkezelés hiányosságai miatt következnek be. Az adatrendszerezés minıségének javítását szolgálhatja az adatok Integrálása. Az adatintegrálás fı célja a könnyebben elérhetı, többszörös hasznosítású, hosszú élettartamú, az adatkezelés technológiájától független Homogén Adatkörnyezet elérése A sikeres, hosszú élettartamú adatkezelés elérésének alapvetı technikai feltétele egy megfelelı Adatmodell értelmezési tartomány kifejlesztése. Az adatintegrálás lehetısége Sys Level Acctng GIS eszközök ) Sys Level Acctng NW 150 PVC 1956 NW 150 BR 1936 NW 200 PVC 1956 Add Edit Cancel CAD eszközök Sys Level Acctng Add Edit Cancel Szimulációs eszközök Az AI alapvetı céljai Egyszerő adatátvitel és integráció (egyezményes adatszolgáltatás az egyes adattulajdonosok között ) Az adatok legyenek függetlenek a személyek cseréjétıl (az adatszerkezetek világos, egyértelmő dokumentálása) Függetlenség az adatkezelés technológiájától (könnyő hozzáférés az adatokhoz és egyszerő alkalmazás ) A tárolás és frissítés egy helyen történjen (nagy kapacitású tároló) Hosszú idıtartamú adathasználat (jó minıségő adatmodell tartomány) Az AI alapvetı technikai feltételei az ADATMODELL fejlesztésénél találhatók. 7

8 Az AI értelmezési tartománya Az adatmodell a valóságos rendszer szerkezetének egy sajátos absztrakciója az adatok tulajdonsági és kapcsolatai formájának leképezésével a digitális informatikai világban. Az adatmodell egy fogalom, nem pedig egy termék Fogalmi adatmodell fogalom a világ transzformációjáról Logikai adatmodell az adattulajdonságok és táblázatok közötti kapcsolatok Alkalmazott adatmodell alkalmazás adatbázis formájában Adatmodellezés Valóság poklop Dom ovní přípojka O ddělovací kom ora poklop Výusť Adatmodell magja Sekce Uzel Spoj Állandó objektumok Oddělovací komora Šachta Domovní Přípojka Šachta Komplex víziközmő rendszerek A rendszert egy sor, egymással kapcsolatban lévı, egységet alkotó és feladattal rendelkezı komponensként jellemezhetjük. Ezt a feladatot egyik komponens sem képes önállóen ellátni, hanem csak a többi komponenssel együtmmőködve. (Probs 1988) Szennyvíztelep Vízgyőjtı Domain Action Physical elements Elements Environment Városi csatornázás Ivóvízellátás telekommunikáció szállítás Víellátó hálózat Csat. hálózat Üzemeltetés & fenntartás Szennyvíztelep Menedzsment & tervezés Supply & Drainage system Natural Environment Józan ész Befogadó Szabályok, szabályozás & jogszabályok 8

9 9 Házi bekötés Szakasz Csatl. Csomóp. Szerkezetek Kifolyás Szelep Bukó Zsilip Sziv. Átemelı Z.kiömlı Tározó Ülepítı tározó Bújtató Csatornázás részrendszer Csı Akna Bench Elektr. egység Létra Lit Védıtáv. Ejtıakna Fojtó csı Komplex Csatornarendszer Section Joint Node Hydraulic river structure Valve Weir Gate Culvert Flood plain Sluice Dry Polder Pond Befogadó részrendszer Riverbed section Dam Bank Limnigraph station Swimming area Water take-off Bed drop Komplex Befogadó rendszer Diverting structure Section Joint Node Hydraulic WWTP structure Outlet Valve Weir Gate Pump Pump station Activation tank Retention tank Sedimentation tank Inverted siphon WWTP part structure Pipe Manhole Screens Electric unit Ladder Lit Sludge tank Drop Throttling pipe Complex WWTP structure Csomópont Csap. mérı Szintmérı Mintavevı Hozammérı Idısor kezelés Vízm. adat Csap. adat Hozam adat Vízáll. adat Komplex Monitoring rendszer TV kamera ellenırzı Rendszerhiba helye Rekonstrukciós helyszín Visual inspection site Komplex Üzemelési rendszer Cél objektum Komplex Tervezési rendszer Víz ell. szervezet Lakósőrőségi területek Helyi hatóságok Kataszter Védett terület Besziv. zóna Csatornázási terület Urbanizált terület Csatorna beruházás Szennyvíz ellenırzır szervezet Szv.telepi beruházás Vízfolyás beruházás Görbe Vonal Cél objektum Komplex szabályozók Helyi szabvány Korlátozás Node Household Wastewater source Structure Industrial effluent Pump Emergency overflow Arc Catchment Infiltration area Line Fogalmi objektumok adatmodellje Adatmodell (ESRI) MIKE URBAN alkalmazás Editors Long Prf TS graph ToC MapView I. MapView II. Info

10 Mike Urban adatintegráció Idısorok Szerkezeti adatok Geometriai adatok Fı eredmények Egyéb rétegek ArcMap Arc catalog ArcToolbox MIKE URBAN felépítés Use ArcGIS desktop to author and use geographical information. Use ArcSDE to manage multiuser information in a DBMS. Use ArcIMS to publish and share information on the Internet. MIKE URBAN felépítés MIKE URBAN az ESRI ArcObjects technológia alkalmazásán alapul 10

11 MIKE URBAN felépítés Az adatkezelés lehetséges az egyedi felhasználó saját adatbázisával (Microsoft Access) és a többfelhasználós (Oracle) adatbázissal Felépítés ArcMap MIKE URBAN ArcObjects Based on ESRI ArcGIS technology A fully object oriented COM architecture A geoadatbázis GeoDatabasea födrajzi adatok tárolója. Minden adato t a szabványos DMBS-ben kezelnek, a táblázatok a szabványos SQL adattípusnak megfelelıek.. MIKE Urban Architecture ArcMap MIKE URBAN ArcObjects Based on ESRI ArcGIS technology A fully object oriented COM architecture MIKE URBAN lehetıvé teszi az adatok széles körével való munkát: (CAD), számos GeoDatabase megjelenítı és táblázatos formátumokat, egyéb adattípusok használatát. Az adatokat megjelenítheti és kezelheti az ArcCatalog-gal. Go back 11

12 Az integrált adatkezelés elınyei o Az adatokat egységben látjuk o Ugalmas döntéshozási folyamat o A kommunikáció nyelve egyszerősödik o Megtakarítások az import/export technikák frissítésében o Az informácivesztés és az adatkettızés megszüntetése o Adatmegosztás és párhuzamos adatkezelés o Megtakarítások az alkalmazások fejlesztésénél o Függetlenedés az eladó technológiájától Könnyen hozzáférhetı adattároló, többszörös felhasználó és hosszú élettartam függetlenít az adatkezeléstıl, és a tervezési és menedzsment folyamatok információ forrásaként szolgál. Kockázatok az integrált adatkezelésnél Az emberi tényezı (szakértıi csaport, generációs probléma) Szervezeti gátak (vállalat szervezeti felépítése, személyek, piac) Alkalmazási lehetıségek (hatékony adat hasznosítás) A tisztán technikai megoldás ILLÚZIÓ Tervezési hatékonyság Inf.techn. illúzió Az Információ-technológiára alapozott változtatás hatékony a technológiában, az üzleti folyamatokban és a szervezeteknél. Folyamat automatizálás UWexpert Az adatok felhasználásának gyenge pontjai 1. Ha az adathasználatban csak valamely speciális feladatra koncentrálunk - Szimulációs modell, GIS 2. Csak a rutin feladatokhoz tartozó adatokra koncentrálunk különbözı igényő és tartalmú adathalmazok 3. Erıs felhasználó-személy és/vagy technológia függıség - Adatkezelés és értelmezés - Egyéni adatszerkezetek, nagyszámú programozási interfész 12

13 UWexpert Következtetések o A víziközmővek modern menedzselése és a tervezési folyamatok nem végezhetık el a a bonyolult információtömeg ismerete nélkül. Az adatok jelenlegi állapota azonban nem fele meg az ehhez szükséges igényeknek. o A jelenlegi adatkezelés nem hatékony,idıtrabló és nagy valószínőséggel random, illetve szisztematikus hibákat visz hosszútávon a folyamatba. Következményképpen, az ilyen adatok a döntéshozókat hibás döntésekhez vezetik. o Az adatok szervezésében javulást csak az Integrált Adatkezeléssel érhetünk el. Az adatok integrálása olyan homogén adatkörnyezetben lehetséges, amelyre a könnyő hozzáférhetıség, a többszöri felhasználhatóság és a hosszú élettartam jellemzı, függetlenül az adatkezelés technológiájától. o Az integrált adatkezelés alapvetı technológiai feltételeit az adatmodell értelmezési tartományával teremthetjük meg, azonban az alkalmazás sikerességéhez a felhasználói szervezet módosítása is szükséges. 13