Mire vagyunk kíváncsiak? Az ESRI Geoadatbázis adattárház alapelvei (A VÁTI TEIR háttere) Dr. Szabó György egyetemi docens, gyszabo@eik.bme.hu A TEIR alkalmazásait kiszolgáló eszközök: Regionális tervezés típusfeladatai TEIR felépítése: fizikai adattárolás/ szolgáltatások/ alkalmazások Az adatkezelési alkalmazások komplexitásának fejlődése, ERP, SOA Geoadatbázisok tartalma, típusai, sajátosságai Geoadatbázis koncepcionális/fogalmi/fizikai tervezése Adatbázis rendszerek (BMEEOFTMLT3) 20 2 Vízió: egységes regionális nyilvántartás TeIR felépítése és OKIR integrációja https://teir.vati.hu http://okir.kvvm.h u/ A TEIR nyilvános és regisztrációhoz kötött alkalmazásai - https://teir.vati.hu/ ESRI Environmental Systems Research Institute 969 óta a térinformatikai piac egyik vezető vállalata 6
: komplex GIS Alkalmazások Desktop Engine Explorer Web Mapping Application Mobile Az alkalmazások komplexitásának fejlődése Desktop Engine Developer Kit Developer Kit API API SDK.NET COM.NET COM.NET.NET Java.NET C++ Java Szolgáltatások Adatok (Geodatabase) ArcObjects Desktop Personal for MS Access Server Server Developer Kit.NET Java COM ArcSDE technology API ArcWeb Services REST OpenLS Online J2ME SOAP File File Personal Workgroup Enterprise JavaScript ArcSDE Egy személy és az adatok Kisebb munkacsoport adatkezelése Néhány személy file megosztása Vállalat részlegei komplex munkafolyamatokkal 7 8 Kliens/szerver, Centralizált, SDI, SOA adatkezelési megoldások Services-Oriented Architecture (SOA) Vállalati rendszerek szolgáltatási integrációja Web Szolg. & Kommunikáció Utak Közművek Tervezés Környezet Üzleti alkalmazások Rendőréség 9... Nyílt, Rugalmas, Szabványos 0 Mi az az ERP (Enterprise Resource Planning)? Vállalatot átfogó rendszer, mely integrálja egy szervezet üzleti funkcióit és folyamatait Az üzleti funkciók integrációja egy zökkenőmentes alkalmazásba Rendszerint egy ABKR-ben (RDBMS) működik Számtalan ügyosztályi és munkacsoport szintű információs rendszert helyettesít. Mi az az ERP (Enterprise Resource Planning)? Összeköti az üzleti folyamatokat Fenntartja az ellenőrzési kényszerpályát Egy közös információs rendszert hasznosít A megvalósítása együttjár egy BPR (Business Process Reengineering) használatával Nehéz korrekten megvalósítani kényszerpályák www.eurosand.hu/index.php?opt ion=com_content&view=article &id=44:it-hir-&catid=7:ithirek&itemid=22 2 2
ERP példa az SAP R/3, de mi is ez? SAP = Systems, Applications and Products in Data Processing (R = real time, 3 = 3 tier) Német vállalat A világ harmadik legnagyobb független szoftver szállítója SAP: ERP piacvezető A Fortune 500 vállalatok 80% használ SAP-t Több mint 8,000 ügyfél, 20+ országban Több mint 2 millió felhasználó New Dimension Products Business Information Warehouse Strategic Enterprise Management Supply Chain Optimizer 3 4 Enterprise Structure Terminology Egy vállalaton belül már létező adatbázisok integrálása SAP Company Enterprise Subsidiary Client Company Code Kliensek Desktop Browser Mobil Factory Plant Enterprise Integration Platform Warehouses Department Sales Organization Division Business Area Sales Organization Division Storage Locations Alkalmazás szerverek Adat szerverek GIS ERP CRM CIS SFA SAP AG 999 5 6 Adatbázissal szemben támasztott követelmények: Az adatmodell részei: Hatékonyság Adatfüggetlenség Fizikai: az adatok elérése a tárolástól független Logikai: az adatbázis szerkezetének változása csak a megváltoztatott adatokat érinti, a többit nem Redundancia (ismétlődés) mentesség Adatvédelem hozzáférési jogosultságok Hibátlanság, az adatbázis egységének védelme Helyreállíthatóság Több felhasználós adatbázisnál az egyidejű hozzáférés kezelése Alapelemek: amiben az adatokat tárolják Integritási kényszerek: szabályok, amiket bizonyos adatoknak a hibátlanság érdekében be kell tartani Megszorítások: egyes adatokra vonatkozó szabályok Műveletek: amiket az adatokkal el lehet végezni 7 8 3
A GIS olyan mint más Információs Rendszer, csak: Üzleti Információs Infrastruktúra SAP R3, Oracle Financials, PeopleSoft, RDBMS IS Táblázat alapú adatkezelés Séma-vezérelt Alk. Logika Integritás Üzleti szabályok Viselkedés Tranzakciók GIS Komplex, nagy adat tömegek Összetett Eszk.-k k & Alk.-k Elosztott Hosszú Tranzakciók Többszörös szerkesztési állapotok & Alternativák Történetiség Osztott szerkesztés Osztott másolatok ( Replikák ) 9 Web Kliensek (ASP/JSP) Web Browser Apps Egyéb Kliensek Custom Desktop-ok ok Etc. Mobil Kliensek Böngészők Open Alkamazás Szerver Nagy teljesítmény Integritás & Viselkedés Üzleti szabályok Relációs Adatabázisok Generikus Táblák Multi-user user Tranzakciók... Az integritás és a viselkedés az Alkalmazói Szinten kerül kezelésre (az adatbázisra épülve, nem az adatbázison belül)... 20 Geoadatab databázis Adatkezelési Megközelítés A geoadatbázis egy kibővített relációs adatbázis kezelőre épül rá. Alap relációs modell Alap rövid tranzakciós modell Relációs integritás Megbízhatóság, Rugalmasság, Skálázhatóság Egyszerű tulajdonságok + logika Minden térképi (geographic) adat táblaként kerül tárolásra egy ABKR-ben Funkcionalitás konzisztents az ABKR-ben Kibővített funkcionalitás ás adat integritás (stabil állapot) Geoadatab databázis Adatkezelési Megközelítés Szerkesztés és az adatok összeállítása Gazdag szerkesztői eszközkészlet A térbeli és a tulajdonság adatok egysége Undo (visszavonás) és redo (újra) szerkesztések Ugyanazon adat több felhasználós szerkesztése Verziózási munkafolyamat Hosszú tranzakciók Elosztott adatkezelés Archiválás Robosztus, testreszabható keretrendszer Saját GIS megoldás építése és működtetése (stabil állapot) 2 22 Térképi adattípusok modellezése egyszerű relációs táblákban Geoadatabázis Több mint tér-képes (Spatially-enabled) Tábl blák Geoadatb datbázis Szabályok és viselkedés Vektorokok Topológia Földmérési Vonalhálózat (út) Képi (ortofotó) Domborzati CAD... Szabványos RDBMS technológia alkalmazásával 23 Topológia Raszter Katalógus Földmérési adatok Vonalas létesítmények szegmentálása Hálózat Domborzat 3D Objektumok Geoadatabázis Objektumok Szabályok adat Relációk Szabványokon alapuló, nyitott tárolás... Az átfogó séma kritikus az adatkezelésben Alkalmazási szint: Integritás, szabályok, vislekedés DBMS: Térbeli típusok és indexek 24 4
Geoadatbázis vs. RDBMS Üzleti logika meghatározó szerepe a tervezésnél Az üzleti logika az adatbázis viselkedéseként kerül leképezésre Szabályok adatbázisban való tárolása Integritás kikényszerítése Kapcsolatok és vonatkozó integritási szabályok Szub-objektumokintegritási szabályainak kezelése RDBMS Integritási kényszerek ellenőrzése Saját kulcs Idegen kulcs Geoadatbázis Domain/Sub-domain tulajdonság Kapcsolat osztályok A Geo-adatbázis bevezetése Egy tartály (konténer) a térbeli és attribútum adatok számára GIS adat egy relációs adatbázisban kerül tárolásra (RDBMS) Skálázható megoldások (személyes /personal/ GDB vagy intézményi /enterprise/ GDB) Szabályokkal támogatja az adatintegritást -ben vannak eszközök a létező GIS adatok áttöltésére. CAD files Shapefájlok Coverages Felhasználó által definiált eljárások Altípusok, topológia, geometriai hálózatok Raster Geoadatbázis Triggerek ek Kapcsolat osztályok vonatkozó integritási feltételekkel Egyéb 25 26 A Geo-adatbázis előnyei Geo-adatbázis Séma Építése Egy (egységes) RDBMS a térbeli és attributúm adatoknak Felhazsnálói objektumok Szub-objektumok (szabályok támogatása) Multiuser szerkesztés Geoadatbázis Bővített topológia Topológiai szabályok (validálás) Adatbázis tervezés What data? Spatial reference? Classes & subtypes? Relationships? Networks? Rules? Séma létrhozás az ArcCatalog wizardokkal 2 Adatimport Kapcsolatok beállít. Szabályok beállítása Domains Connectivity Relationship Topology Kapcsolatok (inegritás) Attribútum értékkészlet ellenőrzés 3 Séma létrhozás CASE eszközökkel 4 Séma létrehozás a geoprocessz keretében Adatbetöltés Skálázható erőforrások 27 28 Elemek a Geo-adatbázisban Geo-adatbázis Táblázatok Geo-adatbázis Feature dataset Spatial reference Feature classes Polygon Line Point Annotation Relationship classes Route Dimension Táblázatok Raszter adatok Raszter katalógusok Survey datasets Survey folder Survey Eszközkészletek Eszköz Modell Szkript Sorok és oszlopok együttese Non-spatial element Tartály az attribútum tum adatok, címek, x/y hely, útvonalak, események stb. számára Az oszlopnak lehet viselkedése Subtypes of rows Attribute default values Attribute domains Résztvehet a relationships -ben Geometric networks Topológia Viselkedés Attribute defaults Attribute domains Split/Merge policy Connectivity rules Relationship rules Topology rules 29 5
Térképelem osztályok (Feature Classes) Table that also stores shapes for features Each row represents a feature and its attributes Stores features with one type of geometry (pont, vonal vagy poligon) Allows for x, y, z, and m coordinates Has an associated spatial reference Projection, coordinate system, and spatial extents Térképelemek adategyüttesei (Feature Datasets) Térképelem osztályokat tartalmaz (feature classes) All share the same spatial reference Never tables no geometry A térbeli kapcsolatok modellezése szükséges (Required to model spatial relationships) Geodatabase topology Geometric network 3 32 Coverage (ArcInfo fedvény) Raszter adatok tárolása geoadatbázisban COL_NBR Tile 0 2 3 4 5 6 0 ROW_NBR 2 3 4 5 Multi-Resolution Pyramids Topológia objektum modell ROW COL 0 0 0 0 2 33 34 34 Domborzati adatok tárolása geoadatbázisban A geoadatbázisok 3 típusa Points and Breaklines Personal (személyi) geoadatbázis Egyfelhasználós szerkesztés MS Access-ben tárol Méretkorlát 2 GB Terrain Pyramids File geoadatbázis TB táblánként Csökkentett tárolási követelmények ArcSDE geoadatbázis Vállalati ABKR-ben tárol Sokfelhasználós szerkesztést is támogat a verziózással ArcEditor vagy ArcInfo szükséges a szerkesztéshez Personal Geodatabase File Geodatabase ArcSDE ArcSDE Geodatabase Oracle SQL Server DB2 Informix PostgreSQL Multi-resolution terrain dataset (TIN structure) 35 35 36 6
Három típusú Geoadatb datbázis Personal GDB File GDB ArcSDE GDB (3 editions) Melyik geoadatbázist válasszuk? Tárolási forma Microsoft Access Folder of binary files DBMS Tárolási kapacitás 2 GB TB per table* Depends on edition Támogatott op. r. Windows Any platform Depends on edition Felhasználók száma Single editor Multiple readers Single editor Multiple readers Multiple editors & readers Elosztott geoadatb. funkcionalitás Check out/check in One way replication Check out/check in One way replication Replication (all types) & versioning 37 UC2009 Technical Workshop 38 38 Geoadatbázis opciók Geoadatbázis változatok MS Access alapú szeméyles GDB File GDB ArcSDE GDB - 3 változat: Desktop, Workgroup, & Enterprise File Personal (Access) Size/Hardware limits Each table = TB Multiuser editing? No 2 GB limit No File GDB D Personal for MS Access Desktop Kapacitás Server File File Desktop Workgroup Enterprise A felhasználók száma ArcSDE 39 39 Desktop (ArcSDE)* Workgroup* Enterprise (SQL Server, DB2, Oracle, Informix, PostgreSQL) 4 GB limit Uses only CPU and up to GB RAM 4 GB limit Uses only CPU and up to GB RAM No size limit No Up to 3 connections, one editing at a time Yes Up to 0 connections, all of which may edit Unlimited Internet connections Yes Enterprise GDB UC2009 Technical Workshop 40 40 7
Alapvető tervezési lépések Koncepcionális tervezés Információgyűjtés _ térképek, alkalmazások, adatforrások, metaadatok Tematikus rétegek beazonosítása Koncepcionális tervezés _ térképi méretarány, adatkapcsolatok (relationships), módszerek, tulajdonságok Pilot, finomítás, megvalósítás Logikai tervezés Minden réteg meghatározása _ Térképi elem reprezentáció, attribútumok, jelkulcs Define database structure _ Térképi elemosztályok, adatkapcsolatok (relationships), értékkészletek (domains), szabályok (topológia, toleranciák, elsőbbség stb.) Fizikai tervezés Adat típusok raster, vector, surface, address Adatforrások coverages, shapefiles, CAD, other Attribútumok és a tulajdonságaik types, identifiers, domains, rules Adatkapcsolatok (relationships) network, topological, general 43 44 Koncepcionális tervezés Koncepcionális tervezés Minden egyes tematikus réteghez: adatforrás coverage, shapefile, imagery, scanning, digitizing, CAD, photogrammetry, survey, address, surface Térbeli (térképi) reprezentáció vector, raster, surface attribútumok IDs, nominal, ordinal, interval, ratio Adatkapcsolatok (relationships) cardinality, attributed, messaging Méretarány (és egyéb egységek) map extent, projection, units, accuracy Koordináta rendszer projection, parameters, precision Névrajz (feliratozás) jellemzői simple, feature-linked, symbols Fontos tervezési ügyek interesting and important cases 45 46 Logikai tervezés Map thematic layers to elements of geodatabase structure feature datasets, feature classes, geometric networks, topologies, survey datasets, relationship classes, tables, rules, domains Logikai tervezés Geoadatbázis séma diagram Feature class TaxParcel OBJECTID Shape Shape_Length Shape_Area Object ID Geometry Double Double Yes Yes Yes Geometry type Contains Z values Contains M values 0 0 0 0 Polygon No No TaxPIN Text Yes TaxParcelType Text Yes ExemptStatus Text Yes Mezők és tulajdonságaik definiálása Relationship class TaxParcelHasTaxRoll Type Simple Forward label TaxRoll Cardinality - M Backward label TaxParcel Notification None (no messages propagated) Origin table/feature class Destination table/feature class Name TaxParcel Name TaxRoll Primary key TaxPIN Foreign key TaxPIN No relationship rules defined. Allow Default Precision Scale Field name Data type nulls value Domain Length Table TaxRoll Allow Default Precision Scale Length Field name Data type nulls value Domain OBJECTID Object ID TaxPIN Text Yes AssessmentClass Text Yes AssessedValue Text Yes AssessedSize Text Yes LandOwnerInformation Text Yes?? TaxBillMailingInformation Text Yes?? TaxBillingInformation Text Yes?? 47 48 8
Földrészlet (telek) adatmodell Elektromos ktromos, gáz- és víz-csatorna rendszerek adatmodelljei Földrészlet kreálás Tömb -M Földrészlet -M Töréspont 2- -M Vonalak 0- Ellenőrzés 0- Vonal_pont 0-M 49 50 Mi mindent jelenthet a geoadatbázis? A térbeli adatok fizikai tárolási módja Különböző platformokon is támogatott méretezhető (skálázható) tárolási modell Alap (core) adat modell Egy széleskörű modell a GIS adatok leképzésére és kezelésére GIS feladatok: Hogyan építünk geoadatbázist Adatkészletek (és metaadatok) kezelése Egy tranzakciós modell a GIS munkafolyamatok menedzselésére Komplex összetevők halmaza az adatok elérésére Tároló az összes térbeli adat számára Feature classes, Raster datasets, Tables, Annotation, Relationships, Networks, Topology Viselkedés (szabályrendszer) létrehozásának a képessége 5 52 Infrastruktúra Példa: Fővárosi Szabályozási Keretterv 53 54 9
Adatok betöltése a geoadatbázisba Jelkulcs Konverziós eszközök import/export Copy/paste és drag/drop ArcCatalog egyszerű adatbetöltő XML import Append (hozzáfűz) geoprocessz eszköz ESRI adatmodellek (séma minták) 55 56 Eszközkészlet Közterületre közelítés Az FSZKT eszközkészlet használata: Telek kiválasztása rámutatással vagy téglalappal Telek kiválasztása sokszöggel Kiválasztás/hozzáválasztás helyrajzi számmal Középre hozás és M=:2000-es megjelenítés A teljes kijelölt terület megjelenítése Térképkivonat készítése Előírások kilistázása Méretarány választó Közterületre közelítés Kerületre közelítés Térképlap választó 57 58 Földrészlet kiválasztása rámutatással Előírások kiírása (listázása) 59 60 0
Védelmek és korlátozások térkép lap Közmű alkalmazások 6 62 Tevékenységek Üzemeltetés Karbantartás Létrehozás Létesítmény Felújítás Átépítés Ismertetés Népszerűsítés Karbantartás Integrált rendszer Üzemeltetés Karbantartó, hibaelhárító Diszpécser szolgálat Biztonság- védelem Műszaki szervezet Adat-, alkalmazás szerver Népszerűsítés Szöveges adatbázis Térképi adatbázis Gazdasági szervezet Létrehozás Pénzügyi szervezet Irányító szervezet Felújítás Átépítés Külső tervező, kivitelező 63 64 Hálózat üzemeltetése Enterprise Geodatabase ArcObjects Diszpécser Karbantartók Hiba bejelentések Karbantartási feladatok Hibajavítás, karbantartás Kieső fogyasztók értesítése Hálózati elemek lezárása Hiba kijavítása / karbantartás elvégzése Lezárt elemek megnyitása Feladat elvégzésének jelentése User Schemas Geodatabase System Schema Business tables Feature tables Spatial Index tables A and D tables Raster tables Topology tables Geometric Network Tables Miscellaneous Tables Log files, Spatial Processing Non-Spatial Business Table GDB_ tables ArcSDE tables ArcMap ArcCatalog Server Engine Explorer* ArcIMS Native SQL* 65 66
Az objektumok szerkezete a közműveknél: End-to to-end megoldás szabványos architektúrán Business Support Customer Care Generation Transmission/Distribution ERP/WMS EMS/DMS COM Integration Framework 3d Party Or Custom Application Custom Application Viewer Design Outage Analysis Desktop/Web Dist WMS/ERP OMS/Switching Network Analysis Data Model and ArcFM Energy (Models and Tools for Mapping and Network Data Management) ArcObjects ArcIMS ArcView Arc/Info (Core GIS Functions) ArcSDE ArcPAD Open RDBMS 67 68 Vision: Standard, Repeatable Integration Objects Hálózat elemei OpenFM Interface Model SAP R/3 Hálózati elem Material Master Accounting Human (FERC & Resources G/L) Plant Maintenance Equipment Master Project System Customer Care System Csomópont Összekötő él BAPI BAPI BAPI BAPI Interface Std Section 5.2. Middleware Interface Std Interface Std Section 5.2.2 Section 5.2.3 Interface Std Section 5.2.4 Egyszerű csomópont Egyszerű él Geographic Information System Mobile Data Dispatch Outage Management System Network Analysis Összetett csomópont Összetett él Distribution Management Technologies 69 70 Hálózat áramlási irány Él csomópont csatlakozási szabály Csomópont Forrás A műtárgyhoz legalább, de legfeljebb 4 vezeték csatlakozhat Nyelő Egyik sem Áramlás forrásoktól (kút) nyelők (fogyasztó) felé halad. 7 72 2
Él műtárgy szabály Hálózati séma generálása A vezetékhez 0 vagy lezáró elem csatlakozhat 73 74 3