Miről volt szó a múlt órán? Adatbázisok definíciója, típusai. Hogyan nyerünk információt egy strukturált adatrendszerből?

Átírás

1 Adatbázis rendszerek MEEOFTMLT3 3. Adatbázis kezelők kialakulása, fejlődtörténet, modellek, tervezi alapelvek Dr. Szabó György, egyetemi docens, Miről volt szó a múlt órán? Tennivalók: 1. Ügyfélkapus regisztráció bármelyik okmányirodában 2. Regisztrálás a honlapon mint ME Építőkaros mesterszakos hallgató 3. Várni a VÁTI aktiválására 4. ejelentkez a TEIR-be ügyfélkapus autorizációval, áttekinteni a TEIR alkalmazásait Javasolt böngző: Mozilla Firefox Adatbázisok definíciója, típusai Adatbázis: adatok valamely célszerűen rendezett, szisztéma szerinti tárolása Típusai: Tényadatbázisok: strukturált formában tárolt adathalmaz az elemek között definiált kapcsolatokkal -> ADATÁZIS Dokumentum adatbázisok: szöveg, hang, kép dokumentumok halmaza belső strukturális összefüggek nélkül -> a műszaki gyakorlat ez idáig hanyagolta, de a GOOGLE Hogyan nyerünk információt egy nem strukturált adatrendszerből? Hogyan nyerünk információt egy strukturált adatrendszerből? Hagyományos adattárolás problémái Évezredes gond az információk fizikai tárolása visszakerese A különböző felhasználóknál szétszórtan elhelyezett adatok elére nehézséget okoz. A különböző szervezetek eltérő kódolási, tárolási rendszert használnak. Az adatok ellenőrze, aktualizálása nehézkes. Az adatok elére, lekérdeze, fizikai mozgatása lassú. Az adatok általában csak néhány felhasználó számára érhetők el egyidejűleg. Az adatok felhasználása általában az eredeti gyűjti célra korlátozódik. MEGOLDÁS -> ADATÁZISKEZELŐK Adatbázis rendszerek 3. 1

2 A fizikai adattárolás általános problémái Digitális adatnyer -> nagy addattömeg Széleskörű hozzáfér biztositása Tárolás/lekérdez ellentétes szempontjai Változásvezet, törl, beszúrás anomáliái Térbeli elemz specialitásai Adatkezel fejlőde Kartoték/lyukkártya/mágneszsalag/File Soros elér - termzetes sorrend Szekvenciális elér - logikai sorrend - bináris/logaritmikus keres Index-szekvenciális kezelő rendszerek: Logikai előnyök/üzemelteti korlátok Tranzakció biztonság Attr eszközök Szakadat A jelenséggel kapcsolatos információk egy rze adat formájában, egy rze a programkódba kerül beépítre -> Fekete doboz logika Adatbázis kezelők előnyei az adatok strukturált szabványos tárolása, az adatok közötti komplex kapcsolatok ábrázolása, eltérő forrásokból származó adatok összekapcsolhatósága, adatbevitel ellenőrze, adateredet naplózása, felhasználói programoktól, fejlesztői eszközöktől való függetlenség, konkurens felhasználói jogosultság, hozzáfér-kezel, erőforrásokhoz való konfigurálhatóság, szabványos felhasználói, lekérdező felületek, adatvédelem, -titkosság, User Interface redundanciamentes tárolás, ővít adatbázis-konzisztencia biztosítása, DMS külső rendszerekkel való kapcsolattartás, Adatbázis Koordináta ID X,Y,Z Topológia ID Link ID Attrib. korlátai az adatkezel speciális szakértelmet kíván, a megbízható rendszerek relatíve drágák, a hagyományos bizonylatolástól eltérő adatkezel, a felhasználó új szervezet kialakítására kényszerül, az adatokkal való visszaél veszélye fokozottan jelentkezik, adatkezeli, archiválási rendszer szükséges Adat Strukturált Nem strukturált Mérnöki tevékenység adatbázis támogatása Információ Adatintegráció Aggregációk Adattárházak Adatpiacok DM Adattár DM Tudás Okok hatások Jelentek Elemzek (adatkockák) Adatmegosztás Integrált elemz Publikálás, információ megosztás Vizualizáció Elemz térbeli alapon Üzleti Intelligencia elemzek eredménye integrálása térbeli intelligencia rendszerbe Átláthatóság, érthetőség Jobb döntek Pontos információk a vezetnek Hatékonyabb tervez Jobb erőforrás kihasználás Adatbázis-kezelő rendszerek sematikus felépíte Applikáció Lekérdez feldolgozó DMS Felhasználói lekérdez D menedzser File menedzser Séma leírás Sémafordító Adatok GIS Értéknövelt adat Értéknövelt elemz Megalapozott dönt fizikai adatbázis (D) Adatbázis rendszerek 3. 2

3 3 rétegű ANSI SPARC adatbázis architektúra Entitások közötti kapcsolatok leképeze Külső szint 1. felhasználó 2. felhasználó n. felhasználó... Elemek közötti kapcsolatok leképeze 1:1, 1:n, n:1, n:m... Települ Települ Települ-1 Települ-2 Települ-N Utca Utca-N Polgármester Utca-1 Tulajdonos-1 Tulajdonos-2 Tulajdonos-N 1:N N:N 1:1 Koncepcionális szint (teljes adatbázis) első szint (tényleges tárolás) Egyed-Kapcsolat diagram (E-K diagramm) elemei: Egyed-típusok (entity, entitás) Tulajdonság-típusok (attribute, attribútum) Kapcsolat-típusok (relationship) UML (Universal Modeling Language): Komplex folyamatok teljes életciklusa Egyed Kapcsolat (1:8) (6:15) TANULÓ TANUL CSOPORT név neptun_kód szül_ idő szemeszter neptun_kód érdemjegy kurzus_kód Adatbáziskezelők tipusai Fizikai adatszervez - File Hierarchikus - fa struktúra: 1:1, 1:n (explicit kapcsolat) Hálós - komplex gráf kapcsolatok: 1:1, 1:n, n:1, n:m (explicit kapcsolat) Relációs - 2D táblák+relációs műv. Rendszer Szabványos lekérdez: SQL: 1:1, 1:n, n:1, n:m (implicit kapcsolat) Objektumorientált: komplex viszonyok konzisztens leképeze Tárolás/keres kiszolgálása Anomáliák: eszúrás Törl Módosítás Fejlesztői függ Felhasználói Fizikai rekordokok blokkok 0 REC REC 2 REC REC REC n n*512 POINTER Keresendő adat címe Memória puffer 0 REC Hierarchikus modell Hálózatos modell 5 e c 3 4 f b A d a 2 1 g 6 M A a b c d d e f g ok Index tábla Poligonok Vonalak Pontok Explicit kapcsolatok, pointerek Szigorú logikai hierarchia Redundancia Sérülékenysé g Explicit kapcsolatok, pointerek Kereszt kapcsolatok Redundancia mentes Sérülékeny 5 e 3 c 4 f b A d 2 a 1 g 6 M A a b c d e f g Index tábla ok Poligonok Vonalak Pontok (b) (c) (b) (c) Adatbázis rendszerek 3. 3

4 Relációs modell - RDMS Objektum orientált modell Szabványos tárolás: 2D Tábla, Mező, Rekord, Kulcs Implicit kapcsolatok: belső/idegen kulcs Komponensek: Relációs táblák, Relációs függvények, Integritási feltételek Konzisztens, rugalmas, biztonságos SQL nyelv 5 e c 3 4 f b A d a 2 1 g 6 Poligonok Vonalak Pontok Kapcsoló tábla ok A ID1 A a a X Y 1 1 A b b X 2 Y 2 ID2 A c c X 3 Y 3 A d d X 4 Y 4 d e X 5 Y 5 e f X6 Y6 Valós világ közelíte ecsomagolás - Ecapsulation Objektum halmazok - Objects sets Öröklőd - Inheritance Többalakuság - Polymorphism Műveleti szabályok - Methods -> Nagy konzisztencia Valós világ 1-1 Objektum-orientált 1-N adatmodell Valós világ Relációs adatmodell f g 6 1 g d 4 1 Lazán strukturált adatbázisok Googol = 1.0e100 -> Google A WE-en fellelhető dokumentumok fontosságának osztályozása: az olvasók érdeklőde az olvasók tudása az olvasók bealítottsága, viselkede alapján -> PageRank (LapRang?): objektív, hatékony, kiszámítható algoritmus!!! Nem szemantikai elemz!!! A digitális univerzum mai (tegnapi?) helyzete Mintegy 2 milliárd felhasználó 5 milliárd csatlakoztatott eszköz Évi 1,8 Exabyte adat forgalom 500 millió host node 255 millió WE site Napi 290 millió Napi 2 milliárd videó letölt Szociális média Napi 20 millió Facebook appl. Évi 36 milliárd kép feltölt 152 millió blog Évi 100 millió új Twitter user Larry Page and Sergey rin PageRank Egy oldal fontossága arányos az adott oldalra mutató hyperlinkek számával a hivatkozó oldal fontosságával (rekurzió). Kezdetben minden oldalnak egységnyi szavazata van minek egy rzét megtartja (1-d~0,15) egy rzét (d-damping factor ~0,85) a másoktól kapott szavazatokat továbbosztja. Az oldal PageRank-je a kapott szavazatok száma. N lap esetén a Rank összeg N. A Rank úgy interpretálható, mit a kezdetben egyenlő mértékű fontosság átcsoportosítása -> sztochasztikus szörföző Adatbázis rendszerek 3. 4

5 Page Rank A Google magas szintű architektúrája (1998) Gyakorlatban elterjedt adatbáziskezelők Kereskedelmi szoftverek: MS Access, Oracle, MS SQL Server, D2 Nyíltforrású szoftverek: PostgreSQL, MySQL, SQLite Történelem: Xbase (DASE, FoxPro...) És a lazán strukturált adatbázisok: Google, (Yahoo- eladó!!!) -> a kegyetlen üzleti világ Valuation Acquisition date Company usiness millions USD 2011 July 28, 2011 InQuira Service Knowledge Management Software N/A [1] References July 21, 2011 Ksplice Rebootless Linux kernel updates N/A [2] June 2011 FatWire Software Web Content and Web Experience Management (WCM and WEM) Software N/A [3] June 2011 Pillar Data Systems Storage systems N/A [4] April 2011 Datanomic Data Quality Software N/A [5] February 2011 NDevr Environmental reporting and usiness N/A [6] intelligence 2010 November 2010 Art Technology Group Ecommerce software vendor $1,000 [7] May 2010 Pre-Paid Software from eservglobal Payment Solutions $73 [8] Limited May 2010 Market2Lead Applications N/A [9] May 20, 2010 Secerno Data protection hardware and software N/A [10] April 16, 2010 Phase Forward Applications for life sciences companies and $685 [11] healthcare providers February 10, 2010 AmberPoint Service-Oriented Architecture (SOA) N/A [12] management February 10, 2010 Convergin Telecom Service roker $85 [13] January 27, 2010 Sun Microsystems Computer servers, storage, networks, Java, M ysql database, software, and services $7,400 [14] Product Data Quality Solutions for January 4, 2010 Silver Creek Systems connecting Enterprise Systems, Customers, Suppliers andpartners. N/A [15] Adatbázis rendszerek 3. 5

6 Adatbázisok a mérnöki gyakorlatban Tárolás/lekérdez ellentmondásai elemzek kiszolgálása Adatok változásainak kezele: törl, beszúrás, módosítás... adatok modelleze (P,V,F,T), osztályozása (Geometria, Topológia, Grafika) Geo eszközök adat szakadatok tárolási modelljei Attr eszközök Szakadat Független tárolás User Interface ővít DMS szakadat Közös tárolás GEOMETRIAI ADATÁZIS Koordináta állományok ID X,Y,Z User interface adatkezelő szoftver Topológia állományok ID Link User Interface User interface Egységes felület DMS táblák ID Attrib. Hibrid tárolás User interface ATTRIÚTUM ADATÁZIS Adatbázis Koordináta ID X,Y,Z Topológia ID Link ID Attrib. attribútum adatbázisok Integrált tárolás D-1... D-n Osztott adatbázis kezel A gyakorlat problémái, buktatói A műszaki nyilvántartás etűd vagy folyamat? 1. Dokumentum kezel, Tervez, Üzemeltet? 2. A mérnöki tevékenység Etűd vagy Folyamat? 3. Tervez/Üzemletet/Nyilvántartás/Tulaj donlás eltérő érdekviszonyai Tervez Kivitelez Nyilvántartás Üzemeltet Tulajdonlás Presztízs: A kapitalista praktikum? Kivitelez Kivitelez Tervez Nyilvántartás Üzemeltet Tervez Nyilvántartás Üzemeltet Tulajdonlás Tulajdonlás Adatbázis rendszerek 3. 6

7 Mit látunk mi van a föld alatt? Egységes műszaki nyilvántartás Layar Kiterjesztett valóság 239 Layers, by Category: Eating and Drinking ( 22 ) Entertainment & Leisure ( 40 ) Games ( 0 ) Government ( 6 ) Health Care ( 9 ) Local search & Directory service ( 14 ) Other ( 13 ) Real Estate ( 26 ) Retail ( 22 ) Schools & Universities ( 10 ) Social networks & communities ( 20 ) Tourism : Places to stay ( 6 ) Tourism : Tours / Guides ( 26 ) Transportation ( 24 ) Weather ( 1 ) Layar Kiterjesztett valóság 239 Layers, by Category: Eating and Drinking ( 22 ) Entertainment & Leisure ( 40 ) Games ( 0 ) Government ( 6 ) Health Care ( 9 ) Local search & Directory service ( 14 ) Other ( 13 ) Real Estate ( 26 ) Retail ( 22 ) Schools & Universities ( 10 ) Social networks & communities ( 20 ) Tourism : Places to stay ( 6 ) Tourism : Tours / Guides ( 26 ) Transportation ( 24 ) Weather ( 1 ) A Layar publikációs folyamata Forrás adatok: 239 tematikus réteg Wikipedia, Google, Integrált, adatbázisok (Adattárház) Layar háttérfolyamatai adatbázis szerver Alkalmazás-szerver Pozíció:x,y,z,fi,ka,om Mobil Kliensek Rendszeradminisztráció Geotagelt tematikus adat Adatbázis rendszerek 3. 7