Mediátor. Forrás leírás. Forrás fúzionálás/ Lekérdezés tervezés. Monitor. Végrehajtás. Válasz. Szolgáltatások. Web lapok. Strukturált adatok

Átírás

1 1

2 Szolgáltatások Forrás leírás Web lapok Strukturált adatok Forrás fúzionálás/ Lekérdezés tervezés Mediátor Szenzorok (soros adatok) Végrehajtás Monitor Válasz 2

3 Szolgáltatáso Felhasználói lekérdezések megfogalmazása a mediált sémán. Adatok tárolva lokális sémában. Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Weblapok Strukturált adatok A tárolt információ (tartalom) ismerete alapján megfogalmazható a leképezés a sémák között. A mediátor alkalmazza a leképezést a felhasználói kérdés lefordítására a forrás lekérdezésekre. Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Szenzorok (soros adatok) Információ menedzser Válasz Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Monitor 3

4 Hol az MI szerepe? Tanulás/bányászás -Forrás felkutatás -Forrás statisztikák -Wrapper tanulás Automata tervezés -Nyelvek tervezése -Szolgáltatások kompozíciója -Reaktív tervezés/ terv monitorozás Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Teszt lekérdezések Tudásreprezentáció - Ontológiák - Metaadatok - Következtetés - Lekérdező nyelvek Válasz Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Monitor 4

5 Forrás leírások Minden meta adat információt tartalmaz Forrás tartalom logikai leírása (könyvek, új autók). Forrás képességek (pl. SQL lekérdezés feltehető) Forrás teljesség (minden könyvet tartalmaz). Fizikai jellemzők (forrás, hálózat). Statisztikák az adatokról Source reliability Tükör források Frissítési frekvencia. Információ menedzser Lekérdezés Preferenciák/Eléérsi modell Válasz Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Teszt lekérdezések Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Szolgáltatások Weblapok Strukturált adatok Szenzorok (soros adatok) 5

6 Forrás elérések Hogyan kapunk n eseket Számos forrás strukturálatlan adatokat ad Néhány inherensen strukturálatlan, mások természetes nyelvi köntösben vannak Vissza kell csomagolni az adatokat Wrapper építés/információ kinyerés Kézi munka/fél automatikus 6

7 Forrás fúzió/ lekérdezés tervezés Feldolgozza a felhasználói lekérdezést és előállítja a végrehajtási tervet Költség és hatékonyság közti optimalizáció Forrás elérési korlátok kezelése Információ a forrásminőségről Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Szolgáltatások Weblapok Strukturált adatok Információ menedzser Lekérdezés Preferenciák/Eléérsi modell Válasz Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Szenzorok (soros adatok) 7

8 Monitoring/ Végrehajtás Lekérdezési terv alapján elvégzi a feladatot a forrásokon Forrás késleltetések kezelése Hálózati, tranziens kimaradások Forrás elérési korlátok Szükséges lehet újratervezések elvégzése Query Preference/Utility Model Answers Source Trust Ontologies; Source/Service Descriptions Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Runtime uncertainty, replanning Probing Queries Replanning Requests Source Calls Updating Statistics Monitor Services Webpages Structured data Sensors (streaming Data) 8

9 Méretek figyelembe vétele Hány forrást kell elérni? Mennyire autonómok ezek? Van ismeretünk a forrásokról? Strukturáltak az adatok? Csak lekérdezés lehetséges vagy módosítás is? Követelmények: pontosság, teljesség, teljesítmény, inkonzisztenciák kezelése Zárt vagy nyílt világ feltételezés? 9

10 Deduktív adatbázisok Relációkat predikátumokkal írjuk le. Relációk közti relációkat datalog szabályokkal írjuk le (Horn klózok, függvényszimbólumok nélkül) Lekérdezések megfelelnek egy datalog programnak Emprelated(Name,Dname) : Empdep(Name,Dname) Emprelated(Name,Dname) : Empdep(Name,D1), Emprelated(D1,Dname) 10

11 Kis forrás szám melletti integráció Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Szolgáltatások Weblapok Strukturált adatok Általában ad hoc programozás: speciális eset megvalósítása minden esetre, sok konzultáció. Adattárházak: minden adat periódikus feltöltése az adattárházba hónap bevezetési idő Operációs és döntéstámogatási RDBMS elválasztás. (nem csak adatintegrációra megoldás). Teljesítmény jó, adat lehet, hogy nem friss;. Rendszeres adattisztítás szükséges. Lekérdezés Felhsználói lekérdezések Preferenciák/Eléérsi modell Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Információ menedzser Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási Válasz bizonytalanságokat, újratervezést Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor OLAP / Döntéstámogtás/ Adatkockák/ Adatbányászat Adat kinyerő programok Adatforrás Relációs adatbázis (tárház) Adat tisztítás Adat- Adatforráforrás Szenzorok (soros adatok) 11

12 Integrátor séma Felhasználói lekérdezések OLAP / Döntéstámogtás/ Adatkockák/ Adatbányászat Relációs adatbázis (tárház) Adat kinyerő programok Adat tisztítás Adatforrás Adatforrás Adatforrás 12

13 Source Trust Ontologies; Source/Service Descriptions Probing Queries Services Webpages Structured data Virtuális integrációs séma Adatok a forrásokban maradnak Query Preference/Utility Model Answers Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Runtime uncertainity, replanning Replanning Requests Source Calls Updating Statistics Monitor Sensors (streaming Data) Lekérdezés végrehajtásakor: Releváns források meghatározása Lekérdezés szétválasztása forrásokra vonatkozó lekérdezésekre. Válaszok begyűjtése a forrásokból, és megfelelő kombinálása a válasz előállításához. Friss adatok A megoldás skálázható Mediátor: wrapper Adat forrás Felhasználói lekérdezés Fordító motor Optimalizáló Végrehajtó gép wrapper Adat forrás Mediált (globális) séma Adatforrás katalógus wrapper Adat forrás Garlic [IBM], Hermes[UMD];Tsimmis, InfoMaster[Stanford]; DISCO[INRIA]; Information Manifold [AT&T]; SIMS/Ariadne[USC];Emerac/Havasu[ASU] 13

14 Virtuális integrátor architektúra Source Trust Ontologies; Source/Service Descriptions Probing Queries Services Webpages Structured data Mediátor: Felhasználói lekérdezés Fordító motor Mediált (globális) séma Query Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Answers Runtime uncertainity, replanning Preference/Utility Model Replanning Requests Source Calls Updating Statistics Monitor Sensors (streaming Data) Optimalizáló Végrehajtó gép Adatforrás katalógus wrapper Adat forrás wrapper Adat forrás wrapper Adat forrás Források: relációs adatbázisok, weblapok, szövegek. 14

15 Projektek Garlic (IBM), Information Manifold (AT&T) Tsimmis, InfoMaster (Stanford) The Internet Softbot/Razor/Tukwila (UW) Hermes (Maryland) DISCO (INRIA, France) SIMS/Ariadne (USC/ISI) Emerac/Havasu (ASU) BibFinder (ASU) 15

16 Forrás mediátor relációs sémával szembeni elvárások Kifejező erő: hasonló adattartalommal rendelkező források megkülönböztetése, irreleváns források felismerése. Egyszerű bővíthetőség: tegyük könnyűvé források hozzáadását. Fordítás/átalakítás: felhasználói lekérdezés lefordítása forrásokon értelmezett lekérdezésekre hatékonyan és eredményesen. Vesztességmentesség: minden lehetséges adatelérés biztosítása Mediátor: wrapper Adat forrás Felhasználói lekérdezés Fordító motor Optimalizáló Végrehajtó gép wrapper Adat forrás Mediált (globális) séma Adatforrás katalógus wrapper Adat forrás Lekérdezés átalakítás Adott: Egy Q lekérdezés a mediátor sémára vonatkozóan Adat források leírása Létrehozandó: Egy Q lekérdezés az adat forrásokra vonatkozóan, amely: Q csakhelyes válaszokat ad a Q lekérdezéshez és Q minden lehetséges választ megtalál Q-hoz az elérhető forrásokból. 16

17 Fordítási/átfogalmazási probléma Adott: Egy Q lekérdezés a mediátor sémára vonatkozóan Adat források leírása Létrehozandó: Egy Q lekérdezés az adat forrásokra vonatkozóan, amely: Q csak helyes válaszokat ad aq lekérdezéshez és Q minden lehetséges választ megtalál Q hoz az elérhető forrásokból. Mediátor: Felhasználói lekérdezés Fordító motor Optimalizáló Végrehajtó gép wrapper wrapper Adat Adat forrás forrás Mediált (globális) séma Adatforrás katalógus wrapper Adat forrás 17

18 Forrás és felhasználói sémák reláció leírásának megközelítései Globális mediált sémák(global as view, GAV): a mediált séma kifejezése a forrásokra vonatkozó nézetek relációjaként Lokális mediált sémák (Local as view, LAV): forrás relációk kifejezése a mediált sémákon értelmezett relációkkal. Módszerek kombinációja? Nézet frissítés CREATE VIEW Seattle-view AS SELECT buyer, seller, product, store FROM Person, Purchase WHERE Person.city = Seattle AND Person.name = Purchase.buyer A nézet felhasználása: Virtual vs Materialized SELECT name, store FROM Seattle-view, Product WHERE Seattle-view.product = Product.name AND Product.category = shoes 18

19 Mintapélda Egy mediátor egy film adatbázishoz Információk szolgáltatása filmekről, illetve mozi programról 19

20 Globális mediált nézet GAV (Global As View) Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Create View Filmek AS select * from S1 [S1(cím, rendező, év, típus)] union select * from S2 [S2(cím, rendező, év, típus)] union [S3(cím,rendező), S4(cím,év,típus)] select S3.cím, S3.rendező, S4.év, S4.típus from S3, S4 where S3.cím=S4.cím Mediált séma kifejezése a forrásokra vonatkozó nézetek relációjaként. 20

21 GAV Mediált séma kifejezése Mediált/felhasználói séma: a forrásokra vonatkozó Filmek(cím, rendező, év, típus), nézetek relációjaként. Műsor(mozi, cím, idő). Create View Filmek AS select * from S1 [S1(cím, rendező, év, típus)] union select * from S2 [S2(cím, rendező, év, típus)] union [S3(cím,rendező), S4(cím,év,típus)] select S3.cím, S3.rendező, S4.év, S4.típus from S3, S4 where S3.cím=S4.cím A mediátor séma relációk virtuális nézetek a forrásrelációkon. 21

22 GAV: példa 2. Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Create View Filmek AS select * from S1 [S1(cím,rendező,év)] Mediált séma kifejezése a forrásokra vonatkozó nézetek relációjaként. select cím, rendező, év, NULL Null értékek from S1 union [S2(cím, rendező,típus)] select cím, rendező, NULL, típus from S2 22

23 GAV: példa 2. Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Mediált séma kifejezése a forrásokra vonatkozó nézetek relációjaként. Forrás S4: S4(mozi, típus) Create View Filmek AS select NULL, NULL, NULL, típus from S4 Create View Műsor AS select mozi, NULL, NULL from S4. De mit lehetne tenni, ha minket a vígjátékokat játszó mozik érdekelnének? 23

24 LAV: példa 1 Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Create Source S1 AS select * from Filmek Create Source S3 AS select cím, rendező from Filmek Create Source S5 AS select cím, rendező, év from Filmek S1(cím, rendező, év, típus) S3(cím, rendező) Forrás séma kifejezése a mediált nézeteken értelmezett relációkként. S5(cím, rendező, év), év >1960 where év > 1960 AND típus= vígjáték A források materializált nézetek a mediált sémák felett. 24

25 LAV: példa 1 Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Forrás séma kifejezése a mediált nézeteken értelmezett relációkként. Create Source S4 AS select mozi, típus from Filmek m, Műsor s where m.cím=s.cím Van remény a vígjátékokat játszó mozik felderítésére! S4(Mozi,Típus) 25

26 GAV vs. LAV Mediált séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Forrás S4: S4(mozi, típus) Create View Filmek AS select NULL, NULL, NULL, típus from S4 Create View Műsor AS select mozi, NULL, NULL from S4. De mit lehetne tenni, ha minket a vígjátékokat játszó mozik érdekelnének? Create Source S4 AS select mozi, típus from Filmek m, Műsor s where m.cím=s.cím Veszteséges mediáció 26

27 GAV vs. LAV Nem moduláris Források hozzáadása módosítja a meglévő mediált séma definícióját Nehézkes lehet veszteségmentes mediátort készíteni. Lekérdezés átalakítás egyszerű Nézetek kibontását jelenti (polinomiális) Hierarchikus mediátor sémák létrehozása lehetséges Moduláris új forrás hozzáadása egyszerű Igen rugalmas a lekérdező nyelv közvetlenül alkalmazható a források leírására Lekérdezés átalakítás bonyolult Válaszokat a nézeteken keresztül kell előállítani (nem mindig megoldható) Hatékony, ha Kis számú, ritkán változó adatforrás van Feladat teljesen ismert a mediátor tervezésekor (pl. vállalati adatintegráció) Garlic, TSIMMIS, HERMES Hatékony, ha Sok, kevéssé korrelált forrás Források dinamikus hozzáadása és törlése Information Manifold, InfoMaster, Emerac, Havasu 27

28 Lokális mediált nézetek átalakítása Adott nézetek egy halmaza V1,,Vn, és egy Q lekérdezés. Megválaszolható e a Q lekérdezés a V1,,Vn nézetek felhasználásával? A lekérdezéseket materializált nézeteken futtatjuk végül! Megközelítések Veder algoritmus (Bucket algorithm [Levy; 96]) Inverz szabályok algoritmusa [Duschka, 99] Hibrid algoritmusok SV Bucket [2001], MiniCon [2001] 28

29 Lekérdezés átalakítás (LAV) Lekérdezés: Találjuk meg az összes évet, amikor Zhang Yimou filmet készített Select year from movie M where M.dir=yimou Q(y) :- movie(t,d,y,g),d=yimou Mediált/felhasználói séma: Filmek(cím, rendező, év, típus), Műsor(mozi, cím, idő). Create Source S1 AS select * from Filmek Create Source S3 AS select cím, rendező from Filmek Create Source S5 AS select cím, rendező, év from Filmek where év > 1960 AND genre= vígjáték A források materializált nézetek a mediált sémák felett. Q(y) :- S1(T,D,Y,G), D=yimou (1) Q(y) :- S1(T,D,Y,G), D=yimou Q(y) :- S5(T,D,Y), D=yimou (2) Melyik a legjobb terv? Valójában mit keresünk? - ekvivalenciát? --tartalmazást? Cél: Maximális tartalmazás, legegyszerűbb terv 29

30 Maximális tartalmazás Lekérdezési tervnek helyesnek és teljesnek kell lennie Helyes akkor, ha az új tervet tartalmazza az eredeti lekérdezés (Például minden n es válasz az eredeti lekérdezésben is megtalálható Teljesség? Eredeti adatbázis megközelítés teljességre törekszik Itt a megközelítés: maximális tartalmazás! 30

31 Tartalmazás (lekérdezések) LegyenQ 1 (.) : B 1 (.) Q 2 (.) : B 2 (.) Q 1 Q 2 ( tartalmaz ) ha a Q 1 re kapott válasz részhalmaza a Q 2 re kapott válasznak Igaz, haf B 1 (x) = B 2 (x) Ha adott egy Q lekérdezés, és egy Q 1, válasz lekérdezési terv, akkor: Q 1 helyes lekérdezési terv ha Q 1 t tartalmazza Q Q 1 teles lekérdezési terv, ha Q t tartalmazza Q 1 Q 1 egy maximálisan tartalmazó lekérdezési terv, ha nem létezik olyan Q 2 amelyik helyes és olyan, hogy Q 1, t tartalmazza Q 2 31

32 Tartalmazás ellenőrzése Tekintsünk két lekérdezést: Q 1 (.) : B 1 (.) Q 2 (.) : B 2 (.) Q 1 Q 2 ( tartalmazó, contained in ) ha Q 1 lekérdezésre kapott minden válasz (n es) részhalmaza Q 2 nek A tartalmazás áll, ha B 1 (x) = B 2 (x) (de a vonzat reláció helyessége általánosságba nem eldönthető ) Konjunktív lekérdezések (select/project/join lekérdezések, kényszerek nélkül) ellenőrzését az egyes kifejezések közötti leképezések megadhatóságával ellenőrizzük (exponenciális időigényű algoritmus) m legyen egy (tartalmazási) leképezés Vars(Q 2 ) változókról Vars(Q 1 ) változókra, ha m leképezi Q 2 törzsében (feltétel részében) található minden részcélját egy Q 1 törzsében található részcélra m leképezi Q 2 fej részét (kvetkezmény részét) Q 1 fej részére Eg: Q1(x,y) : R(x), S(y), T(x,y) Q2(u,v) : R(u), S(v) Kapcsolódó leképezés: [u/x ; v/y] 32

33 Átalakítási algoritmusok Q(.) :- V1() & V2() Veder algoritmus S11 S12 S00 V1 S21 S22 S00 V2 Veder algoritmus Vedrek kombinációjából előállított terv Utána tartalmazási ellenőrzés S11() :- V1() S12 :- V1() S21() :- V2() S22 :- V2() S00() :- V1(), V2() Inverz szabályok Q(.) :- V1() & V2() V1() :- S11() V1() :- S12() V1() :- S00() V2() :- S21() V2() :- S22() V2() :- S00() Inverz szabályok Rész lekérdezések tervezés [Levy] P 1 contains P 2 if P 2 = P 1 [Duschka] 33

34 Forrás elérés korlátok A források nem feltétlenül relációs adatbázisok Jogosultsági korlátok Korlátos elérési minták (Pl. telefonkönyv lekérdezése) Korlátos kiszolgáló erőforrás (Csak attribútumokon értelmezett szűrésen keresztül érhetőek el adatok.) Elérési korlátozások modellezhetőek: b: kötelezően megadandó keresési attribútum f: szabadon elérhető attribútum Kambhampati & Knoblock Information Integration on the Web (MA-1) 34

35 Elérési korlátok rekurzív algoritmusok Create Source S1 as select * from Cites given paper1 Create Source S2 as select paper from ASU Papers Create Source S3 as select paper from AwardPapers given paper Query: select * from AwardPapers S1 bf (p1,p2) :- cites(p1,p2) S2(p) :- Asp(p) S3 b (p) :- Awp(p) Q(p) :- Awp(p) Awp(p) :- Dom(p), S3 b (p) Asp(p) :- S2(p) Cites(p1,p2) :-Dom(p), S1 bf (p) Dom(p) :- S2(p) Dom(p) :- Dom(p1), S1(p1,p) Rekurzív terv 35

36 36