Információ integráció Szemantikus Web megközelítés Alkalmazások

Átírás

1 Információ integráció Szemantikus Web megközelítés Alkalmazások 1

2 Miért van szükségünk ilyesmire? (Alkalmazások) WWW: Összehasonlítás alapú vásárlás Portál építések több adatforrás felhasználásával B2B, elektronikus piacterek Tudomány és kultúra: Genetika: gén információk integrálása Asztrofizika: égi jelenségek gyűjtése. Kultúra: kulturális információs adatbázisok egységes elérése országhatárokon túl Vállalati adatintegráció Egy átlagos KNV 49 adatbázist alkalmaz és IT költségvetésének 30% át az adatintegrációra költi (US) 2

3 Csak szöveg volna a weben? A web jelentős része valójában strukturált A legtöbb web szerver mögött adatbázisok állnak Dinamikusan konvertálják az adatokat olvasható nyelvi formára <India, New Delhi> => The capital of India is New Delhi. Ha vissza tudnánk konvertálni lenne strukturált adatunk! (ki)csomagolók, csomagolók tanulása, stb Dinamikus lapokat is fel tudunk deríteni... Félig strukturált web (kialakulóban) Legtöbb lap részben strukturált (pl. XML) XML a szabvány a szintaktikára, ismert problémák az értelmezéssel Szolgáltatások Utazási szolgáltatások, vásárlások támogatása Érzékelők Tőzsdei árfolyamok, hőmérsékletek, jegyárak 3

4 Miért nem elég: Keresőgépek szövegalapú keresést végeznek Jól működik egyedi dokumentumokon Nem tudnak integrálni több dokumentumból származó információkat Nem képesek hatékony általánosításra Nem tudnak dokumentumokat és adatbázisokat összekapcsolni Az információ integráció célja strukturált és féligstrukturált információforrások együttes kezelése 4

5 Összehasonlítás alapú vásárlás? Hasonló De: Szélesebb fókusz Szélesebb spektruma az adatbázisoknak Szolgáltatások Új kihívás adattár nem működik Kézi forrásleírás, kezelés korlátai Netbot DealPilot.Com Junglee 5

6 Miért nem csak Közös séma hiánya Források heterogén sémákkal (és fogalmakkal, ontológiákkal) rendelkeznek Félig strukturált források Régi források Nem relációs sémák Eltérő elérési módok Query Független források (SQL) Nincs közös adminisztráció Answer Nem kezelt forrás tartalmi átfedések Nehezen előrejelezhető viselkedés Lekérdezés végrehajtás bonyolult Általában csak olvashatóak Ez lehet szerencsés is adatbázisok elosztott adatbázisok (relation) Database Manager (DBMS) -Storage mgmt -Query processing -View management -(Transaction processing) Bár terjednek a tranzakció kezelési megoldások a weben Database (relational) 6

7 Kitérő: Ivan Herman felvezetése aw3c konferencián 7

8 Szolgáltatások Forrás leírás Web lapok Strukturált adatok Forrás fúzionálás/ Lekérdezés tervezés Mediátor Szenzorok (soros adatok) Végrehajtás Monitor Válasz 8

9 Szolgáltatáso Felhasználói lekérdezések megfogalmazása a mediált sémán. Adatok tárolva lokális sémában. Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Weblapok Strukturált adatok A tárolt információ (tartalom) ismerete alapján megfogalmazható a leképezés a sémák között. A mediátor alkalmazza a leképezést a felhasználói kérdés lefordítására a forrás lekérdezésekre. Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Szenzorok (soros adatok) Információ menedzser Válasz Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Monitor 9

10 Hol az MI szerepe? Tanulás/bányászás -Forrás felkutatás -Forrás statisztikák -Wrapper tanulás Automata tervezés -Nyelvek tervezése -Szolgáltatások kompozíciója -Reaktív tervezés/ terv monitorozás Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Teszt lekérdezések Tudásreprezentáció - Ontológiák - Metaadatok - Következtetés - Lekérdező nyelvek Válasz Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Monitor 10

11 Forrás leírások Minden meta adat információt tartalmaz Forrás tartalom logikai leírása (könyvek, új autók). Forrás képességek (pl. SQL lekérdezés feltehető) Forrás teljesség (minden könyvet tartalmaz). Fizikai jellemzők (forrás, hálózat). Statisztikák az adatokról Source reliability Tükör források Frissítési frekvencia. Információ menedzser Lekérdezés Preferenciák/Eléérsi modell Válasz Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Teszt lekérdezések Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Szolgáltatások Weblapok Strukturált adatok Szenzorok (soros adatok) 11

12 Forrás elérések Hogyan kapunk n eseket Számos forrás strukturálatlan adatokat ad Néhány inherensen strukturálatlan, mások természetes nyelvi köntösben vannak Vissza kell csomagolni az adatokat Wrapper építés/információ kinyerés Kézi munka/fél automatikus 12

13 Forrás fúzió/ lekérdezés tervezés Feldolgozza a felhasználói lekérdezést és előállítja a végrehajtási tervet Költség és hatékonyság közti optimalizáció Forrás elérési korlátok kezelése Információ a forrásminőségről Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Szolgáltatások Weblapok Strukturált adatok Információ menedzser Lekérdezés Preferenciák/Eléérsi modell Válasz Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Szenzorok (soros adatok) 13

14 Monitoring/ Végrehajtás Lekérdezési terv alapján elvégzi a feladatot a forrásokon Forrás késleltetések kezelése Hálózati, tranziens kimaradások Forrás elérési korlátok Szükséges lehet újratervezések elvégzése Query Preference/Utility Model Answers Source Trust Ontologies; Source/Service Descriptions Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Runtime uncertainty, replanning Probing Queries Replanning Requests Source Calls Updating Statistics Monitor Services Webpages Structured data Sensors (streaming Data) 14

15 Méretek figyelembe vétele Hány forrást kell elérni? Mennyire autonómok ezek? Van ismeretünk a forrásokról? Strukturáltak az adatok? Csak lekérdezés lehetséges vagy módosítás is? Követelmények: pontosság, teljesség, teljesítmény, inkonzisztenciák kezelése Zárt vagy nyílt világ feltételezés? 15

16 Deduktív adatbázisok Relációkat predikátumokkal írjuk le. Relációk közti relációkat datalog szabályokkal írjuk le (Horn klózok, függvényszimbólumok nélkül) Lekérdezések megfelelnek egy datalog programnak Emprelated(Name,Dname) : Empdep(Name,Dname) Emprelated(Name,Dname) : Empdep(Name,D1), Emprelated(D1,Dname) 16

17 Kis forrás szám melletti integráció Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Teszt lekérdezések Szolgáltatások Weblapok Strukturált adatok Általában ad hoc programozás: speciális eset megvalósítása minden esetre, sok konzultáció. Adattárházak: minden adat periódikus feltöltése az adattárházba hónap bevezetési idő Operációs és döntéstámogatási RDBMS elválasztás. (nem csak adatintegrációra megoldás). Teljesítmény jó, adat lehet, hogy nem friss;. Rendszeres adattisztítás szükséges. Lekérdezés Felhsználói lekérdezések Preferenciák/Eléérsi modell Forrás fúzionálás Lekérdezés tervezés Számos cél együttese, Szolgáltatások kompozíciója, Forrás minőség, átfedés Információ menedzser Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási Válasz bizonytalanságokat, újratervezést Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor OLAP / Döntéstámogtás/ Adatkockák/ Adatbányászat Adat kinyerő programok Adatforrás Relációs adatbázis (tárház) Adat tisztítás Adat- Adatforráforrás Szenzorok (soros adatok) 17

18 Integrátor séma Felhasználói lekérdezések OLAP / Döntéstámogtás/ Adatkockák/ Adatbányászat Relációs adatbázis (tárház) Adat kinyerő programok Adat tisztítás Adatforrás Adatforrás Adatforrás 18

19 Source Trust Ontologies; Source/Service Descriptions Probing Queries Services Webpages Structured data Virtuális integrációs séma Adatok a forrásokban maradnak Query Preference/Utility Model Answers Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Runtime uncertainity, replanning Replanning Requests Source Calls Updating Statistics Monitor Sensors (streaming Data) Lekérdezés végrehajtásakor: Releváns források meghatározása Lekérdezés szétválasztása forrásokra vonatkozó lekérdezésekre. Válaszok begyűjtése a forrásokból, és megfelelő kombinálása a válasz előállításához. Friss adatok A megoldás skálázható Mediátor: wrapper Adat forrás Felhasználói lekérdezés Fordító motor Optimalizáló Végrehajtó gép wrapper Adat forrás Mediált (globális) séma Adatforrás katalógus wrapper Adat forrás Garlic [IBM], Hermes[UMD];Tsimmis, InfoMaster[Stanford]; DISCO[INRIA]; Information Manifold [AT&T]; SIMS/Ariadne[USC];Emerac/Havasu[ASU] 19

20 Virtuális integrátor architektúra Source Trust Ontologies; Source/Service Descriptions Probing Queries Services Webpages Structured data Mediátor: Felhasználói lekérdezés Fordító motor Mediált (globális) séma Query Source Fusion/ Query Planning Needs to handle: Multiple objectives, Service composition, Source quality & overlap Executor Needs to handle Source/network Interruptions, Answers Runtime uncertainity, replanning Preference/Utility Model Replanning Requests Source Calls Updating Statistics Monitor Sensors (streaming Data) Optimalizáló Végrehajtó gép Adatforrás katalógus wrapper Adat forrás wrapper Adat forrás wrapper Adat forrás Források: relációs adatbázisok, weblapok, szövegek. 20