Tudásalapú információ integráció

Átírás

1 Tudásalapú információ integráció (A Szemantikus Web megközelítés és a másik irány) Tanszéki értekezlet, május 14. 1

2 Miért van szükségünk ilyesmire? WWW: (Alkalmazások) Keresés a weben (pl. összehasonlítás alapú vásárlás) Portál építések több adatforrás felhasználásával B2B, elektronikus piacterek Tudomány és kultúra: Asztrofizika: égi jelenségek gyűjtése. Kultúra: kulturális információs adatbázisok egységes elérése országhatárokon túl Genetika: gén információk integrálása Vállalati adatintegráció Egy átlagos KNV 49 adatbázist alkalmaz és IT költségvetésének 30%-át az adatintegrációra költi (US, 2002) 2

3 Információ integráció Az információ integráció célja strukturált és félig-strukturált információforrások együttes kezelése, információigények egységes felületen történő kiszolgálása Területek: Intézmények (közép- és nagyvállalatok, államigazgatás) Web Megközelítési módok: Források kiegészítése (szemantikus web koncepció) Lekérdező eszközök fejlesztése (mediátor és információintegrációs rendszerek) 3

4 Szkeptikusoknak Miért nem elég: Keresőgépek szövegalapú keresést végeznek Jól működik egyedi dokumentumokon Nem tudnak integrálni több dokumentumból származó információkat Nem képesek hatékony általánosításra Nem tudnak dokumentumokat és adatbázisokat összekapcsolni 4

5 Szkeptikusoknak Összehasonlítás alapú vásárlás? Hasonló források De: Eltérő fókusz Eltérő a spektrumuk az adatbázisoknak Új kihívás Az adattár megközelítés nem működik Kézi forrásleírás, kezelés korlátai Netbot DealPilot.Com Junglee 5

6 Szkeptikusoknak Miért nem csak Közös séma hiánya Források heterogén sémákkal (és fogalmakkal, ontológiákkal) rendelkeznek Félig-strukturált források Régi források Nem relációs sémák Eltérő elérési módok Független források Nincs közös adminisztráció adatbázisok elosztott adatbázisok Adatbázis kezelés (DBMS) -Tároló kezelés - végrehajtás -Nézetek kezelése -(Tranzakció kezelés) (SQL) Válasz (adat rekordok) Nem kezelt forrás tartalmi átfedések Nehezen előre jelezhető viselkedés végrehajtás bonyolult Általában csak olvashatóak Ez lehet szerencsés is Terjednek a tranzakció kezelési megoldások a weben Adatbázis (relációs) 6

7 Az egyik irány A szemantikus web egy kiterjesztése a jelenlegi webnek, amelyben az információknak jól definiált jelentést adhatunk, lehetővé téve a gépek és felhasználók közti jobb együttműködést. A szemantikus web koncepció A szemantikus web elérhetővé teszi a tudást, mint a web a hypertextet. Tim Berners-Lee 7

8 A másik irány Forrás leírás Forrás fúzionálás/ tervezés Mediátor Web lapok Strukturált adatok Szenzorok (soros adatok) Végrehajtás Monitor Válasz 8

9 Felhasználói lekérdezések megfogalmazása a mediált sémán. Adatok tárolása lokális sémában. A tárolt információ (tartalom) ismerete alapján megfogalmazható a leképezés a sémák között. A mediátor alkalmazza a leképezést a felhasználói kérdés lefordítására a forrás elérésekhez. Információ menedzser Preferenciák/Eléérsi modell Válasz Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás tervezés Számos cél együttese, kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Teszt lekérdezések Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Weblapok Strukturált adatok Szenzorok (soros adatok) 9

10 Kis forrás szám melletti integráció Általában ad-hoc programozás: speciális eset megvalósítása minden esetre, sok konzultáció. Adattárházak: minden adat periódikus feltöltése az adattárházba hónap bevezetési idő Operációs és döntéstámogatási RDBMS elválasztás. (nem csak adatintegrációra megoldás). Teljesítmény jó, adat lehet, hogy nem friss;. Rendszeres adattisztítás szükséges. Preferenciák/Eléérsi modell Forrás leírás Ontológiák, Teszt Forrás és lekérdezések szolgáltatás leírások Forrás fúzionálás tervezés Számos cél együttese, kompozíciója, Forrás minőség, átfedés Információ menedzser Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási Válasz bizonytalanságokat, újratervezést Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Adat kinyerő programok Adatforrás Felhsználói OLAP / Döntéstámogtás/ lekérdezések Adatkockák/ Adatbányászat Relációs adatbázis (tárház) Adat tisztítás Adat- Adatforráforrás Weblapok Strukturált adatok Szenzorok (soros adatok) 10

11 Virtuális integrációs séma Adatok a forrásokban maradnak végrehajtásakor: Releváns források meghatározása szétválasztása forrásokra vonatkozó lekérdezésekre. Válaszok begyűjtése a forrásokból, és megfelelő kombinálása a válasz előállításához. Friss adatok A megoldás skálázható Mediátor: wrapper Adat forrás Információ menedzser Felhasználói lekérdezés Fordító motor Optimalizáló Végrehajtó gép wrapper Adat forrás Preferenciák/Eléérsi modell Válasz Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás tervezés Számos cél együttese, kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Mediált (globális) séma Adatforrás katalógus wrapper Adat forrás Teszt lekérdezések Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor Weblapok Strukturált adatok Szenzorok (soros adatok) 11

12 Hol az MI szerepe? Tanulás/bányászás -Forrás felkutatás -Forrás statisztikák -Wrapper tanulás Automata tervezés -Nyelvek tervezése - kompozíciója -Reaktív tervezés/ terv monitorozás Preferenciák/Eléérsi modell Válasz Forrás leírás Ontológiák, Forrás és szolgáltatás leírások Forrás fúzionálás tervezés Számos cél együttese, kompozíciója, Forrás minőség, átfedés Végrehajtás Kezel: forrás és hálózati kapcsolatokat, futtatási bizonytalanságokat, újratervezést Teszt lekérdezések Tudásreprezentáció - Ontológiák -Metaadatok - Következtetés -Lekérdező nyelvek Újratervezési kérések Forrás elérések Statisztikák frissítése Monitor 12

13 Köszönöm a figyelmet! 13