Tudásalapú információ-kereső rendszerek elemzése és kifejlesztése 1
Tudásalapú információ-kereső rendszerek elemzése és kifejlesztése Természetes nyelv feldolgozás 2
Tudásalapú információ-kereső rendszerek elemzése és kifejlesztése Hierarchikus fogalmi rendszerek kutatása 3
Tudásalapú információ-kereső rendszerek elemzése és kifejlesztése ok elektronikus kezelése a hálózaton 4
Tudásalapú információ-kereső rendszerek elemzése és kifejlesztése Áttörés a mesterséges intelligencia területén - Újfajta intelligens rendszerek 5
Tudásalapú információ-kereső rendszer egy általános modellje Új Tudásalapú Rendszerek C- ROMok WEB I A TR IKF szintje SZÖVEGES FÁJLOK N T E R N TUÁS T ÁRHÁZ GYÜJŐ, SZŰRŐ F ÚZIONÁLIS ESZKÖZÖK Strukturálatlan Részben-strukturált Információ Források E T EXTRANET A TR hagyományos szintje Strukturált Információforrások AAT T ÁRHÁZ AATBÁNYÁSZAT ESZKÖZÖK AAT RAKTÁR TETSZŐLEGES AATBÁZISOK OPERATÍV AATBÁZIS 6
Részletes célkitűzések Tudásalapú információ-kereső rendszer architektúrájának kidolgozása és kifejlesztése pénzügyi cégek és bankok részére. A rendszer fő tevékenysége az információ téma-specifikus, különböző típusú forrásokból (internet, intranet erőforrások, adattárházak, stb.) történő keresése és az információ strukturált szolgáltatása a felhasználók felé. 7
Tudásalapú információ-kereső rendszer egy általános modellje Forrás környezet Tárgy környezet Tudás Tárház Alkalmazói környezet 8
Tudásalapú információ-kereső rendszer egy általános modellje Forrás környezet Tárgy környezet információk Információ kereső alrendszer keresési adatok és eredmények Tudástár Tudás fuzionáló alrendszer tárgy modell Riport információk profilok és riportok Lekérdező alrendszer Alkalmazói környezet 9
IKF architektúra 2. munkaszakasz Forrás környezet Internet Internet Külső Forrás Meta adatmodell Absztrakt adatmodell Konkrét adatok Adminisztrátor Kérés Feldolgozó Állandó kérések Letöltő és Előszűrő Inf. igény Specializált Letöltő és Elemző Regisztráló Indexelő keresési index előállítás Index egyszerű keresés Igény és Elemző és Szűrő Összetett elemzés Szöveg Regiszter Struktúra Elemző tartalom kinyerés Tartalom Tár (XML) Megjelenítési Eredmény Megjelenítő Letöltés Ütemező Tükröző Tükör Megjelenített eredmény és meta adatai az eredeti tárolása Ténykinyerés Ütemező 10
IKF architektúra 2. munkaszakasz Forrás környezet Internet Internet Külső Forrás Meta adatmodell Absztrakt adatmodell Konkrét adatok Adminisztrátor Kérés Feldolgozó Állandó kérések Letöltő és Előszűrő Inf. igény Specializált Letöltő és Elemző Regisztráló Indexelő keresési index előállítás Index egyszerű keresés Igény és Elemző és Szűrő Összetett elemzés Szöveg Regiszter Struktúra Elemző tartalom kinyerés Tartalom Tár (XML) Megjelenítési Eredmény Megjelenítő Letöltés Ütemező Tükröző Tükör Megjelenített eredmény és meta adatai az eredeti tárolása Ténykinyerés Ütemező 11
IKF architektúra 2. munkaszakasz Forrás környezet Internet Internet Külső Forrás Meta adatmodell Absztrakt adatmodell Konkrét adatok Adminisztrátor Kérés Feldolgozó Állandó kérések Letöltő és Előszűrő Inf. igény Specializált Letöltő és Elemző Regisztráló Indexelő keresési index előállítás Index egyszerű keresés Igény és Elemző és Szűrő Összetett elemzés Szöveg Regiszter Struktúra Elemző tartalom kinyerés Tartalom Tár (XML) Megjelenítési Eredmény Megjelenítő Letöltés Ütemező Tükröző Tükör Megjelenített eredmény és meta adatai az eredeti tárolása Ténykinyerés Ütemező 12
IKF architektúra 2. munkaszakasz Forrás környezet Internet Internet Külső Forrás Meta adatmodell Absztrakt adatmodell Konkrét adatok Adminisztrátor Kérés Feldolgozó Állandó kérések Letöltő és Előszűrő Inf. igény Specializált Letöltő és Elemző Regisztráló Indexelő keresési index előállítás Index egyszerű keresés Igény és Elemző és Szűrő Összetett elemzés Szöveg Regiszter Struktúra Elemző tartalom kinyerés Tartalom Tár (XML) Megjelenítési Eredmény Megjelenítő Letöltés Ütemező Tükröző Tükör Megjelenített eredmény és meta adatai az eredeti tárolása Ténykinyerés Ütemező 13
IKF architektúra 2. munkaszakasz Forrás környezet Internet Internet Külső Forrás Meta adatmodell Absztrakt adatmodell Konkrét adatok Adminisztrátor Kérés Feldolgozó Állandó kérések Letöltő és Előszűrő Inf. igény Specializált Letöltő és Elemző Regisztráló Indexelő keresési index előállítás Index egyszerű keresés Igény és Elemző és Szűrő Összetett elemzés Szöveg Regiszter Struktúra Elemző tartalom kinyerés Tartalom Tár (XML) Megjelenítési Eredmény Megjelenítő Letöltés Ütemező Tükröző Tükör Megjelenített eredmény és meta adatai az eredeti tárolása Ténykinyerés Ütemező 14
IKF rendszer alapelemek Beszerzés Forrás környezet Külső Forrás alapján külső források felkutatása (találati előállítás) Internet Internet Specializált Letöltő és Elemző Letöltő és Előszűrő Regisztráló A találati listán szereplő dokumentumok letöltése, előszűrése (tartalmi szelekció). Specializált beszerző modulok ismert források és dokumentum formátumok (adatok) beszerzésére 15
IKF rendszer alapelemek Elemzés Tárgyterület leírás Indexelő keresési index előállítás Struktúra Elemző tartalom kinyerés Statisztikai alapú elemzés (indexelés), amely a tárgyterület leírását felhasználva a dokumentumok tartalom-alapú keresését támogatja Struktúra elemző, amely a beérkezett dokumentumokat többféle szempont szerint elemzi, lehetőség szerint strukturált formába (XML) önti 16
IKF rendszer alapelemek Tudástár (első megközelítés) Konkrét adatok Az beszerzett dokumentumok, adatok, valamint az elemzések eredményeinek tárolása. Indexelő keresési index előállítás Struktúra Elemző tartalom kinyerés Index Tartalom Tár (XML) A Index a tartalmi keresést támogatja. A Tartalom Tár a struktúra elemzés eredményeképpen kapott tartalom elemeket tárolja. Tükröző az eredeti tárolása Tükör A Tükör az eredeti forrásdokumentumokat tartalmazza. 17
IKF rendszer alapelemek Kérés Feldolgozó egyszerű keresés Megjelenítési Inf. igény Igény és Elemző és Szűrő Szöveg Eredmény Megjelenítő Megjelenített eredmény Összetett elemzés Keresés és Megjelenítés A felhasználó kérésének feldolgozása után a tartalom-alapú kereső visszaadja a kérésre releváns dokumentumokat. Az Igény és Elemző az információs igény, a visszakapott eredeti dokumentumok, illetve az azokhoz tartozó strukturált tartalom elemek alapján előállítja a választ, melyet az Eredmény Megjelenítő önt végleges formába. Konkrét adatok kinyerése lehetséges. 18
IKF rendszer prototípus A prototípus célja Az IKF rendszer korai megvalósítása, az elképzelt működés demonstrálása illetve ellenőrzése, a lehetséges megoldási alternatívák vizsgálata. A prototípus alkalmazási területe Üzleti vállalkozásokkal kapcsolatos információk szolgáltatása a magyar nyelvű internetes források dokumentumainak felhasználásával. A prototípus jellemzői Egyszerű rendszer, amely a projekt területéhez szorosan nem kapcsolódó területeken kész, szabványos megoldásokra épít. Az elképzelt IKF modulok alapszolgáltatásait valósítja meg, egyes területeken teret engedve a kísérleti megoldásoknak. 19
Az IKF első prototípus felépítése Felhasználó Szervlet konténer (felhasználói és adminisztrátori szolgáltatások) Web Szerver Tárgyterület modellépítés és karbantartás feltöltés keresés listázás megjelenítés Tudástár API Letöltő API API okutár API Tárgyterület Modellező Keresés, források, dokuk, fogalmak Struktúra Elemző Többrétegű, többféle strukturálás X X Tár XML és doku tárolás Beszerző Forrás keresés, doku letöltés, előszűrés Indexelő és Gyűjtemény és doku indexelés és keresés Tárgyterület modell Forrás modellek oku modellek oku index XML adatbázis oku bázis bázis Szerver Háttérszolgáltatások, adatbázisok 20
Beszerző és Elemző prototípus A modul feladatai Jellemzői A megadott keresési (illetve direkt letöltési utasítások) alapján internetes dokumentumok felkutatása, azok tartalmi szűrése, majd strukturális elemzése A modul alapvetően deklaratív elven működik: külön válik a beszerzés és elemzés általános tudása a tárgyterületi tudástól, illetve az internetes forrásokról rendelkezésre álló információktól. A tárgyterületi tudás struktura elemzési szabályok, illetve tartalom modell definíciók segítségével adható meg. Az internetes források leírására speciális szabályok szolgálnak. 21
Beszerző és Elemző prototípus Információ Forrás Környezet (WEB) Tárgyterület Tudásbázis struktúra elemzõ Letöltõ URL HTML XML TEXT Szabály illesztés Struktúra elemzés Tartalom modellek szöveg elemzõ URL regiszter Elosztó Tudásbázis építõ XML tár Indexelõ és Keresõ 22
Beszerző és Elemző prototípus Információ Forrás Környezet (WEB) Tárgyterület Tudásbázis struktúra elemzõ Letöltõ URL HTML XML TEXT Szabály illesztés Struktúra elemzés Tartalom modellek szöveg elemzõ URL regiszter Elosztó Tudásbázis építõ XML tár Indexelõ és Keresõ 23