Tanuló és értelmező adatkereső rendszer kifejlesztése

Átírás

1 Tanuló és értelmező adatkereső rendszer kifejlesztése

2 Köszöntő, tartalom ismertetése dr. Megyery Károly

3 Köszöntő, tartalom ismertetése dr. Megyery Károly - üzletviteli tanácsadó, IQSYS Zrt. Premier Partner K+F+I háttere az IQSYS-ben Kovács András - Üzletfejlesztés és marketing igazgató, IQSYS Zrt. A szakmai tartalom Németh Zoltán - BIC Innováció vezető, IQSYS Zrt. Premier Partner A megvalósított rendszer Árendás Zsolt - a projekt műszaki vezetője, IQSYS Zrt. Eredmények, implementációk Horváth Zoltánné - szakértő, IQSYS Zrt. Premier Partner Kérdések és válaszok Program

4 K+F+I háttere az IQSYS-ben Kovács András

5 Hagyományok Hagyományok és jövőkép IQSYS és elődei innováció a középpontban Új technológiák bevezetése és terjesztése Adattárház, Java, SOA, Termékek CASIR, IFRS, Adatklinika, IQPortal Minőségbiztosítás, módszertanok CMMI, IQSOA-BPM Jövőképünk: K+F+I a fókuszban

6 TSH Key technological focus points 7 big bets Collaboration & video conferencing Mobile enterprise BI & IM / analitical applications Security & Governance NG Bussiness Apps Apps & Sevice integration Cloud services /XaaS/ Meet and work together without travelling Video conferencing, screen sharing etc. Web (Enterprise) 2.0 based collaboration "Collaboration as a service UCC+ Mobile UCC + Social CC Fix mobile convergence Standard office services and industry specific applications on mobile devices Context aware apps Mobile clients (Smart phones & tablets) UC on smart mobile devices standard & custom mobile apps, system integration, security, device and service management Transforming transactional data to business-relevant information Visualization on desktop and smart phone as well as tablets Reporting, analysis, forecast, simulation BI products, consultancy, custom app development, system integration In the Cloud age, the importance tzh of security is significantly grows Advanced Security solutions for DC, Cloud, SW infrastructure, etc In the growing complexity the importance IT and subfield (BI, Security, SOA) governances more and more important Next generation of business applications In-house developed packages and composite custom applications Application and service integration: telco, IT infrastructure elements, server / application platform, SaaS integration Server, storage, network, application and desktop virtualization solutions Cloud services are the most important IT trend: IaaS, PaaS and SaaS E2E SLA BPaaS Broadband Enabler of other solutions (collaboration, mobile enterprise) and services, cloud Sold preferably packaged in unique solutions to avoid commodity status Integrated, swappable usage of fix, mobile, Wi-Fi and LTE technologies on end-user applications

7 IQSYS csoport pályázatok IQSYS SaaS központ (GOP ) Advise (KMOP ) Iratkezelés és workflow (GOP ) Daten-Kontor ISH Black Hole (GOP /B) - Lezárt: DIKFK (GOP /1-2008) Lezárt: HISCOM (GOP ) Lezárt: Magtár (GOP /B) - Zárás: határidő módosítás várható Drótkórház (GOP ) - Zárás: klaszter tagságok (MM klaszter, IKT klaszter, )

8 Cél Alkalmazás Szolgáltató Központ (SaaS) SaaS szolgáltatási központ létrehozása a hazai és közép-európai KKV-k számára, amely hozzásegíti őket a költséghatékony működéshez, a működési folyamatok optimalizálásához. Induló szolgáltatások: CRM ERP Státusz: Folyamatban, zárás: május 31. Elindított szolgáltatások ERP (SAP Business One) CRM (Microsoft Dynamics CRM) Piactér Pénzügyi szolgáltatások

9 Cél Iratkezelés és workflow Irat-és dokumentumkezelő, munkafolyamat támogató SaaS szolgáltatás nyújtása a hazai és közép-európai KKV-k számára, amely hozzásegíti őket a költséghatékony működéshez, a működési folyamatok optimalizálásához. Modulok: Ügyfél adminisztráció Mobil platform Szkenner és OCR integráció Elektronikus aláírás integráció Üzleti sablonok beépítése Munkafolyamat támogatás (Workflow) Státusz: Folyamatban (félúton ) Piackutatás KKV-kra elkészült KKV-k kiválasztása béta verzió teszteléshez Keretrendszer elkészült (a modulokhoz)

10 Cél Információkeresést forradalmasító, tanuló és értelmező (adaptív) adatkereső rendszer kifejlesztése Advise a köz- és vállalati szférában egyaránt jelentős innovációt jelentő alkalmazás, amely nagymértékben lerövidíti az információkereséssel töltött időt. Státusz: Lezárult

11 A szakmai tartalom Németh Zoltán

12 Pályázat Tanuló és értelmező adatkereső rendszer kifejlesztése az IQSYS Zrt.-nél Vissza nem térítendő támogatás Időszak: Összköltség: Ft Támogatás: 25% - legfeljebb Ft

13 Advise rendszer Adaptív adattárház kereső rendszer Szakmai előzmények Öntanuló, csoporttámogatású kereső eszköz Vállalati belső strukturált és strukturálatlan adatok (fájlrendszer, vállalati portálok, intranet, levelezés, adattárház, belső adatbázisok ) Internet: Google, publikus portálok, fizetős információ szolgáltatók (Gartner, ISI ) Fogalmi háló Hírlevél modul

14 Pályázatban megfogalmazott célok Könyvtári, múzeumi, levéltári alkalmazhatóság IQPortál + Advise integráció - Közös könyvtári kereső OAI-PMH és könyvtári protokollok Automatikus taxonómia és tématérkép építés Szemantikus keresés Több adatbázis párhuzamos keresése Keresési eredmények integrálása

15 Nagyvállalati alkalmazhatóság További pályázati célok Újratervezett, ergonomikus felület Keresőmotor fejlesztése Üzletileg hasznosítható új funkciók: Hírfolyamok, hírolvasók támogatása Ügyfél/versenytárs információk aggregálása Projekt információk aggregálása Strukturálatlan adatok strukturálása

16 Fejlesztő csapat Árendás Zsolt Kiss Gergely Habók Lilla Heckenberger Péter Németh Zoltán Pethő Éva Sárai Ferenc Vértesy Éva

17 IQPortál + Advise integráció Könyvtári interfészek (OAI-PMH, Z39.50 ) Közhasznú könyvtári források illesztése Tezaurusz illesztés Új Advise felület Keresési funkciók bővülése Kereső kifejezés szerkesztő Tématérkép szerkesztő Cégprofil / ügyfélprofil JasperReports illesztés BI közös riportkészítés Eredmények

18 Megjelenés az IQPortál felületen IQPortál források illesztése IQPortál integráció IQPortál saját tartalom IQPortál könyvtárközi kölcsönzés tartalmai IQPortál bejelentkezés, felhasználókezelés

19 Egyszerű és összetett kifejezések Keresési funkciók Kulcsszavas és idézőjeles AND, OR, NOT, NEAR Forrás, idő, nyelv, dokumentum típus Eltérő szűrő és relevancia kulcsszavak Megadott metaadatokban való keresés (szerző, cím, ) Több forrás, egyidejű, párhuzamos keresése Indexelt (OAI-PMH, Marc) és delegált keresés (Z39.50) Források jelszó kezelése Duplum szűrés / Csoportosítás Keresés mentés

20 Találati lista Találati lista mentése (XLS, XML, DC, RIS, HunMarc ) Előnézet Értékelés Jegyzetelés Kulcsszavak kiemelése Rendezés Források visszajelzése találat darabszámok

21 Felhasználó dokumentum E-learning videó Oktatási / demonstrációs rendszer Oktatási anyagok

22 Eddigi implementációk Zrínyi Miklós Nemzetvédelmi Egyetem - Innovatív könyvtár Zrínyi Miklós Nemzetvédelmi Egyetem, Iparművészeti Múzeum, Magyar Nemzeti Múzeum, Moholy-Nagy Művészeti Egyetem, Óbudai Egyetem 2011.szept dec.15 Budapesti Corvinus Egyetem - Tudásdepo Budapesti Műszaki és Gazdaságtudományi Egyetem, Eötvös Lóránd Tudomány Egyetem, Általános Vállalkozási Főiskola, Magyar Képzőművészeti Egyetem, Szent István Egyetem 2012.jan ápr.24 Wellnesshetvege.eu Szállás és wellness kereső >50 különböző szálláskereső oldal közös keresője

23 Wellnesshetvege.eu Szövegintelligencia Hirdetés keresés Versenytárs, piaci elemzés Hirdetéstár

24 Elearning Levelezés Fogalomtár WIKI (tudástár) Portál Bejelentés kezelő Szállítói tudástár Tudásmenedzsment Keresés Tudásmenedzsment kultúra

25 Hírlevél, sajtófigyelés Munkatársak képzése, tájékoztatása Precíz szűrés, másodfajú hibák <20% Napi, heti, havi hírlevelek Doc, Excel, Zip formátumban Különböző témákban: Versenytárs VIP ügyfelek, klaszter, közbeszerzés Innováció, üzletfejlesztés, biztonság, regionális HR, kontrolling, számvitel, projektmgmt.

26 Pilot projekt Zárójelentés keresés Kórházi adatbázis Metaadat Zárójelentés (Tényadatok előhívása) (Jogosultság) Betegség, tünet, kezelés Előkép

27

28 aktuális, friss események, riasztások részletes céginformációs adatok hírek, nyilatkozatok, pályázatok partnerek, CV hivatkozások kapcsolattartók, emlékeztetők, naptárbejegyzések, futó projektek kintlévőség, riportok, szerződések Cégprofil más profil oldalak: Projekt Termék Szervezeti egység Település

29 Advise és adattárház Adattárház kapcsolat Dimenzió Szakmai Keresés Tématérkép Egyszerű Keresés Fogalmi Háló Értékkészlet Téma Kereső kifejezés Fogalom tár Invert index Strukturált tényadat Szövegtár

30 A megvalósított rendszer Árendás Zsolt

31 Eredmények, implementációk Horváth Zoltánné

32 A kereső rendszer képes-e felismerni a kulcsszavak mögött az emberi szándékot? A gépi intelligencia fejlődése ellenére még sokáig szükséges lesz az emberi intelligencia igénybevétele A kérdés: lehet-e takarékoskodni az emberi munkaerővel és mennyire?

33 A keresés problémái ADVISE válaszok Könyvtári implementációk NKE és BCE közös kereső Áttekintés Automatikus fogalmi hálózat és tématérkép szerkesztő Kutatási terv A könyvtár örök

34 Az információ célja a kereshetőség Mi a probléma a kereséssel? Kereső kifejezések nem szavakra, hanem szövegösszefüggésekre keresünk Szaknyelvek és a jelentés azonos szóalak mellett eltérő jelentéstartalom Információ invázió Automatizálás formalizált nyelvek A fogalmi és nyelvi elemzések időigényesek, kevesen értenek hozzá Formalizált nyelvek szükségesek Az automatizálás lassan fejlődik A döntések nem ott születnek, ahol az információ Tezauruszok, taxonómiák, ontológiák szaknyelvi és szinonima problémák, fogalmi elemzés A formalizálás szabványai folyamatosan fejlődnek és elavulnak Elemzők által formalizált nyelvet kevesen értik Munkaidő 30 %-a információkeresés, % sikertelen lehet (IDC) Információforrások 80 %-a strukturálatlan

35 A könyvtári rendszer meta-keresése nem elég Hiába tervezünk mutatós kereső rendszereket Gyorsulás, technológiai váltás, digitalizálás, közvetlen elérés, linkek, azonnali válasz Hiába kínálunk sok értékes különálló forrást Mi a probléma a könyvtári kereséssel? Nem szeretjük tárolni, frissíteni a találatokat, sem a jelszavakat kezelni Nem szeretjük megtanulni az adatforrások kezelését Egy web oldalról akarunk mindent megtalálni A hagyományos keresőkkel nem látunk az adatok mélyére A felhasználót nem a keresés, hanem a találat érdekli Teljesség és pontosság ellentéte Szűrés adatforrás, időkorlát, formátum, nyelv, meta-adat keresői profilok szerkeszthetősége Szelekció megfelelő adatforrások Legyen olyan egyszerű, mint a Google Legyenek automatikus eszközök?

36 Mi a probléma a Google és társai keresésével? A Google a felszíni webet tudja indexelni, de vannak mélyebb rétegei is Nincs garancia a találatok pontosságára Nem értékeltek a források Reklámozott oldalak kerülnek előre, rangsorolás üzleti érdek által vezérelt is lehet Az emberek 90 %-a csak az első 10 találatot nézi meg Logikai operátorok és összetett keresés is szükséges a jó eredményhez Vannak más keresők is, amelyek jó eredményt hoznak, azokat is használni kellene (Jahoo, Bing, Infoseek, Hotbot, AltaVista, Lycos, Excite, Ask ) Ha pontos és teljes találatokat akarunk, az Interneten is több keresővel kell dolgoznunk! Social network: vélemény megosztó, forrásnak nem elegendő, vagy nem teljes, szűk, befolyásolt stb.? Valahol közte kell lennie!

37 A Google-t választja, mert A felhasználó problémái A népszerű web oldalakhoz hasonló eszközöket szeretne a könyvtárban is: közvetlen elérést, linkeket, azonnali választ Szeretné formálni a tartalmakat (web2.0), ehhez virtuális közösséget keres Napi kényelméhez hozzátartozik a közösségi háló eszközeinek használata: Twitter, Facebook, LinkedIn Véleményét könnyedén elhelyezi és elvárja, hogy a megszokott technikát kapja a könyvtárban is Saját közösségi helyein keresné a könyvtári információkat ( legyenek ott, ahol én keresek! ) Second Life függők Az IT forradalom a fiatal, un. Google nemzedék gyakorlatában valósult meg Számukra új típusú szolgáltatást kell nyújtaniuk a könyvtáraknak Tervezett, módosítható, perszonalizált professzionális szolgáltatásokra is szükség van Portálok, speciális keresők, értékelt források, automatikus szolgáltatások

38 Modern válaszok a keresési problémákra Szemantikai irányzat Jelentéstani összefüggések gépi kezelése Automatikus módszerek az emberi intelligencia részleges kiváltása Konceptuális fogalmi elemzés és vizualizáció konceptuális összegfüggések kimutatása és grafikus módosítása Kényelmi szolgáltatások együttes keresés automatikus jelszókezelés, találati lista mentés és automatikus frissítés, alert szolgáltatásokkal szűrés, automatikus statisztikák Integráció külső rendszerekhez

39 Mire ad választ az? Adaptív, öntanuló, szemantikus kereső BI és Google adottságok ötvözése kapcsolódó kereséseket, újabb témaköröket is önállóan beépít Egyidejű keresés, szűrés, szelekció a kijelölt adattárakban meta-adat, szabad szöveges keresés, szűrés adatforrás, időkorlát, formátum, meta-adat szerint Rangsorolás több szinten, relevancia értékek alapján relevancia függvénnyel, Keresési limittel, súlyozási táblázat alapján Integráció portállal, IKR-rel, archívummal, szabványos adattárakkal Fogalmi hálók elemzése és vizualizációja a kereséshez Fogalmi struktúra, súlyozott kapcsolatok, asszociációk Tezaurusz, taxonómia, tárgyszó rendszer grafikus karbantartás, bővítés, vizualizáció export-import Automatikus módszerek, tématérkép Rendezett és strukturálatlan információk, tetszőleges adatforrások Front-end és összetett keresés Integrált tetszőleges adatforrások - automatikus tématérkép - automatikus alert - riportolás, statisztikák

40 Egyetemi Könyvtári implementációk és konzorcium vezetők NEMZETI KÖZSZOGÁLATI EGYETEM Tudásdepó Tudásvásár

41 Az NKE Konzorcium Magyarország egyik legrégebbi közgyűjteménye (1878). Országos feladatkörű múzeumi szakkönyvtár, a tudományos kutatómunka bázisa A Magyar Nemzeti Múzeum Központi Könyvtára ben Széchényi Ferenc alapította. 47 gyűjteményével Közép-Európa egyik legjelentősebb régészeti szakkönyvtára Az iparművészetek szellemi műhelyeként a tradicionális iparművészet oktatás mellett a designer, építész és vizuális kommunikáció tervező képzésnek is helyet ad. Jogfolytonos elődeivel 1880 óta működik. Jogelődjét 1898-ban alapították, a Könyvtár több műszaki főiskola összeolvadásával folyamatosan növekedett (pl. Kandó, Bánki Donát stb.) NEMZETI KÖZSZOGÁLATI EGYETEM

42 A BCE konzorcium Magyar Képzőművészeti Egyetem Könyvtára Magyarország egyik legértékesebb képzőművészeti könyvgyűjteménye Országos Műszaki Információs Központ és Könyvtár a Budapesti Műszaki és Gazdaságtudományi Egyetem keretein belül, a BME KTK-val egyesülve BME OMIKK néven végzi tevékenységét. A mai Szent István Egyetem több, igen jelentős múltra visszatekintő intézmény integrálásával 2000-ben jött létre. A legnagyobb múltú kar története 1787-ig vezethető vissza. Az Eötvös Loránd Tudományegyetem központi könyvtára a nagy múltú és első magyar Egyetemi Könyvtár jogutódja, alapítása óta folyamatosan működik. A jezsuita rend 1773-as feloszlatása után az egyetem és vele együtt a könyvtár állami intézménnyé vált. Általános Vállalkozási Főiskola Könyvtára

43 a közös kereső ADVISE közös kereső biztosítja a könyvtárak (konzorciumok) adattárainak differenciált szempontok szerinti együttes és egyidejű keresését Google-szerű front-end keresés Pontosan definiálható részletes kereső szűréssel: adatforrásra, időpontra, dokumentumtípusra, metaadat kategóriára Találati lista Relevancia értékek alapján relevancia függvénnyel Keresési limittel, súlyozási táblázat alapján Keresési folyamat ADVISE index-ben Külső adatbázisokban delegált kereséssel Logikai kapcsolatok definiálása reguláris kifejezésekkel (AND, OR, NOT, NEAR) Kulcsszóra keresés és idézőjeles pontos keresés Exportálható találati listák xml,xls, Doublin Core, HunMarc, csv

44 ADVISE automatikus fogalmi hálózat szerkesztő Keresőnyelvek, szótárak, kódkészletek adott szakmai terület rendszerének visszatükrözése folyamatosan változik A tárgyszavak, tezauruszok, taxonómiák manuális előállítása és frissítése drága, lassú, problémás Tömeges információt már nem lehet csak manuális eszközökkel feltárni és rendszerezni Az ADVISE automatizálja a fogalmi elemzés egy részét Fogalmi rendszerek létesítése automatikusan öntanuló, adaptív módszerrel, kevesebb emberi intelligencia igénybevételével Vizualizáció Fogalmi készlet csomópontjainak, sűrűségének, hiányainak, telítettségének és a fogalmak közötti relációk felismerése Struktúra módosítása, javítása, kiegészítése, fogalmi megnevezések exportja, importja A jelentési környezetek összetételének, jellegének, hibáinak áttekintése Kiválaszthatók a legjellemzőbb fogalmak tématérkép generáláshoz

45 AZ ADVISE tématérkép szerkesztő Egyetlen megnevezés képvisel egy nagyobb fogalom együttest A felhasználónak nem kell ismernie a fogalom pontos megnevezését a rendszerben A tématérkép témák közötti kapcsolatokat (asszociációk) definiál Tükrözi egy adott terület fogalmi rendszerét és összetételét Gyors áttekinthetőséget nyújt Tudás/probléma alapú információkezelés Külső erőforrásokat (dokumentumok) rendel a témához Előfordulásai hozzárendelődnek a témához A rendszer automatikusan keres a képviselt fogalmak összességére A megnevezés és kapcsolati rendszer segíti a fogalmakat az adott szakterületre vonatkoztatni (pl. Páris város, Páris mitológiai alak) TÉMA KAPCSOLATAI ELŐFORDULÁSAI

46 Az 5 konzorciumi nagykönyvtár elkülönítheti saját találatait a Nemzeti Közszolgálati Egyetemen Építhetnek közös tématérképet, közös tárgyszó rendszert A közös találati lista alapján dokumentumcserét kezdeményezhetnek Használhatják egymás kötelező irodalom jegyzékeit Közös szolgáltatási ügyeleti rendszert működtethetnek az érintkező szakterületi átfedések függvényében (kooperáció)

47 Találati lista forrásai: MEK, Europeana, OLIB, Libri, Erudutio (Muzeális Könyvtári Dokumentumok Nyilvántartása), Erdélyi Digitális Adattár, Matarka, Humánus, MOKKA stb. Kibővített tárgyszavak az öntanuló szemantikus rendszer adottságai szerint belsőépítészet + irodabútor, feng-shui, lakásművészet, design, lakberendezés

48 ADVISE a Corvinuson a Budapesti Corvinus Egyetemen

49 Keresés, találati lista, exportálás, saját e-learning tudástár Szelekció Mobilizálás Kooperáció E-learning tudástár, közös használatú tudásanyagok, tanulmány javaslatok, Irodalomjegyzékek, tananyagok, kötelező olvasmányok, önképzési anyagok

50 Találati lista Internet források nélkül 6 év alatt :79 találat Google Scholar források engedélyezésével 1 év alatt: 211, tartalmi kivonat megjelenítéssel.

51 Kombinált keresés Tématérkép AND taxonómia Időtartam: 6 év Internetes forrásokkal együtt Találatok száma: 6 Link: Magyar Terminológia MTA folyóirathoz Szűrés Tématérkép AND taxonómia NOT szemantikus web Találatok száma: 0 Kivonat magyar in English A szemantikus web program célja egy olyan globális hálózati metaadat-infrastruktúra létrehozása, amely lehetővé teszi a világhálón lévő adatok integrálását, a közöttük lévő kapcsolatok definiálását és jellemzését, illetve az adatok értelmezését. Mindez új lehetőségeket, stb.

52 ADVISE keresőhöz integrált adatforrások OPAC (online pubic access catalogue) Aleph, Huntéka, OLIB, E- Corvina, Szirén, Szikla, Doktori disszertációk (BCE, BME OMIKK, SZIE) Publikációs adatbázisok (BCE, BME OMIKK, SZIE) Képadatbázisok (MKE, SZIE) Archívumok ELTE Digitális Intézményi Tudástár BME OMIKK Repozitórium BCE Vállalatgazdaságtan Intézet Archívuma

53 Jelentéskészítés és statisztika Könyvtári szempontok Leggyakrabban letöltött dokumentumok Témakörhöz tartozó leginkább releváns dokumentumok Leginkább hasznosnak / haszontalannak tartott dokumentumok Hányszor hívtak meg egy adott dokumentumot Tipikus szűrőfeltételek egy adott dokumentum megtalálásához Egyes források keresésének sebessége Egyes rendszerek kihasználtsága Hiány a keresések során Egyes témák hiánya vagy telítettsége a rendszerben Mely felhasználók használnak egy adott adatforrást a leggyakrabban

54 Jövőképek kooperatív fejlesztés Automatikus referátum és meta-adat készítés Comment módszerek automatikus módszerekkel Plágium-védelem szakdolgozatoknál Referátum, annotáció, kivonat, glossary Tömörítvények tartalmi feltárás és ismertetés Szöveg kivonat és metaadat ingest automatikusan a könyvtári rendszerbe Keresés a tömörített, indexelt referátum tartalomban Egyetemi és szakterületi standardok Kooperatív megoldások

55 A jövő mindig más - a könyvtár és a keresés örök Egyidejű keresés közös találati listával Bélyegképek a találati listában Találati lista rangsorolás Link kapcsolat a távoli adattárakhoz Pontos keresés és szűrés Kereső kérdések szerkesztésével Szemantikus fogalmi kapcsolatok Jelszókezelés, SSO funkció Tématérkép generálás Fogalmi struktúrák és vizualizáció Automatikus alert funkciók Tárolás (archívum, directory, repozitórium) Leíró adatok és leíró nyelvek (meta-adat) Adat visszakeresés (hálózat és keresőgépek) Értékelés, ismertetés (commentek) Digitalizáció, szintetizálás, portálok, tudásmenedzsment, mobilizáció, folyamatos technológiai megújulás

56