Elképzelés és megvalósítás. Linked Data. Linked Data. Felhasznált alapfogalmak (1)

Átírás

1 Linked Data Jeszenszky Péter Debreceni Egyetem, Informatikai Kar Elképzelés és megvalósítás Tim Berners-Lee: Linked Data (2006. július 27.) Chris Bizer, Richard Cyganiak, Tom Heath: How to Publish Linked Data on the Web (2007. július 27.) Linked Data Connect Distributed Data across the Web 3 Linked Data Felhasznált alapfogalmak (1) A kifejezés strukturált adatok webes közzétételének és összekapcsolásának megvalósítási módját jelenti A hiperszöveg-web mintájára adat-web ( web of data ) megvalósítása a cél A hiperszöveg-weben a weboldalak közötti kapcsolatok megvalósítása horgonyok (anchors) segítségével Az adat-weben tetszőleges dolgok között kapcsolatok írhatók le az RDF segítségével URI Erőforrásrész-azonosító (fragment identifier) Erőforrás (resource) Információs erőforrás (information resource) Hivatkozás-feloldás (dereferencing) Reprezentáció (representation) Internet médiatípus (Internet media type) Tartalomegyeztetés (content negotiation) 2 4

2 Felhasznált alapfogalmak (2) Linked Data böngészők Az alapfogalmakat lásd az alábbi szabványokban: Marbles Architecture of the World Wide Web, Volume One (W3C ajánlás, december 15.) Megvalósítás Java szervletként (online kipróbálható), GNU GPL OpenLink Data Explorer Megvalósítás Firefox kiterjesztésként, Mozilla Public License RFC 3986: Uniform Resource Identifier (URI): Generic Syntax (2005. január) RFC 2616: Hypertext Transfer Protocol HTTP/1.1 (1999. június) OpenLink RDF Browser (online) SWIC SWI-Prolog megvalósítás, GNU GPL Tabulator: Generic data browser Megvalósítás Firefox kiterjesztésként és webalkalmazásként (AJAX), W3C Software Notice and License 5 Zitgist RDF Browser (online) 7 Adat-web Linked Data vs. Web APIs (1) Megvalósítás RDF linkekkel RDF linknek nevezünk egy olyan RDF hármast, amelyet három URI-hivatkozás alkot Web API-k segítségével is hatalmas mennyiségű strukturált adat érhető el jelenleg a weben Amazon Web Services Azaz a hármas alanya és a tárgya is URI-hivatkozás ebay Developers Program Egy RDF linkben megjelenő URI-hivatkozás feloldása az általa azonosított erőforrás leírását kell hogy szolgáltassa Facebook API Google APIs OpenSocial Az adat-web elérése Linked Data böngészőkkel történik Segítségükkel különböző adatforrások között lehet navigálni RDF linkek követésével 6 Például: MySpace, Netlog, orkut, Yahoo! Application Platform (YAP) 8

3 Linked Data vs. Web APIs (2) URI-k használata A web API-k segítségével általában XML vagy JSON formátumban juthatunk strukturált adatokhoz Milyen URI-t használjunk? ( URI-tervezés ) Hypertext Style: Cool URIs don't change (Tim Berners- Lee, 1998.) Minden web API saját interfészt és válasz formátumokat definiál Kapcsolt adatok elérése egységes módon történik, ráadásul az alábbi előnyöket élvezhetjük: Egy URI által azonosított erőforrás lehet információs és nem-információs erőforrás Nem információs erőforrások például: fogalmak, a fizikai világ objektumai, helyek, személyek, Különböző adatforrások természetes módon kapcsolhatók össze Kapcsolt adatok egyszerűen feldolgozhatók keresőmotor robotok által 9 Hogyan azonosíthat egy URI nem-információs erőforrást? 11 Alapelvek Nem-információs erőforrások azonosítása Használjunk URI-kat nevekként! Megoldások: HTTP URI-kat használjunk, amelyeknél hivatkozás-feloldás lehetséges! Hash URI-k használata 303-as átirányítás használata (HTTP) URI hivatkozás-feloldás során a szabványok segítségével (RDF, SPARQL) szolgáltassunk hasznos információkat! Minden URI-hoz adjunk meg a kapcsolatait más URI-kkal! Lásd: Cool URIs for the Semantic Web (W3C érdeklődési csoport följegyzés, december 3.) Best Practice Recipes for Publishing RDF Vocabularies (W3C munkacsoport-följegyzés, augusztus 28.)

4 Hash URI-k 303-as átirányítás: Példa (1) Hash URI alatt egy erőforrásrész-azonosítót tartalmazó URI-t értünk Például: Hivatkozás-feloldás során az erőforrásrészazonosító elhagyása Az erőforrásrész-azonosító elhagyásával kapott URI-n keresztül kell hogy elérhető legyen a nem-információs erőforrás leírása Hash URI-k esetén is használható URI-átirányítás 13 Tegyük fel, hogy egy kliens például a URI-val azonosítható neminformációs erőforrásra vonatkozó HTTP GET kérést intéz a webszerverhez! A kiens a kérés Accept fejléc mezőjében adhatja meg a válasz számára elfogadható médiatípusát (például: application/rdf+xml, text/html) A webszerver az alábbi HTTP kérést kapja a klienstől: GET /Hungary HTTP/1.1 Host: example Content-Type: application/rdf+xml as átirányítás 303-as átirányítás: Példa (2) A webszerver URI-átirányítást végezhet, amelyet a 303 See Other válasz státuszkóddal jelezhet a kliens felé A webszerver a Location válasz fejlécmezőben adja meg azt az URI-t, amelyre az átirányítás történik Az átirányítás történjen egy olyan URI-ra, amelyen keresztül a nem-információs erőforrás leírása érhető el A webszerver átirányítja a klienst a neminformációs erőforrást leíró információs erőforrásra az alábbi választ visszaküldve: HTTP/ See Other Location: Tartalomegyeztetés alapján történhet az átirányítás 14 16

5 Kapcsolt adatok közzététele (1) Böngészhető gráfok (1) Statikus RDF állományok formájában (RDF/XML, N-Triples, Turtle, N3) RDF tárolók általában biztosítanak Linked Data interfészt az eléréshez Ha nem áll rendelkezésre ilyen interfész, de van SPARQL végpont, akkor használjuk az alábbi megoldást: Pubby: A Linked Data Frontend for SPARQL Endpoints (része a DBpedia projektnek) Egy RDF gráf böngészhető, ha bármely csúcsként benne megjelenő URI hivatkozás feloldása során megkapjuk a csúcs leírását, amely az alábbiakat jelenti: Azokat az RDF hármasokat, amelyekben a csúcs alanyként vagy tárgyként szerepel Azoknak az üres csomópontoknak a leírását, amelyek a csúcstól egyetlen élnyi távolságra vannak Kapcsolt adatok közzététele (2) Böngészhető gráfok (2) Ha a tartalom nem RDF-ben áll rendelkezésre: Relációs adatbázisok elérhetővé tétele kapcsolt adatokként: D2R Server: Publishing Relational Databases on the Semantic Web (Java, GNU GPL) OpenLink Virtuoso Open Source Edition (GNU GPL) Triplify (PHP, GNU GPL) A böngészhetőség a gyakorlatban azt jelenti, hogy ha például két dokumentum tartalmazza az adatokat, akkor mindkét dokumentumban meg kell adni azokat az RDF linkeket, amelyek az egyik dokumentumban leírt erőforrásokat kapcsolják össze a másikban leírt erőforrásokkal Azért, hogy a gráf az élek mentén mindkét irányban navigálható legyen Wrapper implementálása létező alkalmazások vagy Web API-k köré Ez redundanciát jelent, ráadásul biztosítani kell a konzisztenciát Például: RDF Book Mashup (PHP)

6 RDF Best Practices Linking Open Data (2) Lehetőleg kerülni üres csomópontok használatát, mivel ezekre nem lehet kívülről hivatkozni Néhány a projekt részét alkotó önkényesen kiemelt és bemutatásra kerülő adatkészlet: Több különböző adatforrás közötti kapcsolatok kialakításánál jelenthet problémát Lehetőleg kerülni a tárgyiasítás használatát, mivel ennek szemantikája nem teljesen világos GeoNames Data.gov DBpedia Lehetőleg kerülni RDF konténerek és kollekciók használatát, mivel jelenleg ezek kezeléséhez nem ad támogatást a SPARQL Linking Open Data (1) GeoNames A projekt célja szabad hozzáférésű adatkészletek webes közzététele RDF-ben, valamint ezek összekapcsolása A rendelkezésre álló adatkészletek egy helyen összegyűjtve Statistics on Data sets that are available as Linked Data Földrajzi alakulatok 9 kategóriába, azon belül 645 további alkategóriába sorolása Számos különböző forrásból származnak az adatok Statistics on links between Data sets A felhasználók egy wiki interfészen keresztül szerkeszthetik is az adatbázis tartalmát 22 A címen elérhető földrajzi adatbázis Jelenleg több mint 8 millió földrajzi nevet tartalmaz 6.5 millió különböző földrajzi alakulathoz Földrajzi alakulatokhoz földrajzi koordináták és egyéb adatok tárolása (például postai irányítószámok) 24

7 GeoNames: Hozzáférés GeoNames: Szemantikus web integráció (2) Szabad hozzáférés és felhasználás: Többféle keresési és böngészési lehetőség Például a Magyarországot azonosító URI: A teljes adatbázis letölthető lokális használatra as átirányítás történik az URI-ra Sima szövegállományok formájában, többféle bontásban (például országonként) Creative Commons Attribution 3.0 License Magyarország leírása (RDF): Kapcsolt adatok: Webszolgáltatások (REST) Napi 11 millió kérés kiszolgálása Magyarországgal szomszédos országok (RDF): Van fizetős változata is (rövidebb válaszidő, garantált rendelkezésre állás, utcaszintű fordított geokódolás) 25 Magyarország közigazgatási egységei (RDF): 27 GeoNames: Szemantikus web integráció (1) Data.gov Minden földrajzi helynévhez egy azonosító URI hozzárendelése A címen elérhető portál májusában indult az Amerikai Egyesült Államokban Az URI-val egy olyan webszolgáltatás is elérhető, amely RDFben szolgáltat kapcsolódó információkat Webontológiák: (OWL Full) (OWL Lite) Szövetségi kormányzati adatok közzététele gépi feldolgozásra alkalmas formában Az adatkészleteket például XML vagy CSV formátumban lehet letölteni Cél az átláthatóság és nyitottság megteremtése a kormányzásban Ilyen módon a demokrácia erősítése, a kormányzat hatékonyságának növelése 26 Open Government Initiative 28

8 Data.gov: Adatkészletek RDF-ben DBpedia: Tartalom (Rensselaer Polytechnic Institute) 4.7 Billions of Triples from data.gov Datasets (2009. október 4.) Generating RDF from data.gov Demók: 29 A jelenleg aktuális verzió a számú, amely áprilisában került kiadásra, és a Wikipédia márciusi állapotát tükrözi Kb személy, hely, zenei album, film, szervezet és faj leírását tartalmazza 1 milliárdnál több RDF hármast tartalmaz Kb képre és külső weboldalra mutató linket tartalmaz Kb külső RDF adatkészletre mutató linket tartalmaz 31 DBpedia DBpedia: Ontológia A projekt célja strukturált információk kinyerése a Wikipédiából, és ezek elérhetővé tétele a weben Lehetővé teszi lekérdezések végrehajtását a Wikipédiára, valamint más a weben elérhető adatkészletek összekapcsolását a Wikipédiából kinyert információkkal Manuálisan létrehozott sekély, cross-domain webontológia (OWL) 259 osztály és 1200 tulajdonság alkotja Elérhetőség: Lekérdezhető a SPARQL végponton keresztül is A projekt résztvevői: Universität Leipzig, Freie Universität Berlin, OpenLink Software 30 32

9 DBpedia: URI-k DBpedia: Online elérés Minden az ontológiában definiált osztályt és tulajdonságot azonosító URI kezdetű Böngészés: DBpedia URI Lookup Bármely DBpedia URI esetén hivatkozás feloldás! Például: Minden osztálypéldányt azonosító URI kezdetű SPARQL: Nyilvános SPARQL végpont (OpenLink Virtuoso): SNORQL SPARQL Explorer Például: Alkalmazások: DBpedia Faceted Browser DBpedia Relation Finder 33 DBpedia Navigator 35 DBpedia: Letöltés DBpedia: Wikipédia tartalom feldolgozása Letöltés lokális használatra: Letöltés több részben lehetséges, nyelvenkénti bontásban, azon belül további darabokra osztva Rendelkezésre állás 92 különböző nyelven Letöltés N-Triples és N-Quads formátumban: GNU Free Documentation License Wikipedia Data Extraction (PHP 5) A projekt Subversion tárolójából kell letölteni a forrásokat! svn co bpedia/extraction dbpedia 34 36

10 DBpedia: Néhány felhasználási lehetőség DBpedia: Minta SPARQL lekérdezések (2) Wikipédia keresés forradalmasítása (jelenleg csak kulcsszavas keresés lehetséges a Wikipédián) Wikipédia szerkesztők munkájának segítése (konzisztencia ellenőrzés, szerkesztési javaslatok) Wikipédia adatok megjelenítése saját weboldalakon (kliens és szerver oldali megoldások) Földrajzi helyekre vonatkozó információk hasznosítása Kik születtek Elvis Presley-vel egy napon? PREFIX dbpedia-owl: < PREFIX dbpedia-res: < SELECT?x WHERE { dbpedia-res:elvis_presley dbpedia-owl:birthdate?p.?x a dbpedia-owl:person.?x dbpedia-owl:birthdate?q. FILTER (sameterm(?p,?q) &&! sameterm(?x, dbpedia-res:elvis_presley)) Például: DBpedia Mobile (GPS információk alapján közeli helyek megjelenítése térképen) DBpedia: Minta SPARQL lekérdezések (1) DBpedia: Minta SPARQL lekérdezések (3) Kik azok a személyek, akik aznap születtek, amikor Albert Einstein elhunyt? PREFIX dbpedia-owl: < PREFIX dbpedia-res: < SELECT?x WHERE { dbpedia-res:albert_einstein dbpedia-owl:deathdate?p.?x a dbpedia-owl:person.?x dbpedia-owl:birthdate?q. FILTER sameterm(?p,?q) Mely filmekben szerepelt Bruce Willis a nejével együtt? PREFIX dbpedia-owl: < PREFIX dbpedia-res: < SELECT?x WHERE {?x a dbpedia-owl:film ; dbpedia-owl:starring dbpedia-res:bruce_willis. dbpedia-res:bruce_willis dbpedia-owl:spouse?z.?x dbpedia-owl:starring?z

11 DBpedia: Minta SPARQL lekérdezések (4) DBpedia: Minta SPARQL lekérdezések (5) Mely Steven Spielberg által rendezett filmekben szerepelt Harrison Ford? PREFIX dbpedia-owl: < PREFIX dbpedia-res: < SELECT?x WHERE {?x a dbpedia-owl:film ; dbpedia-owl:director dbpedia-res:steven_spielberg ; dbpedia-owl:starring dbpedia-res:harrison_ford. Mely Steven Spielberg által rendezett filmekben nem szerepelt Harrison Ford? PREFIX dbpedia-owl: < PREFIX dbpedia-res: < SELECT?x WHERE {?x a dbpedia-owl:film ; dbpedia-owl:director dbpedia-res:steven_spielberg. OPTIONAL {?y a dbpedia-owl:film ; dbpedia-owl:starring dbpedia-res:harrison_ford. FILTER (?x =?y) FILTER (! bound(?y)) 41 42