SZTAKIMemory A DIGITÁLIS INFORMÁCÓK HOSSZÚ TÁVÚ MEGŐRZÉSE ARCHÍVUMRENDSZER INTÉZETI KÖZÖS MEMÓRIA SZÁMÁRA

Átírás

1 SZTAKIMemory A DIGITÁLIS INFORMÁCÓK HOSSZÚ TÁVÚ MEGŐRZÉSE ARCHÍVUMRENDSZER INTÉZETI KÖZÖS MEMÓRIA SZÁMÁRA - DR. KOVÁCS LÁSZLÓ

2 MTA SZTAKI DSD - Elosztott Rendszerek Osztály Alapítva 1994 (23 év) Kutatás, fejlesztés, (on-line) szolgáltatás 15 FTE Projektek: 25 nemzetközi nagy projekt (EU, Japán - 80% tevékenység) 21 nagyobb magyar projekt (20% tevékenység) Cél: valóságban létező, működőképes, bonyolult informatikai rendszerek létrehozása a legfejlettebb technológiák alkalmazásával, jelentős hazai (társadalmi, ipari, stb.) impakt, technológia hídszerep Nem cél: publikációk előállítása (ennek ellenére Q1/D1 publikáció)

3 MTA SZTAKI DSD TEVÉKENYSÉGI TERÜLETEK Internet Science, Future Internet Research escience IoT (Internet of Things) Digital Library Nomadic collab. Media spaces egovernment Semantic Web Delos Delos NoE Delos NoE2 ORG Hektár Aqua MTMT-2 KOPI Web Services Cloud Computing Digital Library Collaboration World Wide Web Collaboration CORES GeneSyS StreamOnTheFly EUTIST-AMI ABILITIES SZTAKISzótár Infrawebs government portals SELECT Promóció Forum DONAU BREIN eadministration Web4Groups evoting World Wide Web

4 MTA SZTAKI DSD KEZDETEK Webszolgáltatások: SZTAKISzótár (1994) SZTAKI honlap (1994) SZTAKISzavazás (1996) NIIFP portál (1997) 4-es METRÓ (3D VRML model) (1997) WebArt: Kormányzat:

5 MTA SZTAKI DSD REFERENCIÁK Web szolgáltatások: n SZTAKISzótár (1994-) n n SZTAKI Szavazás ( ) WebArt ( ) n NDA@SZTAKI (Nemzeti Digitális Archívum)(1997-) n n StreamOnTheFly, radio.sztaki.hu ( ) KOPI plágiumkereső (2004-) n Nemzeti repozitórium közös kereső (2014-) A labor neve: MTA SZTAKI DSD - Elosztott Rendszerek Osztály Országos szolgálat: W3C Magyar Iroda (2002-) n n n n n Intézeti belső szolgáltatások: SZTAKI Web (1994-) SZTAKI könyvtári infrastruktúra (2005-) SZTAKI repozitórium infrastruktúra (2012-) SZTAKI - MTMT interfész (2013-)

6 HOSSZÚ TÁVÚ DIGITÁLIS MEGŐRZÉS

7 Citizen Science TUDOMÁNY 2.0 Open Code Data Intensive Open Access Open Annotation Open Data Open Code Open Lab Books/Workflows Alternative Reputation System Collaborative Bibliographies Science Blog Data Intensive Citizens Science Analysis Open Workflows Pre-Print Data Gathering Publication Open Access Open Data Open Annotation Conceptualisation Review Research Cycle Science Blogs Collaborative Bibliographies Alternative Reputation

8 A TUDOMÁNY A JELENBEN ÉS A JÖVŐBEN A tudomány művelése egyre inkább digitális alapú Nagyfokú (folyamat és objektum) transzparencia - nem csupán lehetőség, hanem elvárás A szférában különféle típusú digitális objektumok keletkeznek (nem csupán publikációk) A digitális objektumok menedzsmentje (létrehozás, megosztás, szállítás, tárolás, hosszú távú megőrzés) a fizikai objektumok menedzsmentjéhez képest sokkal bonyolultabb, munkaigényesebb és szakmai (leginkább informatikai és archiválási) hozzáértést igényel

9 DIGITÁLIS OBJEKTUM KEZELÉS Kik, milyen intézmények fogják a digitális objektumok kezelését elvégezni (új memória intézmény?, könyvtárak?, levéltárak?, múzeumok?) Hálózati kutatási infrastruktúrák és intézetek (NIIFI?), domain specifikus közösségi intézmények (arxiv.org), profit és/vagy nem profit orientált cégek? A könyvtárakban, a klasszikus funkciók mellett megjelenik a digitális objektum menedzsment mint új elvárás

10 AZ MTA SZTAKI JELENLEGI PROBLÉMÁI (EGYBEN ÁLTALÁNOS PROBLÉMÁK IS) Tudástermés meghatározása mint menedzsment probléma Tudás hosszú távú digitális megőrzése mint tudományos/techikai/szervezési probléma Szabályozott tudásmegosztás részlegen belül (munkatársak és a generációk között) részlegek között részlegeken túl (a részlegek élettartamán túlmenően) Kontrollált tudásexport (lopás védelem) Eszközfüggetlen tudás hozzáférés (desktop, web, tablet, mobil) Tudásregiszter, kompetencia listák, teljesítmény statisztikák stb. előállítása Szellemi tulajdonkezelési szabályzatnak való megfelelés (pl. MTA Elnök 1/2013. (II.18.) rendelet)

11 A SZTAKIMEMORY PROJEKT VÁLASZAI Intézeti policy a megőrzendő tudásentitások meghatározására (MIT) Finoman szabályozott hozzáférési jogosultság rendszer (KI) Eszközfüggetlen rendszer elérés (desktop, web, tablet, mobil) (HOGYAN) Hosszú távú digitális objektum (a bitfolyamon túlmenő) megőrzés Szabványos (OAIS konform?) arhívum rendszer hosszú távú digitális tárolásra Kódolt adattárolás (operátori hozzáférés elleni védelem) Fizikai eszköz- és adatvédelem Aktív rendszer-karbantartás és -menedzsment

12 BIM - BUILDING INFORMATION MODELLING

13 A BIM FELHASZNÁLÁSA AZ ÉPÜLET TELJES ÉLETTARTAMÁBAN

14 EGY ÉPÜLET TERVEZETT ÉLETTARTAMA > 100 ÉV

15 BIM ALKALMAZÁSÁNAK KÖVETKEZMÉNYEI A digitális adatokat (tervrajzok, szakipari tervek, financiális tervek, látványtervek, kivitelezési tervek stb.) valamint számítógépen futtatható szakági elemzéseket tartalmazó BIM modelt legalább 100 évig kell megőrizni és közben az állandó használatát is biztosítani (épület üzemeltetés). Az informatika gyorsuló ütemben fejlődik, új szoftver verziók, új szoftverek, új digitális fájlformátumok jelennek meg, a régi formátumok és szoftverek és verzióik elavulnak, használhatatlanná válnak A digitális információ hordozók fizikailag elavulnak, a hordozó technológia is váltásra kerül (lásd pl. floppy lemezek és floppy olvasók története)

16 OAIS REFERENCE MODEL OPEN ARCHIVAL INFORMATION SYSTEM (ISO 14721:2003)

17 OAIS REFERENCE MODEL részletezve

18 HOSSZÚ TÁVÚ DIGITÁLIS TÁROLÁS technológia-független adat- és adatintegritás-védelem keretrendszer prezervációs stratégiák meghatározására szemantikus szintű adatmegőrzés emulációs és/vagy migrációs techológiák alkalmazása adathordozó gondozás

19 HOSSZÚ TÁVÚ DIGITÁLIS TÁROLÁS PROJEKTEK 4C APARSEN ARCOMEM BlogForever DAVID DIACHRON DuraArk E-ARK ENSURE ForgetIT KEEP LiWA PERICLES PrestoPRIME PROTAGE SCAPE SHAMAN TIMBUS Wf4Ever

20 E-ARK PROJECT SIP Submission Information Package AIP - Archival Information Package DIP - Dissemination Information Package

21 E-ARK PROJECT

22 E ARK Tools and Content formats Pre Ingest DB ERMS Export Module ERMS SIARD 2.0 E ARK SMURF (ERMS) FILES RODA In ESSArch Tools for Producer UAM QGIS GML Ingest SIP Creation tools Export tools DBPTK Prev Archival Storage Preservation Search and Order Data Management management tools E ARK SIP E ARK SIP E ARK AIP ESSArch Tools for Archive E ARK AIP DIP Creation tools E ARK DIP RODA Repository ESSArch Preservation Platform E ARK DIP E ARK SIP DB Visualisation Toolkit IP Viewer CMIS Portal Viewer Search and Display GUI IP Viewer Order Management Tool IP Viewer Oracle OLAP Viewer SIP2AIP Converter E ARK AIP HDFS Storage SOLR index Lily Ingest E ARK Web Search ERMS FILES GeoServer SIP Creator Viewers DB E ARK SIP Geo Data (SMURF) E ARK Web Access EAD Metadata OLAP QGIS AIP2DIP Converter E ARK DIP Peripleo GML

23 SZTAKIMEMORY PROJEKT

24 MEGŐRZENDŐ (SZTAKI) TUDÁS ENTITÁSOK A gyűjtőkör entitásai Megjegyzések Külső objektumok szabadalmak saját és idegen szabadalmi leírások elektronikus változatai műalkotások SZTAKI közreműködéssel készült digitális műalkotások az Intézet munkatársainak, projektjeinek stb. nevét hivatkozó média megjelenések digitális multimédia dokumentumok teljes szöveggel, teljes hang-videó felvételek Belső objektumok munkatársak szakmai profilja CV-k és egyéb szakmai hozzáértést leíró esetleg bizonyító információk (végzettségek) személyes kutatási dokumentumok, cikk gyűjtemények a munkatársak és a volt munkatársak saját személyes gyűjtése eredményezte cikk, könyv, és egyéb információk digitális objektumai az intézeti PR (multimédia) dokumentumok és azok fő változatai PR objektumok adatállományok az Intézetben keletkezett adatállományok, valamilyen adatbázis formátumban, amennyiben az mennyiségileg tárolható szoftver az Intézeti projektekben elkészült szoftver rendszerek és azok komponensei, a fő (major) és végső változatok forráskódja és futtatható változatai (pl. virtuális gépek formájában) hardver specifikációk digitális objektumok közötti felhasználó definiálta relációk és annotációk az Intézetben keletkezett hardver eszközök technikai specifikációja és teljes gyártási dokumentációja az Intézet projektjeinek összes eredménytermékei, a végső változatok beleértve a nem szöveges (multimédia) objektumokat is (pl. hang, videó) a tárolt digitális objektumok közötti nevesített felhasználó definiálta relációk és/vagy annotációk személyre szabottan kerülnek tárolásra, az annotációk formája lehet szöveges vagy képes az Intézet belső működéséséhez szükséges információk és adatállományok jelenlegi intraweb teljes tartalma valamint a létfontosságú intézeti belső adatbázisok (pl. eszközállomány) periodikus dump-jai a hosszú távú biztonságos megőrzés érdekében infrastruktúra specifikációk és nyomvonaltervek az Intézeti infrastruktúra specifikációi és nyomvonaltervek (villany, víz, gáz, hálózat, csatorna, biztonsági, tűzoltó és beléptető rendszer, stb.) épület, berendezés, bútorozás leírások az intézet épületeinek, azok berendezéseinek műszaki tervei projekt dokumentumok hozzáférés tekintetében védett személyes gyűjteménykezelés, egyénileg szabályozható egyéni hozzáférés a szoftver rendszerek munkaközi (minor) változatai nem kerülnek tárolása és megőrzésre ebben a tárolóban a projekt dokumentumok munkaközi változatai nem kerülnek tárolásra

25 SPECIÁLIS (?) PROBLÉMÁK AZ MTA SZTAKI ESETÉBEN Az MTA SZTAKI kutató-fejlesztő intézet és nem memória intézmény, szervezeti felépítése és működése nem konform az OAIS Referencia Modellel nincs önálló archiváló szervezeti egység -> az archiválás a könyvtár feladata lehet a könyvtárosok digitális objektumkezelési szaktudása hiányos (lásd adatbázisok, szoftver rendszerek menedzselése), jelenlegi archiválási gyakorlatuk leginkább dokumentumokra vonatkozik önarchiválás mint módszer - de a kutatók és fejlesztők archiválási szaktudása hiányos, archiválási gyakorlatuk nincs automatikus metaadat kivonatolás (az archiválás érdekében társított extra metaadatok esetében kritikus) a digitális archiválás finanszírozása (rövid de leginkább hosszú távon) nem kalkulált, ez a projektekben általában nem tervezett költségelem

26 ARCHÍVUM FUNKCIÓK repozitórium, digitális tárolás és visszakeresés (MM és szemantikus (RDF) tároló) teljes szövegű keresés finoman szabályozott (egyénileg, csoportosan) hozzáférési jogosultság rendszer annotáció és szemantikus reláció társítás API félautomatikus import, részben automatikus metaadat kivonatolás automatikus LOD export kódolt adattárolás érzékeny adatok esetén elosztott tárolás (3 +1 példány) törlés védelem IMPORT/EXPORT GUI1 GUI2 API OAIS ARCHIVE MM STORE RDF TRIPLESTORE

27 SZTAKIMemory DR. KOVÁCS LÁSZLÓ