Dinamikus adat- és szövegbányászat (alkalmazói oldalról)

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Dinamikus adat- és szövegbányászat (alkalmazói oldalról)"

Teréz Veresné
8 évvel ezelőtt
Látták:

1 Dinamikus adat- és szövegbányászat (alkalmazói oldalról) Kampis György - ELTE Tudományfilozófia Tanszék - Collegium Budapest gk@hps.elte.hu

2 I. A kontextus

3 A petabyte- ok kora

4 A petabyte- ok kora Film: The 2009 movie Avatar is reported to have taken over 1 petabyte of local storage at Weta Digital for the rendering of the 3D CGI effects.

5 Mindent (digitálisan) archiválni Google mail (ahol már nem lehet törölni...) YouTube, Picasa, Facebook, egyéb megosztók Virtuális obszervatóriumok : tudományos adatok az asztrofizikától az evolúcióbiológiáig Google Books Folyamatban: minden film, hang, kép... Egy házi példa:

obszervatóriumok : tudományos adatok az asztrofizikától az

7 Google Books

8 Az adatok általánossá válása Mindenki határtalanul sok adatot birtokol vagy fér hozzá (A nyito_ hozzáférés ugyanakkor külön kérdés)...és egyre nő (szenzorok, tagging, self- archiving..) a data deluge (adat- özön) Egy módszertani megjegyzés: minden szöveg

kérdés)...és egyre nő (szenzorok, tagging, self- archiving.

9 Minden o_ van, de mi van o_?

10 II. Adat- és szövegbányászat Az adekvát válasz Információk kinyerése: mintázatok és trendek Két alapepus: strukturált és strukturálatlan információ (pl. ömleszte_ szöveg vagy hierarchikus, annotalt adatbázis eleme) A strukturálás költséges (idő, erőforrás, eljárás) Meta- adatok jelentősége (a szövegre és elemeire vonatkozóan, pl. cím és szerző, ill. köznév vagy mennyiség)

ömleszte_ szöveg vagy hierarchikus, annotalt adatbázis eleme) A strukturálás költséges (idő,

11 Kemény és puha alkalmazások Kemény: elemzés nem robosztus kudarc nagy költségű Pl. rendszerbiológia: fehérjefunkció- jóslás Puha: elemzés robosztus kudarc kis költségű Pl. digitális bölcsészet

12 Egy (kicsit pontatlan) illusztráció Középkori szövegek digitalizálása

13 III. Plug and Play Macroscopes Integráció Intuiev elemzés Könnyű bővíthetőség ( csomagolás révén) Adatelemzés és vizualizáció

14 Orange CIShell/NWB/Sci2

15 Együ_működő partnerek a TexTrend projektben: Universitas Press Kn. (Prof. Kampis György) MKIK GVI Kn. (Dr. Tóth István János) Glia Kn. (Dr. Bencsik Apla) ELTE (Prof. Vicsek Tamás, akadémikus) SZTAKI (Dr. Benczúr András) SZTE (Prof. Csirik János) TEXTREND: Gazdasági és kormányzar döntéshozást támogató keretrendszer létrehozása trendelemző és szövegfeldolgozó eszközökkel Verziók: A TexTrend rendszer háromféle felhasználói réteg számára különböző változatokban készül: 1. Elemző- fejlesztő (programozási szint) 2. Szakértő elemző (sémafejlesztési szint) 3. Végfelhasználó (séma alkalmazási szint) Jelenleg az szint támogato_. A teljes rendszer átadásra kerül 2010 november 30.- ig. A szonver keretrendszer szolgáltatásai: Valamennyi eljárás integráltan, intuieven használható ISI adatok feldolgozása, dinamikus hálózatelemzés Hálózar jellemzők (pl. klikkek, tud. iskolák) azonosítása Teljes szöveges adathalmazok kezelése...és sok egyéb: összesen több tucat funkció, pl. UIMA, WEKA A szonver(ek) szabadon letölthető(k)

Csirik János) TEXTREND: Gazdasági és kormányzar döntéshozást támogató keretrendszer létrehozása trendelemző és szövegfeldolgozó eszközökkel Verziók: A TexTrend rendszer háromféle felhasználói réteg

17 Magyar tudomány MTA SOTE SZTE ELTE DTE BME PTE SZIE PANN CEU CORV COLBUD ONK ELTE PSYNEU MTA SOTE HEIM DTE SZTE BME PTE

18 SZTE és ELTE IDÉZÉS/PUBLIKÁCIÓ MTA SOTE SZTE ELTE DE BME PTE SZIE PANN CEU CORV ONK RICHT NATHIS ME NYME KAP PSYNEU PAZM HEIM COLBUD BAY EGIS NYIR MAFI ATK OEP országos átlag PANN SZIE PTE BME ELTE DE SOTE SZTE MTA CEU PUBLIKÁCIÓK SZÁMA

NYME KAP PSYNEU PAZM HEIM COLBUD BAY EGIS NYIR MAFI ATK OEP országos átlag

19 MTMT.hu

20 Publish or Perish

21 MTMT Adatbevitel

22 Mi hiányzik? A magyar folyóiratok feldolgozása Számos akadémiai tudományterületen kulcs Van: MATARKA katalógus, E. Periodika Ada_ár Nincs: citációk, kivonatok, tárgykategóriák

23 A következő lépés Magyar folyóiratok teljes digitális anyagának automarkus feldolgozása, illesztés a katalógushoz (Az anyag megvan (?), részben hozzáférhető) WOS ISI szerű rekordok létrehozása, feldolgozása Publish or Perish / Google Scholar HU Normalizált mutatók

25 Egyetemi rangsorok h_p:// university- rankings/

26 Felvi.hu rangsorok

27 Szavazás, vélemény Nagy integrátor (sok faktort összegez) Fogadásként hatékony (predicron market) Rejte_ fogadás (majority game) De: rangsornál önbeteljesító jóslat lehet

28 A következő lépés (?) Teljes egyetemi honlaphalmazok alapján automarkusan Page rank vagy hasonló eljárással Vagy egészen másként: letöltésszámmal (?)... Kapcsolat PoP- vel... Személyekre bontás (elvben) Vö: slágerlista és eladási lista

29 Mi van a könyvekben? pl. OSZK... Vagy egyéb Egyenetlen helyzet a teljes tartalom terén Olvassuk el (már most van mit)

30 Alkalmazások Nyelv- és fogalomtörténet, dinamikus gyakoriságok Lényegkiemelés dinamikus klaszterezéssel A ke_ő kombinációja (pl. összetartozó fogalmak evolúciója) alap: Google trends (TexTrend kb. tudja)

31 Google desktop? 1 könyv = 1(..5) MB, 1 GB= 1000 könyv (v. Britannica cum iconibus), 1 TB =1000 GB= 1 millió könyv

32 Dinamikus klaszterezés h_p:// Downloads tab, DyA package

33 IV. Mire jó mindez? Mire jó mindez? Az adat hatalom - akinek adata van, mindene van. "Királyi út" - olvasás olvasás nélkül Az igazság pillanata - adat vélemény helye_. Részvételi demokrácia - intelligens város, intelligens ország Végül:Adatözön x adatözön =?

34 Végül... Adatözön x adatözön =?

35 Köszönöm a figyelmet This research was parrally supported by the Hungarian Government (Anyos Jedlik programme managed by the Naronal Office for Research and Technology: Tex- Trend project ( contract no. NKFP 07 A2 (2007)TEXTREND) and the European Union s Seventh Framework Programme: DynaNets, FET- Open project no. FET ( The supports are gratefully acknowledged.

Hasonló dokumentumok

KAMPIS GYÖRGY: A magyar tudományos teljesítmény jellege, regionális szerkezete és dinamikája

KAMPIS GYÖRGY: A magyar tudományos teljesítmény jellege, regionális szerkezete és dinamikája ELTE Tudománytörténet és Tudományfilozófia Tanszék Vázlat Bevezető (mo=váció, anyag és módszer) Kvan=taDv elemzések