Teljesen elosztott adatfeldogozás és adatbányászat

Átírás

1 Teljesen elosztott adatfeldogozás és adatbányászat Vinkó Tamás SZTE Jelen kutatást a futurict.hu nevű, TÁMOP C-11/1/KONV azonosítószámú projekt támogatta az Európai Unió és az Európai Szociális Alap társfinanszírozása mellett.

2 Bevezetés peer-to-peer grid és felhő szenzorhálózatok okostelefonok Olyan algoritmusok, mechanizmusok és protokollok kifejlesztését, vizsgálatát és prototípus szintű megvalósítását tervezzük, amelyek az okostelefon hálózatokban keletkező nagy mennyiségű adat teljesen elosztott feldolgozását teszik lehetővé az adatvédelmi szempontok figyelembevételével. 2

3 Feladatok Felhasználói környezet modellezése Algoritmusok tervezése és elemzése Kollaboratív 3D rekonstrukció Kollaboratív panorámakép készítés Kollaboratív szintetikus nézet generálása Teljesen elosztott optimalizálás Elosztott konkurrens modellezés Centralizált tanuló algoritmusok Skálázható architektúrák kutatása 3

4 Feladatok Felhasználói környezet modellezése Algoritmusok tervezése és elemzése Jelasity Márk (SZTE) Kollaboratív 3D rekonstrukció Kollaboratív panorámakép készítés Kató Zoltán (SZTE) Kollaboratív szintetikus nézet generálása Teljesen elosztott optimalizálás Elosztott konkurrens modellezés Centralizált tanuló algoritmusok Skálázható architektúrák kutatása Vinkó Tamás (SZTE) Maróti Miklós (SZTE) Jelasity Márk (SZTE) 4

5 Felhasználói környezet modellezése tervezett algoritmusok hatékony és realisztikus szimulációja különböző szintű kommunikációs modellek kifejlesztése mérési eredmények gyűjtése Eredmény: algoritmusok alkalmazási területeinek azonosítása, modellezése és szimulációja PeerSim - többmagos gépekre adaptálás több alfeladat is épít(het) az itt született eredményekre 5

6 Algoritmusok tervezése és elemzése egy nagy hálózat eszközeiről folyamatosan áramló adathalmaz hatékony és adatvédelmi szempontból megfelelő elemzését végzik el pletyka tanulás - adatmodell véletlen sétája Eredmény: eloszott adatbányászati és tanuló algoritmusok könyvtára, amely az okostelefon középréteg alprojektben implementálható 6

7 Kollaboratív 3D rekonstrukció adott objektumról több nézőpontból készült mobil (telefonos) képek megosztása képek közötti geometriai megfeleltetése keresése, jellemzők kinyerése, transzformációk, stb Eredmény: új algoritmusok, amelyek egy terület 3D modelljét a mobil készülékek kapcsolatai alapján, kollaboratív módon készítik el Erősen épít az okostelefon középréteg implementációjára 7

8 Kollaboratív panorámakép készítés a mobil készülékek egymásnak küldött képeiből panorámakép készíthető átfedés detektálás, geometriai jellemzők vizsgálata Eredmény: új algoritmusok, amelyek kollaboratív módon állítanak elő szélesebb látószöget biztosító panoráma nézetet Erősen épít az okostelefon középréteg implementációjára 8

9 Kollaboratív szintetikus nézet generálása több kamera képéből mesterséges kép generálható virtuális nézőpontok (pl. felülnézet) nagy tömeget érintő eseményekről áttekintő kép készítése Eredmény: új algoritmusok, amelyek kollaboratív módon állítanak elő szintetikus nézeteket 3D rekonstrukcióból vagy több kamera nézetéből 9

10 Teljesen elosztott optimalizálás optimalizálási feladat a felhasználók által támogatott rendszerekben ( peer-assisted systems ) ösztönző mechanizmusok vizsgálata erőforrások elosztása különböző feltételek mellett Eredmény: p2p algoritmusok, amelyek önszervező módon találják meg az optimális teljesítményt és/vagy robusztusságot a fenti feladatkörökben általánosabban használható szimulációs környezetek kifejlesztése 10

11 Elosztott konkurrens modellezés több kis erőforrással rendelkező eszköz által létrehozott nagy adatbázisok és ezeken végzett műveletek elosztott, hibatoleráns gráf alapú adatbázis megvalósításának kérdése Eredmény: olyan algoritmus könyvtár és elosztott adatbázis, amely nagyméretű adatmodellek olvasását és konkurrens módosítását teszik lehetővé kis erőforrású eszközökön 11

12 Centralizált tanuló algoritmusok elosztott, azonban centralizált környezetben gráf algoritmusok (PageRank, szinguláris felbontás, stb) hatékony megvalósítása a centralizált algoritmusok kutatása során megvizsgálhatóak a teljesen elosztott környezet problémái, azokat egyszerűsített feltételek mellett vizsgálhatjuk Eredmény: új gépi tanulási módszerek, amelyek tárigény (közelítéses módszerek) és kommunikáció (lokalitás kihasználása) szempontjából egyaránt hatékonyak 12

13 Skálázható architektúrák kutatása nagyméretű hálózatok elemzése gépi tanulás, optimalizálás és felhasználók által generált tartalom kezelése által igényelt methodológiai és szoftver környezet kutatása elosztott rendszerek (MapReduce, Apache Mahout), online tanulás, GraphLab Eredmény: nagy adatmennyiségek gyors, skálázható vizsgálatát szolgáló eszközök kifejlesztése. 13

14 Kapcsolat más alprojektekkel 14

15 Kapcsolat más alprojektekkel 15

16 Összefoglalás A projekt egyik célja, hogy a mindennapi életben keletkező, eddig soha nem látott adatmennyiséget intelligens, hatékony és etikus módon tegyük elérhetővé eloszott algoritmusok kulcsszerepe okostelefonok milliárdjai hasznos információval szolgálhassanak a felmerülő tudományos kérdések modellezésében Okostelefon Középréteg alprojekthez szorosan kapcsolódunk Planetary Nervous System, Global Participatory Platform 16