Elosztott adatfeldolgozás

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Elosztott adatfeldolgozás"

Karola Ballané
8 évvel ezelőtt
Látták:

1 Elosztott adatfeldolgozás Bujáki Attila Adatbázisok haladóknak Október 9.

2 Miről lesz szó? Elosztottságról általában Adatreplikáció, Georeplikáció általánosan Georeplikáció a nagyméretű felhő alkalmazásokban Nehézségek Adat konzisztencia modellek Replikációs stratégiák Konkrét implementációk Kérdések, válaszok Bujáki Attila 2.

3 Elosztottság - DDBMS Elosztottság módozatai Felbontás (Fragmentation) Vízszintes Függőleges Kevert Replikáció Nem teljes Teljes replikáció Teljes rendundancia Lehet kombinálni Bujáki Attila 3.

Kevert Replikáció Nem teljes Teljes replikáció

4 Adatreplikáció Létezik cél HW, cél SW Biztonsági mentések, archiválás, de most DB Georeplikáció Nagy távolságok Koordináció jelentős költséget jelent Kritériumok enyhítése? Magában is nagy üzlet (iora, Syntergy) Hajó-part replikáció Katonai célok Bujáki Attila 4.

jelentős költséget jelent Kritériumok enyhítése?

5 Konkurens hozzáférésvezérlés Soros végrehajtás jól átlátható Konkurens nem feltétlen Ne legyen konkurencia? Valamifajta sorrendben Adat konzisztencia modellek Meghatározzák melyek az elfogadható kimenetelek Az erős konzisztencia túl költséges a georeplikált rendszerekben Bujáki Attila 5.

Valamifajta sorrendben Adat konzisztencia modellek Meghatározzák melyek az

6 Replikáció menedzsment A replikáció több célt szolgál Terhelés elosztás, Megbízhatóság növelése Elérési idők csökkennek Hibatűrés biztosítása (akár komoly katasztrófáknál) Konzisztencia fenntartása? Látszólag egy példány? Georeplikált környezetben enyhébb kell. Nehezebb programozni CAP Bujáki Attila 6.

komoly katasztrófáknál) Konzisztencia fenntartása? Látszólag egy példány?

7 Tanulság Replikáció előnyös Konkurens hozzáférés szabályozás előnyös Földrajzilag elosztott rendszereknél használjuk mind a kettőt erős érvek. Georeplikáció Magas késleltetési idők Hálózat szétszakadása Lehetetlenné teszi az erős konzisztenciát Enyhébbnél viszont nehézebb programozni Konzisztencia helyett teljesítmény Bujáki Attila 7.

Georeplikáció Magas késleltetési idők Hálózat szétszakadása Lehetetlenné teszi az erős

8 Adat konzisztencia modellek - Feltevések Feltevések: Csak regiszterek (Read+Write művelet) Nincs pl. set (kommutatív szemantika) Konfliktusok és feloldásuk Last writer wins rule: Az ír igazán, aki utoljára ír! Regiszterre ok de komplexebb okjektumokra? Pl.:set kommutatív hozzáadás, szemantikát is figyelni kell Léteznek műveleti szemantikát is figyelembe vevő sémák Set-nél: Add + Add - Merge Bujáki Attila 8.

ír! Regiszterre ok de komplexebb okjektumokra? Pl.

9 Adat konzisztencia modellek - Típusok Adat konzisztencia modellek Nem tranzakciós Tranzakciós Regiszterek a megosztott adatelemek Bujáki Attila 9.

10 Adat konzisztencia modellek - Típusok Adat konzisztencia modellek Nem tranzakciós Linearizálhatóság Szekvenciális konzisztencia Rekordonkénti idővonal konzisztencia Kauzális konzisztencia Esetleges konzisztencia Kauzális+ konzisztencia Tranzakciós Bujáki Attila 10.

Rekordonkénti idővonal konzisztencia Kauzális konzisztencia Esetleges

11 Adat konzisztencia modellek Nem tranzakciós: Linearizálhatóság (Atomi kontiztencia modell) Legközelebbi az ideálishoz Művelet hatása azonnali minden csúcsban Kompózabilitás Elosztott nagyon költséges Írás után egyből látszik Bujáki Attila 11.

hatása azonnali minden csúcsban Kompózabilitás Elosztott nagyon

12 Adat konzisztencia modellek Nem tranzakciós: Szekvenciális konzisztencia Enyhébb mint a linearizálhatóság Nem kompózábilis Írás nem kell, hogy egyből mindenhol látszódjon Ábra: Írás után régi érték Később már az új Bujáki Attila 12.

kompózábilis Írás nem kell, hogy egyből mindenhol látszódjon

13 Adat konzisztencia modellek Nem tranzakciós: Rekordonkénti idővonal konzisztencia A szekvenciális enyhítése A replikációt felfedi a fejlesztőnek Objektumként biztosítja a szekvenciális konzisztenciát Objektumonkénti idővonal Visszalépés az idővonalon Egy adatház, egy objektuma Bujáki Attila 13.

Objektumként biztosítja a szekvenciális konzisztenciát Objektumonkénti

14 Adat konzisztencia modellek Nem tranzakciós: Kauzális konzisztencia Az korrekt végrehajtások eredményei mindig konzisztensek a korábban történt részleges rendezéssel. Korábban történt részleges rendezés - Lamport Különböző csúcsokban különböző sorrenben láthatjuk a konkurens írásokat megjelenni Bujáki Attila 14.

15 Adat konzisztencia modellek Nem tranzakciós: Esetleges konzisztencia Összefoglaló fogalom Inkonzisztencia ablak Bujáki Attila 15.

16 Adat konzisztencia modellek Nem tranzakciós: Kauzális+ konzisztencia A korábban történt rendezés miatt Konkurrens írások különböző sorrendben hathatnak a különböző csúcsokon A replikák akár örökké divergálhatnak Konvergens konfliktus kezelés Konvergencia tulajdonság biztosítása pl.: Last writer wins Szemantikus feloldást is lehetővé tesz Bujáki Attila 16.

replikák akár örökké divergálhatnak Konvergens konfliktus kezelés Konvergencia tulajdonság

17 Adat konzisztencia modellek - Típusok Adat konzisztencia modellek Nem tranzakciós Tranzakciós Sorosíthatóság Snapshot izoláció Parallel Snapshot Izoláció Bujáki Attila 17.

18 Adat konzisztencia modellek Tranzakciós: Sorosíthatóság Sok szó volt róla CAP Georeplikált rendszerben egyszerűen nem megy Túl költséges Bujáki Attila 18.

19 Adat konzisztencia modellek Tranzakciós: Snapshot Isolation Enyhébb modell Elterjedten (Oracle, SQLServer) Adott időpontban összes korábban Commit-ált tranzakció hatása látszik. A tranzakciók mindig érvényes állapoton dolgoznak Nem függünk félkész tranzakcióktól Itt nem tükrözi a rendszer az időbeli TELJES rendezést nem minden korábbi látszik Bujáki Attila 19.

A tranzakciók mindig érvényes állapoton dolgoznak Nem függünk félkész tranzakcióktól Itt nem

20 Adat konzisztencia modellek Tranzakciós: Parallel Snapshot Isolation SI Enyhítés georeplikált rendszereket célozva Egy csúcson belül Snapshot Isolation Csúcsok közt enyhébb Csúcsonként külön snapshot Bujáki Attila 20.

célozva Egy csúcson belül Snapshot Isolation Csúcsok közt

21 Parallel Snapshot Isolation - Anomáliák Anomaly Serializability Snapshot Isolation PSI Eventual dirty read No No No Yes non-repeatable No No No Yes read lost update No No No Yes short fork No Yes Yes Yes long fork No No Yes Yes conflicting fork No No No Yes 21.

22 Parallel Snapshot Isolation - Fork Short fork (allowed by snapshot isolation) Long fork (disallowed by snapshot isolation) T1 T2 T1 T2 T1 commits T2 commits T1 commits T1 and T2 propagate to both sites T2 commits

23 Konkurens hozzáférés kezelő mechanizmusok Lehetőségek Pesszimista vs. Optimista Pesszimista Optimista Valóság: Attól függ Bujáki Attila 23.

24 Adat replikációs stratégiák Aktív replikáció Determinált, szinkronizált végrehajtás Atomi üzenetszórás kell hozzá Azonos sorrendben, mindenki megkapja Elsődleges példány replikáció Multi-master replikáció Bujáki Attila 24.

25 Adat replikációs stratégiák Aktív replikáció Elsődleges példány replikáció Primary-backup replication Egyetlen replikát módosítunk mindig (elsődleges példány) - AdatB Lazy vs. Eager Bottleneck Multi-master replikáció Bujáki Attila 25.

26 Adat replikációs stratégiák Aktív replikáció Elsődleges példány replikáció Multi-master replikáció Több adatpéldány módosítható Több szinkronizáció és koordináció szükséges Bujáki Attila 26.

27 Létező rendszerek A leírt modellek konkrét implementációi Cluster of Order-Preserving Servers (COPS) Causal+ (függőségekkel) Princeton Uni., Intel, Carnagie Mellon Uni. Jól skálázható wide-area elosztott méretekben is Műveletek függőségei Első Causal+, ami georeplikált szinten is jól skálázódik Get-tranzakciók Pl Bujáki Attila 27.

28 Létező rendszerek A leírt modellek konkrét implementációi Walter Friss georeplikált környezetre Tranzakciók hatásai asszinkron módon terjednek (PSI) Key-value store (Egyszerű API) Parallel Snapshot Isolation Timestamp vector (Tranzakciók elején, külön minden csúcshoz) Preferred site Fast commit vs. Slow commit Counting set - Fast commit (kommutatív műveletekre, am. nem) Problémák: Site center (+megoldás), Slow commit Bujáki Attila 28.

29 Létező rendszerek A leírt modellek konkrét implementációi Walter (folytatás) Bujáki Attila 29.

30 Létező rendszerek A leírt modellek konkrét implementációi Yahoo PNUTS Rekordonkénti idővonal konzisztencia Rekord alapú de nincsenek tranzakciók Minden rekordhoz elsődleges példány Elsődleges példány adaptív kiválasztása PNUTS API konzisztencia modell választás, nem szép Hálózat szétesését nem tudja megfelelően tolerálni Elsődleges nem érhető el ezért? Új elsődleges választása (két elsődleges nem OK) vagy Nincs frissítés ahol nem érhető el az elsődleges Bujáki Attila 30.

31 Létező rendszerek A leírt modellek konkrét implementációi Amazon Dynamo Key-value store Elosztott Hash-tábla Esetleges konzisztencia Hibák vagy magas terhelés esetén Ilyenkor szavazásos írás, szavazásos olvasás (konfigurálható) DE: R# + W# > Replikák száma Verziózás - Írásnál új verzió, vektor óra Ez kivételesen az írás megbízhatóságára tervezték Írás-Írás konfliktus lehet Automatikus kezelés vagy alkalmazás Bujáki Attila 31.

32 Létező rendszerek Összefoglalás és összehasonlítás Bujáki Attila 32.

33 Kérdések válaszok (?) Bujáki Attila 33.

34 Köszönöm a figyelmet! Marton József Ernő Bujáki.Attila@gmail.com Adatbázisok haladóknak Október 9.

Hasonló dokumentumok

Elosztott rendszerek

Elosztott rendszerek NGM_IN005_1 Szinkronizáció Magas szint! szinkronizáció Órák szinkronizálása (állapot szinkronizáció) Koordinátor választás Elosztott tranzakció kezelés 2 Óraszinkronizálás Time stampekre