Mire jó az adatpumpa? Oracle Data Pump megoldás az nál Andódy Csaba Apáti Péter 2016. Október 11.
Napirend 1. Erste Bank mentési nehézségek, felmerülő igények 2. Data Pump Archiver bemutatása 3. Erste Bank tapasztalatok
A DPA előtti állapot Alapvető fontosságú az üzleti adatok hosszú távú offline megőrzése (hó eleji export) Alapvetően csak az volt a fontos, hogy megtörténjen a mentés, a hogyan már kevésbé Oracle EXP utility használata Ez volt a kézenfekvő megoldás. Az elkészült fájlokról (dump és logfájlok) szalagos mentés készült. A mentéseket snapshot adatbázisokon készítettük, készítjük
A DPA előtti állapot Problémák az EXP programmal Kézzel faragott szkriptek futottak; nem volt feltétlenül hatékony a végrehajtás Hosszú volt a futásidő (Volt, hogy mire elkészültünk mindennel már jött a következő hózárás) Kezelhetetlenül nagy méretű dump fájlok keletkeztek (>500 GB) Az akkor futó összes verzió esetében (9i, 10g, 11g) EXP-et használtunk. Ez 11g alatt már ebben a klasszikus értelemben nem támogatott. Az EXP & DEFERRED_SEGMENT_CREATION (11g) együttesen rossz export állományokat eredményezett.
A DPA előtti állapot Nagyon nagy probléma volt, hogy nem volt mentési katalógusunk: Minden ősfeltöltéssel járó feladat nehézkes és lassú, nekünk már az fejfájást okozott, hogy meghatározzuk a visszatölteni kívánt időszakot tartalmazó dump fájlokat. Ezt azóta korrigáltuk és a pre DPA időszakra is építettünk katalógust az export logfájlok feldolgozásával. Gyors megoldásként átírtuk a scripteket expdp-re Ezzel egy időben elkezdtünk gondolkodni egy új datapump alapú keretrendszeren.
Mit kellett a DPA-nak tudnia.. EXPDP feature-ok kihasználása Párhuzamos végrehajtás Hatékony, gyors végrehajtás Tömörítés (10g esetében gzip) Több adatbázis párhuzamos exportálása Szabályozható fájlméret Export katalógus létrehozása Automatikus szalagra írás
Mit kellett a DPA-nak tudnia.. Újraindíthatóság Import támogatása GUI Jogosultság kezelés Folyamatok monitorozása, részletes & Dash board szerű, futó folyamatok esetében beavatkozási lehetőség Összetett keresés Sablonok használata Távoli telepítés támogatása
Data Pump Archiver (DPA) Oracle Data Pump eszköze köré fejlesztett egyedi alkalmazás A DPA jó megoldást jelenthet olyankor, amikor több adatbázisból rendszeresen vagy alkalomszerűen kell export vagy import műveletet központilag kezdeményezni. A műveleteket paraméterezhetjük és a kívánt időpontra időzíthetjük, párhuzamosíthatjuk A DPA nagyvállalati környezetben történő használatra is felkészített: segítségével egy teljes adatbázis export séma, tábla illetve partíció szintű exportok sorozatára bontható, amelyek indítása automatikusan, szekvenciálisan történhet.
Jellemzők Saját nyilvántartás (repository) APEX felület és teljes értékű API Belső folyamatvezérlés (időzített feladatok) PL/SQL modul a központi és a forrás adatbázisokban Heterogén Oracle DB verziók kezelése (10.1.0-től) Logikai darabolás exportnál Újrafelhasználható export és import sablonok Felfüggeszthető és újraindítható folyamatok Auditált felhasználói műveletek Központi eseménynapló a forrás műveletekre is Tivoli TSM és Netbackup integráció
Export Full, séma és tábla (partíció) szint Darabolható exportok sorozatára Sablonok, alapértelmezett paraméterek Séma és tábla lista egyszerű bevitele 10g esetén külső tömörítés használata
Export
Export
Import Import definíció összeállítása varázslóval, sablonnal Választható külső vagy DPA-val készített DMP állomány forrásként Belső forrás esetén az export tartalom kereshető és választható Lehetőség a séma és táblatér átnevezésekre
Import
Import
Import
Import
Folyamatok monitorozása Eseménynapló - történések lekérdezése Munkamenetek szerinti ellenőrzés: Export Import Rendszermonitor: dashboard, ahol az összes export és import nyomon követhető Folyamatfelügyelet: folyamatosan frissülő, lefúrást lehetővé tevő felület Data Pump és Tivoli logok megjelenítése Beavatkozások: megszakítás, újrakezdés
Folyamatok monitorozása
Adminisztráció Esemény feldolgozó (export, import, housekeeper service indítás, leállítás) Regisztrált adatbázisok (DB link, export vagy import kizárása) Verzió ellenőrzés (adatbázis és DPA szoftver) Jogosultság kezelés (LDAP támogatott): superuser, admin, operator, viewer Szervertisztítás (beszakadt munkamenetek, DPA naplók)
Adminisztráció Esemény feldolgozó Adatbázis regisztráció
Adminisztráció Verzió ellenőrzés
Lekérdezések DPA-val készített exportok tartalmát tároljuk Tábla/partíció neve, táblatér, sorok száma, dmp állományok, azok mérete, archiválás adatok (időpont, címke) Általános, Táblanév, Munkamenet, Archivált állomány szerint Összetett keresés, Kívánságlista
Mióta élesben használjuk a DPA-t A legnagyobb DB esetében 7-8 napról 3-5 napra csökkent a futási idő 50%-al kisebb dump fájlok keletkeztek Az összes DB elkészült kb 1 hét alatt Könnyen monitorozható Nem szükséges bejelentkezni a db hostra. (A konkrét export, illetve TSM logfájlt is meg tudjuk nézni a felületről.) Minden mentésünkről pontos nyilvántartásunk van.
Köszönjük a figyelmet! További információ: peter.apati@konzorcia.hu