Adatmentés és deduplikáció

Átírás

1 Adatmentés és deduplikáció Jelinkó Patrik technológiai tanácsadó EMC Magyarország 1

2 Adatmentés1, adatmentés2, archiválás1, archiválás2, Angolban jobban elkülönülı fogalmak Backup (restore) Data recovery Archiving Active/intelligent archiving 2

3 Hagyományos mentési környezet LAN Backup kliensek LAN-os mentés Dedikált Storage Node-ok LAN-free, serverless mentés Backup Szerver SAN Szalagkönyvtár Tárolók 3

4 Nehézségek a szalagos mentési rendszerekben Teljesítmény Mentési ablak túl kicsi Visszaállítás hosszadalmas Mentési SLA betartása nehézkes Szalagos médiák megbízhatósága nem megfelelı Távoli telephelyek központi mentése nehézkes Költségek Hatalmas kellékanyag szükséglet Nehézkes Off-line szalag kezelési és tárolási teendık Folyamatos meghajtó és tárhely bıvítés Folyamatos migráció Adatok hosszú távú tárolása Média elhasználódása Menedzsment és biztonság Médiák elvesztése Folyamatos problémamenedzsment Jogviták Egy szalag nem szalag Szalagos rendszerrel együtt járnak a nehézségek 4

5 Diszkes mentési rendszerek elınyei Általában nagyobb mentési és visszaállítási sebesség Mentési ablakba beleférünk SLA-nak megfelelünk Megbízhatóbb magasabb rendelkezésre állás Adatvédelem a megszokott lemezes technológiákkal (RAID5, RAID6) Egyszerőbb rendszermenedzsment Automata finomhangolás Központi média menedzsment Kisebb média kezelési veszély Hatékony távoli replikáció médiák szállítása helyett Adatok online tartása, offline médiák visszakeresése helyett Szállítási költségek eliminálása 5

6 Hagyományos mentési környezet diszkes mentéssel LAN Backup kliensek LAN-os mentés Dedikált Storage Node-ok LAN-free, serverless mentés Backup Szerver SAN Szalagkönyvtár Tárolók Diszkes mentési terület 6

7 Hagyományos diszk vs. Virtuális szalagkönyvtár Hardver felépítés Implementáció Adattárolási hatékonyság Nagyvállalati alkalmazhatóság Menedzsment Teljesítmény Kompatibilitás Diszk VTL

8 Miért érdekes a deduplikáció? Az adatnövekedés elkerülhetetlen Exponenciálisan növekvı mentési rendszerek Tipikusan a produktív rendszer szorosára kell méretezni Klasszikus napi/heti/havi (full) mentések megtartása évekre Egyre hosszabb ideig szükséges az adatokat megırizni Költséges médiamenedzsment, migrációs költségek, üzemeltetési költségek Folyamatos üzemő adatközpontok Nincs jó idıpont a mentésre Sávszélesség limitációk Erısödı konszolidáció új megközelítést igényel AMOUNT OF DIGITAL INFORMATION CREATED AND REPLICATED EACH YEAR Digital Information 1,773 billion gigabytes (1.773 zetabytes) 173 billion gigabytes Information Growth 60% CAGR 60% CAGR Source: IDC White Paper, "The Diverse and Exploding Digital Universe, March 2008 Sponsored by EMC 8

9 EMC definíciója a deduplikációra Az a folyamat, amely során megkeresik és azonosítják az egyedi adatrészleteket a kezelt adathalmazon belül, és a tárolás vagy adatmozgatás esetén megszüntetik a redundanciát. Adathalmaz 1 Adathalmaz 2 De-duplikáció Adathalmaz 3 Elıtte: 39 szegmens Utána: 6 egyedi szegmens 9

10 Deduplikáció felhasználási területei Mentés nagy hatékonyság a sok azonosság miatt Archiválás kisebb hatékonyság, de hasznos lehet vagy file archiválás Elsıdleges tárolók korlátozott felhasználási terület File szerverek Performancia problémák léphetnek fel Replikáció sávszélesség jobb kihasználása végett 10

11 Deduplikáció példa ❶ Elsı változat ❷ Duplikált változat ❸ Módosított verzió A B A B E B C D C D C D A Csak az egyedi részeket mozgatjuk (pl. mentjük) B C D Adatmozgatás nem történik E Az megváltozott szegmenset eltároljuk A B C D E De-duplikált tárolás 11

12 Deduplikációs koncepció: Finomság Objektum szintő: több azonos objektum esetén egy másolatot tárol (single instancing) Csak egy másolat kerül eltárolásra és mozgatásra A deduplikált állomány helyén csak egy csonk marad egy pointerként mőködik Rész-objektum szintő: Egyes objektumok részszegmenseibıl is csak az egyedi részek kerülnek eltárolásra Minden objektumot szeletekre osztanak, és egyedi azonosítóval látnak el. Minden egyedi szelet eltárolásra kerül az eredeti állományok visszaállításához szükséges leíró adatokkal Blokk méret: Fix hosszúságú, kevésbé hatékony, egyes esetekben jól használható Változó hosszúságú, hatékonyabb a strukturálatlan adatoknál Mindkét esetben általában a kisebb blokkméret hatékonyabb deduplikációt eredményez Mi lehet egy objektum? Egy levél, fájl, mentési egység (save set), file rendszer, egy LUN 12

13 Hol történik a deduplikáció? Forráson Kliens szoftver azonosítja az ismétlıdı adatrészleteket már a forráson Csak az új egyedi adatrészletek kerülnek továbbításra a hálózaton majd ezeket az egyedi adatokat tárolják a mentési rendszerben Gyorsabb mentést és kisebb hálózati sávszélességet eredményez Célon Mentési rendszer az eredeti adatokat küldi a tárolóra A deduplikáció csak akkor kezdıdik ha az adatok elérték a tárolót Deduplikáció vagy mentés közben vagy utólag történhet VTL vagy B2D rendszereknél alkalmazott Mentési rendszereknek nem érzékelhetı megoldás Deduplikáció a forráson Deduplikáció a célon Network Network 13

14 Mikor történik a deduplikáció? Azonnal A mentési folyamat közben Ideális olyan esetekben ahol a mentési ablak nem korlátozza a mentést Kapacitás optimalizáció maximális Utólag A mentési folyamat befejezése után Tartalom eredeti formában letárolódik, majd utólag kerül deduplikálásra Ideális olyan esetekben ahol a sebesség a legkritikusabb Azonnali deduplikáció Ütemezett deduplikáció Network Network 14

15 A deduplikálás hatékonysága Single instancing Tömörítés Cél oldali Forrás oldali Singe Instancing (archiváló szoftverek) Tömörítés Cél oldali deduplikáció (VTL-ek) Forrás oldali deduplikáció (speciális mentıszoftverek) Általában a tömörítéssel együtt használják 15

16 Hatékonyságot befolyásoló tényezık Adat típusa Természetes adatforrás (audió, videó, szkennelt képek) egyedi; Felhasználók által elıállított (doc, ppt, pst ) gyakorta tartalmaz duplikációt (templates, etc.) Titkosított és tömörített adatok nem jól deduplikálhatók Adat változási ráta Kis adatváltozási ráta nagyobb mennyiségő deduplikálható adatot eredményez a teljes mentésekben Adattárolási szabályok Ha az adatok hosszabb ideig megırzésre kerülnek Nagyobb a valószínősége hogy többször kerülnek azonos adatok lementésre Mentési stratégia Több teljes mentés növeli az azonos adatok elıfordulását Deduplikációs hatékonyságot számos tényezı befolyásolja még egy kicsiny eltérés az egyes rész-területen is jelentıs változást hozhat. 16

17 Deduplikáció hatása a sávszélesség használatra Deduplikáció nélkül Nem csökken a helyi tárhely igény Nincs sávszélesség megtakarítás Nincs megtakarítás a másodlagos telephelyen Deduplikációval Mentési rendszer tárhely optimalizáció Sávszélesség és idı megtakarítás Tárhely megtakarítás a másodlagos telephelyen Távoli replikáció deduplikáció nélkül Replikáció deduplikáció után Deduplikáció Elsıdleges telephely Távoli telephely Elsıdleges telephely Távoli telephely 17

18 Példa: deduplikációs mentıszoftver LARGE REMOTE SITE Avamar Software Agent SMALL REMOTE SITE Primary systems Avamar Data Store (ENCRYPTED) (ENCRYPTED) Avamar agent only on primary systems DATA CENTER WAN REMOTE RECOVERY SITE Primary systems Primary systems Avamar Data Store (ENCRYPTED) (ENCRYPTED) Tape Vault Avamar Data Store 18

19 Néhány konkrét deduplikációs eredmény (Avamar) Ügyfél Adat összetétel Redukciós faktor Éles adat mennyisége (GB) Mozgatott adat mennyisége (GB) A Windows fájl rendszer 586:1 3, B C D E Windows, Linux és UNIX fájl rendszerek Mérnöki/gyártási adatok NAS tárolórendszeren 20% adatbázis, 80% fájl rendszerek (Windows and UNIX) Linux fájl rendszerek és adatbázisok 436:1 5, :1 3, :1 9, :1 7, Source: EMC 19

20 Deduplikáció és szerver virtualizáció A szervervirtulizáció megköveteli a mentési rendszerek felülvizsgálatát Hagyományos szerver Általában kevésbé terhelt hardver, backup számára elegendıek az erıforrások Virtualizált szerverek A hardver folyamatosan erısen leterhelt, a mentésre nincs sok erıforrás 20

21 EMC deduplikációs mentési megoldások különbözı igényekhez EMC Avamar Piacvezetı mentési rendszer a piacon létezı leghatékonyabb forrás oldali deduplikációval Egyszerő visszaállítás Teljesen újszerő technológia EMC NetWorker Átfogó mentési megoldás Teljes-körő integrációs biztosít a különbözı deduplikációs megoldásokhoz Disk Library termékcsalád Piacvezetı diszk alapú mentési megoldás deduplikációs képességekkel Együttmőködik a meglévı mentési rendszerekkel Rugalmas megoldás a kisvállalatoktól a nagyvállalatokig Nagy teljesítmény és megbízhatóság Támogatott kliensek Microsoft Windows.net Server 2003 Red Hat Solaris Suse AIX HP Mac OS VMware Windows Vista Novell Mentési rendszerek EMC NetWorker Symantec NetBackup Symantec Backup Exec IBM TSM CommVault Galaxy HP Data Protector CA ArcServ and more Avamar Software Avamar Data Store Avamar Virtual Edition Avamar VM OS NetWorker DL3D 1500 DL3D 3000 DL3D 4000 App OS Avamar VM OS ESX Server Hardware Telepíthetı kvalifikált szerverekre Integrált hardverszoftver megoldás CPU Memory NIC Disk VMWare virtuális gép támogatás Belépı szintő deduplikációs mentıeszköz Középkategóriás deduplikációs mentıeszköz SAN alapú VTL deduplikációva 21

22

23 DL3D 1500 és DL3D 3000 Az új disk alapú deduplikációs mentési megoldás LAN-os rendszerekhez DL3D 1500 CLARiiON CX3-10 háttértár 4 36 TB kapacitás 720 GB/órás csúcsteljesítmény (SAN) DL3D 3000 CLARiiON CX3-40 háttértár TB kapacitás 1,44 TB/órás csúcsteljesítmény (SAN) Paraméterezhetı deduplikáció Objektum szintő változó hosszúságú deduplikáció Eltávolítja a redundáns adatokat a mentésekbıl és így csökkenti a szükséges tárhelyet. Ezáltal több mentést lehet online tartani, illetve lecsökkenti a replikációhoz szükséges sávszélességet Replikálás a tartalom deduplikálása után Akár 10 különbözı rendszer is képes egy központira replikálni az adatokat Ki- és bekapcsolható adat titkosítás: 128-bit AES DL3D GE port CIFS/NFS 2 FC port SAN ports (VTL) 4 TB induló kapacitás 3 év garancia DL3D GE port CIFS/NFS 4 FC port SAN (VTL) 8 TB induló kapacitás 3 év garancia 23

24 DL4000 termékcsalád A legnépszerőbb SAN alapú VTL-je most már deduplikációs képességekkel CLARiiON CX3-80 alapú tároló rendszer Single vagy dual engine systems 99,999% rendelkezésre állás RAID 6 PB-nál is nagyobb használható bruttó kapacitás 1 TB SATA diszkek 930 diszkig bıvíthetı Nagy teljesítmény Hardver tömörítés End-to-end 4 Gb/s rendszer Hatékony deduplikációs képességek Nagy sebesség a hatékony adattárolás megtartásával Energiatakarékosság Alacsony fogyasztású diszkek spin-down képességekkel DL4000 Series Industry s only virtual tape library, built from the ground up with 4 Gb/s components 24

25 EMC Centera Az archiválási megoldás Tartalom címzéső adattároló (CAS) Objektum szintő deduplikáció Hosszútávú hiteles adattárolás online elérhetıséggel Adattárolás a diszkek sebességével és az optikai rendszereknél megszokott hitelességgel Adatmegırzés akár évtizedekre Egyszerő menedzselhetıség Nagyfokú integráltság Központi archívum akár különbözı rendszerekhez Dokumentumkezelı, képalkotó, mentési és archiválási rendszerek, ERP rendszerek támogatása Nyílt szabványos csatolófelületek (pl. FTP, NFS ) Különbözı állami és uniós megfelelési tanúsítványok Simple Affordable Secure 25

26 Adat deduplikáció NetWorkerrel Deduplikáció forráson vagy akár a célon Integrált deduplikációs megoldások Avamarral integrált Networker kliens Forrás oldali deduplikáció VTL támogatás és integráció LAN-alapú mentési rendszerek (DL1500 vagy DL3000) SAN-alapú deduplikációs rendszerek DL4000 Teljes körő mentési rendszer menedzsment Networker FastStart Deduplikáció kész rendszer! NetWorker Clients NetWorker DL3D 1500/3000 DL 4000 Avamar Data Store Disk Tape 26