Operációs Rendszerek II. Első verzió: 2009/2010. I. szemeszter Ez a verzió: 2009/2010. II. szemeszter
Mai témák Mentések (backup) Unix jogosultsági rendszer újra (ACL) NTFS Clusterek
Mentések Az élő rendszerben különféle adat- és rendszersérülések előfordulhatnak: megváltozik (felülíródik) elveszik (letörlődik) létrejön (keletkezik) Ennek okai többfélék: Hardver vagy szoftver hiba (alaprendszer vagy alkalmazás egyaránt) Emberi tevékenység, véletlenül (tévedés) Emberi tevékenység, célzottan
Mentések Szükség lehet a rendszer egy korábbi állapotára! Hibaelhárítás Forensic Mentés: időről-időre pillanatfelvételt készítünk a rendszer állapotáról (leginkább szalagra, de nem mindig) archiválás? a RAID nem elég? (Nem) HSM?
Archiválás adatok amelyekre a normál munka során nincs szükség, azonban (főként törvényi kötelezettség miatt) meg kell őrizni ezeket nem biztos, hogy az on-line rendszerben kell tárolni ez némiképp más, mint a mentés hosszú időre szól (akár több tíz év) lehet, hogy addigra már az eredeti rendszer meg sem lesz ez már a médiák adatmegőrzési idejébe sem biztos, hogy belefér
Archiválás Ma és a közelmúltban egyre több dokumentum digitálisan keletkezik, az archiválás egyre fontosabb kérdés sok, rövid életű adat és fájlformátum különféle médiák a hagyományos dokumentumok mellett multimédia (kép, hang) és adatbázisok (függőségek) Érdekes és fontos terület, de out-of-scope! Open Archival Information System (OAIS)
Hova mentsek? A RAID nem elég? Fizikai hibák egy része ellen véd (nem mind) Szoftveres és ember által elkövetett beavatkozások ellen nem! Másoljuk át egy másik könyvtárra a rendszerben Ez is áldozatul eshet program vagy emberi hibáknak (rm -rf /) A mentéseket az élő rendszertől elkülönítetten célszerű tárolni!
HSM Még egy hárombetűs... Hierarchical Storage Management Az élő rendszerről szól, elve hasonló a virtuális memória kezeléshez a teljes tároló kapacitást gyors, drága és viszonylag kis méretű és lassú, olcsó(bb) és nagy méretű tároló együttese adja itt is fontos kérdés az átlátszóság (felhasználónak ne kelljen foglalkoznia vele) és a hatékonyság
Mentések A diszk terület egészéről vagy egy részéről valamilyen médiára másolatot készítek (rendszer vagy adatmentés) Nem árt, ha ez visszaállítható (erre nem mindig gondolnak) Cél egy adott időpontnak megfelelő állapot rögzítése A másolás nem tarthat 0 ideig! Mitől lesz konzisztens a mentés?
Mentési mód Konzisztens mentés: a mentendő terület a mentés ideje alatt ne változzon Off-line mentés: leállítom az alkalmazást/ rendszert, fájlrendszer szinten mentek On-line mentés: a rendszer fut, de valamilyen (a futó alkalmazásokkal együttműködő) mechanizmus segítségével mégis biztosítom, hogy a mentett állapot konzisztens legyen ez sincs ingyen! Snapshot: nagyon rövid idő (pár másodperc) alatt készített pillanatfelvétel
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Játék a számokkal Példák: Sun Oracle aktuális termékei Diszk alrendszerek 288 TB raw kapacitás (Sun 7410 unified st.) 1134 TB raw / 986 TB RAID-5, 3.5M IOPS (StorageTek 9990) Szalagegység (StorageTek SL500) LTO4 drive max 18 drive, 120 MB/sec - 7,7 TB/óra max 575 catr, 800 GB unc., 460 TB (base: 30) LTO3 drive (68..80 MB/sec, 400 GB/catr)
Mentési variációk Teljes (full) mentés - minden lementünk Részleges mentések: csak az egy előző állapothoz képesti változásokat mentjük Differenciális: utolsó full óta Inkrementális: utolsó mentés óta Többszintű inkrementális: n-1 szint óta Mentési idő (és szalagigény) vs visszaállási igény! Szintetikus teljes mentés
Szoftver támogatás Saját készítésű mentő megoldások (pl. Unix parancsokkal) Open Source mentő megoldások (pl. Amanda) COTS mentőszoftverek Netbackup (Symantec, régen Veritas) Networker (EMC, régen Legato) Data Protector (HP) Tivoli Storage Manager (IBM)
Szoftver támogatás Saját készítésű mentő megoldások (pl. Unix parancsokkal) Open Source mentő megoldások (pl. Amanda) COTS mentőszoftverek Netbackup (Symantec, régen Veritas) Networker (EMC, régen Legato) Data Protector (HP) Tivoli Storage Manager (IBM)
Szoftver támogatás Saját készítésű mentő megoldások (pl. Unix parancsokkal) Open Source mentő megoldások (pl. Amanda) COTS mentőszoftverek Netbackup (Symantec, régen Veritas) Networker (EMC, régen Legato) Data Protector (HP) Tivoli Storage Manager (IBM)
Hogyan konfiguráljuk? Alapvetően nem technikai, hanem üzleti kérdés valós üzleti igények ismerete nélkül nehéz tolerálható adatvesztés mértéke elfogadható állási idő (ez nem csak a backup) elfogadható teljesítmény degradáció visszaállási időkeret (ez nem csak a restore) megőrzési idő szabályok többszörös hibák esetén biztonsági elvárások, ár, stb.
Egyebek Klónozás Mentések ellenőrzése Off-site mentések VTL megoldások Deduplikáció
Pár szó a Unix jogosultságról Alapmondások (klasszikus modell) Hozzáférés kontroll: fájl alapú Felhasználók és csoportok 4x3 bit: 3x(rwx,ugo) + (SUID, SGID, STICKY) értelmezés fájlok és könyvtárak esetében
UNIX/Linux ACL-ek Többféle megvalósítás (példa: FreeBSD) A 9 bites jogosultsági rész jelentés nem változik Az ACL user-hez és csoporthoz is megadható, szintén 3 bit (r,w,x) A csoport szintű jogosultság ACL esetén a maximum jogot jelenti (maszk) A fájlok eredeti védelmi adataiban (i-node) egy bit jelzi az ACL létezését az adott fájlhoz Parancsok: setfacl, getfacl vagy chmod és ls kiterjesztés
NTFS Legfontosabb jellemzői Visszaállíthatóság (recoverability) Biztonság (security) Nagy diszkek és fájlok támogatása Többszörös adatfolyam (data stream) pl. Mac OS: data stream, resource fork (info) Naplózás Tömörítés és titkosítás Többszörös névtér (FAT, NTFS, Posix) hosszú nevek, Unicode támogatás
NTFS storage Fogalmak sector: fizikai tárolási egység a diszken cluster: egy vagy több összefüggő sector volume: logikai partíció, cluster-ek összessége - akár több diszkre is kiterjedhet Foglalási egység: cluster NTFS layout
NTFS layout Partition boot sector (max 16 sector) boot and startup info volume layout leírása, FS információk Master file table 1024 byte méretű sorok (rekordok) minden sor 1 fájlt ír le (ide értve az MFT-t is) ha a fájl kicsi, itt a tartalma is 900 bájtnál kisebb fájlok férnek el itt egyébként a fájl területen
NTFS layout NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) A fájlokat attribútumok halmazának tekintjük Az attribútumokat típus kód és opcionálisan név azonosítja
NTFS layout NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) A fájlokat attribútumok halmazának tekintjük Az attribútumokat típus kód és opcionálisan név azonosítja
NTFS layout NTFS alatt minden foglalt cluster fájlhoz tartozik, mindent fájlként kezel (még a rendszer metaadatokat is) A fájlokat attribútumok halmazának tekintjük Az attribútumokat típus kód és opcionálisan név azonosítja
Legfontosabb fájl attribútumok Standard információk attribútumok (ro,rw), időbélyegek fájl neve Biztonsági leíró (ACL) Fájl tartalma Atrribútum lista: azon attribútum rekordok listája, amelyek nem fértek el az MFT-ben
NTFS layout (folyt.) System files MFT egy (kritikus) részének másolata Log fájl (naplózó fájlrendszer) Cluster bit map: foglalt cluster-ek Attribute definition table
Clustering (fürtözés) Kapcsolódik az elosztott rendszerekhez HA megoldásokban is fontos Klasszikus 2 tagú aktív-passzív cluster Osztott diszk terület Hearthbeat kapcsolat Közös (szolgáltatás) IP cím Akár több szolgáltatás, így a passzív nem teljesen passzív de az adott szolgáltatás kapcsán igen!
Clustering (fürtözés) Kapcsolódik az elosztott rendszerekhez HA megoldásokban is fontos Klasszikus 2 tagú aktív-passzív cluster Osztott diszk terület Hearthbeat kapcsolat Közös (szolgáltatás) IP cím Akár több szolgáltatás, így a passzív nem teljesen passzív de az adott szolgáltatás kapcsán igen!
Clustering (fürtözés) Kapcsolódik az elosztott rendszerekhez HA megoldásokban is fontos Klasszikus 2 tagú aktív-passzív cluster Osztott diszk terület Hearthbeat kapcsolat Közös (szolgáltatás) IP cím Akár több szolgáltatás, így a passzív nem teljesen passzív de az adott szolgáltatás kapcsán igen!
Cluster megoldások Aktivitás Aktív-passzív konfiguráció Akítv-aktív konfiguráció Adathozzáférés független szerverek (hálózaton keresztüli adatáramlás) szerverek elérik a diszkeket (de egy időben csak egy használja) szerverek közösen (osztottan) használják a diszkeket
További kérdések Szolgáltatások átkapcsolása Gép megáll: triviális Lehetnek ennél szofisztikáltabb megoldások is (pl. alkalmazás szintű agent) Oda-vissza kapcsolás? Ping-pont effektus Split brain kérdése Csak két elemű lehet egy cluster? Nem: N-to-1, N-plus-1 SCSI alapú diszkeknél ez nehézkes volt SAN esetén már egyszerűbb!
Elvárások Cluster megoldásokkal szemben Transzparencia: ne vegye észre a kliens legrosszabb esetben is csak annyi legyen, mint egy szerver oldali újraindulás Gyors helyreállás (nem több, mint 5 perc, de inkább <2 min) Minimális (cél: nulla) emberi beavatkozás Garantált adatelérés: a másodlagos gép ugyanazokat az adatokat látja, mint a produkciós gép a meghibásodás előtt
Pár szó a történetről A megoldás nem új a 80-as évek elején már VAX platformon megjelent, VAX Cluster néven 1991-től, Sun környéke (de 3 rd party), lassan a többi gyártó is megjelenik a saját megoldásával (Sun is) Ma már Unix, Linux, Windows esetén is vannak Cluster megoldások