z/os STORAGE tanfolyam ICSS Kft, Belme Attila 2019. 1
Adat hozzáférési módszerek Nagyvállalati adathozzáférés története Block és file I/O Adat hozzáférési kihívások Az adatok védelme 2
Nagyvállalati adathozzáférés története Parallel Channel 1964 1.3-4.5 MBps (mérhető) 122 m multipath és osztott hozzáférés 3
Nagyvállalati adathozzáférés története SCSI 1986 5-320 MBps (számított) 1.5-25 m 7-15 eszköz/busz 4
Nagyvállalati adathozzáférés története ESCON 1991 17 MBps (mért) 3-103 km 1 eszköz/direct csatorna director! 5
Nagyvállalati adathozzáférés története FICON 1998 1 Gbps-16Gbps (számított) 15m-100 km 1 eszköz/direct csatorna director/switch 6
Nagyvállalati adathozzáférés története FC 1999 fizikailag mint a FICON eltejedtebb Hub SAN Data Gateway 7
Nagyvállalati adathozzáférés története iscsi tesco gazdaságos SAN Ethernet alapú hardware vagy software 8
Block és file I/O NAS file server file szintű szolgáltatás NAS gateway 9
Block és file I/O I/O hozzáférés File I/O: Alkalmazás I/O kérés Filesystem(NTFS,EXT3,JFS,...) Block I/O volume manager (partíció, LVM, dynamic disk,...) device driver adapter eszköz/san 10
Az adatok védelme RAID: 0,1,2,3,4,5,6,DP,10 Katasztrófatűrés 11
Fizikai jellemzők csatlakozók: GBIC SFP réz kábel: MM SM színes 12
Fizikai jellemzők - sebesség Sebesség Távolság OM1 62.5 um Távolság OM2 50 um Távolság OM3 50 um Távolság OM4 50 um 1 300 500 500 500 2 150 300 500 500 4 70 150 380 400 8 21 75 150 190 16 15 35 100 125 13
Topológiák PtP (point to point) FCAL (Arbitrated Loop) Fabic (switched) Switched AL 14
Címzés World Wide Name 64 bit egyedi PWWN NWWN NPIV 15
Folyamatirányítás Cél: egyetlen eszköz se kapjon gyorsabban adatot, mint ahogy fel tudja dolgozni. BB_Credit: hány csomag lehet a dróton EE_Credit Class 3 service 16
FSPF A legkisebb költségű utat választja Általában 1 másodpercen belül reagál a változásra Azonos költségű utak esetén load balance-ol 17
Dual fabric fabric: egymással összekötött switchek minden fabricban 1 db: login server name server RSCN server zóna szabályok NSPOF-hoz a fentiekből is kettő kell -> 2 fabric kell 18
SAN eszközök director switch router cwdm/dwdm (hub) (data gateway) 19
SAN zónázás SAN zónázás alapja PortID/WWN? Alias, zone, zoneset (cfg) 20
SAN zónázás alapja Megadjuk, hogy melyik port melyik porttal kommunikálhat RSCN-ek hatását minimalizáljuk Egyetlen hostport zónánként egyetlen portpár zónánként? 21
PortID/WWN Több szempont alapján is zónázhatunk: PortID NodeWWN PortWWN vegyes 22
Alias, zone, zoneset alias: hogy ne kelljen 16 byte-os számokat megjegyeznünk zone: melyik portok kommunikálhatnak egyszerre zoneset (cfg): melyik zone-ok aktívak egyszerre 23
SAN kezelés média interface hatókör tervezés 24
SAN kezelés - média out of band (IP) in band (FC) serial 25
SAN kezelés - interface cli gui web 26
SAN kezelés - hatókör eszköz egész fabric egész storage 27
SAN kezelés - tervezés portszám topológia kábel méret (longwave/shortwave) elhelyezés domain id firmware név, ipcím 28
Brocade SAN directorok jellemzői 29
Brocade SAN switchek jellemzői 30
Brocade SAN routerek jellemzői 31
Brocade trunking e nélkül is lehet több ISL kiegyenlíti (növeli) a teljesítményt gyorsítja a hibakezelést 32
Brocade zónázás 1. Felmérés 2. tervezés a) cfg b) zónák c) zóna memberek 3. megvalósítás a) aliasok b) zónák zóna memberek c) cfg d) engedélyezés 33
Cisco SAN directorok jellemzői 34
Cisco SAN switchek jellemzői 35
Cisco SAN routerek jellemzői 36
GUI 37
Monitor Traffic 38
SAN tervezési elvek Általános jellemzők Dual fabric Fabric topológia Sávszélesség Lokalitás 39
Dual fabric fabric: egymással összekötött switchek minden fabricban 1 db: login server name server RSCN szerver zóna szabályok NSPOF-hoz a fentiekből is kettő kell -> 2 fabric kell 40
SAN tervezési elvek portszám kábel vastagság (longwave/shortwave) elhelyezés domain id firmware név, ipcím 41
SAN topológia Ideális: 1 switch (director)/fabric Jellemző: 1 központi switch (director)+néhány edge switch Kerülendő: sok kicsi switch (néha így alakul), fully meshed Még kerülendőbb: sok kicsi switch (néha így alakul), partially meshed Legkerülendőbb: sok kicsi switch, storage/host oldal 42
SAN topológia: egyetlen switch Legjobb teljesítmény Legjobb válaszidő (0 hop) Legegyszerűbb (legáttekinthetőbb) design Néha az egyetlen 4-et jelent: dual fabric, 2 gépteremben Probléma: portszám skálázhatóság, kábelezés Cisco host optimalizált modulok 43
SAN topológia: core+edge Közel legjobb teljesítmény Közel legjobb válaszidő (1 hop) Áttekinthető design Könnyü kábelezés a kicsi szervereknek 44
RAID-0 Redundant Array of Inexpensive/Independent Disks klasszikus RAID-0 egyáltalán nem véd! jó seq teljesítmény rossz random teljesítmény modern RAID-0 egyáltalán nem véd! jó seq teljesítmény jó random teljesítmény stripe 45
RAID-1 tükrözés nagyon drága (dupla ár) megbízható: 1 lemez kiesésétől véd Teljesítmény: írás: picit lassúbb olvasás: lehet sokkal jobb 46
RAID-2,3 RAID 2: n lemeznyi kapacítás, n+1 lemez felhasználásával BCH kóddal számolt érték a +1 lemezen bármelyik lemez hibája esetén kiszámolható az adat lassú, senki sem használja RAID 3: gyorsabb seq gyors, random lassú ritkán használt (pl. médiaszerverben) 47
RAID-4 RAID 4: legyen random olvasásra gyors ennek ára: random írás: 2 olvasás, 2 írás egyebekben mint a RAID-3: n lemeznyi kapacítás, n+1 lemez felhasználásával paritás a +1 lemezen bármelyik lemez hibája esetén kiszámolható az adat 48
RAID-5 RAID 5: minden sávban máshol van a paritás egyebekben mint a RAID-4: random olvasásra gyors random írás: 2 olvasás, 2 írás n lemeznyi kapacítás, n+1 lemez felhasználásával paritás a +1 lemezen bármelyik lemez hibája esetén kiszámolható az adat 49
RAID-6 RAID 6: a paritáson kívül még egy hasonlóan számolt érték ( q ) n+2 lemezt használ 2 lemez kiesését tolerálja sokkal lassabb, mint a RAID-5 50
RAID-DP RAID DP: dupla paritás: vízszinetesen átlósan nagyon sok lemeznél elfogadható RAID-6-nál is lassúbb 51
RAID-10 nem 10, hanem 1 és 0 stripe és tükrözés ha van legalább 4 lemez, akkor csak előnye van a RAID-1-hez képest: gyorsabb 52
Hot-spare 53
Distributed RAID 54
SSD Solid State Disk sokkal magasabb IOPS, mint HDD esetén sokkal magasabb ár, mint HDD esetén 200, 400, 800 GB kapacitás kezelése azonos, mint a többi lemezé (mdisk, mdiskgrp) 55
Easy Tier EasyTier koncepció cél: a nagygépeknél megszokott storage piramis kialakítása: a legaktívabb, leg I/O intenzívebb adatok SSD-n tartása a közepesen aktív adatok 10 vagy 15 K fordulatszámú ( enterprise ) HDD-n tartása a legkevésbé aktív adatok 7.2K fordulatszámú ( NL ) HDD-n tartása EasyTierV3: mindhárom szint között autómatikusan választ 56
Másolási szolgáltatások Flashcopy helyben másolás 0 idő alatt consistency group mintha valódi másolat lenne ami változik, azt muszály másolni nocopy multitarget reverse 57
Flashcopy Üzleti igények: konzisztens legyen az adat, miközben minimális az állásidő gyors másolás készítése: mentéshez az adatokról visszatöltéshez adatmozgatáshoz alkalmazás-fejlesztéshez és teszteléshez auditáláshoz adatbányászathoz minőségbiztosításhoz 58
Másolási szolgáltatások metro mirror szinkron tükrözés 1. host ír 2. írás tükrözése 3. tükrözés ACK 4. írás ACK 59
MetroMirror Recovery Point Objective (adatvesztés): 0 másodperc szinkron tükrözés az alkalmazást lassítja a kommunikáció 60
3 site mirror 3 site mirror: sync CU0=>CU1 async CU1=>CU2 61
Storwize V7000 hardver FC: 8Gbps Ethernet: 1 Gbps, vagy 10 Gbps Drive: max 1056/cluster 3.5 : 2,3,4,6 TB 7.2k 2.5 : 300, 600 GB 15k 600, 900 GB, 1.2, 1.8 TB 10K 1 TB 7.2K 200, 400, 800 GB SSD 62
DS8000/DS6000 bemutatás DS 8000 felépítés DS 8000 modellek DS 8000 kezelő felületek DS 6800 bemutatás 63
DS8000 fizikai felépítés No Single Point of Failure Dupla vezérlő (pseries alapú) néhány frame méretű fejlett másolási szolgáltatások Itt jelent meg előszőr az EasyTier Flash card: max 0.4-3.2 TB Drive: SSD: 0.4-1.5 TB 15K: 0.3-0.6 TB 10K: 0.6-1.8 TB 7.2K: 4-6 TB 64
DS8000 logikai felépítés storage complex LCU storage unit volume array rank extent pool 65
DS8882F 6 core 64-256 GB RAM fél frame méretű 16 host port, 16Gbps 0.7 PB 66
DS8884 6-12 core 64-256 GB RAM 1-3 frame méretű 64 host port, 16Gbps 864 drive 96 Flash card 3.7 PB 67
DS8886 8-24 core 128-2048 GB RAM 1-5 frame méretű 128 host port, 16Gbps 1632 drive 192 Flash card 7.2 PB 68
DS8888 24-48 core 1024-2048 GB RAM 1-2 frame méretű 128 host port, 16Gbps 0 HDD 480 Flash card 11.7 PB 69
DS8 UI CLI: teljes értékű, bármit meg lehet benne tenni programozható ideális tömeges műveletre GUI web alapú könnyebben tanulható legújabb verziói XIV jellegűek 70
DS6800 97%-ban azonos microcode, mint a DS8000 családban Jelentősen kisebb teljesítmény PowerPC alapú vezérlő Rackba szerelhető kivitel 71
TAPE bemutatás Korábbi szalag családok Jaguár szalag család Virtuális szalagok TS3500 robotok TS4500 robotok 72
Korábbi szalag családok 3420: 1970-től, 6250 bpi, 1/2, közel 200 MB 3480: 1985-től, cartridge, 200 MB, később hardware tömörítés 3490E: 800 MB natív 3590B: 1995-től, 10 GB natív kapacitás, 9 MB/s 3590E,H: 20/30/40/60 GB natív kapacitás 73
Jaguár szalag család Jaguar 1 (3592): 300 GB JA médiával, 40-200 MB/sec Jaguar 2 (TS1130): 700 GB JB médiával (500 GB JA), 100-400 MB/sec Jaguar 3 (TS1130): 1 TB JB médiával (640 GB JA), 160-400 MB/sec Jaguar 4 (TS1140): 4 TB JC médiával (1.6 TB JB), 250-800 MB/sec Jaguar 5 (TS1150): 10 TB JD médiával (7 TB:JC), 360-800 MB/sec Jaguar 6 (TS1155): 15 TB JD médiával (minden kapacitás natív) 74
Virtuális szalagok Probléma: kicsi szalagokat akarnak használni az alkalmazások Megoldás: virtual tape: egy szerver eljátsza, hogy ő sok kicsi szalag (nagy lemezterülettel az adatbázis és az alapadatok számára, jobb esetben késleltetve valóban kikerülnek az adatok szalagra) TS7760: FICON, 496 virtuális drive, 4M volume, 2.64 PB kapacítás TS7760 grid: FICON, 3968 virtuális drive, 4M volume, 21PB kapacítás TS7650G: FC, 1 PB TS7620: FC, 35TB az alkalmazások nagy szalagokat is tudjanak használni 75
TS4500 library 17 frame 128 drive 17 550 Cartridge 175.5 PB nativ kapacitás 76
TS3500 complex Legnagyobb szalagrendszer 16x15 frame 2700 drive 300 000 Cartridge 4.5 EB nativ kapacitás 77