SPARC platform (T7/S7) alkalmazása adatbázis és alkalmazás virtuális környezetekben HOUG 2017 Dr. Erdei Zsolt Oracle Solaris szakértő 2017. Március 29.
Agenda Történeti áttekintés Támogatott platformok mai állapot Oracle VM for SPARC dióhéjban Támogatott klaszter topológiák Megvalósítási lehetőségek Klaszter az LDOM-ban, S7-2L LDOM-ok klaszterezése, T7-2 Redundáns Service Domains
Rövid történeti áttekintés I. Sun Logical Domains Logical Domains 1.0 (2007 április) T1000/T2000 Logical Domains 1.0.1 (2007 október) Sun Blade T6320 support Logical Domains 1.0.3 (2008 május) DVD boot support Solaris Cluster a guest domain-ban Logical Domains 1.1 (2008 december) Guest Domain Migration bevezetése Virtual Input/Output (I/O) dinamikus rekonfiguráció megjelenése Logical Domains 1.2 (2009 június) Physical-to-virtual migraciós-eszköz támogatás megjelenése Logical Domains 1.3 (2010 január) link-based IPMP LDOM migráció gyorsítása memória-tömörítésel 1Tb méret feletti diskről való boot-olás támogatása
Rövid történeti áttekintés II. Oracle VM for SPARC Oracle VM Server for SPARC 2.0 (2010 szeptember) Oracle's SPARC T3 szerver támogatás PCI Express (PCIe) direct I/O virtual disk multipathing Oracle VM Server for SPARC 2.1 (2011 június) Oracle's SPARC T4 támogatás Aktív domain-ok live migration támogatása Magasabb prioritású LDOM CPU-t vehet al az alacsonyabb prioritásútól DRM policy alapján Integrált kriptográfiai egység és virtuális CPU-k dinamikus rekonfigurációja Oracle VM Server for SPARC 2.2 (2012 május) PCIe Single Root I/O Virtualization támogatása Cross-CPU migráció Oracle VM Server for SPARC 3.0 (2013 március) Oracle's SPARC M5-32/T5/Fujitsu M10 Oracle VM Server for SPARC 3.1 (2013 augusztus) SR-IOV dinamikus I/O virtualizáció támogatás fejlesztése non-primary domain root domainként funkcionálhat Jelentős hálózati teljesítmény növelés
Rövid történeti áttekintés III. Oracle VM for SPARC Oracle VM Server for SPARC 3.1.1 (2014 március) Fibre Channel SR-IOV Oracle VM Server for SPARC 3.1.1.1 (2014 szeptember) Guest domain-ok LDC végpontjai számának növelése Oracle VM Server for SPARC 3.1.1.2 (2014 december) Maintenance update Oracle VM Server for SPARC 3.2 (2015 március) LDOM migrációh biztonságának és performanciájának növelése Oracle VM Server for SPARC 3.3 (2015 október) Virtual SCSI host bus adapter (vhba) szolgáltatás, bármilyen SCSI device virtualizálására Oracle VM Template parancsok megjelenése Oracle VM Server for SPARC 3.4 (2016 május) SPARC S7 szerverek támogatása Virtualis SCSI HBA szolgáltatáson I/O multipathing lehetőség a service domain-ban
Támogatott platformok UltraSparc T2, T2+ szerverek T5120, T6320, Netra T5220, T5140, T5240, Netra T5440 SPARC T3 szerverek T3-1,T3-2,T3-4,T3-1B, Netra T3-1/1B/1BA SPARC T4, T5 szerverek T4-1/2/4/1B, Netra SPARC T4-1/2/1B, T5-1B/2/4/8 SPARC M5, M6 szerverek M5-32, M6-32 Fujitsu M10 szerver SPARC T7, M7, S7 szerverek T7-1/2/4, M7-8/16, S7-2, S7-2L
Mai állapot M7/T7/S7 M7 CPU 32 SPARCv9 core/socket, 8*4 core-clusterbe szervezve 8 thread/core, 256 thread/cpu (=VCPU) 1 kriptográfiai gyorsító/core (AES, DES, SHA1, SHA2, RSA, stb) S7 CPU 8 SPARCv9 core/socket 8 thread/core, 64 thread/cpu (=VCPU) 1 kriptográfiai gyorsító/core (AES, DES, SHA1, SHA2, RSA, stb) OVM 3.4.0.X, Solaris 11.3, Oracle Solaris Cluster 4.3 Oracle VM Server for SPARC 3.4.0.3 Supplemental Release Notes Oracle Solaris Cluster 4 Compatibility Guide
Oracle VM for SPARC dióhéjban I. Control domain: Ez a domain látja el a virtuális környezet menedzsmentjét, amit domain-ek konfigurálásához és erőforrások kezeléséhez használnak. Ez az első domain, ami elindul a rendszer indítás során, ez egy I/O domain és általában egy service domain is egyben. Control Domain-ból mindössze egy lehet. I/O domain: Egy domain, ami a fizikai I/O eszközökhöz van hozzárendelve, ilyenek lehetnek: egy PCIe root complex, egy PCI eszköz, vagy egy SR-IOV (Single-Root I/O Virtualizáció) funkció. Az IO eszközöknek natív teljesítménye és funkcionalitása van, amiket birtokol. Ezeket az IO eszközöket nem közvetíti egy virtualizációs réteg sem. I/O domainból több is lehet. Service domain: Egy domain, ami virtuális hálózatot és lemezeszközöket biztosít guest domaineknek. Több service domain is lehet, habár a gyakorlatban általában egy, vagy néha 2 vagy több van a redundancia miatt. Egy Service Domain mindig egy I/O domain, mert fizikai I/O erőforrásokat kell birtokolnia annak érdekében, hogy virtualizálni tudja őket a guest domaineknek. Guest domain: Egy domain akinek az eszközei vagy virtuálisak vagy fizikaiak: a virtuális hálózat és lemez eszközöket egy vagy több Service domain biztosítja. Bevett gyakorlatban ezt a domain típust használják az alkalmazások futtatására. Guest domain-ből általában több van egy rendszerben.
Oracle VM for SPARC dióhéjban II. Domain-ek általános kialakítása Diszkek virtualizációja Hálózat virtualizációja SR-IOV FC virtuaizáció
Támogatott klaszter topológiák Oracle VM for SPARC környezetben I. Cluster in a Box Topology Single Cluster Spans Two Different Hosts
Támogatott klaszter topológiák Oracle VM for SPARC környezetben II. Clusters Span Two Different Hosts Redundant I/O Domains
Megvalósítási lehetőségek - kezelendő kihívások Fizikai hardveren sok, különböző rendelkezésre állású virtuális környezet lehet Virtualizációs réteg karbantartása nehézkes lehet időablak hiányában Minél magasabb redundancia kialakítására van szükség Hardveres redundancia lehetőségei szerverfüggőek! Klaszter szoftver használatának megfontolása
Megvalósítások Solaris verziók Control, root, I/O és service domain Solaris 11 (min: SRU 8) Guest Solaris 10 1/13 (megfelelő kiegészítő patch-ekkel) Solaris 11 SRU 8 Javasolt mindenhol a legfrissebb Solaris 11.3 és OVM 3.4.0X
Klaszter az LDOM-ban, S7-2L környezet leírása 2db Oracle S7-2 gép 4db alaplapi network 1db PCIe Dual network card 2db PCIe Dual FC HBA Éles és nonprod környezetek mindkét gépen Klaszter guest LDOM-okban, csak az éles alkalmazás a cluster resource group került kialakításra Nem redundáns service domain kialakítás Primary(control) domainban megvalósított funkciók Local diskek ZFS mirror-ban Guest LDOM OS diskeknek kiajánlott ZFS volume-ok local diszkekből SAN diskek multipath, alkalmazás diszkek Vdiskserver-rel lettek kialakítva Alkalmazás hálózat LACP megoldással és virtuális switch-el Cluster interconnect cross-kábel
Klaszter az LDOM-ban, S7-2L sematikus ábra
Klaszter az LDOM-ban, S7-2L - értékelés Előnyök Költséghatékony Klaszter és alkalmazás licensz csak gép(ek) egy részére kell Hátrány Infrastruktúra redundancia alacsony Karbantartások kivitelezése éles működést is befolyásolhatja Probléma vagy karbantartás esetén számolni kell szolgáltatás-kieséssel
LDOM-ok klaszterezése, T7-2 környezet leírása Hardver: 2db T7-2 1024 GB RAM 4db PCIe Dual FC HBA Éles és nonprod környezetek egyenletesen minden gépen Cluster control domainban cluster resource group az LDOM Nincs live migration, klaszterátállás esetén számolni kell kieséssel LDOM-on belül zónák erőforrások optimálisabb kihasználása érdekében Tagged VLAN-ban cluster interconnect Tagged VLAN-okban a szükséges hálózatok Vdiskserver (LDC) diszkek SAN-ról bootoló Guest LDOM-ok
LDOM-ok klaszterezése, T7-2 sematikus ábra
LDOM-ok klaszterezése, T7-2 - értékelés Előnyök Költséghatékony Oracle RDBMS licensz csak ténylegesen allokált erőforrásokra Hátrány Infrastruktúra redundancia nem teljes Karbantartások kivitelezése éles működést is befolyásolhatja DR forgatókönyvvel lehet karbantartásokat is elősegíteni Számolni kell szolgáltatás-kieséssel
Redundáns Service Domains környezet leírása I. Minimalizált szolgáltatás kiesés a karbantartási folyamatok esetében Alkalmazott hardver: Oracle S7-2L szerverek Alkalmazott szoftverek: Oracle Real Applications Cluster Weblogic cluster Prod, DR, non-prod környezetek virtualizációja Redundáns service domain-ek és IO Adatbázis esetén nagy IO-teljesítményigény SR-IOV alkalmazása
Redundáns Service Domains környezet leírása II. Primary/control domain LDOM vezérlés Alaplapi hálózat (nem szolgáltatás hálózat, pl. mentés) Boot SAN device-ról PCI Rootcomplex 1 Szolgáltatás hálózat SAN elérés Alternate service domain Boot lokális diszkről PCI Rootcomplex 2 Szolgáltatás hálózat SAN elérés Guest domainok Multipath a két service domainból kapott erőforrásokra
Redundáns Service Domains sematikus ábrák
Redundáns Service Domains értékelés Problémák: S7 szerveren nincs split backpane, mint T7-en, emiatt lokális disk-ek nem oszthatók service domainok között, így Primary Service domain SAN boot-ol Lokális diskek és USB net különböző root komplexben SRIOV disk service domain bootolásra nem használható (guest LDOM esetén igen) Alaplapi hálózati kártyák lokális diszkekkel közös PCI root komplexben Alternate service-domain alkalmazása esetén klaszter csak guest LDOM-ban lehet Solaris Cluster esetében (Veritas esetében nincs korlátozás)
Redundáns Service Domains értékelés II. Előnyök Költséghatékony Oracle RDBMS licensz csak ténylegesen allokált erőforrásokra Redundáns infrastruktúra Rugalmasan módosítható erőforrás-kiosztás Hátrány Kiesés esetén manuális beavatkozás kellhet átrendeződéshez, bár szolgáltatás esetenként csökkent performanciával de működőképes (nincs Solaris Cluster) Bonyolult(-nak tűnő) struktúra
Hasznos linkek What's up with Ldoms https://blogs.oracle.com/cmt/entry/what_s_up_with_ldoms Raghuram Kothakota's Weblog - Fibre Channel SR-IOV https://blogs.oracle.com/raghuram/entry/fibre_channel_sr_iov Availability Best Practices - Availability Using Multiple Service Domains https://blogs.oracle.com/jsavit/entry/availability_best_practices_availability_using Oracle VM Server for SPARC PCIe Direct I/O and SR-IOV Features (Doc ID 1325454.1) Guest/IO domain using SRIOV or DIO - expected behaviour when rebooting RootIOdomain/Primary domain (Doc ID 1970596.1) How to Create and Assign FC SR-IOV Virtual Functions (VFs) on an Emulex FC HBA (Doc ID 1999091.1)
Miért LDOM A Solaris disztribúciónak része, nincs további licence igény Az LDOM a legtöbb szoftver gyártó szerint licence határoló Az LDOM és a Oracle Solaris Zones egymást kiegészítve flexibilis virtualizációs megoldást biztosít A SPARC platformon a legmagasabb rendelkezésre állású virtuális környeztek építését teszi lehetővé
Kérdések?
Köszönöm a figyelmet!