Solaris 10 rendszerek konszolidációja SPARC T5 szerverre (esettanulmány) HOUG, Siófok, Timár Károly Presales főmérnök

Átírás

1 Solaris 10 rendszerek konszolidációja SPARC T5 szerverre (esettanulmány) HOUG, Siófok, Timár Károly Presales főmérnök

2 EON ZEUS SCADA Energiaipari adatgyűjtő és távfelügyeleti rendszer strictly confidential, confidential, internal, public 3/30/2015 2

3 Agenda 1. Előzmények, problémakör 2. Alternatív megoldási lehetőségek 3. Alkalmazott technológia 4. Megoldás áttekintése 5. Eredmények 6. Továbbfejlesztési lehetőségek 7. Bonus track: Branded Zone példa confidential 3/30/2015 3

4 strictly confidential, confidential, internal, public 3/30/2015 4

5 EON ZEUS SCADA rendszer infrastruktúra Éles ( MAIN ) és DR ( BACKUP ) környezet hasonló szerverekkel MAIN: 13 x Sun Fire V245 Active/passive szerver párok 1 x Sun SPARC Enterprise M3000 UltraSPARC IIIi és SPARC64 VI CPU Solaris 10 operációs rendszer 3/30/2015 5

6 Megoldandó probléma A Solaris 10-en futó ZEUS SCADA rendszer gyorsítása Kiöregedő szerverek (6 évesek) Teljesítőképességük határán üzemelnek Az intenzív használatot gátolta Hosszú válaszidők, lassú heti adatbázis frissítés (2 nap / cég, hétvégi munkák) SCADA = Supervisory Control And Data Acquisition Cél: Gyors, megbízható, üzembiztos rendszer környezet kialakítása A hálózati adatok importálása gyorsuljon Az irányítás biztonsága növekedjen 3/30/2015 6

7 Megoldási alternatívák 1. ZEUS SCADA átfejlesztése más operációs rendszerre Hátrány: Rendkívül költséges. 2. Kritikus elemekre (db) SPARC szerverek beszerzése (M3000). EOL. Refurbished? Előny: Kockázatmentes, natívan futtatja a Solaris 10 környezetet. Szoftver szállító által bevizsgált. Hátrány: Szervizelés. Eltolja a problémát (N-3 generációt N-2-re frissítenek). 3. T-Systems javaslata: SPARC-T virtualizáció Előny: Költséghatékony. Szerver konszolidáció is egyben. Hátrány: Kockázatos. Alkalmazás szállító által nem bevizsgált (nincs rajta a támogatott szerverek listáján). 3/30/2015 7

8 SPARC platform virtualizációs megoldásai 1/5 Hard Partitions SPARC Hypervisors Solaris Containers M-Series Dynamic Domains Complete Isolation: Resources Security Faults Service Multiple OSes T-Series Oracle VM SPARC (Logical Domains) Granular Dynamic Low-overhead All Sun Systems Solaris Containers (Zones + SRM) Solaris Trusted Extensions Solaris 8 and 9 Containers Single OS Included at No Cost! Included at No Cost! Included at No Cost!

9 Solaris 8 Container Solaris 9 Container Solaris Container Solaris Container SPARC platform virtualizációs megoldásai 2/5 Dynamic Domains Oracle VM Server for SPARC (LDOMs) Oracle Solaris Containers Domain A OLTP DB Domain A Domain A App Web DB App Web OLTP DB App App Domain B App Domain B DW DB M-series Domain C Web Web T-Series Oracle Solaris Oracle Solaris

10 SPARC platform virtualizációs megoldásai 3/5 Domain átméretezés Daytime Configuration Night time Configuration Domain A Online workload 15 Processors Domain B Batch workload 5 Processors Domain A Online workload 7 Processors Domain B Batch workload 13 Processors M6-32 M6-32

11 SPARC platform virtualizációs megoldásai 4/5 LDOM átméretezés Oracle DB Oracle DB Siebel Siebel AM/Day/Week PM/Night/Weekend Adjust your systems to your business requirements on demand Dynamically: CPU & Virtual IO Improve utilization by balancing resources between domains Virtual network/switch support together with dedicated hardware mapping

12 SPARC platform virtualizációs megoldásai 5/5 keverhetőség Domains and Containers Domain A LDOMs and Containers Oracle VM A OLTP DB OLTP DB App Domain B DW DB App App Oracle VM B App Oracle VM C Web Web Web M6-32 T5

13 Alkalmazott technológiák 1/2: Oracle SPARC T5 processzor 16 S3 3.6GHz 128 threads per CPU (8 threads / core) 8MB shared L3 Cache 8-way 1-hop glueless scalability Integrated 2x8 PCIe Gen 3 Cryptographic Accelerators in each core 3/30/

14 Alkalmazott technológiák 2/2: SPARC T5 Servers Processor SPARC T5-1B SPARC T5-2 SPARC T5-4 SPARC T5-8 SPARC T5 3.6GHz SPARC T5 3.6GHz SPARC T5 3.6GHz SPARC T5 3.6GHz Max Processor Chips Max Cores/Threads 16, , , , 1024 DIMM Slots Max Memory 128GB, 256GB, 512GB 256GB, 512GB, 1TB 1TB or 2TB 2TB or 4TB Drive Bays I/O Slots 2 x PCIe 2.0 EM, 2 NEM,1 FEM slots 8 LP x8 PCIe 3.0, 4 x 10GbE ports 16 LP x8 PCIe 3.0, 4 x 10GbE ports 16 LP x8 PCIe 3.0, 4 x 10GbE ports Form Factor/RU Blade Rack 3RU Rack 5RU Rack 8RU Max Power Consumption 689W 1927W 2410W 4850W

15 Kockázatok csökkentése: pilot projet (POC, Proof of Concept) T-Systems javaslata: SPARC-T virtualizáció Előny: Költséghatékony. Szerver konszolidáció is egyben. Hátrány: Kockázatos. Alkalmazás gyártója közvetlenül nem támogatja. DE: Sikeres pilot projekt (POC) zárult Oracle SPARC T4-1 szerveren SCADA szoftver kernel paraméterezést alkalmaz (zónák használata problémásnak ígérkezett) LDOM technológia működőképes volt, problémamentesen üzemelt P2V migráció Control Domain: Solaris 11.1, Solaris 10 u11 LDOM 3/30/

16 LDOM alapú virtualizáció előnyei Lightweight hypervisor (system firmware rétegben) Hypervisor az erőforrások elosztása után a schedulálásban nem vesz részt Dedikált CPU erőforrás (thread, vcpu) Dedikált memória Dinamikus vcpu és memória gazdálkodás Kernel szintű szeparáció: Önálló Solaris image települ Egy dobozon belül futtathatók eltérő Solaris 10 update verziók Egy dobozon belül futtatható Solaris 10 és Solaris 11 Live Migration ldm set-vcpu 8 ldomxyz ldm set-memory 8g ldomxyz ldm add-vcpu 4 ldomxyz ldm add-memory 4g ldomxyz ldm remove-vcpu 2 ldomxyz ldm remove-memory 2g ldomxyz 3/30/

17 Javasolt szerver: Oracle SPARC T5-2 2 SPARC T5 processzor 32 core / 256 threads (vcpu) Max 1TB memória 4x alaplapi 10 GbE port 8x low-profile PCIe x8 slot USB portok 6 disk slot (SAS) Redundáns tápegység ILOM 3/30/

18 T-Systems által javasolt konszolidált megoldás áttekintése Éles környezet 2 x Oracle SPARC T5-2 egyenként: 2db T5 CPU / 512GB Dedikált tároló:netapp E2700 FC Teszt környezet 1 x Oracle SPARC T5-2 szerver 2db T5 CPU / 256GB Belső diszkek Installált verziók: OVM Control domain: Solaris 11.2 Guest LDOMs: Solaris 10 u11 3/30/

19 Megvalósítás menete: P2V migráció 1. Forrás rendszer: ldmp2v collect script futtatása (manifest file készült, manuális mód: file rendszerek bővültek és a diszkek is át lettek szervezve) 2. Forrás rendszer: ufsdump mentés 3. Cél rendszer: diszkek és file rendszer kialakítása 4. Cél rendszer: ufsrestore a control domainben 5. Cél rendszer: ldmp2v prepare LDOM létrehozása az alábbi paraméterekkel: manifest file, vcpu, memória adatok visszaállított eredeti root struktúra 6. Cél rendszer: ldmp2v convert fázis: sun4u sun4v upgrade install iso file alapján (architektúra váltás) reboot és kész 3/30/

20 LDOM erőforrás kiosztás NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART 16 16G 3.90% 3.60% 42d 18h 26m all1m active -n G 11.00% 11.00% 32d 19h 54m ifs2m active -n G 1.60% 1.60% 25d 22h 16m im2m active -n G 5.30% 5.30% 26d 18h 2m rt2m active -n G 4.90% 4.90% 27d 19h 13m sndem active -n G 0.30% 0.30% 32d 20h 14m NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART 16 16G 1.30% 1.20% 42d 23h 0m all2m active -n G 3.90% 3.90% 18d 12h 46m dms1m active -n G 0.50% 0.50% 34d 22h 36m ifs1m active -n G 3.60% 3.60% 27d 22h 9m im1m active -n G 1.30% 1.30% 31d 20h 25m rt1m active -n G 6.50% 6.50% 28d 22h 10m NAME STATE FLAGS CONS VCPU MEMORY UTIL NORM UPTIME primary active -n-cv- UART 16 16G 0.50% 0.50% 44d 22h 42m dts1m active -n G 2.10% 2.10% 35d 18h 28m naesm active -n G 7.20% 7.20% 35d 22h 43m st-mgmt active -n G 0.40% 0.40% 38d 18h 25m xt1m active -n G 29.00% 29.00% 38d 18h 43m 3/30/

21 Eredmények Megmaradt az üzembiztos hot/standby rendszer a két fizikai gép között LDOM párok szeparált szervereken Nagyobb teljesítmény a virtualizált környezetben A hálózaton lévő eszközök GPS koordináta szerinti heti adatbázis import (2-3x sebességnövekedés, 2 nap helyett 1 nap cégenként) CPU intenzív (többszálasság?) Diszpécseri munka során kb. 1 perc volt egy ideiglenes elem elhelyezése, most 10s Energiamegtakarítás (50%) Régi környezet: 14 szerver kb. 5000W Új környezet: 3 szerver: 2200W Rack hely megtakarítás (28 RU helyett 9RU) Kisebb terhelés a HVAC rendszeren 3/30/

22 Továbbfejlesztési lehetőségek Szűk keresztmetszetek meghatározása a jelenlegi környezetben (majd a kiosztott erőforrások hangolása) Diszk IO!! Ideiglenes erőforrás allokáció az adatbázis import idejére További SPARC szerverek bevonása a virtualizált környezetbe Backup oldal (DR) virtualizációja Munkaállomások virtualizációja (MMI) Diszpécseri és mérnöki munkahelyek 44 Ultra45 (4db 1920x1200 monitor) Többképernyős kliens oldali megjelenítés kihívás lehet 3/30/

23 Branded zónák megvalósítása

24 Branded Zones 1/3 Megvalósult projekt: Fizikai SPARC Solaris 8/9 szerverek virtualizációja SPARC T5 platform képes az alábbiak futtatására: S11 gdom S11 zone inside S11 gdom S10 gdom S10 zone inside S10 gdom S10 branded zone inside S11 gdom S9 branded zone inside S10 gdom S8 branded zone inside S10 gdom 3/30/

25 Branded Zones 2/3 Megvalósítás 3/30/

26 Megoldandás érdekessége Redundáns virtuális IO alrendszer megvalósítása Lokális és DR redundancia biztosítása Dual VIOS kiépítés Két IO domain (control domain és IO domain) A szerver IO (portok, PCI slotok) kétfelé osztása a két IO domain számára Guest LDOM-ok redundanciája Redundáns vswitch Redundáns diszk csatlakozás 3/30/

27 Branded Zones 3/3 3/30/

28 Köszönöm a figyelmet!!! KÉRDÉSEK!!!! HOUG, Timár.Károly@t-systems.hu