Privát felhő megoldások és tapasztalatok

Átírás

1 Intelligens rendszerfelügyelet (VIMIA370) Privát felhő megoldások és tapasztalatok Tóth Áron toth.aron AT inf.mit.bme.hu Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

2 Ami eddig volt Számítási felhők alapfogalmai Számítási felhők lehetséges kialakításai Milyen előnyökkel/hátrányokkal jár a használata Felhők teljesítménymérése 2

3 Privát cloud megoldások 3

4 Apache VCL

5 Történeti áttekintés NCSU: North Carolina State University 2004 tavasz: fejlesztés elkezdése 2004 ősz: bevezetés 2008 október: Apache közzététel 2011 december: 1 milliomodik foglalás 2012 június: Apache TLP 2012 augusztus: teszt rendszer a tanszéken 2013 február: Éles rendszer indulása 5

6 Problémák/kihívások Oktatók: o Új szoftver bevezetés nehézkes o Új szoftver verzió váltsunk/ne váltsunk IT: o Alkalmazás inkompatibilitás o Telepítési variációk heterogén labor gépekre Hallgatók: o 24 órás hozzáférés o Elérhetőség/távolság Kutatás: o Kutatás-fejlesztés elősegítése o Jogosultságproblémák 6

7 Képességek Virtuális gép kiajánlás Bare-metal gép kiajánlás Linux / Windows Op. Rendszer támogatás Hypervisor: o VMware ESXi o Linux KVM Foglalások o Hozzáférés meghatározott erőforráshoz Részletes jogosultságkezelés 7

8 Architektúra 8

9 Architektúra Felhasználói és erőforrás adatok Működés közbeni adatok tárolása Felhasználói portál biztosítása (SSP) Adminisztrációs felület Foglalások és erőforrások kezelése Folyamatok vezérlése Alapvető számítási erőforrások biztosítása CPU idő, memória, adattárolás, kommunikáció 9

10 Kattint Foglalás menete Connect Környezet előkészítése Ellenőrzés Új foglalás 10

11 Foglalás lejárása Foglalás kérés Erőforrás-takarékosság! Connect gomb aktív A felhasználó nem kattint a connect gombra 15 perc eltelik A foglalás lejár Gép megtisztítása Kattintás a Connect gombra A felhasználó nem jelentkezik be 15 perc eltelik A foglalás lejár Gép megtisztítása Bejelentkezés A felhasználó kijelentkezik 15 perc eltelik A foglalás lejár Gép újratöltése 11

12 Egy gép, meghatározott időre Foglalás típusok Több gép, meghatározott időre Klasszikus Fürt Több azonos gép, meghatározott időre, ismétlődéssel Foglalás Nincs időlimit, csoport hozzáférés Blokk Szerver 12

13 Környezetek Alap (Base image) Mester (Master image) Mester (Master image) Revízió (Master image) Szülő (Parent image) Pl.: Windows 7 vsphere klienssel Gyermek (Sub image) Gyermek (Sub image) ESXi 5.5 NFS Szerver 13

14 Erőforrások, Csoportok Erőforrások: Image Schedule Csoportok: 14

15 Felhasználó- és jogosultságkezelés Felhasználók hitelesítése o Lokális (saját adatbázis) o LDAP címtár o Shibboleth (pl. BME Címtár) o Származás (Affilation) Jogosultság Fa (Privilege Tree) o Hierarchikus felépítés, részletes jogosultságkezelés o Felhasználók jogosultságkezelése Csoportokon keresztül szabályozott o Párhuzamos foglalások száma o Foglalás időtartam 15

16 Felhasználói- és erőforrás-jogosultságok Erőforrásjogosultságok Jogosultság Fa Felhasználók Erőforrások 16 Felhasználói jogosultságok

17 Openstack

18 Openstack 2010 Július: Rackspace és NASA EC2 kompatibilis API Gyorsan fejlődik, 6 hónapos fejlesztési ciklus Széleskörű technológiai támogatás Testre szabható kialakítás Nagy technológiai cégek támogatják (>200) o AMD, Cisco, Dell, EMC, Intel, HP, IBM, RedHat, VMware, Oracle Megvalósítás: Python (!) 18

19 Messaging Database Openstack komponensei Block Storage (Cinder) Network (Neutron) Object store (Swift) Image cache (Glance) Identity (Keystone) Dashboard (Horizon) Cloud API Compute (Nova) Hypervisor Operating systems Physical Hardware 19

20 Messaging Database Openstack komponensei Block Amazon Storage (Cinder) EBS Network Amazon (Neutron) VPC Object Amazon store (Swift) S3 Image Amazon cache (Glance) AMI Identity (Keystone) Dashboard AWS Console (Horizon) Cloud EC2 API Compute Amazon (Nova) EC2 Hypervisor Xen Operating systems Physical Hardware 20

21 Openstack dashboard Általános áttekintés Virt. gépek kezelése Perzisztens lemezek kezelése Képfájlok és pillanatképek Kulcsok, Security Group-ok, API Endpoints Hálózat kezelése Swift konténerek 21

22 Openstack dashboard Erőforrások áttekintése Kvóták kezelése Rendszer beállítások Rendszer állapot Felhasználó- és jogosultságkezelés 22

23 Openstack vs. VCL Openstack VCL Open Source Igen Igen Federált hitelesítés Igen Igen Object Store Igen Nem Block Store Igen Nem Custom Network Igen Nem Multi hypervisor Igen Igen* Modularitás Igen Igen Számlázás Igen Nem* 23

24 Miért VCL? Oktatási igényekhez jobban igazodik Foglalási idő Gyors betöltés o Foglalások 95% <2 perc rendelkezésre áll Teljesen felkonfigurált környezetek Erőforrás-takarékosság Egyszerű környezetkészítés (kiadható oktatóknak) 24

25 Technikai kialakítás

26 Tervezési kérdések Fizikai gépek felhasználása Hálózati elrendezés OS verzió Felhasználók hitelesítése Hypervisor kiválasztása Komponensek elhelyezése 26

27 Két független hálózat Hálózat kialakítása o Privát: Menedzsment forgalom o Publikus: Felhasználói forgalom Privát hálózaton: o DHCP-vel osztott, MAC-címhez rendelt fix IP-cím Publikus hálózaton: o DHCP-vel osztott o DHCP-vel osztott, MAC-címhez rendelt fix IP-cím o Statikus IP-cím 27

28 Részletes architektúra 28

29 Részletes architektúra Kiszolgáló infrastruktúra Számítási erőforrás 29

30 Kiszolgáló infrastruktúra 30

31 Szoftveres megvalósítás DHCP Server MySQL Client xcat Provisioning Modules OS Modules VCL Daemon Perl Linux OS Other Modules User interface, scheduler PHP Modules PHP Apache HTTP Server Linux OS RPC-XML API Js, AJAX, Dojo Toolkit Image Library MySQL DB 31

32 Statisztikák és tapasztalatok

33 Tantárgyak Tapasztalatok o Informatikai technológiák laboratórium 1. o Intelligens rendszerfelügyelet o Informatikai technológiák laboratórium 2. o Rendszermodellezés 1 év alatt: o 4800 db foglalás o 6300 db virtuális gép foglalás o óra használat o óra virtuális gép használat 33

34 Hardver 10 db IBM System x3550 o 2 processzor, 8 mag o 32 GB memória o 2 db 136 GB SAS háttértár o 2 Gigabit Ethernet Storage server o 6 db 500 GB SATA RAID-10 Cisco SG 500 Gigabit Switch 34

35 Foglalások hossza tavaszi félévben ITLab1-MIT1 IRF-Win8 IRF-WS

36 Foglalások száma a tavaszi félévben ITLab1-MIT1 IRF-Win8 IRF-WS

37 Foglalások hossza őszi félévben ITLab2-MIT2 ITLab2-MIT1 REMO

38 Virt. gép foglalás hossza az őszi félévben ITLab2-MIT2 ITLab2-MIT1 REMO

39 Foglalások száma az őszi félévben ITLab2-MIT2 ITLab2-MIT1 REMO

40 Virt. gép foglalások száma az őszi félévben ITLab2-MIT2 ITLab2-MIT1 REMO

41 Összes használat környezetenként Total Hour Total VM Hour Node Hadoop ITLab-1 MIT1 IRF-Windows 8 IRF-WS 2012 ITLab-2 MIT2 ITLab-2 MIT1 REMO 2013 IQD-Image 41

42 Összes foglalás környezetenként Count VM Count Node Hadoop ITLab-1 MIT1 IRF-Windows 8 IRF-WS 2012 ITLab-2 MIT2 ITLab-2 MIT1 REMO 2013 IQD-Image 42

43 Összefoglaló Milyen motivációja van a használatának Hogyan viszonyul egy privát felhő megoldáshoz Hogyan épül fel egy komplex infrastruktúra Milyen tervező döntések szükségesek Milyen komponensek szükségesek 43