Felhők teljesítményelemzése felhő alapokon

Átírás

1 Felhők teljesítményelemzése felhő alapokon Kocsis Imre HTE Infokom 2014 Budapest University of Technology and Economics Department of Measurement and Information Systems 1

2 IT Vezető oktató: Prof. Pataricza András Felhő számítástechnika & virtualizáció o Virtualizációs technológiák és alkalmazásaik o Intelligens rendszerfelügyelet o Autonóm és hibatűrő informatikai rendszerek Exploratory Data Analysis (EDA) & Big Data o Intelligens adatelemzés o Big Data elemzési módszerek Apache Virtual Computing Lab o Alkalmazott oktatási felhő Szolgáltatásbiztonság tervezése és elemzése o Szolgáltatásbiztonságra tervezés o Rendszermodellezés 2

3 Teljesítményérzékeny alkalmazások felhőben?!? 3

4 Teljesítményérzékeny alkalmazások felhőben standard infrastruktúra vs Puha valósidő, QoS/QoE 4

5 Teljesítményérzékeny alkalmazások felhőben Virtual Desktop Infrastructure Telekommunikáció 5

6 Teljesítményérzékeny alkalmazások felhőben Extrafunkcionális követelmények: Áteresztőképesség, időzítés, rendelkezésreállás Kicsi problémák komoly hatással Carrier clouds! Virtual Desktop Infrastructure Telekommunikáció 6

7 Motiváció: telekonferencia a felhőben OS and hypervisor metrics HI Test automation LO Interference Hypervisor Lab 7

8 Rövid tranziens hiba lassú helyreállás Mintha kihúznánk a gépet 8 sec platform túlterhelés 30 sec kiesés 120 sec rossz QoS/QoE 8

9 Háttérben: a noisy neighbour jelenség Tenant Neighbor Hypervisor 9

10 IaaS teljesítmény jellemzése 10

11 Altalános IaaS: instabil/heterogén teljesítmény Ismeretlen ütemezés Noisy neighbours Cloud szolgáltatások? Hálózat? HW nem ismert Ismeretlen/nem vezérelhető terítés 11

12 CPU teljesítmény szondázása egy ismert felhőn Teljesítmény tesztek/ Benchmarkok? Túlkapacitás nem tudja kezelni Védelmek léteznek de ismerni kell az ellenfelet (és hatását) Túlkapacitás kezelheti 12

13 Teljesítményteszt/benchmark: elégtelen válasz Reprezentativitás? o Stabilitás? Homogenitás? o Ritka események Megismételhetőség? o Szolgáltató/bérlő Mikrobenchmarkok? o Alkalmazás-érzékenység? o Felhő funkciók (scale in és out)? 13

14 A felhő méréstechnika és alkalmazása MONITOROZÁS (Platform) hibamodell Alkalmazásérzékenységi modell Teljesítmény/ kapacitásmodell Megerősítő adatelemzés Strukturális védelem Felderítő adatelemzés Dinamikus védelem Finom felbontású tárolás Teljes adaptív adatgyűjtés Full stack instrumentáció Próbavásárlók és rutinszerű gyakorlatok BENCHMARK 14

15 Felhő teljesítmény adatelemzése: Big Data és EDA 15

16 Példa: VDI CPU Ready Time karakterizálása Ready : VM futásra kész, de nem fut o VDI: akadás Ritka események o Mintavételezés? Finom felbontás kell! Legalább több hónapnyi adat Nagyon széles adat Eredmény: ~QoE kapacitás + terhelés Big Data eszközök 16

17 Egy/A Big Data probléma At rest Big Data o Nincs update o Mindent elemzünk Elosztott tárolás Computation to data Not true, but a very, very good lie! (T.Pratchett, Nightwatch) 17

18 MapReduce Reduce [,[,, ]] [,[,, ]] [,[,, ]] [,[,, ]] [,[,, ]] SHUFFLE Map Distributed File System Algoritmika: változó 18

19 EDA: hipotézisek adatok vizuális bejárásából Cloud válaszidő ~ hálózati késleltetés Kliens ID ~ helye Kliensek helyei 19 Nagy adatra (még) nem skálázódik

20 Workflow? (Jelenleg) Interaktív EDA mintákon statisztika mintán Klasszikus eszközök Lassú EDA Big Data-n Big Data statisztika Hadoop, Storm, Cassandra, 20

21 A felhő méréstechnika & alkalmazása MONITOROZÁS (Platform) hibamodell Alkalmazásérzékenységi modell Teljesítmény/ kapacitásmodell Megerősítő adatelemzés Strukturális védelem Felderítő adatelemzés Dinamikus védelem Természetes platformja: a felhő Finom felbontású tárolás Folyamatos adatgyűjtés Full stack instrumentáció Próbavásárlók és rutinszerű gyakorlatok BENCHMARK 21