Felhők teljesítményelemzése felhő alapokon Kocsis Imre ikocsis@mit.bme.hu HTE Infokom 2014 Budapest University of Technology and Economics Department of Measurement and Information Systems 1
IT Szolgáltatásmenedzsment @FTSRG Vezető oktató: Prof. Pataricza András Felhő számítástechnika & virtualizáció o Virtualizációs technológiák és alkalmazásaik o Intelligens rendszerfelügyelet o Autonóm és hibatűrő informatikai rendszerek Exploratory Data Analysis (EDA) & Big Data o Intelligens adatelemzés o Big Data elemzési módszerek Apache Virtual Computing Lab o Alkalmazott oktatási felhő Szolgáltatásbiztonság tervezése és elemzése o Szolgáltatásbiztonságra tervezés o Rendszermodellezés 2
Teljesítményérzékeny alkalmazások felhőben?!? 3
Teljesítményérzékeny alkalmazások felhőben standard infrastruktúra vs Puha valósidő, QoS/QoE 4
Teljesítményérzékeny alkalmazások felhőben Virtual Desktop Infrastructure Telekommunikáció 5
Teljesítményérzékeny alkalmazások felhőben Extrafunkcionális követelmények: Áteresztőképesség, időzítés, rendelkezésreállás Kicsi problémák komoly hatással Carrier clouds! Virtual Desktop Infrastructure Telekommunikáció 6
Motiváció: telekonferencia a felhőben OS and hypervisor metrics HI Test automation LO Interference Hypervisor Lab 7
Rövid tranziens hiba lassú helyreállás Mintha kihúznánk a gépet 8 sec platform túlterhelés 30 sec kiesés 120 sec rossz QoS/QoE 8
Háttérben: a noisy neighbour jelenség Tenant Neighbor Hypervisor 9
IaaS teljesítmény jellemzése 10
Altalános IaaS: instabil/heterogén teljesítmény Ismeretlen ütemezés Noisy neighbours Cloud szolgáltatások? Hálózat? HW nem ismert Ismeretlen/nem vezérelhető terítés 11
CPU teljesítmény szondázása egy ismert felhőn Teljesítmény tesztek/ Benchmarkok? Túlkapacitás nem tudja kezelni Védelmek léteznek de ismerni kell az ellenfelet (és hatását) Túlkapacitás kezelheti 12
Teljesítményteszt/benchmark: elégtelen válasz Reprezentativitás? o Stabilitás? Homogenitás? o Ritka események Megismételhetőség? o Szolgáltató/bérlő Mikrobenchmarkok? o Alkalmazás-érzékenység? o Felhő funkciók (scale in és out)? 13
A felhő méréstechnika és alkalmazása MONITOROZÁS (Platform) hibamodell Alkalmazásérzékenységi modell Teljesítmény/ kapacitásmodell Megerősítő adatelemzés Strukturális védelem Felderítő adatelemzés Dinamikus védelem Finom felbontású tárolás Teljes adaptív adatgyűjtés Full stack instrumentáció Próbavásárlók és rutinszerű gyakorlatok BENCHMARK 14
Felhő teljesítmény adatelemzése: Big Data és EDA 15
Példa: VDI CPU Ready Time karakterizálása Ready : VM futásra kész, de nem fut o VDI: akadás Ritka események o Mintavételezés? Finom felbontás kell! Legalább több hónapnyi adat Nagyon széles adat Eredmény: ~QoE kapacitás + terhelés Big Data eszközök 16
Egy/A Big Data probléma At rest Big Data o Nincs update o Mindent elemzünk Elosztott tárolás Computation to data Not true, but a very, very good lie! (T.Pratchett, Nightwatch) 17
MapReduce Reduce [,[,, ]] [,[,, ]] [,[,, ]] [,[,, ]] [,[,, ]] SHUFFLE Map Distributed File System Algoritmika: változó 18
EDA: hipotézisek adatok vizuális bejárásából Cloud válaszidő ~ hálózati késleltetés Kliens ID ~ helye Kliensek helyei 19 Nagy adatra (még) nem skálázódik
Workflow? (Jelenleg) Interaktív EDA mintákon statisztika mintán Klasszikus eszközök Lassú EDA Big Data-n Big Data statisztika Hadoop, Storm, Cassandra, 20
A felhő méréstechnika & alkalmazása MONITOROZÁS (Platform) hibamodell Alkalmazásérzékenységi modell Teljesítmény/ kapacitásmodell Megerősítő adatelemzés Strukturális védelem Felderítő adatelemzés Dinamikus védelem Természetes platformja: a felhő Finom felbontású tárolás Folyamatos adatgyűjtés Full stack instrumentáció Próbavásárlók és rutinszerű gyakorlatok BENCHMARK 21