Hogyan lesz adatbányából aranybánya? Szolgáltatások kapacitástervezése a Budapest Banknál Németh Balázs Budapest Bank Fehér Péter - Corvinno Visontai Balázs - KFKI
Tartalom 1. Szolgáltatás életciklus 2. Előzmények 1. Kihívások 2. Fókuszterület 3. A projekt bemutatása 4. Tapasztalatok 2
Szolgáltatás életciklus Service Design Service Transition Service Operation Service Strategy Continual Service Improvement Koncepció Fejlesztés Éles környezet Kivezetés Megvalósíthatóság Követelmény Tervezés Kódolás Tesztelés Roll-out Éles üzem Változások Életciklus vége Igénykezelés Modellezés Igénykezelés Kapacitásterv Szolgáltatás méretezés Iteratív Teljesítmény monitoring Sz. méretezés Szolgáltatás életciklus 3
ELŐZMÉNYEK 4
Kihívások kapacitásmenedzsment területen Komplex és heterogén architektúra Osztott erőforrások Feldolgozott és riportált adatmennyiség Infrastruktúra performancia Szolgáltatás performancia Feldolgozott és riportált adatkörök egymásra hatása nem ismert 5
Kapacitásmenedzsment funkciók Kapacitás adatbázis kapacitás tervezés szolgáltatás méretezés összefüggés elemzés trendelemzés, előrejelzés performancia riport SLM IM PM CHG FIN mérés Üzleti szolgáltatás IT szolgáltatás infrastruktúra 6
Összefüggés elemzés Üzleti szolgáltatás IT szolgáltatás Infrastruktúra 7
Összefüggés elemzés statisztikai alapokon Trendelemzés, előrejelzés Összefüggés elemzés Erőforrás becslés Performancia képesség meghatározás SLA javaslatok Szűk keresztmetszetek megállapítása Magas szintű összefüggés volumen és terhelés között 8
A PROJEKT 9
Aktuális kihívások Számos mérés történik Nagy mennyiségű adat keletkezik Adatok felhasználása Döntéshozatal Beavatkozási lehetőségek Fejlesztési tervek A szolgáltatások viselkedése terhelések változására nem ismert Ráfordítások és szolgáltatási szintek között nincs kimutatható kapcsolat 10
Kutatás részei Adatkörök vizsgálata Mutatószámok vizsgálata Támogató rendszerek vizsgálata Összefüggések elemzése Forgatókönyv elemzési modellek Jelenlegi környezet vizsgálata Operációs rendszer, tranzakciók, alkalmazási adatok Mutatószámok összegyűjtése és vizsgálata További mutatószámok használatának vizsgálata Modellek alkalmazásához szükséges támogató eszközök Modellezési megoldások vizsgálata Modellezés végrehajtása Trendek, események hatásainak vizsgálata 11
Projekt felépítése Budapest Bank Corvinno KFKI 12
Vizsgálati pilot terület Szignifikáns üzleti hasznosság Vizsgált terület komplexitása Vizsgált területhez kapcsolódó infrastruktúra feltárása Kialakított mérések Széles körű lefedés Nagy adatmennyiség SLA álljon rendelkezésre 13
Vizsgált adatkörök Operációs rendszer szintű adatkörök Processzor leterheltség Memória leterheltség Adatbázis szerver szintű adatkörök Diszk válaszidő Várakozási sorok Írás, olvasás idő Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Felhasználók száma Tranzakció válaszidők Hálózati szintű adatkörök Hálózati eszközökön átmenő forgalom Hálózati eszközök processzor terheltsége Hálózati eszközök memória terheltsége 14
Támogató architektúra Szolgáltatás csoport Szolgáltatás csoport Szolgáltatás csoport 15
Szolgáltatáscsoportok vizsgálata Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Tranzakció válaszidők Operációs rendszer szintű adatkörök Processzor leterheltség 16
Vizsgált módszerek, eljárások Alapstatisztika Korreláció Regresszió Sokváltozós statisztika Faktorelemzés Klaszterelemzés Neurális hálók alkalmazása 17
Eszközök, adatok Statisztikai összefüggések Modellalkotás, modellfuttatás, előrejelzés 2 hónapnyi adat 18
Az elemzés végrehajtása Pilot terület meghatározása Tranzakciók arányának vizsgálata Rendelkezésre álló mérések vizsgálata Adatok megfelelősége Elemzési lehetőségek vizsgálata Elemzések végrehajtása, modellépítés Eredmények tesztelése 19
ÁLTALÁNOS EREDMÉNYEK 20
Vizsgált tranzakciótípusok megoszlása 21
Szolgáltatásokhoz kapcsolódó elemezések elvárásai Mért adatmennyiség Adatok reprezentativitása Terhelt infrastruktúraelemek, feldolgozási út 22
Tranzakciószám és front-end terhelés 23
Terhelés Összefüggések statisztikai vizsgálata Tranzakciószám 24
AZ ALAPSTATISZTIKÁK KORLÁTAI 25
Modell kialakítás Input: Tranzakciószám Nap Infrastruktúra mérési adatok Transzformáció Output: Válaszidő 26
Szolgáltatáscsoportok vizsgálata Szolgáltatás csoport 27 27
Front-end Leterheltség Tranzakciószám Összefüggések Válaszidő Válaszidő 28
MODELLEZÉS EREDMÉNYEK 29
Neurális háló leképezés Input: Tranzakciószám Nap Infrastruktúra elem terhelések Transzformáció Output: Válaszidő 30
Neurális háló Előnyös, ha A problématerület gazdag történeti adatokban, A megoldást meghatározó függvény ismeretlen vagy előállítása költséges Az célváltozót egymásra ható paraméterek írják le Az adathalmaz bizonyos számú hibát tartalmaz 31
Jó előrejelző képesség 1 hónapnyi adat Illeszkedés: r = 0,89 32
33 További tesztek 0 20 40 60 80 100 120 140 1 15 29 43 57 71 85 99 113 127 141 155 169 183 197 211 225 239 253 267 281 295 309 323 337 Tény Előrejelzés 0 20 40 60 80 100 120 140 1 19 37 55 73 91 109 127 145 163 181 199 217 235 253 271 289 307 325 Előrejelzés Tény
ÉRTÉKELÉS 34
Tapasztalatok Tanító minta elemszáma Jól reprezentáló minták Feldolgozási kapacitás Modellek pontosítási igénye 35
Felhasználási lehetőségek SLM folyamat támogatása Kampányok várható performancia hatásainak előrejelzése Szűk keresztmetszetek meghatározása (időszakokra, vagy komponensre) Szolgáltatás performancia képességek meghatározása Kapacitás korlátok meghatározása What-if próbák További adatkörök bevonása, modellépítés Alkalmazás méretezés Változások követése, visszamérés Kapacitástervezés 36
Üzenetek Válság ellenére sem kell lemondani a szolgáltatásfejlesztésről Innovációval kiemelkedő eredmények érhetőek el Nem előfeltétel a drága eszköz van olcsó open-source alternatíva Pl. Rapidminer, Weka, stb. Nagymennyiségű adat feldolgozása Komplex elemzési lehetőségek Újabb eszköz Előrejelzések, trendelemzések biztosítása megalapozottabbá válik A modell annyira pontos, mint az adat amivel használjuk vegyük figyelembe az adattartalmat, és a lefedett adatköröket 37
Köszönjük a figyelmet! Várjuk a kérdéseket 38