Hogyan lesz adatbányából aranybánya?

Átírás

1 Hogyan lesz adatbányából aranybánya? Szolgáltatások kapacitástervezése a Budapest Banknál Németh Balázs Budapest Bank Fehér Péter - Corvinno Visontai Balázs - KFKI

2 Tartalom 1. Szolgáltatás életciklus 2. Előzmények 1. Kihívások 2. Fókuszterület 3. A projekt bemutatása 4. Tapasztalatok 2

3 Szolgáltatás életciklus Service Design Service Transition Service Operation Service Strategy Continual Service Improvement Koncepció Fejlesztés Éles környezet Kivezetés Megvalósíthatóság Követelmény Tervezés Kódolás Tesztelés Roll-out Éles üzem Változások Életciklus vége Igénykezelés Modellezés Igénykezelés Kapacitásterv Szolgáltatás méretezés Iteratív Teljesítmény monitoring Sz. méretezés Szolgáltatás életciklus 3

4 ELŐZMÉNYEK 4

5 Kihívások kapacitásmenedzsment területen Komplex és heterogén architektúra Osztott erőforrások Feldolgozott és riportált adatmennyiség Infrastruktúra performancia Szolgáltatás performancia Feldolgozott és riportált adatkörök egymásra hatása nem ismert 5

6 Kapacitásmenedzsment funkciók Kapacitás adatbázis kapacitás tervezés szolgáltatás méretezés összefüggés elemzés trendelemzés, előrejelzés performancia riport SLM IM PM CHG FIN mérés Üzleti szolgáltatás IT szolgáltatás infrastruktúra 6

7 Összefüggés elemzés Üzleti szolgáltatás IT szolgáltatás Infrastruktúra 7

8 Összefüggés elemzés statisztikai alapokon Trendelemzés, előrejelzés Összefüggés elemzés Erőforrás becslés Performancia képesség meghatározás SLA javaslatok Szűk keresztmetszetek megállapítása Magas szintű összefüggés volumen és terhelés között 8

9 A PROJEKT 9

10 Aktuális kihívások Számos mérés történik Nagy mennyiségű adat keletkezik Adatok felhasználása Döntéshozatal Beavatkozási lehetőségek Fejlesztési tervek A szolgáltatások viselkedése terhelések változására nem ismert Ráfordítások és szolgáltatási szintek között nincs kimutatható kapcsolat 10

11 Kutatás részei Adatkörök vizsgálata Mutatószámok vizsgálata Támogató rendszerek vizsgálata Összefüggések elemzése Forgatókönyv elemzési modellek Jelenlegi környezet vizsgálata Operációs rendszer, tranzakciók, alkalmazási adatok Mutatószámok összegyűjtése és vizsgálata További mutatószámok használatának vizsgálata Modellek alkalmazásához szükséges támogató eszközök Modellezési megoldások vizsgálata Modellezés végrehajtása Trendek, események hatásainak vizsgálata 11

12 Projekt felépítése Budapest Bank Corvinno KFKI 12

13 Vizsgálati pilot terület Szignifikáns üzleti hasznosság Vizsgált terület komplexitása Vizsgált területhez kapcsolódó infrastruktúra feltárása Kialakított mérések Széles körű lefedés Nagy adatmennyiség SLA álljon rendelkezésre 13

14 Vizsgált adatkörök Operációs rendszer szintű adatkörök Processzor leterheltség Memória leterheltség Adatbázis szerver szintű adatkörök Diszk válaszidő Várakozási sorok Írás, olvasás idő Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Felhasználók száma Tranzakció válaszidők Hálózati szintű adatkörök Hálózati eszközökön átmenő forgalom Hálózati eszközök processzor terheltsége Hálózati eszközök memória terheltsége 14

15 Támogató architektúra Szolgáltatás csoport Szolgáltatás csoport Szolgáltatás csoport 15

16 Szolgáltatáscsoportok vizsgálata Tranzakció szintű adatkörök Tranzakciók típusai Tranzakciók száma Tranzakció válaszidők Operációs rendszer szintű adatkörök Processzor leterheltség 16

17 Vizsgált módszerek, eljárások Alapstatisztika Korreláció Regresszió Sokváltozós statisztika Faktorelemzés Klaszterelemzés Neurális hálók alkalmazása 17

18 Eszközök, adatok Statisztikai összefüggések Modellalkotás, modellfuttatás, előrejelzés 2 hónapnyi adat 18

19 Az elemzés végrehajtása Pilot terület meghatározása Tranzakciók arányának vizsgálata Rendelkezésre álló mérések vizsgálata Adatok megfelelősége Elemzési lehetőségek vizsgálata Elemzések végrehajtása, modellépítés Eredmények tesztelése 19

20 ÁLTALÁNOS EREDMÉNYEK 20

21 Vizsgált tranzakciótípusok megoszlása 21

22 Szolgáltatásokhoz kapcsolódó elemezések elvárásai Mért adatmennyiség Adatok reprezentativitása Terhelt infrastruktúraelemek, feldolgozási út 22

23 Tranzakciószám és front-end terhelés 23

24 Terhelés Összefüggések statisztikai vizsgálata Tranzakciószám 24

25 AZ ALAPSTATISZTIKÁK KORLÁTAI 25

26 Modell kialakítás Input: Tranzakciószám Nap Infrastruktúra mérési adatok Transzformáció Output: Válaszidő 26

27 Szolgáltatáscsoportok vizsgálata Szolgáltatás csoport 27 27

28 Front-end Leterheltség Tranzakciószám Összefüggések Válaszidő Válaszidő 28

29 MODELLEZÉS EREDMÉNYEK 29

30 Neurális háló leképezés Input: Tranzakciószám Nap Infrastruktúra elem terhelések Transzformáció Output: Válaszidő 30

31 Neurális háló Előnyös, ha A problématerület gazdag történeti adatokban, A megoldást meghatározó függvény ismeretlen vagy előállítása költséges Az célváltozót egymásra ható paraméterek írják le Az adathalmaz bizonyos számú hibát tartalmaz 31

32 Jó előrejelző képesség 1 hónapnyi adat Illeszkedés: r = 0,89 32

33 33 További tesztek Tény Előrejelzés Előrejelzés Tény

34 ÉRTÉKELÉS 34

35 Tapasztalatok Tanító minta elemszáma Jól reprezentáló minták Feldolgozási kapacitás Modellek pontosítási igénye 35

36 Felhasználási lehetőségek SLM folyamat támogatása Kampányok várható performancia hatásainak előrejelzése Szűk keresztmetszetek meghatározása (időszakokra, vagy komponensre) Szolgáltatás performancia képességek meghatározása Kapacitás korlátok meghatározása What-if próbák További adatkörök bevonása, modellépítés Alkalmazás méretezés Változások követése, visszamérés Kapacitástervezés 36

37 Üzenetek Válság ellenére sem kell lemondani a szolgáltatásfejlesztésről Innovációval kiemelkedő eredmények érhetőek el Nem előfeltétel a drága eszköz van olcsó open-source alternatíva Pl. Rapidminer, Weka, stb. Nagymennyiségű adat feldolgozása Komplex elemzési lehetőségek Újabb eszköz Előrejelzések, trendelemzések biztosítása megalapozottabbá válik A modell annyira pontos, mint az adat amivel használjuk vegyük figyelembe az adattartalmat, és a lefedett adatköröket 37

38 Köszönjük a figyelmet! Várjuk a kérdéseket 38