Modellek paraméterezése: regresszió, benchmarkok

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "Modellek paraméterezése: regresszió, benchmarkok"

Géza Orsós
5 évvel ezelőtt
Látták:

Modellek paraméterezése: regresszió, benchmarkok Rendszermodellezés 2017.

1 Modellek paraméterezése: regresszió, benchmarkok Rendszermodellezés Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement and Information Systems 1

Minőségi (kvalitatív) modell Mérendő paraméterek Szimuláció

2 Rendszermodelltől a teljesítménymodellig Modellezés Rendszermodell Elemzés tervezése Elvárások Adatgyűjtés Mérések Benchmarkok Minőségi (kvalitatív) modell Mérendő paraméterek Szimuláció Kísérlettervezés Elemzés Feltáró analízis Teljesítménymodell Megerősítő analízis 2

3 Alap kérdés Jól becsüljük meg a mennyiségi paramétereket? Bemeneten érkező kérések száma/időbeli eloszlása Egy adott tevékenység végrehajtási ideje adott erőforráson Várható értékkel közelített döntési valószínűség/gyakoriság 3

4 Érzékenységvizsgálat Adatok hihetősége o A modell kimeneti paraméterei mennyire érzékenyek a modell bemeneti paramétereinek változására o (erőforrások száma/kapacitása, felhasználók döntései) (folyamat válaszideje, átbocsátása) o parameter sweep : egy paraméter vizsgálata adott tartományban Melyik paramétert mennyire kell tudnunk becsülni? Ökölszabály: adatok hihetősége o mérés_bizonytalansága (szórás) ~ mérések_száma 2 o (kellő mennyiségű adat esetén) Val.szám. 4

5 MATEMATIKAI BECSLÉSEK: REGRESSZIÓS MÓDSZEREK 5

6 Feladat Adott sok változó, hosszú időre Szeretnénk bizonyos változók értékét közelíteni o Nehéz mérni o Nem áll rendelkezésre Szeretnénk becsülni/előrejelezni o Még nem történt meg, az idő függvényében közelítjük o Nem volt adott bemenet (pl. adott számú felhasználó) o Csak később lesz látható egy hatás (pl. válaszidő csak a kérések kiszolgálása közben nő meg a várakozás miatt) Mennyire bízhatunk meg a feltételezésekben/következtetésekben? 6

7 f függvény, bemenet: az attribútumok értéke, kimenet: megfigyelések legjobb közelítése ökölszabály Példa: testtömeg/magasság együttes eloszlás valójában egyenesre illeszthető Regresszió 7

8 Regressziós módszerek Alapelv: Véletlen változó Közelítés t Y f t Hiba Jósolt esemény Átlagos hiba (mean error) Becsült érték Y f ( X, X,..., X ) 1 2 n ME 8 n t 1 Y t n F t Megfigyelhető változók Mért érték

9 Lineáris regresszió Egyszerű lin. függvény illesztése az adatokra o nem vár alapvető változást a rendszer viselkedésében Y a bx Legkisebb négyzetek módszere o keressük azokat az a,b paramétereket (itt: a: eltolás, b: meredekség), amelyekre n n 2 t t t t 1 t 1 minimális (Sum of Squared Errors) 2 SSE Y F cél: n n 2 2 Y F Y a bx minimalizálása t t t t t 1 t 1 9

10 Lineáris regresszió Legjobban illeszkedő egyenes DE: Anscombe s quartet o Minőségileg különböző adatok o Azonos regressziós egyenes 10

11 Lineáris regresszió (folyt.) Korrelációs együttható (négyzete) o a változó becsült és tényleges értékének kapcsolata o 0 és 1 közti érték o 0: nincs kapcsolat o 1: függvényszerű kapcsolat o R maga: (kapcsolat iránya) Példa: szolgáltatás, 8 hétig mérjük a csúcsterhelést. Hogyan közelíthető a terhelés változása? Mekkora a korrelációs együttható? 11 2 t 1 Hét Max. terhelés ( /perc) R n n t 1 F Y t t Y Y 2 2

12 Lin. regresszió példa A legkisebb négyzetek módszerével Y= X Korrelációs együttható: R 2 =0.855 Mért Jósolt terhelés Üzenetek/perc (csúcsterhelésnél) Hét 12

13 Két változó kapcsolatának vizsgálata Tfh. lineáris kapcsolat van az egyszerre bejelentkezett felhasználók száma és az elküldött ek közt. (pl logok alapján) Bejelentkezett felh. átlagos száma (1 óra alatt) Átl. terhelés (kimenő+bejövő ek/óra) Lineáris regressziós közelítés a legkisebb négyzetek módszerével: ÜzenetekSzáma = f(bejelentkezettfelhasználók) Y= X, R 2 =0.937 erős kapcsolat 13

14 Nemlineáris módszerek Exponceniális közelítés: o jól illik a Web forgalom növekedéséhez Átalakítjuk a függvényt: Legkisebb négyzetek módszere használható Pl. adottak a legnagyobb mért terhelés értékei Mennyi a várható legnagyobb terhelés az év végén? Yt a b t logy log a t log b t log Yt Y ', log a a ', log b b' Y ' a ' b' t Hónap Max. kérések/sec (Y t ) ln (Y t )

15 Exp. terhelés példa Becslőfüggvény: Y a e t Legkisebb négyzetek módszere a lineáris függvényre bt Eredmény: Y ' a' b' t, a ' 6.717, b ' 0.110, a e 3000 a' Yt 12. hónap: Y t = e 0.11t Kérések max. száma/másodperc Hónap 15

16 Mozgó átlagok módszere Rövid távú előrejelzésre jó Egyszerre egy értéket ad meg A becsült érték az utolsó n érték átlaga F t 1 t n 1 i t ahol Y t a t. időpontban mért érték F t+1 a becsült érték n tipikusan 3 és 10 között van (becslés hibája ne legyen túl nagy) n Y i 16

17 Exponenciális csúszóablak Egy értéket ad meg, az előző méréseket átlagolva Későbbi mérés (és mérési hiba) nagyobb súllyal Rövid távú előrejelzésre alkalmas o (miért exponenciális?) F F Y F t 1 t t t ahol F t :a t. időpontra becsült érték Y t : t. időpontban mért érték Y t - F t : mérési hiba a t. periódusban : súlyozás (0 1, gyakorlatban ) 17

18 A két módszer összehasonlítása Adott sávszélesség igények, a két módszerel becsüljük a következő értéket Mozgó átlagok Exp. Hónap módszere Sávszélesség igény (n=3) csúszóablak ( = 0.3)

19 A két módszer összehasonlítása Mozgó átlagok és exp. csúszóablak módszere Hónap Mért érték Mozgó átlagok Exp. csúszóablak 19

20 Mire figyeljünk? Kauzalitás (oksági kapcsolat)!= Korreláció (együttes előfordulás) Informatikai példa: sok felhasználó nagyobb kihasználtság ÉS magas válaszidő 20

21 DEMÓ Előrejelzés alapú kapacitástervezés, érzékenységvizsgálat 21

22 Rendszermodellezés BENCHMARKING 22

23 Why benchmark? 23

24 Wikipedia Benchmarking - Definíció In computing, a benchmark is the act of running a computer program, a set of programs, or other operations, in order to assess the relative performance of an object, normally by running a number of standard tests and trials against it. A benchmarkolás egy program (programok, vagy más műveletek) futtatása szabványos tesztekkel vagy bemenetekkel egy objektum relatív teljesítményének felmérése érdekében 24

25 Benchmarking motiváció Fejlesztés alatt lévő rendszer Teljesítmény felmérése o Modell alapján becsült értékek o Megvalósított rendszer értékei éles helyzetben Tervezői és menedzsment döntések o Melyik részébe fektessünk több energiát ( pénzt)? Mi alapján döntsünk? o Jelenlegi erősségek és gyengeségek Mi számít erősségnek vagy gyengeségnek? o Mire képesek a hasonló rendszerek, versenytársak? 25

26 Elvárások Ismételhetőség (Repeatability) o Egy elemen többször megismételt mérés/művelet eredményeinek változékonysága (szóródási faktor) Reprodukálhatóság (Reproducibility) o A mérési rendszer változékonysága, amelyet a műveletek viselkedéseinek különbsége okoz Általánosított felhasználói eset o Átlag felhasználó számára értelmezhető legyen az eredmény 26

27 OLTP benchmark TPC-C o Online Transaction Processing o Szoftverek és hardverek OLTP teljesítményét méri Komplex benchmark o Több tranzakció típus o Összetett adatbázis séma o Széles skálán mozgó adathalmaz méret Mért metrikák o Áteresztőképesség: transactions per minute (tpmc) o Ár-teljesítmény arány ( hatékonyság): $/tpmc 27

28 Mintaadatbázis TPC-C o Nagykereskedelmi beszállító cég rendelései o 9 különböző tábla 5 féle tranzakció típus o Rendelés, fizetés, szállítás, rendelés státusza, raktár állapota o Frissítés, beszúrás, törlés, megszakítás ACID tranzakciók o Atomicity, Consistency, Isolation, Durability Változatos felhasználói kérések szimulációja o Tranzakció típusok kezdeményezése adott valószínűséggel Időkorlát az egyes tranzakció típusokra 28

29 TPC-C adatbázis séma Warehouse W 100K Stock W*100K W Item 100K (fixed) 10 District W*10 3K Legend Table Name <cardinality> secondary index one-to-many relationship Customer W*30K 1+ Order W*30K+ 0-1 New-Order W*5K History W*30K+ Order-Line W*300K+ Forrás: tpc.org 29

30 KIÉRTÉKELÉS 30

31 Adattisztítás Pénznem egységesítés (EUR, USD, AUD, JPY) Tizedesjegy, tízes elválasztó ellenőrzés 31

32 Milyen rendszereket vizsgálunk? Egységesítsü Egységesítsünk? A két leggyakoribb gyártó az esetek 77%-ában szerepel 32

33 Milyen rendszereket vizsgálunk? Típus szerinti összevonás? 33

34 Milyen rendszereket vizsgálunk? Általában többféle adatbázis többféle operációs rendszeren fut 34

35 Benchmark eredmények Milyen az ár/érték arányuk? 35

36 Benchmark eredmények Logaritmikus skála? 36

37 Benchmark eredmények Az élmezőny elég változatos Nincs legjobb OS és DB konfiguráció sem 37

38 Időbeli változások? A legtöbb gyártónál 10 év alatt egy nagyságrenddel csökkent a fajlagos ár 38

Hasonló dokumentumok

Vizuális adatelemzés

Vizuális adatelemzés Rendszermodellezés 2016. Budapest University of Technology and Economics Fault Tolerant Systems Research Group Budapest University of Technology and Economics Department of Measurement