Szoftver min ség és menedzsment

Szoftver min ség és menedzsment 13. Mérési módszerek Dr. Balla Katalin

Tartalom Mérések egy szoftvercégnél Mérési módszerek, eszközök A QIP (GQM és EF) Példák lehetséges GQM-re Egyéb megközelítések Mérések a különböz modellekben az ISO 9126-ban az ISO 9001:2000-ben a CMM-ben, SPICE-ban a PSP-ben és TSP-ben mérés és TQM filozófia mérés az EFQM-ben mérés a CMMI-ben A mérések költsége Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 2

Mérések egy szoftvercégnél Stratégiai döntés mert költségvonzata (id, er forrás ) van Valamilyen céllal kell mérni A célok ismeretében kell a mérés tárgyát meghatározni A méréseket tervezni, követni, vezérelni kell Mérésekkel foglalkozó szervezet létrehozása szükséges A mérések elvégzése elméleti tudás megszerzése tervezés végrehajtás eredmények feljegyzése, csomagolása, felhasználása Folyamatok javítása a mérések eredményei alapján Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 3

Mérési módszerek Módszertanok, eljárások, esettanulmányok, legjobb gyakorlat Els sorban a mérések elvégzésére adnak úrmutatást, nem a konkrét mér számokra Szinte minden, a korábbi el adásokban említett megközelítés tartalmaz (többékevésbé részletes) mérési útmutatót, ajánlást Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 4

A QIP Min ségjavítási paradigma Basili, 1985(?) Software Engineering Laboryatory(SEL) - a National Aeronautics and Space Administration/Goddard Space Flight Center (NASA/GSFC) által sponzorált szervezet Kísérleti laboratórium, a szoftverfejlesztési technológiák hatékonyságának vizsgálatára. 1976-ben alapították. Tagjai: NASA/GSFC, Software Engineering Branch University of Maryland, Department of Computer Science Computer Sciences Corporation, Space and Earth Technology Systems http://sel.gsfc.nasa.gov/website/exp-factory/process-imp.htm Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 5

A QIP Folyamatos javításra koncentrál Az egyes projektek tapasztalatát elemzi, csomagolja további projektekben való felhasználhatóság szempontjából Alapfázisai: A szoftverfolyamat megértése Az alkalmazott technológiák (munkamódszerek) hatékonyságának figyelése, mérésekkel. Annak meghatározása, hogy mely technológiák megfelel ek az adott környezetben. A tapasztalatok csomagolása. Szabványok, képzés, fejl dési stratégia kialakítása. Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 6

A QIP fázisai Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 7

A QIP lépései 1. A jelenlegi projekt és környezetének jellemzése a létez modellek és metrikák vonatkozásában 2. Mérhet célok meghatározása a sikeres projekt-teljesítményre és javításra vonatkozóan 3. A projekt sajátosságainak megfelel mérési módszerek és eszközök kiválasztása 4. A folyamat végrehajtása, a termék el állítása, az el írt adatok összegy jtése és validálása (hitelesítése), az adatok elemzése úgy, hogy valós id ben javítási javaslatok is készüljenek 5. Az adatok elemzése a jelenlegi gyakorlat felmérése céljából, problémák azonosítása, leírása, javítási javaslatok 6. A tapasztalat csomagolása, közzététele, bevezetése más projektekben Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 8

A QIP alkalmazása A QIP a SEL folyamatjavítási tevékenységeinek alapja, központi elve Széles körben alkalmazzák a világ szoftvercégeiben Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 9

A QIP eszközei Goal/ Question/ Metric paradigm (QIP) Experience Factory Organization (EF) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 10

A GQM Eredetileg a NASA/GSFC környezetben végrehajtott projektek hibáinak felmérésére fejlesztették (Basili), azután általánosították Gyakorlati módszer Lépései: a projekt / szervezet céljainak megértése, számbavétele minden cél esetében azon kérdések meghatározása, amelyekre válaszolni kell ahhoz, hogy megértsük, a célt elértük-e annak eldöntése, hogy mit kell mérni ahhoz, hogy a kérdésekre válaszolni tudjunk Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 11

A GQM 3 lépcs s mérési modellt határoz meg: Fogalmi szint (conceptual)(cél): Egy célt egy objektumra vonatkozóan, határozunk meg, különböz okok miatt, különböz min ségi modelleket figyelembe véve, különböz néz pontok alapján, az objektum sajátos környezetét figyelembe véve Üzemeltetési szint (operational) (kérdés): Kérdéseket használunk a tanulmányozott objektumra vonatkozó modellek meghatározására, majd az objektumra koncentrálunk, hogy jellemz i segítségével egy bizonyos cél elérését vagy felmérését megvalósíthassuk Mennyiségi szint (quantitative) (metrika): Minden kérdéshez egy sor mér számot rendelünk (a korábban meghatározott modellek alapján), abból a célból, hogy a kérdésre mérhet választ tudjunk adni Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 12

A GQM A modell hierarchikus struktúrája Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 13

GQM: célok kiválasztása Dimenziók: Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 14

GQM: példa GOAL: Evaluate effectiveness of coding standard QUESTIONS: Who is using standard? What is coder productivity? What is code quality? METRICS: Proportion of coders -using standard -using language Experience of coders -with standard -with language -with environment etc... Code Size (lines of code, function points, etc...) Effort Errors... Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 15

GQM: példa Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 16

GQM: példa (The Goal Question Metric Approach. V. Basili, G. Caldiera, D. Rombach. - ww2.umassd.edu/swpi/eseg/gqm.pdf ) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 17

GQM : példa (The Goal Question Metric Approach. V. Basili, G. Caldiera, D. Rombach. - ww2.umassd.edu/swpi/eseg/gqm.pdf ) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 18

A GQM alkalmazása A GQM változatos módokon használható, a szoftvergyártás minden elemére Alkalmazható a szoftverprojektre, a szoftvert el állító folyamatra és a termékre is, úgy, hogy A definiált metrikák a szervezethez és a szervezet céljaihoz igazodnak A mért adatok konstruktívak, és a szervezet tanulhat az elemzésükb l. A metrikák és a metrikák értelmezése a különböz érdekelt felek / csoportok néz pontját tükrözik (pl. fejleszt két, felhasználókét, rendszergazdákét stb.) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 19

A GQM alkalmazása. Példák. 1. Cél: a fejlesztési folyamatok javítása Miért akar(hat)juk a fejlesztési folyamatokat javítani? hogy (jobban) megfeleljünk a szabványkövetelményeknek (ezekben a válaszokban nyilván az is benne van, hogy a kérdéses területen van javítanivaló) hogy magasabb érettségi szintet (CMM) érjünk el hogy a munkatársak hatékonyabban dolgozzanak Metrics needed and data to be collected: (http://www.spc.ca/downloads/) 0HWULFVQHHGHG3URFHVVLPSURYHPHQW PHWULFV Average elapsed time between defect identification and correction Number of person hours (effort) to complete each activity Elapsed time for each activity Number of defects detected in each activity Number of deviations from the software process Nr. of requirements added or changed during development 'DWDUHTXLUHG Average elapsed time between defect identification and correction For each activity: actual number of person hours to complete Project start date For each activity: Date activity started Date activity completed Number of defects detected in each activity Number of process exception reports Nr. of requirements added or changed during development Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 20

A GQM alkalmazása. Példák. 2. Cél: a szoftvergyártással kapcsolatos becslések pontosabbá tétele Miért akar(hat)unk jobb becsléseket végezni? hogy ajánlataink pontosabban legyenek hogy elkerüljük a költségek túllépését hogy elkerüljük a határid k túllépését hogy a profit biztos legyen hogy a követelmények stabilak legyenek (ne módosuljanak) hogy a kockázatot csökkentsük (http://www.spc.ca/downloads/) 0HWULFVQHHGHGVRIWZDUHHVWLPDWLRQ PHWULFV Initial estimate versus actual effort (person hours) for each activity Initial estimate versus actual project schedule for each activity Initial estimate versus actual size of the software (new and reused) Initial estimate of staff required versus actual staff levels for each activity Total overtime hours Labor rate (Person Hours / SLOC) for each activity Requirements changed for each activity Software product complexity 'DWDUHTXLUHG For each activity: - estimated nr of person hours to complete - actual nr of person hours to complete For each activity: - estimated start date - estimated completion date - date activity started - date activity completed Estimated SLOC of new code Estimated SLOC of reused code Total SLOC produced (new) Total SLOC produced (reused) For each activity: - estimated nr of staff required - nr of people on staff Total nr of overtime hours worked Total SLOC produced For each activity: - actual nr of person hours to complete Initial nr of requirements For each activity: - nr of requirements deleted - nr of requirements added - nr of requirements changed Category of the sw product (according to a previously made classification) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 21

A GQM alkalmazása. Példák. 3. Cél: a projektkövetés javítása Miért akar(hat)juk a projektek követését pontosabbá tenni? hogy el re lássuk, ha közbe kell avatkozni hogy a projektek lefutása megfeleljen az el írásoknak (http://www.spc.ca/downloads/) 0HWULFVQHHGHGSURMHFWWUDFNLQJPHWULFV 'DWDUHTXLUHG Earned value of each activity Estimated SLOC required Current SLOC completed For each activity: Âestimated number of person hours to complete Âlabor rate in PH/SLOC Ânumber of units required Ânumber of units completed SLOC completed Total SLOC completed to date Initial estimate for SLOC Estimated SLOC required Overall percent of work complete Estimated SLOC required Current SLOC completed For each activity: Âestimated number of person hours to complete Âlabor rate in PH/SLOC Ânumber of units required Ânumber of units completed Percent of work complete for each activity For each activity: Ânumber of units required Ânumber of units completed Percent of budget spent to date Current total budget Percent of schedule elapsed Proportion of tests executed Proportion of tests passed Total money spent to date Project start date Estimated project completion date Current date Total number of tests Number of tests executed to date Total number of tests Number of tests executed successfully to Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 22

A GQM alkalmazása. Példák. 4. Cél: a projektek átfutási idejének minimalizálása Miért akar(hat)juk projektjeink átfutási idejét minimalizálni? hogy a projektek termékeit terv szerinti határid vel adhassuk át hogy növeljük az új termékek vagy új program-elemek eredményességét (http://www.spc.ca/downloads/) 'HYHORSPHQW6FKHGXOH 0HWULFV Elapsed time between project milestones or activities Initial estimate versus actual effort for each activity Initial project schedule versus actual schedule Initial estimate versus actual staffing levels Person hours spent on rework Total overtime hours in each activity 'DWD5HTXLUHG Project start date For each activity: Âestimated completion date Âactual completion date For each activity: Âestimated number of person hours to complete Âactual number of person hours to complete For each activity: Âestimated start date Âestimated completion date Âdate activity started Âdate activity completed For each activity: Âestimated number of staff required Ânumber of people on staff Total number of person hours required to fix defects For each activity: Ânumber of overtime hours worked Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 23

A GQM alkalmazása. Példák. 5. Cél: a fejlesztés költségeinek csökkentése Miért akar(hat)juk fejlesztéseink költségeit csökkenteni? hogy a tervezett költséghatárt ne lépjük túl hogy a profitot maximalizáljuk (http://www.spc.ca/downloads/) 'HYHORSPHQW&RVW0HWULFV Actual cost for each activity Amount spent fixing defects in each activity Cost for each SLOC Initial cost estimate for each Activity Budget for each activity Initial estimate versus actual effort for each activity Labor rate (PH/SLOC) for each activity Percent of budget spent on development tasks Percent of budget spent on management tasks 'DWD5HTXLUHG For each activity: total cost in HUF For each activity: person hours spent fixing defects Total SLOC produced Total HUF spent to date (and at end of the project) For each activity: initial cost estimate in HUF For each activity: funds allocated For each activity: estimated number of person hours to complete actual number of person hours to complete Total SLOC produced For each activity: actual number of person hours to complete Current total budget in HUF Total HUF spent on development tasks Current total budget in HUF Total HUF spent on management tasks Percent of budget spent on support tasks Current total budget in HUF Total HUF spent on support Tasks Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 24

A GQM alkalmazása. Példák. 6. Cél: a szoftver min ségének javítása Miért akar(hat)juk szoftverünk min ségét javítani? hogy a termékeink megfeleljenek a követelményeknek hogy csökkentsük a (z átadott) hibák számát hogy csökkentsük az átdolgozásokra fordított id t 3URGXFW4XDOLW\0HWULFV Average person hours to fix a defect Mean time between failures (if appropriate) Number of defects detected of each type Number of defects/sloc Total lines of documentation Percent of code inspected 'DWD5HTXLUHG Average PH to fix a defect Mean time between failures Number of defects of each type or priority Total number of defects detected Total SLOC produced Total LOD Number of units coded (new) Number of units inspected (http://www.spc.ca/downloads/) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 25

A GQM alkalmazása. Példák. 7. Cél: a szoftver teljesítményének javítása Miért akar(hat)juk a szoftver teljesítményét javítani? hogy a teljesítményre vonatkozó követelményeknek megfeleljünk hogy csökkentsük a hardverre vonatkozó teljesítmény-követelményeket 6RIWZDUH3HUIRUPDQFH0HWULFV Average CPU utilization Average memory utilization Mean time between failures (if appropriate) Number of I/O transactions per unit of time (actual versus required) Number of lines of code (SLOC) Software product complexity 'DWD5HTXLUHG Average CPU utilization Average memory utilization Mean time between failures Required I/O transactions rate Measured I/O transactions rate Total SLOC produced Category of the software product (http://www.spc.ca/downloads/) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 26

A GQM alkalmazása. Példák. 8. Cél: a termelékenység javítása 3URGXFWLYLW\0HWULFV 'DWD5HTXLUHG Average number of person hours spent on Total number of development staff rework per development staff member Total number of hours spent fixing defects SLOC/person hours for each activity Total SLOC produced For each activity: Âactual number of person hours to complete Number of staff at each experience level Number of staff members at each experience level hogy a munkaer Percent of budget available for Current total budget in HUF software development tools Total HUF allocated to tools Percent of budget available for Current total budget in HUF support staff Total HUF allocated to support staff csökkenjen vagy Proportion of person hours spent on For each activity: stabil maradjon managerial or support tasks for each Âactual number of person hours to complete activity Ânumber of person hours worked on support tasks Ânumber of person hours worked on management tasks Ratio of development staff per Manager For each activity: Ânumber of managers Dr. Balla Katalin Ânumber of development staff Szoftver min ség és menedzsment - 13. 27 Miért akar(hat)juk javítani a termelékenységet? (http://www.spc.ca/downloads/ )

A GQM alkalmazása. Példák. Tevékenység A tervezett és a valós ráfordítás, tevékenységenként A tervezett és a valós ütemezés, tevékenységenként A tervezett és a valós szoftverméret (újonnan fejleszetett és újrafelhasznált) A tervezett és a valós emberi er IRUUiV szükséglet, tevékenységenként Becsült ember órák Valós ember órák Terv. Kezdet dátuma Trev. Befejez és dátuma Valós kezdés dátuma Valós befejez és dátuma Terv.újo nnan írt SLOC Terv. Újrafelha sznált SLOC Valós új SLOc Valós újrafelhszn ált SLOC Becsült emberi er IRUUiV Valós emberi er I Becsült ember órák Valós ember órák Terv. Kezdet dátuma Trev. Befejez és dátuma Valós kezdés dátuma Valós befejez és dátuma Terv.újo nnan írt SLOC Terv. Újrafelha sznált SLOC Valós új SLOc Valós újrafelhszn ált SLOC Becsült emberi er IRUUiV Valós emberi er I Becsült ember órák Valós ember órák Terv. Kezdet dátuma Trev. Befejez és dátuma Valós kezdés dátuma Valós befejez és dátuma Terv.újo nnan írt SLOC Terv. Újrafelha sznált SLOC Valós új SLOc Valós újrafelhszn ált SLOC Becsült emberi er IRUUiV Valós emberi er I Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 28

A GQM alkalmazása. Példák. Tevékenység Túlórák Tevékenységenként ember óra / forráskód-sorok A megváltozott követelmények, tevékenységenként Az elkészített szoftver komplexitása (a teljes szoftverre) Összes SLOC A megíráshoz szükséges valós ember órák A kezdeti követelmények Törölt követelmé nyek Újonnan hozzáadott követelmények Megváltozott követelmények Összes SLOC A megíráshoz szükséges valós ember órák A kezdeti követelmények Törölt követelmé nyek Újonnan hozzáadott követelmények Megváltozott követelmények Összes SLOC A megíráshoz szükséges valós ember órák A kezdeti követelmények Törölt követelmé nyek Újonnan hozzáadott követelmények Megváltozott követelmények Összes SLOC A megíráshoz szükséges valós ember órák A kezdeti követelmények Törölt követelmé nyek Újonnan hozzáadott követelmények Megváltozott követelmények Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 29

A GQM alkalmazása. Példák. A fejleszt NV]iPD A hibák javításával eltöltött órák : Az er IRUUiVRNHORV]OiVDV]DNWXGiVpVWDSDV]WDODWV]HULQW A projekt tervezett költsége: A projekt tényleges költsége: Eszközök beszerzésére tervezett költség: Tényleges költség, eszközökre: A karbantartási munkák tényleges költsége: tevékenység SLOC / ember óra tevékenységenké nt A vezetési ill. Technikai tevékenységek aránya A support tevkel töltött ember órák A support tevkel töltött ember órák A support tevkel töltött ember órák A management tev-kel töltött ember órák A management tev-kel töltött ember órák A management tev-kel töltött ember órák A technikai er IpVYH]HW NDUiQ\D Vezet NV]iPD Vezet NV]iPD Vezet NV]iPD Fejleszt N Fejleszt N Fejleszt N Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 30

Experience Factory Organization A kollektív tanulás, tudás-újrahasznosítás szoftverfejleszt szervezete A GQM alkalmazása. Példák. Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 31

EF &KDUDFWHUL]H 6HWJRDOV &KRRVHSURFHVV 3URMHFWRUJDQL]DWLRQ Project/environment characteristics Tailorable goals, processes, tools, products, resource models, defect models...from similar projects ([SHULHQFH IDFWRU\ Változó szerepek a szervezeten belül ([HFXWHSURFHVV ([HFXWLRQSODQV Data, lessons learned... Project analysis, process modification... 3URMHFW RUJDQL]DWLRQ ([SHULHQFHIDFWRU\ Products, data, lessons learned, models... $QDO\]H DQDO\VLV Direct project feedback Products, leassons learned, models Project characteristics Models, baselines, tools, consulting... 3URMHFW VXSSRUW ([SHULHQFH EDVH 3DFNDJH *HQHUDOL]H Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 32 7DLORU )RUPDOL]H 6\QWKHVLV

Egyéb mérési módszerek GQM: top-down megközelítés MGQ: bottom-up megközelítés (Bache, 1995) vegyes megközelítés (N. Fuchs, 1995) fejl d megközelítés az elején: bottom-up vegyes vegytiszta top-down Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 33

Mérések a különböz szoftvermin ségi modellekben Mindenütt szerepel mérés, többé-kevésbé kidolgozott módszertannal az ISO 9126-ban az ISO 9001:2000-ben a CMM-ben, SPICE-ban a PSP-ben és TSP-ben mérés és TQM filozófia mérés az EFQM-ben mérés a CMMI-ben Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 34

Mérés az ISO 9126-ban A legjobban kidolgozott, termékre vonatkozó min ségi attribútum- és metrika-gy jtemény (Boehm, McCall modellek) Nem ad tanácsot arra nézve, hogy mikor milyen metrikákat válasszunk, hogyan történjék az alkalmazandó metrikák kiválasztása GQM-mel kombinálva jól használható Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 35

Mérés az ISO 9001:2000-ben A szabvány 8. fejezete err l szól Alapelv a tényeken alapuló döntéshozatal, folyamatos javítás Túl általános mind a mérési módszertan, mind az alkalmazandó metrikák területén 0pUpVHOHP]pVpVIHMOHV]WpV 8. Általános rész 8.1. Figyelemmel kísérés és mérés 8.2. A vev PHJHOpJHGHWWVpJH 8.2.1. Bels DXGLW 8.2.2. A folyamatok figyelemmel kísérése és mérése A termék figyelemmel kísérése és mérése Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 36 8.2.3. 8.2.4. A nem megfelel WHUPpNNH]HOpVH 8.3. Az adatok elemzése 8.4. Fejlesztés 8.5. Folyamatos fejlesztés 8.5.1. Helyesbít WHYpNHQ\VpJ Megel ] WHYpNHQ\VpJ 8.5.2. 8.5.3.

Mérés a CMM-ben Az érettségi szinteket jellemz kulcsfolyamatok egyik közös jellemz jeként jelenik meg Célja: olyan gyakorlat jelenléte, amely szükséges a folyamat állapotának megítéléséhez. Az ehhez a tevékenységhez tartozó mérései eredményeket folyamatos javításra kell használni 3URFHVVÃÃ &DSDELOLW\ indicate *RDOV 0DWXULW\Ã/HYHOV achieve,psohphqwdwlrqãruã,qvwlwxwlrqdol]dwlrq contain.h\ã3urfhvvã$uhdv organized by address &RPPRQÃ )HDWXUHV describe contain.h\ã 3UDFWLFHV,QIUDVWUXFWXUHÃRUÃ $FWLYLWLHV Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 37

Mérés a CMM-ben A 4. szinten a f jellemz az, hogy a folyamatokat mérik Az 5. szinten a mérések eredményét folyamatosan visszacsatolják, javításra használják CMM érettségi szintek: 1.: Kezdeti / kaotikus (initial) 2.: Ismételhet (repetable) 3.: Meghatározott (defined) 4.: Menedzselt (managed) 5.: Optimalizált (optimising) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 38

Mérés a CMM-ben Kétségtelenül jelen van, de a CMM nem mérési módszertan. Nem ad konkrét mérési eljárást, sem metrikákat. Helytelen úgy értelmezni az el írásokat, hogy a méréseket csak a 4. szinten kell elkezdeni Már legalacsonyabb szinten is kell mérni A szervezet érettségének növekedésével pontosabban meghatározhatók a mérés céljai Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 39

Mérés a SPICE-ban Az egyéni folyamatokhoz tartozó eljárásokat végrehajtják-e (legalább informálisan)? A folyamatot megfelel en tervezték-e? Követik-e a tervet? Ellen rzik-e a végrehajtást? Követik-e a végrehajtást és hoznak-e korrekciós intézkedéseket? Szabványosított-e a folyamat? Értik-e a folyamatot mennyiségileg is? Folyamatosan javítják-e a folyamatot? Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 40

Mérés a SPICE-ban Life Cycle Processes &DWHJRU\ CUS ENG SUP MAN ORG 3URFHVV 3URFHVV'LPHQVLRQ are mapped against /HYHOÃÃÃÃÃ1DPHÃÃÃ$WWULEXWHV ÃÃÃÃÃÃÃÃÃÃÃÃ2SWLPL]LQJÃÃSURFHVV Process change attribute Continuous improvement attribute ÃÃÃÃÃÃÃÃÃÃÃÃ3UHGLFWDEOHÃÃ3URFHVV Process measurement attribute Process control attribute ÃÃÃÃÃÃÃÃÃÃÃÃ(VWDEOLVKHGÃ3URFHVV Process definition attribute Process resource attribute ÃÃÃÃÃÃÃÃÃÃÃÃ0DQDJHGÃ3URFHVV Performance management attribute Work Product management attribute ÃÃÃÃÃÃÃÃÃÃÃÃ3HUIRUPHGÃ3URFHVV Process perfomance attribute ÃÃÃÃÃÃÃÃÃÃÃÃ,QFRPSOHWHÃ3URFHVV &DSDELOLW\'LPHQVLRQ 4. szint folyamat attribútuma Nem különálló tevékenység Konkrét mérési módszertan és metrikák tekintetében túl általános Folyamat érettségi szintek 4. Jósolható 3. Meghatározott 2. Menedzselt 1. Végrehajtott 0. Nem létez Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 41

Mérés a PSP-ben és TSP-ben Alapfolyamat, amely segít a munkafolyamatokat megérteni Az egyéni fejlesztési folyamat (PSP) (J\pQLPpUpV Egyéni tervezés Egyéni min ség Kalibrálás PSO0: Egyéni mérés A fejleszt k megtanulják a PSP szkripteket és formokat alkalmazni, a folyamat id tartamának és a hibák számának mérésével / feljegyzésével. A fázisok tevékenységeit minden esetben tervezik, végrehajtják és elemzik. PSP01: kódolási szabványok, méret mérése, folyamat javítására vonatkozó javaslatok Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 42

Mérés a PSP-ben és TSP-ben A TSP fázisai: Követelmények Tervezés Implementálás Tesztelés Indulás után a TSP pontos mechanizmust nyújt a csapat tevékenységének követésére, vezérlésére A PSP pontosabb, a TSP általánosabb mérési elveket kínál A PSP konkrét, mérend attribútumokat azonosít, de ezek köre igen sz k Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 43

Mérés és TQM filozófia Szemléletmód Alapvet összetev k: alkalmazottak bevonása és képzése problémamegoldó csapatok statisztikai módszerek hosszú távú célok, hosszú távú gondolkodás nem az emberek hibásak, hanem a rendszer rossz Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 44

Mérés az EFQM-ben A modell középpontjában a RADAR elnevezést visel logika áll Result (eredmény) Approach (megközelítés) Deployment (fejl dés, felfejl dés) Assessment and Review (értékelés, szemlézés) A mérés / folyamatos javítás szükségessége része a modellnek, de a modell nem kínál konkrét mérési módszertant, sem metrikákat Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 45

Mérés a CMMI-ben Nagyon hangsúlyosan jelenik meg, mind a lépcs s, mind a folytonos megjelenítésben Mérés és elemzés: a 2. érettségi szinthez társított támogató folyamat Folytonos megközelítésben: támogató folyamat, amely minden más folyamatot segít megérteni és javítani. A mérési / javítási igényeket minden folyamatra meg kell határozni Lépcs s megközelítésben: már a szervezettség legalacsonyabb fokán is jelen kell lennie. El bb a projektmenedzsment folyamatok közé kell beilleszteni, mint a követés, vezérlés eszközét, azután szervezeti szint mérési programot kell létrehozni. Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 46

Mérés a CMMI-ben Folytonos Lépcs s: Process Management (3) Organizational Process Focus 3 Organizational Process Definition 3 Organizational Training 3 Organizational Process Performance 4 Organizational Innovation and Deployment 5 3URMHFW0DQDJHPHQW Project Planning 2 Project Monitoring and Control 2 Supplier Agreement Management 2 Integrated Project Management 3 Risk Management 3 Integrated Teaming - Quantitative Project Management 4 Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 47

Mérés a CMMI-ben Folytonos Lépcs s: (QJLQHHULQJIHMOHV]WpV Requirements Development (3) Requirements Management 2 Technical Solution 3 Product Integration 3 Verification 3 Validation 3 Support Configuration Management 2 Process and Product Quality Assurance 2 Measurement and Analysis (4-5) Organizational Environment for Integration - Decision Analysis and Resolution - Causal Analysis and Resolution 5 Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 48

Mérés a CMMI-ben Támogató tevékenységként (is) konzisztens a GQM elveivel. Minél magasabb az érettségi szint, annál pontosabban lehet a célt meghatározni, és annál jobban m ködik a mérés- elemzés-javítás ciklus A mérési és elemzési tevékenységeket a projektekben kezdjük el. Tevékenységek: célok tervezése és becslése az aktuális állapot követése a tervhez és célhoz viszonyítva folyamatok hiányosságainak felderítése és javítása a mérések, javítások a folyamatok részévé válnak Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 49

Mérés a CMMI-ben Minden folyamat esetében szükséges: a mérési és elemzési tevékenységek beemelése a folyamatba mérés céljainak meghatározása, metrikák meghatározása, adatgy jtési és -tárolási eljárások meghatározása, elemzési eljárások meghatározása a mérési eredmények összegy jtése, elemzése, hiányosságok felderítése, javítási javaslatok, folyamat javítása mérési adatok összegy jtése, elemzése, mérési adatok tárolása, mérés eredményeinek kommunikálása a mért / menedzselt folyamat kiterjesztése, bevezetése szervezeti politika, a mérési folyamat tervezése, szükséges er források biztosítása a mérésekhez, felel sségek hozzárendelése, képzés, konfigurációk nyilvántartása, érdekelt felek felderítése, informálása, a mérés folyamatának követése, vezérlése, a mérési folyamat értékelése a fels vezetéssel Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 50

Adatgy jtési mechanizmusok Formok Számítógépes eszközök Interjúk Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 51

Mérési módszerek, eszközök B séges kínálat Választani kell Saját konkrét mérési folyamatát minden cégnek ki kell dolgoznia! Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 52

A szoftvermérés költsége Nem ingyen van, de a szervezethez lehet igazítani Vannak nyilvánvaló és rejtett elemek A mérési program beindítása drágább lehet a fenntartásánál Kicsiben kezdjük! A mérési költségek eredete a szoftverprojektek adatszolgáltatásból származó többletköltségei a mérések elvégzéséhez nyújtott m szaki támogatás költsége a mért adatok elemzésének, csomagolásának költsége A mérési program költségei függnek: a szervezet méretét l a mérési programba bevont projektek számától a mérési program kiterjedését l (életciklus-elemek, metrikák stb.) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 53

A szoftvermérés költsége NASA adatai a mérések költségeir l 17 év tapasztalatai 100-5000 f s szervezetek egyszerre aktív projektek, amelyek részt vettek a mérési tervben, szervezetenként: 5-6-tól, 20-ig a mért projektek mérete: 5 KSLOC-tól több, mint 1mil SLOC-ig egy projektben a mérésekb l adódó többletköltség max. 1-2 % Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 54

A szoftvermérés költsége A teljes szervezeti létszám %-a 20 15 10 5 4 3 2 1 (Software Measurement Guidebook, NASA, Software Engineering Laboratories, NASA-GB-001-94) Közepes szervezetek (kb. 100-500 ember) nagy szervezetek (kb. 500-5000 ember) Formok kitöltése Adatszolgáltatás <2 % <1 % 3-7 % Tervezési és karbant. projekt Eredmények archiválása adatbázis karbantartása QA 6-8 f <2 % M szaki támogatás Mérési modellek / folyamatok fejlesztése Eredmények elemzése Képzés kísérletek elvégzése 6-15 % 10-15 f <3 % Adatelemzés, csomagolás Adatforrás Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 55

A mérések költsége (példa) Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 56

Mir l volt szó? Mér szám Min ségi attribútum Definíció Termék M szaki folyamat PM folyamat Dr. Balla Katalin Szoftver min ség és menedzsment - 13. 57