Modell alapú tesztelés

Hasonló dokumentumok
A modellellenőrzés érdekes alkalmazása: Tesztgenerálás modellellenőrzővel

A modellellenőrzés érdekes alkalmazása: Tesztgenerálás modellellenőrzővel

Modell alapú tesztelés: célok és lehetőségek

Modell alapú tesztelés

Modell alapú tesztelés

Modell alapú tesztelés

Automatikus tesztgenerálás modell ellenőrző segítségével

Modell alapú tesztelés mobil környezetben

Korlátos modellellenőrzés. dr. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Alapszintű formalizmusok

Specifikáció alapú teszttervezési módszerek

Specifikáció alapú teszttervezési módszerek

Szoftverminőségbiztosítás

Részletes tervek ellenőrzése

Hatékony technikák modellellenőrzéshez: Korlátos modellellenőrzés. dr. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Szoftver-modellellenőrzés absztrakciós módszerekkel

Rendszermodellezés. Modellellenőrzés. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

Szoftverminőségbiztosítás

Szoftverminőségbiztosítás

Részletes szoftver tervek ellenőrzése

R3-COP. Resilient Reasoning Robotic Co-operating Systems. Autonóm rendszerek tesztelése egy EU-s projektben

Modellellenőrzés a vasút automatikai rendszerek fejlesztésében. XIX. Közlekedésfejlesztési és beruházási konferencia Bükfürdő

Mesterséges intelligencia alapú regressziós tesztelés

Struktúra alapú teszttervezési módszerek

Struktúra alapú teszttervezési módszerek

Az UPPAAL egyes modellezési lehetőségeinek összefoglalása. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Valószínűségi modellellenőrzés Markov döntési folyamatokkal

Gyakorló feladatok: Formális modellek, temporális logikák, modellellenőrzés. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Teszttervezés. Majzik István, Micskei Zoltán. Integrációs és ellenőrzési technikák (VIMIA04) Méréstechnika és Információs Rendszerek Tanszék

Szoftver modul/unit tesztelés

Felhasználói felületek tesztelése

Modellellenőrzés. dr. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Algoritmizálás, adatmodellezés tanítása 6. előadás

Teszttervezés. Majzik István, Micskei Zoltán. Integrációs és ellenőrzési technikák (VIMIA04) Méréstechnika és Információs Rendszerek Tanszék

Felhasználói felületek tesztelése

Modellellenőrzés. dr. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Robusztusság tesztelés

Miskolci Egyetem Alkalmazott Informatikai Intézeti Tanszék A minőségbiztosítás informatikája. Készítette: Urbán Norbert

Formális verifikáció Modellezés és modellellenőrzés

Modellező eszközök, kódgenerálás

Folyamatmodellezés és eszközei. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék

Zárthelyi mintapéldák. Majzik István BME Méréstechnika és Információs Rendszerek Tanszék

Modellek ellenőrzése és tesztelése

Szoftverminőségbiztosítás

Digitális technika (VIMIAA02) Laboratórium 4

A formális módszerek szerepe

Szoftver karbantartási lépések ellenőrzése

OO rendszerek jellemzői

Formális módszerek GM_IN003_1 Program verifikálás, formalizmusok

A KUTATÁS EREDMÉNYEI ZÁRÓJELENTÉS

Tesztelési szintek Tesztautomatizálás

Szoftver-mérés. Szoftver metrikák. Szoftver mérés

Bevezetés az informatikába

Digitális Technika. Dr. Oniga István Debreceni Egyetem, Informatikai Kar

MODELL ALAPÚ AUTOMATIKUS

Hardver és szoftver rendszerek verifikációja Röviden megválaszolható kérdések

Digitális Technika. Dr. Oniga István Debreceni Egyetem, Informatikai Kar

Digitális technika (VIMIAA02) Laboratórium 4

Szoftvertechnológia ellenőrző kérdések 2005

23. Szoftver-tesztelés

Elérhetőségi probléma egyszerűsítése: Állapottér és struktúra redukció Petri-háló alosztályok

A szoftver-folyamat. Szoftver életciklus modellek. Szoftver-technológia I. Irodalom

Hatékony technikák modellellenőrzéshez: Szimbolikus technikák (ROBDD)

Elérhetőségi analízis Petri hálók dinamikus tulajdonságai

8.3. AZ ASIC TESZTELÉSE

Automatikus kódgenerálás helyességének ellenőrzése

Hatékony technikák modellellenőrzéshez: Szimbolikus technikák (ROBDD)

Osztott jáva programok automatikus tesztelése. Matkó Imre BBTE, Kolozsvár Informatika szak, IV. Év 2007 január

Problémamegoldás kereséssel. Mesterséges intelligencia március 7.

Formális modellezés és verifikáció

Megoldások a mintavizsga kérdések a VIMIAC04 tárgy ellenőrzési technikák részéhez kapcsolódóan (2017. május)

Digitális technika (VIMIAA01) Laboratórium 4

S01-7 Komponens alapú szoftverfejlesztés 1

A Feldspar fordító, illetve Feldspar programok tesztelése

Norway Grants. Az akkumulátor mikromenedzsment szabályozás - BMMR - fejlesztés technológiai és műszaki újdonságai. Kakuk Zoltán, Vision 95 Kft.

Szoftverminőségbiztosítás

Kiterjesztések sek szemantikája

Programfejlesztési Modellek

Rendszermodellezés: házi feladat bemutatás

Formális módszerek GM_IN003_1 Bevezetés

A szoftver tesztelés alapjai

Sztochasztikus temporális logikák

Temporális logikák és modell ellenırzés

9. előadás. Programozás-elmélet. Programozási tételek Elemi prog. Sorozatszámítás Eldöntés Kiválasztás Lin. keresés Megszámolás Maximum.

Szoftver újrafelhasználás

Intervenciós röntgen berendezés teljesítményszabályozójának automatizált tesztelése

Modellezési alapismeretek

Digitális technika (VIMIAA02) Laboratórium 3

Osztott rendszer. Osztott rendszer informális definíciója

Programozási technológia

Digitális technika (VIMIAA02) Laboratórium 3

MŰSZAKI TESZTTERVEZÉSI TECHNIKÁK STRUKTÚRA ALAPÚ, VAGY FEHÉRDOBOZ TECHNIKÁK TAPASZTALAT ALAPÚ TECHNIKÁK

S01-8 Komponens alapú szoftverfejlesztés 2

Tesztelési feladatok és kihívások a FALCON projektben

Modellinformációk szabványos cseréje. Papp Ágnes, Debreceni Egyetem EFK

Algoritmuselmélet. Katona Gyula Y. Számítástudományi és Információelméleti Tanszék Budapesti Műszaki és Gazdaságtudományi Egyetem. 13.

Alapszintű formalizmusok

ALAPFOGALMAK 1. A reláció az program programfüggvénye, ha. Azt mondjuk, hogy az feladat szigorúbb, mint az feladat, ha

JUnit. JUnit használata. IDE támogatás. Parancssori használat. Teszt készítése. Teszt készítése

Petri hálók strukturális tulajdonságai Invariánsok és számításuk

Átírás:

Szoftver- és rendszerellenőrzés (VIMIMA01) Modell alapú tesztelés Majzik István és Micskei Zoltán Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék http://www.inf.mit.bme.hu/ 1

Motiváció Tartalomjegyzék Modellek (informális) szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 2

UML modellek tipikus használata a tesztelésben Használati eset diagram: Validációs tesztelés: tesztelendő használati esetek Osztály- és objektumdiagram: Modultesztelés: komponensek, interfészek azonosítása Állapottérkép és aktivitás diagram: Modultesztelés: strukturális teszteléshez referencia Üzenet-szekvencia és együttműködési diagram: Integrációs tesztelés: forgatókönyvek leírása Komponens diagram: Rendszertesztelés: tesztelendő fizikai komponensek Telepítés diagram: Rendszertesztelés: teszt konfiguráció 3

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 4

Modell alapú tesztelés Model-based testing (MBT) ~ explicit modell felhasználása valamilyen tesztelési tevékenység támogatására, tesztesetek előállítása teszt csonkok előállítása teszt orákulumok előállítása modell építése és validálása Szűkebb értelemben: modell alapú tesztgenerálás 5

Modell alapú tesztgenerálás MBT encompasses the processes and techniques for - the automatic derivation of abstract test cases from abstract models, - the generation of concrete tests from abstract tests, and - the manual or automated execution of the resulting concrete test cases Forrás: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:297 312 6

Használati esetek (1) Közös fejlesztési és tesztelési modell Mit tesztelünk? Kódgenerátor; modell feltételezései A. Pretschner, J. Philipps. Methodological Issues in Model-Based Testing, Model-Based Testing of Reactive Systems, 2005. 7

Használati esetek (2) Kézi implementáció Külön tesztmodell 8

Használati esetek (3) Külön fejlesztési és tesztelési modell 9

MBT folyamata Teszt modell Absztrakció Absztrakt és konkrét tesztek Forrás: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:297 312 10

MBT taxonómia Forrás: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:297 312 11

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 12

A direkt algoritmusok tipikus alkalmazási területe Állapot alapú, eseményvezérelt működés Eseményre triggerelt állapotátmenetek Akciók (mint válasz jellegű kimenetek) Használható modellek Automaták (FSM; Mealy, Moore, Büchi, ) Magasabb szintű formalizmusok leképezhetők UML állapottérkép SCADE Safe Statechart Simulink Stateflow Gráfelméleti algoritmusok Algoritmus létezik sokféle tesztelési feladathoz Optimális tesztek: Tipikusan NP-teljes algoritmusok 13

Gráfelméleti algoritmus átmenet fedéshez Problémák megfeleltetése Tesztelési probléma: Átmenetek fedése Minden átmenet fedése teszt szekvenciával A teszt szekvencia vigyen vissza a kezdeti állapotba Gráfelméleti probléma: New York-i utcaseprő probléma Egy irányított gráfban mi az a (legrövidebb) bejárási szekvencia, ami minden élet bejár és a kezdeti helyre visz vissza? (Ugyanez nem irányított gráfban: Kínai postás probléma) Megoldás alapötlete: Helyek polaritásainak számítása: Bejövő mínusz kimenő élek száma Olyan élek duplikálása, amelyek pozitívtól negatív polaritású helyekig vezetnek, amíg minden hely nulla polaritású nem lesz Euler-kör keresése az így adódó gráfban (lineáris algoritmus) Euler-kör: Minden élet bejár; ilyen gráfban biztosan képezhető Az Euler-kör bejárása adja a teszt szekvenciát 14

Egy példa átmenet fedéshez Eredeti gráf hely polaritásokkal Duplikált élekkel kiegészített gráf (Euler-gráf) Bejárási szekvencia (Euler-kör): a b c b f e g d e g 15

Gráfelméleti algoritmus átmenet kombináció fedéshez Problémák megfeleltetése Tesztelési probléma: Átmenet kombinációk fedése Minden lehetséges, egymás után n számú átmenetből álló sorozat fedése a teszt szekvenciával A teszt szekvencia vigyen vissza a kezdeti állapotba Legegyszerűbb eset: Minden lehetséges átmenet-pár fedése Gráfelméleti probléma: Bankrabló probléma (Legrövidebb) élszekvencia, amiben minden lehetséges n hosszú élsorozat előfordul (legegyszerűbb eset: n=2) Megoldás (de Bruijn algoritmus) alapötlete (n=2): Duális gráf megkezdése: Az eredeti gráf éleiből helyek lesznek Az eredeti gráfban létező élpárok esetén él behúzása a duális gráfba az élek által adott helyek közé A duális gráf kiegészítése (élek duplikálásával) Euler-gráffá Az így kapott gráfban az Euler-kör adja a teszt szekvenciát 16

Egy példa átmenet kombináció fedéshez Eredeti gráf Duális gráf az élpárokkal Bejárási szekvencia a duális gráf alapján élpárok fedéséhez: a b c b f e c b g d e f e g 17

Gráfelméleti algoritmus konkurens átmenet fedéshez Problémák megfeleltetése Tesztelési probléma: Konkurens tesztelés átmenetek fedéséhez Teljes átmenet fedés a cél, de több tesztelő van Célszerű egyenletesen megosztani a problémát, hogy a legrövidebb idő alatt végezzenek; mindegyik a kezdőállapotból kezd Feltétel: Egy bemenettel bárhonnan kezdőállapotba vihető a rendszer Gráfelméleti probléma: Utcaseprő brigád probléma Megoldás: Heurisztika (nem optimális megoldás) Egy-egy bejáráshoz k felső határ megadása Olyan élszekvencia keresése, amely a legtöbb eddig nem érintett élet tartalmazza, de legfeljebb k hosszú; a végén kezdőállapotba vezérelve a bejárást Ezután újabb élszekvenciák felvétele, amíg van be nem járt él A k felső határral lehet próbálkozni 18

Egy példa konkurens átmenet fedéshez Eredeti bejárási szekvencia (Euler-kör, 1 tesztelő): a b c b f e g d e g Egy lehetséges megosztás 2 tesztelőre: Tesztelő 1: a b c b f e g (7 időegység kell) Tesztelő 2: d e g Egy jobb megosztás (heurisztikával) 2 tesztelőre: Tesztelő 1: a b c b g (5 időegység kell) Tesztelő 2: d e f e g 19

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 21

Alapötlet Tipikus tesztelési kritériumok: Vezérlés alapú: Állapotok, átmenetek lefedése, be- és kimenő átmenet-párok lefedése egy-egy állapothoz Adatfolyam alapú: Változó definiálások és felhasználások lefedése Tesztgeneráláshoz szükséges: Állapottér bejárása Modellellenőrző is ezt csinálja Alapötlet: Járja be a modellellenőrző az állapotteret! Irányítsuk úgy, hogy az általa adott ellenpélda legyen a teszteset! 22

A modellellenőrző használata tesztgenerálásra LineWeak állapotot elérő (lefedő) teszteset? keyno LineOk PowerOff Error Ready keyyes LineWeak Kritérium megadása: A LineWeak állapotot soha sem lehet elérni: (EF LineWeak) 23

A modellellenőrző használata tesztgenerálásra Modellellenőrző: ellenpélda tulajdonság nem teljesül, az állapot elérhető. keyno LineOk PowerOff Error Ready keyyes LineWeak Ez a LineWeak állapotot lefedő teszteset! 24

Automatikus tesztgenerálás Mérnöki modell Matematikai modell Modell ellenőrző Tesztesetek Tesztelési kritérium TL formulák 25

Automatikus tesztgenerálás Fedési kritériumok: temporális logikai formulák Mérnöki Matematikai Például: modell Legyen minden modell egyes állapot lefedve tesztek által. Modell ellenőrző Tesztesetek Tesztelési kritérium TL formulák A kiadódó ellenpéldák: egy-egy teszteset 26

Vezérlés alapú fedettségi kritériumok Állapotfedés: { EF s s alapszintű állapot} Kritériumhalmaz! Ha megfelelő stabil állapot is kell újabb teszthez: { EF (s EF exit) s alapszintű állapot} A további képletekben itt EF exit nem szerepel. Gyenge átmenet fedés: Erős fedés: Implicit { EF t t átmenet} átmenetek (helyben maradás) is tesztelve Erős átmenet fedés: { EF t t átmenet} { EF it it implicit átmenet} 29

Modellellenőrző feladata: Optimalizáció Állapottér hatékony bejárása: Gyorsan, kis tárigénnyel Ellenpélda generálása: Minél hamarabb álljon elő A tesztgenerálási feladat: Gyorsan minél rövidebb ellenpéldát találni Speciális beállítások szükségesek a modellellenőrzőben Legrövidebb/legkisebb tesztkészlet kiválasztása: NP-teljes probléma! Lehetőségek (pl. SPIN modellellenőrző esetén): Szélességi keresés az állapottérben (BFS) Mélységi keresés, de mélységkorláttal (limited DFS) Rövidebb ellenpélda iteratív keresése Közelítő modell ellenőrzés (hash függvény az állapottároláshoz) Bizonyos állapotokat nem jár be a keresés során Ha talál ellenpéldát, az valós teszt lesz 33

Kiterjesztés valósidejű rendszerekre Óra változók: Valós időt, időzítési feltételeket modellezhetünk Időzített automaták használata Speciális modellellenőrző: UPPAAL 38

State: ( input.sending mobile.poweron mobile1.lineok mobile2.callwait ) t=0 inputevent=28 outputevent=14 in_poweron=1 #depth=5 Delay: 6 Generált tesztek A teszt időzítési viszonyok is szerepelnek a tesztesetben State: ( input.sending mobile.poweron mobile1.lineok mobile2.callwait ) t=6 inputevent=28 outputevent=14 in_poweron=1 #depth=5 Transitions: input.sending->input.sendinput { 1, inputchannel!, 1 } mobile2.callwait->mobile2.voicemail { inputevent == evkeyyes && t > 5 && in_poweron, inputchannel?, 1 } 39

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 40

Alapötlet: Korlátos modellellenőrzés alkalmazása SAT probléma megoldóinak használata SAT megoldó: Boole függvényekhez keres helyettesítési értéket, ami a függvény értékét igazzá teszi A modell elemeinek leképzése logikai függvénybe: Kezdőállapotokra vonatkozó predikátum: I(s) Elérendő állapotokra vonatkozó predikátum: p(s) Állapotátmeneti reláció: R(s, s ) Lépésenkénti kibontás : R(s i, s i+1 ) A logikai függvény felírása Kezdőállapotból indul: Az I(s) predikátum az első állapotra Kibontott átmenetek: Az R(s i, s i+1 ) reláció alkalmazása Elérendő állapot: A p(s) predikátum valahol fennáll 41

Példa: A modell leképzése logikai függvénybe (1,1) (0,0) (0,1) Kezdőállapot predikátum: I(x,y) = ( x y) Állapotátmeneti reláció: R(x,y,x,y ) = ( x y x y ) ( x y x y ) ( x y x y ) ( x y x y ) s 0 : s 1 : s 2 : (0,0) (0,1) (1,1) 3 lépéses kihajtogatás a kezdőállapotból: I(x 0,y 0 ) R(x 0,y 0,x 1,y 1 ) R(x 1,y 1,x 2,y 2 ) R(x 2,y 2,x 3,y 3 ) s 3 : 42

SAT alapú tesztgenerálás fedési kritériumokhoz Formula konstruálás tesztgeneráláshoz: Kibontás k lépésben a kezdőállapotból Teszt kritérium megadása: TG formula, pl.: Adott s állapot elérése, Adott t állapotátmenet végrehajtása, Adott modellrészlet bejárása, k 1 s0, s1,..., sk : I( s ) R ( s, s ) TG 0 i i 1 i 0 Állapotszekvencia Modell széthajtogatás Teszt cél Ha ez a formula kielégíthető, akkor az egy tesztet ad: A teszt teljesíti a TG kritériumot Ha nem kielégíthető a formula, akkor nincs teszt a kritériumhoz 43

A tesztgenerálás korlátai Használhatóság Legfeljebb adott hosszúságú teszt generálható Iteratívan növelhető a kibontás korlátja Így részleges megoldás adódik Amit megtalál, az biztosan teszt eset lesz Nem garantált, hogy megtalálja a teszt esetet (ha az hosszabb lenne, mint amit figyelembe veszünk) A modellből SAT probléma leképzése automatikus A TG teszt célok megadása egyszerűsíthető C programokhoz: FQL nyelv teszt célokhoz (FSHELL) in /code.c/ cover @line(6),@call(f1) passing @file(code.c) \ @call(f2) Elő- és utófeltételek megadása: Előfeltétel szerepe: Érvényes teszt adatok Utófeltétel szerepe: Van-e olyan teszt eset, amikor nem teljesül? Ellenpélda generálás 44

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 45

Hibamodellek használata Tapasztalatok a szoftver tesztelés során Csatolási effektus (coupling effect): Azok a teszt esetek, amik egyszerű hibákat megtalálnak, bonyolultabbakra is hatékonyak Kompetens programozó hipotézis: A programok általában jók, a hibák nagy része gyakran előforduló tipikus hiba Alapötlet: Állítsunk elő olyan mutáns modelleket, amik tipikus hibákat tartalmaznak, és generáljunk ezek kimutatására teszteket Ezek várhatóan bonyolultabb hibákhoz is jobbak a véletlen teszteknél Tipikus mutációk: Aritmetikai operátorok felcserélése feltételekben Akciók (műveletek, üzenetek) sorrendjének megváltoztatása Akciók kihagyása 46

Tesztgenerálás hibamodell alapján A tesztgenerálási feladat: Olyan tesztek előállítása, amelyek különbséget tesznek az eredeti (hibamentes) és a mutáns (hibás) viselkedés között Ezek ún. negatív tesztek (sikertelen lesz a teszt: nincs hiba!) Hogyan definiáljuk a különbséget két viselkedés között? Specifikált implementált, hibamentes mutáns viselkedés között Milyen különbség megengedett? Más viselkedés megengedett-e a specifikált mellett? Pl. több kimenet, más reakció, Kihagyás (elmaradt kimenet) megengedett-e? Szokásos megoldások Biztonságkritikus rendszer a fejlesztés végén: Szigorúan a specifikáció szerint Teljes specifikáció szükséges Hétköznapi rendszer fejlesztés közben: Beférjen a tesztelt implementáció specifikáció keretei közé 47

k-ekvivalencia a teszteléshez Alkalmazás: Fekete doboz teszteléshez Bemenetek egy s állapotban: in(s) vezérelhetők Kimenetek egy s állapotban: out(s) megfigyelhetők Kimeneti akció hiánya is formalizálható: Speciális akció A k-ekvivalencia definíciója: Jelölések: Azonos bemeneti sorozat mellett azonos kimenetek az első k lépésre Eredeti M modell: Kezdeti állapot predikátum: I(s 0 ) I (s 0 ) Mutáns M modell: Állapotátmeneti reláció: R(s i, s i+1 ) R (s i, s i+1 ) A modell kibontása k lépésre: k 1 I ( s ) R( s, s ) 0 i i 1 i 0 48

Mutáció alapú tesztgenerálás k-ekvivalencia alapján SAT formula konstruálás a k-ekvivalenciához: Azonos bemeneti szekvencia mindkét modellre Kibontás k lépésben az eredeti modellre Kibontás k lépésben a mutáns modellre Legalább egy különböző kimenet lesz a kimeneti szekvenciában k k 1 k 1 k ' ' ' ' ' ' ' (in ( si ) in si ) I ( s0) R ( si, si 1) I ( s0 ) R ( si, si 1 ) (out( si ) ou ( si i 0 i 0 i 0 i 0 ( ) t )) Egyező bemenetek Eredeti modell Mutáns modell Eltérő kimenet Ha ez a formula kielégíthető, akkor az egy tesztet ad A teszt különbséget tesz a modellek között: Kimutatja a mutációt, tehát a hiba felderítésére használható Ha a formula nem kielégíthető, akkor ekvivalens a két modell 49

Mutáció alapú tesztgenerálás az IOCO reláció alapján Az IOCO reláció informálisan: Megengedett, hogy azonos bemeneti szekvenciára a mutáns modell kimenetei részhalmazát képezik az eredeti modellben rögzített kimeneteknek (azaz beleférnek az eredeti modellbe) Részleges viselkedés megengedett, de eltérő viselkedés nem Többlet funkció megengedett az eredeti modellben nem rögzített bemeneti szekvenciára A k-ekvivalenciánál megengedőbb konformancia reláció Definíció: Minden, az eredeti modellben felvehető akciószekvenciára igaz: Az így elérhető állapotokban a mutáns által nyújtott kimeneti akciók részhalmazát képezik az eredeti modell által nyújtott kimeneti akcióknak Tesztek generálhatók SAT megoldóval Bonyolultabb a részhalmaz reláció vizsgálata miatt (itt nem írjuk fel) 50

Motiváció Tartalomjegyzék Modellek szerepe a tesztelésben Modell alapú tesztgenerálás Tesztgenerálás fedettségi kritériumokhoz Direkt algoritmusok Modellellenőrzők használata Tesztgenerálás korlátos modellellenőrzéssel Tesztgenerálás hibamodellek alapján Modell mutációk Ekvivalencia relációk tesztgeneráláshoz Eszközök a tesztgeneráláshoz 51

Forrás: Conformiq. Testing Bluetooth Protocol Stacks with Computer-Generated Tests. Technology brief. 2010 Ipari MBT eszközök Conformiq Állapotgép modellek + Java akció kód Fedés: követelmény, állapot, átmenet Integráció sok eszközzel 52

Ipari MBT eszközök SpecExplorer Forrás: https://visualstudiogallery.msdn.microsoft.com/ 271d0904-f178-4ce9-956b-d9bfa4902745 C# modell program + adapter kód Slicing: forgatókönyvek, akció minták 53

CertifyIt (Smartesting) UML + OCL modellek További eszközök GraphWalker (OSS) FSM modell Gráf bejárása: véletlen, A*, legrövidebb út MoMuT::UML (akadémiai) UML állapotgépek, mutációs tesztelés További eszközök: http://mit.bme.hu/~micskeiz/pages/modelbased_testing.html 54

Esettanulmány: MS protokoll dokumentáció 250+ protokoll, 25ezer+ oldal dokumentáció 250+ mérnökév, 350+ mérnök Eszköz: Spec Explorer Bővebben: W. Grieskamp et al. Model-based quality assurance of protocol documentation: tools and methodology, STVR, 21:55-71, 2011 55

Esettanulmányok: Spotify és Unity GraphWalker Spec Explorer és Graph Walker 56

Cheat sheet MBT bevezetéshez Forrás: Robert V. Binder (http://robertvbinder.com/) Javasolt Komplex SUT működés Absztrahálható követelmények Tesztelhető interfészek Szükséges regressziós tesztelés és a tesztek karbantartása költséges Képzett tesztmérnökök Nem javasolt Egyszerű funkcionalitás Szubjektív kiértékelés Monolitikus GUI SUT nem túl értékes, már nem fejlesztett Kevés/nincs meglévő tesztelés Nem technikai tesztelő csapat 57

Összefoglalás Modell alapú tesztgenerálás Fedési kritériumok teljesítéséhez Vezérlés-orientált: állapotok, átmenetek fedése Adatfolyam-orientált: értékadás és használat fedése Specifikációval nem konform viselkedés kimutatásához k-ekvivalencia reláció szerint IOCO reláció szerint Algoritmusok és eszközök Direkt (gráfelméleti) algoritmusok: Bejárás generálása Modellellenőrzők: Bejárás mint ellenpélda generálása SAT megoldók: Helyettesítési értékek generálása Tervkészítő algoritmusok: Cél-orientált bejárás Kényszer-kielégítők: Bejárási feltételek teljesítése Evolúciós algoritmusok: Intelligens keresés 58