Modell alapú tesztelés: célok és lehetőségek

Átírás

1 Szoftvertesztelés 2016 Konferencia Modell alapú tesztelés: célok és lehetőségek Dr. Micskei Zoltán Budapesti Műszaki és Gazdaságtudományi Egyetem Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék 1

2 Mi a modell alapú tesztelés (MBT)? Tesztelés modellek alapján vagy azok segítségével [ISTQB] Nem csak tesztgenerálás Nem feltétlen automatikus végrehajtás Nem csak a modell alapú fejlesztés részeként 2

3 Mi a modell? Valami [bonyolult] egyszerűsített változata (leképezés, csökkentés, gyakorlatiasság) Tesztelésben használt modellek (példák): timer t; t.start(5.0); alt { [] i.receive("coffee") { Count := Count+1; } [] t.timeout { } } Viselkedés Konfiguráció Teszt szekvenciák 3

4 MBT felhasználási lehetőségei Szimuláció Tesztadat generálása Végrehajtható teszt szkriptek Kommunikáció elősegítése Specifikáció ellenőrzése (informális) (formális) 4

5 MBT specifikus értelmezése: Tesztgenerálás A modell alapú tesztelés folyamatok és technikák - modellekből absztrakt tesztesetek származtatására, - az absztraktból konkrét tesztek generálására, - konkrét tesztek kézi vagy automatikus végrehajtására Source: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:

6 MBT folyamata Kiválasztási kritérium Kiindulás: követelmények Modell létrehozása Absztrakt tesztesetek származtatása System Under Test Adapter, konkretizálás Source: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:

7 Tesztelési és fejlesztési modellek Használhatom a meglévő fejlesztési modelljeimet? Probléma: mit tesztelünk ilyenkor? Javasolt: külön tesztmodellek A. Pretschner, J. Philipps. Methodological Issues in Model-Based Testing, Model-Based Testing of Reactive Systems,

8 ESZKÖZÖK 8

9 Nyílt eszköz: GraphWalker Véges automata modell + egyszerű feltételek Lefedettség: állapot, átmenet, idő (véletlen bejárás) JUnit teszt csonk generálása (adapter) 9

10 Source: Conformiq. Testing Bluetooth Protocol Stacks with Computer- Generated Tests. Technology brief Kereskedelmi eszköz: Conformiq Állapotgép modellek + Java akciókód Lefedettség: követelmény, állapot, átmenet Integráció rengeteg eszközzel 10

11 CertifyIt (Smartesting) o Modell: UML + OCL További eszközök SpecExplorer (Microsoft) o C# modell program o Bejárás: szcenáriók, teszt célok MoMuT::UML (akadémiai) o UML állapotgépek, mutációs tesztelés Részletes lista: 11

12 ESETTANULMÁNYOK 12

13 MBT User Survey 2014 ~100 résztvevő 32 kérdés - Kb. 80 óra szükséges az alapokhoz - MBT hatékony - Sok hasznos részlet! Forrás: 13

14 Fast & easy MBT bevezetési taktikák o Egyszerű (rész)modellek o Jobbára ingyenes eszközök Full fledged o Komplex, rendszerint fizetős eszközök o Teljes életciklus támogatása Advanced o Saját modellezési nyelv/eszköz készítése 14

15 Esettanulmány: Spotify Modell + GraphWalker MBT + tesztautomatizálás Test automation and Model-Based Testing in agile dev Spotify, UCAAT

16 Esettanulmány: Microsoft dokumentáció 250+ protokoll, oldal 250+ mérnökév, 350+ mérnök Eszköz: SpecExplorer Részletek: Forrás: W. Grieskamp et al. Model-based quality assurance of protocol documentation: tools and methodology, STVR, 21:55-71, 2011

17 Cheat sheet MBT bevezetéshez Forrás: Robert V. Binder ( Javasolt Komplex SUT működés Absztrahálható követelmények Tesztelhető interfészek Regressziós tesztelés és a tesztek karbantartása szükséges Képzett tesztmérnökök Nem javasolt Egyszerű funkcionalitás Szubjektív kiértékelés Monolitikus GUI SUT nem túl értékes, már nem fejlesztett Kevés/nincs meglévő tesztelés Nem technikai tesztelő csapat Lásd: Model-Based Testing: Why, What, How, 17

18 ISTQB CTFL-MBT tanfolyam + vizsga 18

19 Összefoglalás Sokféle modellezési nyelv, teszt cél és módszer MBT = modellek felhasználása a tesztelésben Információcserétől az automatizált futtatásig 19

20 KIEGÉSZÍTÉS 20

21 MBT taxonómia Source: M. Utting, A. Pretschner, B. Legeard. A taxonomy of model-based testing approaches, STVR 2012; 22:

22 SpecExplorer Source: 271d0904-f178-4ce9-956b-d9bfa C# model program + adapter code Slicing: scenarios, action patterns