Mesterséges intelligencia alapú regressziós tesztelés

Átírás

1 Mesterséges intelligencia alapú regressziós tesztelés Gujgiczer Anna, Elekes Márton* * AZ EMBERI ERŐFORRÁSOK MINISZTÉRIUMA ÚNKP-16-1-I. KÓDSZÁMÚ ÚJ NEMZETI KIVÁLÓSÁG PROGRAMJÁNAK TÁMOGATÁSÁVAL KÉSZÜLT

2 Mesterséges intelligencia alapú regressziós tesztelés 1. Kihívások a szoftvertesztelés során 2. Hogyan lehet a szoftverek helyességét folytonosan vizsgálni? 3. Tesztelés automatizálása a mesterséges intelligencia felhasználásával

3 Folyamatosan fejlődő szoftverek Rengeteg új funkció

4 Folyamatosan fejlődő szoftverek Sok funkció módosul

5 Folyamatosan fejlődő szoftverek Hibák? Javítások

6 Hogyan kerülnek hibák a rendszerbe? Új feature Módosítás Regression: When you fix one bug, you introduce several newer bugs. Hibajavítás 6

7 Szoftver minőségének fenntartása Regressziós tesztelés: Regression: A When módosítások you fix one okoznak-e bug, you introduce several newer bugs. az eddigi viselkedéstől való nem kívánt eltérést? 7

8 Regressziós tesztelés Még mindig lehet üzenetet küldeni? Még mindig meg lehet nézni, hogy kik vannak online? Még mindig lehet keresni az ismerősök között? Még mindig lehet üzenetet törölni? Még mindig időrendben vannak az üzenetek? 8

9 Tesztesetek (bemenet elvárt kimenetek) v1 T1 Can you APIUI

10 Tesztesetek (bemenet elvárt kimenetek) v1 T1 Can you T2 APIUI

11 Tesztesetek (bemenet elvárt kimenetek) v1 T1 Can you T2 T3

12 Tesztesetek (bemenet elvárt kimenetek) v1 T1 Can you T2 T3 T4

13 Tesztesetek (bemenet elvárt kimenetek) v2 T1 Can you T2 T3 T4

14 T1 Tesztesetek BUG vagy FEATURE? Can you v2 T2 T3 T4

15 Idő Regressziós tesztelés Specifikáció Minden teszteset Emberi erőforrás Regressziós tesztelés Tesztesetek előre kiválasztása Emberi erőforrás Tesztesetek priorizálása Emberi erőforrás

16 Automatizálás mesterséges intelligenciával Tesztek kiválasztása Klaszterezés Neurális hálók Tesztkészlet bővítése Genetikus algoritmus Rendszer viselkedésének tanulása Gépi tanulás 16

17 Mit is akarunk? v1 Matricaküldés változik v2 v1 v2 T1 T2 T3 T1 T2 T3 T4 T5 T6 T4 T5

18 Mit is akarunk? v1 Matricaküldés változik v2 v1 v2 T1 T2 T3 T1 T2 T3 T4 T5 T6 T4 T5 T6

19 Melyik teszteseteket használhatjuk újra? Szoftver funkciók: Képküldés Csoportos beszélgetés Videóhívás Üzenetküldés Matricák v1 19

20 Melyik teszteseteket használhatjuk újra? Szoftver funkciók: T7 Képküldés T2 Csoportos beszélgetés Üzenetküldés T4 T5 Videóhívás T3 T1 Matricák T6 v1 20

21 Melyek a releváns tesztesetek? T7 Képküldés T2 Csoportos beszélgetés Üzenetküldés T4 T5 Videóhívás T3 T1 Matricák T6 v1

22 Melyek a releváns tesztesetek? T7 Képküldés T2 Csoportos beszélgetés Üzenetküldés T4 T5 Videóhívás T3 T1 Matricák T6 v2 22

23 Hogyan készítsünk teszteseteket? Létezik T1 T2 T3 T4 T5 T6 Formális 23

24 Hogyan készítsünk teszteseteket? T1 T2 T3 T4 T5 T6 Formális 24

25 Hogyan készítsünk teszteseteket? Képküldés Csoportos beszélgetés T1 T2 T3 Videóhívás Üzenetküldés Matricák v1 T4 T5 T6 Referencia verzió Formális 25

26 Hogyan készítsünk teszteseteket? Képküldés Csoportos beszélgetés T1 T2 T3 Videóhívás Üzenetküldés Matricák v1 T4 T5 T6 Formális

27 Gépi tanulás Tesztelendő rész Képküldés Csoportos beszélgetés Videóhívás Üzenetküldés Matricák v1 Referencia verzió Formális

28 Gépi tanulás Tesztelendő rész Aktív tanulás Mealyautomata Képküldés Csoportos beszélgetés Videóhívás Üzenetküldés Matricák v1 Referencia verzió Formális

29 Aktív tanulás bemenet Automatatanuló algoritmus Videóhívás Képküldés Üzenetküldés Csoportos beszélgetés Matricák kimenet 29

30 Aktív tanulás (példa) bemenet Automatatanuló algoritmus Videóhívás Képküldés Üzenetküldés Csoportos beszélgetés Matricák kimenet 30

31 Aktív tanulás (példa) bejövő hívás Automatatanuló algoritmus csöng 31

32 Aktív tanulás (példa) felvesz bejövő hívás Automatatanuló algoritmus csöng hang 32

33 Aktív tanulás (példa) Automatatanuló algoritmus bejövő hívás felvesz bejövő hívás csöng hang nem csöng 33

34 Hipotetikus állapotgép alap állapot bejövő hívás csöng csöng Formális tárcsáz kicsöng lerak vége felvesz hang Létezik kicsöng fogadták hang hívás közben T1 T2 T3 T4 T5 T6 34

35 Tesztgenerálás T1 T1 bejövő híváscsöng, felveszhang, lerakvége alap állapot bejövő hívás csöng csöng tárcsáz kicsöng lerak vége felvesz hang Gráfbejárás kicsöng fogadták hang hívás közben T1 T2 T3 T4 T5 T6

36 Tesztgenerálás T1 T1 bejövő híváscsöng, felveszhang, lerakvége alap állapot bejövő hívás csöng csöng T2 T2 tárcsázkicsöng, fogadtákhang tárcsáz kicsöng lerak vége felvesz hang Gráfbejárás kicsöng fogadták hang hívás közben T1 T2 T3 T4 T5 T6

37 Összefoglalás 1. Kihívások a szoftvertesztelés során Gyors fejlődés 2. Hogyan lehet a szoftverek helyességét folytonosan vizsgálni? Regressziós tesztelés

38 Összefoglalás 3. Tesztelés automatizálása a mesterséges intelligencia felhasználásával Releváns tesztesetek Képküldés Csoportos beszélgetés T1 T2 T3 Videóhívás Üzenetküldés Matricák v1 v1 T4 T5 T6 v2 Fókuszált