R3-COP. Resilient Reasoning Robotic Co-operating Systems. Autonóm rendszerek tesztelése egy EU-s projektben

Méret: px

Mutatás kezdődik a ... oldaltól:

Download "R3-COP. Resilient Reasoning Robotic Co-operating Systems. Autonóm rendszerek tesztelése egy EU-s projektben"

Egon Kozma
5 évvel ezelőtt
Látták:

1 ARTEMIS Joint Undertaking The public private partnership in embedded systems R3-COP Resilient Reasoning Robotic Co-operating Systems Autonóm rendszerek tesztelése egy EU-s projektben Micskei Zoltán Budapesti Műszaki és Gazdaságtudományi Egyetem (BME)

2 Az R3-COP projekt EU kutatási projekt Ipar és akadémia 2

3 Autonóm rendszer Olyan rendszer, ami döntéseket hoz és hajt végre egy adott cél elérése érdekében közvetlen emberi beavatkozás nélkül. Forrás: Connelly, J. et al.: Challenges in Autonomous System Development, 2006 (nem csak robot lehet, de most arra koncentrálunk) 3

Motiváció robotok Robotok száma: ~8 millió Nem csak ipari használat Market Size (1000$s) $70 000 000 $60 000 000 $50 000 000 $40 000 000 $30 000 000

4 Motiváció robotok Robotok száma: ~8 millió Nem csak ipari használat Market Size (1000$s) $ $ $ $ $ $ $ $0 Home Medical/Welfare Public Sector Bio-Industrial Manufacturing Year IEEE Spectrum. World Robot Population Reaches 8.6 Million 4

5 A projekt ipari demonstrátorai (részlet) Care-O-bot (Fraunhofer, Siemens) Laser Guided Vehicle (Elettric 80) Robotporszívó (Philips) 5

6 Közös kihívások autonóm rendszerek tesztelésekor Környezetfüggő viselkedés Bonyolult, nyílt környezet nagyszámú szituáció Tanulás és adaptáció Emberekkel való együttműködés 6

7 elési módszerek (ipari tapasztalat) elés valós robottal, valós környezetben Legpontosabb eredmény, de Drága, lassabb tesztvégrehajtás, nehéz megvalósítani Felvett szenzoradatok visszajátszása Valós adatokon alapul, regresszió tesztelése Beavatkozás eredménye? Lefedettség? Teljes környezet szimulálása Bonyolult, egyedi tesztesetek is, de Nem képes minden részletet visszaadni 7

8 R3-COP tesztelési feladatok Szenzorok tesztelése (pl. gépi látás) Tárgy Ember Robot (SUT) Viselkedés tesztelése Együttműködés tesztelése (pl. protokollok) Robot Robot 8

9 Nyitott kérdések Hogyan készítsünk teszteket? Környezet állapota a tesztesetek része Lehetséges szituációk szisztematikus bejárása Biztonságos viselkedés ellenőrzése? Robusztusság és biztonságosság Extrém, váratlan környezetek lefedettség mérése? Általános módszer mindehhez? 9

10 elési célok a viselkedés tesztelésére Feketedoboz, rendszer szintű tesztelés Biztonságosság és robusztusság vizsgálata Szituációk komplex kombinációja Szimulátor felhasználása 10

Akció Orákulum orákulum értékelés Lefedettségi mértékek

11 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés Forgatókönyvek lefutás Akció Orákulum orákulum értékelés Lefedettségi mértékek Követelmények precíz ezése Automatizálható, szisztematikus teszt és teszt kiértékelés 11

12 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés Környezet ezése trace Meglévő ontológiák újrafelhasználása (KnowRob) (Technológia: OWL, EMF meta, OCL kényszerek) Scenariok Akció oracle oracle értékelés Fedettségi mértékek 12 12

elési módszer Kontextus és követelmény ezés Kontextus

Követelményleíró nyelv definiálása: Kézi lépés

akció sorozatok UML SD operátorok + modalitások Akció

13 elési módszer Kontextus és követelmény ezés Kontextus Forgatókönyvek adat adat végrehajtás trace Jelölések: Követelményleíró nyelv definiálása: Kézi lépés Kontextus minták (kezdeti, belső) Eszközök Esemény és akció sorozatok UML SD operátorok + modalitások Akció oracle oracle értékelés Fedettségi Előfeltétel mértékek Előírás 13 13

bővítése Extrém konfigurációk a (kényszerek alapján) Akció Leképezhetők konkrét oracle reprezentációra (pl.

14 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés Scenariok trace Kontextus ek (absztrakt teszt adatok) a Kezdeti kontextus minták kombinálása és bővítése Extrém konfigurációk a (kényszerek alapján) Akció Leképezhetők konkrét oracle reprezentációra (pl. szimulátorhoz) Fedettségi oracle értékelés mértékek Keresési módszerek teszt lefedettségi elvárások alapján 14 14

15 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés Forgatókönyvek Akció oracle oracle trace lefutás rögzítése: Események, akciók, változások értékelés Fedettségi mértékek 15

követelményre orákulum a: Megfigyelő automata Gráfminták és

16 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés lefutás értékelése Scenariok minden követelményre orákulum a: Megfigyelő automata Gráfminták és eseményszekvenciák illesztése Akció oracle oracle lefutás értékelés Lefedettségi mértékek

17 elési módszer Kontextus adat adat végrehajtás Jelölések: Manuális Automatikus Kontextus és követelmény ezés lefedettség számolása Környezeti elemei alapján Forgatókönyvek teljesítése alapján Scenariok Akció oracle oracle lefutás értékelés Lefedettségi mértékek

18 További információ Weiss, L.G.: Autonomous Robots in the Fog of War. In: IEEE Spectrum, 48.8, (2011) doi: /MSPEC Tenorth, M., Beetz, M.: KnowRob Knowledge Processing for Autonomous Personal Robots. In: IEEE/RSJ International Conference on Intelligent Robots and Systems, , IEEE Press, New York (2009) doi: /IROS Nguyen, C.D., Perini, A., Tonella, P., Miles, S., Harman, M., Luck, M.: Evolutionary Testing of Autonomous Software Agents. In: Proc. AAMAS (1) , (2009) Scrapper, C. et al.: MOAST and USAR-Sim: A Combined Framework for the Development and Testing of Autonomous Systems. In: Proc. of SPIE 6230, 62301T (2006) doi: / Zoltán Szatmári, János Oláh, István Majzik: Ontology-Based Test Data Generation Using Metaheuristics. ICINCO

Összefoglalás Jelenlegi hiányosságok: Informális követelményleírás Környezetfüggő viselkedés leírása nehézkes Adaptivitás gondot okoz Ad-hoc teszt adatok használata Kézi teszt megadás Tipikus

19 Összefoglalás Jelenlegi hiányosságok: Informális követelményleírás Környezetfüggő viselkedés leírása nehézkes Adaptivitás gondot okoz Ad-hoc teszt adatok használata Kézi teszt megadás Tipikus konfigurációk Hiányzó teszt minőségi mértékek Környezeti konfigurációk tesztelésének mérése Követelmények lefedettsége Javasolt megoldások: Precíz követelményleírás Környezet (kontextus) és akciók ezése Forgatókönyvek ezése Szisztematikus, alapú teszt adat Környezet ek alapján Extrém konfigurációkra is Modell alapú teszt lefedettségi mértékek Környezetfüggő lefedettségi mértékszámok Forgatókönyvek lefedettsége Micskei Zoltán, Hibatűrő Rendszerek Kutatócsoport, 19

Hasonló dokumentumok

Modell alapú tesztelés mobil környezetben

Modell alapú tesztelés mobil környezetben Micskei Zoltán Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék A terület behatárolása Testing is an activity performed