I N T E R F A C E: MM felhasználói szempontú minősítésére szolgáló tesztelő környezet (INTegrated Evaluation and Research Facilities for Assessing Computer-users' Efficiency) Izsó Lajos Budapesti Műszaki Egyetem Nyitott- és Távoktatási Laboratórium 1111 Budapest, Egry J. u. 1. E. ép. III/11 1. Az oktatási MM anyagok minőségének meghatározói Az oktatási MM termékek minőségének meghatározóiról sajnálatosan kevés jól dokumentált kutatási eredménnyel rendelkezünk. Az ide vonatkozó kis számú közlemények közül BARKER és KING (1993) munkája különösen fontos. Ezek a szerzők a tanulási folyamat megtervezésének (learning design) a színvonalát befolyásoló tényezőkről igyekeztek tájékozódni és ennek érdekében 43 oktatási MM terméket vizsgáltak meg igen alaposan az Egyesült Királyságban sztenderd eljárással a következők szerint: 16 esetben felhasználói (user) teszteket is végeztek, 16 esetben legalább két független szakértő értékelt, 11 esetben csupán egyetlen szakértő értékelt. A vizsgált oktatási MM termékek túlnyomó részben CD-n lettek forgalmazva és rendeltetésük szempontjából a következő széles spektrumot fogták át: a viszonylag egyszeru szaktárgyi oktatóprogramoktól kezdve a különböző elektronikus enciklopédiákon át a HIFI hang- és képminoségű szimulációs programokig terjedtek a kategóriák. A termékek minőségére kialakított heurisztikus értékelésen (hosszabb használatot követő összbenyomáson) alapuló rangsort a következő - megfelelő horgonypontokkal definiált és sztenderdizált - dimenziókkal vetették egybe: 1. Engagement (Érdeklődés lekötése) 2. Interactivity (Interaktivitás) 3. Tailorability ("Testre szabhatóság") 4. Appropriateness of MM mix (Médiák helyes aránya) 5. Mode and style of interaction (Interakció módja) 6. Quality of interaction (Interakció minősége) 7. Quality of end-user interfaces (Felhasználói felület minősége) 8. Learning styles (Tanulási stílusoknak való megfelelés) 9. Monitoring and assessment techniques (Ellenőrzési és értékelési technikák)
10. Built-in intelligence (Beépített intelligencia) 11. Adequacy of ancillary learning support tools (Kiegészítő tanulás-támogató eszközök megfelelése) 12. Suitability for single user/group/distributed use (Alkalmasság egyéni vagy csoportos használatra) A kövérrel kiemelt 1, 2, 3, 6, 7, és 8 dimenziók gyakorlatilag valamennyi termék esetén meghatározóknak bizonyultak, míg a többiek vagy csak bizonyos kategóriájú termékek (pl. nyelvoktató rendszerek vagy enciklopédiák) esetén mutattak kapcsolatot a minőségi rangsorral, vagy egyáltalán nem. Az "Érdeklődés lekötése" elsosorban szaktárgyi didaktikai kérdés, az "Interaktivitás", a "Testre szabhatóság", "Interakció minősége" és a "Felhasználói felület minősége" szoftverergonómiai jellemzők, míg a "Tanulási stílusoknak való megfelelés" a tanulók egyéni információ-feldolgozási (kognitív) stílusaival való összhangra utal. Úgy véljük, hogy a szaktárgyi didaktikai meghatározó jelentősége kézenfekvő és további magyarázatot nem igényel. A szoftver-ergonómiai jellemzőknek a vizsgálatban igazolt fontossága azt hangsúlyozza, hogy az oktatási MM anyagok speciális szoftver termékek, amelyek minőségét - természetesen a pedagógiai-didaktikai jellemzők mellett és gyakran azoknak alárendelve - a szoftver-ergonómiában azonosított tényezők is meghatározó módon befolyásolják. Az egyéni kognitív stílusok kérdése is a szoftver-ergonómia eszközeivel kezelhető a "Testre szabhatóság" megfelelő kiterjesztése útján. 2. Az oktatási MM anyagok minősítésének módszerei Az oktatás minőségbiztosításának a kérdése napjainkban általában is rendkívül aktuális probléma, aminek a tárgyalására ehelyütt nem térhetünk ki. Az oktatás minoségének a problémája azonban különös súllyal vetődik fel az olyan képzési formák esetén, amelyek nem hagyományosak és amelyeknek jelenleg még a puszta létjogosultságukat is bizonyítani kell a közvélemény előtt. A nyitott- és távoktatásra HERNECZKI és munkatársai (1996) dolgoztak ki minőségbiztosítási rendszer-modellt. A nyitott- és távoktatás alapvető tanulási formája az önálló tanulás, amelyet napjainkban már általában informatikára épülő oktatástechnológia támogat. Az oktatási MM anyagok a korszerű oktatástechnológia gyakran alkalmazott eszközei, a továbbiakban ezek minősítésének módszereivel foglalkozunk röviden. Megállapítható, hogy egyfelől az oktatási MM is meghatározott szoftver termék, ezért a szoftverekre, illetve azok előállítására vonatkozó következő minoségi követelmények ezen a speciális területen is relevánsak: Termékminősítésre: ISO/IEC 9126, ISO/DIS 9241, ISO/IEC 14598 Rendszerminősítésre: ISO 9000-3. Az oktatási MM másfelől természetesen oktatási anyag, ezért a megfelelő szaktárgyi módszertani, didaktikai szempontok, valamint a felhasználók (tanulók) specifikus igényei és szempontjai is figyelembe veendők. Nem állnak rendelkezésre olyan elméletek, amiből a magas minoségű MM készítésének módszerei egzakt módon levezethetők lennének, az eddig felhalmozódott tapasztalat sem elegendő arra, hogy megbízható tapasztalati szabályok lennének felállíthatók. Ebben a helyzetben megítélésünk szerint a legcélszerűbb megközelítés iteratív jellegű: a tényleges
felhasználóktól (tanulóktól) tényleges tanulási szituációban, alkalmas technikákkal történő adatszerzés és folyamatos törekvés az így nyert tapasztalatok pedagógiai és pszichológiai fogalmi keretekben történő értelmezésére, valamint az újabb MM termékek tervezése során történő hasznosítására. Ezek a ciklusok az újabb MM termékek tervezése és vizsgálata során újból és újból megismétlendők. Összefoglalásként az állapítható meg, hogy elvben használhatók a szoftver-ergonómia analitikus értékelő módszerei is (a GOMS-alapú módszerek, a kognitív bejárási technikák és a heurisztikus módszerek), de elsősorban a tényleges felhasználók (tanulók) bevonásával tényleges tanulási szituációban alkalmas technikákkal elvégzett empirikus módszerek ajánlhatók. Ezen írás további részében egy olyan munkaállomást ismertetünk, amelynek a segítségével ilyen felhasználói tesztek a korszerű szoftver-ergonómia eszköztárának felhasználásával megfelelő egzaktsággal elvégezhetok. 3. INTERFACE: MM anyagok felhasználói szempontú értékelésére és minősítésére alkalmas munkaállomás 3.1. A rendszer elvi alapjai A munkaállomás feladata az ember-számítógép interakció meghatározott elméleti modellekre épülő kísérleti vizsgálata, valamint a különböző egyszerű és multimédiális szoftver termékek felhasználói felületének tudományosan megalapozott és gyakorlati célok érdekében is hasznosítható vizsgálata és minősítése a hatályos ISO/IEC 9126, valamint a jóváhagyás elott álló ISO/IEC 14598 nemzetközi szabványok alapján. Ennek érdekében technikai lehetőségeket biztosít az ember-számítógép interakció lehetőség szerinti legcélszerűbb és legteljesebb rögzítésére abból a célból, hogy az interakció célszerűen kiválasztott legfontosabb történései utólag időben szinkronizáltan pontosan rekonstruálhatók és elemezhetők legyenek. 3.2. A regisztrált adattípusok és az ezek alapján felépített adatbázis Az integrált rendszer sokoldalúan támogatja a sokféle adat párhuzamos, szinkronizált vizsgálatát, lehetővé téve egy több szempontot figyelembe vevő komplexebb modell elkészítését és az eredmények helyes kiértékelését. Az INTERFACE szoftver-ergonómiai vizsgáló munkaállomás különböző minoségű adatok begyujtését és integrált feldolgozását végzi el. Az adatok egy részét korábban kifejlesztett és más célokra is használt programok biztosítják (pl. a fiziológiai adatok esetén az ISAX), míg más adatok kezelését elvégző szoftvereket (pl. video-részletek, billentyűleütések, egér-klikkelések rögzítése és feldolgozása) az INTERFACE fejlesztése során készítettünk el. Az ISAX rendszer használhatóságát ilyen célokra bizonyítottuk és publikáltuk: IZSÓ és ZIJLSTRA (1997), IZSÓ és WIETHOFF (1997). A rendszer a különböző módszerrel rögzített adatokat a kiértékelés és elemzés céljából egyszerre jeleníti meg, továbbá az elemzésükhöz korábbi tapasztalataink alapján kialakított célszerű segédeszközöket biztosít (pl. megjegyzések, töréspontok, billentyűszekvencia-figyelések, stb. ). A kezelt fontosabb adattípusok: Billentyűszekvenciák, egér-klikkelések Videofelvételek Fiziológiai változók "Checklist"-ek
Introspekció Visszaemlékezés Szakértői értékelés Kognitív modell állapotjellemzői Az INTERFACE legutóbbi továbbfejlesztése során beépítettünk néhány olyan funkciót, amelyek kifejezetten a multimediális anyagok vizsgálatát támogatják. Megjegyezzük, hogy a munkaállomás segítségével a közelmúltban fejeztük be a MATÁV belföldi számítógépes tudakozó szolgáltatás (CDAS) szoftverének ergonómiai.vizsgálatát: Izsó és munkatársai (1997). Az INTERFACE kialakítása során figyelembe vettük a holland Delfti Műszaki Egyetem és az olasz Sienai Egyetem hasonló fejlesztéseit is. A Sienai Egyetemen például GOBBATO, MARCHIGIANI, PARLANGELI és BAGNARA (1966) multimediális matematikai tananyagok empirikus vizsgálatát végezték el az INTERFACE-hez hasonló rendszerük segítségével. Irodalom Az INTERFACE elvi vázlata BARKER, P., KING, T. 1993, Evaluating Interactive Multimedia Courseware - a Methodology. Computers Educ. Vol. 21, No. 4. pp. 307-319.
GOBBATO, T., MARCHIGIANI, E., PARLANGELI, O., BAGNARA, S. 1966, Experimental Evaluation of the Distance Delivery Course of Mathematics. MULTED PROJECT n. 7524. University of Siena. HERNECZKI K., DEBRECZENI P., MOSON P., MORENO, J. M. 1996, A nyitott- és távoktatás minoségbiztosításának rendszer-modellje. In: Távoktatás-fejlesztési tanulmányok. A Nemzeti Távoktatási Tanács kiadványai, 6. 1997, Budaapest. Izsó L., MISCHINGER G. (szerk.), PALOTAI S., Szabó gy. 1997, A belföldi számítógépes tudakozó szolgáltatás (CDAS) szoftverének ergonómiai vizsgálata (Összegzo tanulmány). 48 oldal + mellékletek. Budapesti Muszaki Egyetem, Ergonómia és Pszichológia Tanszék. IZSÓ, L., ZIJLSTRA, F. 1997. Efficiency in Work: An approach to interface evaluation and - design. Paper presented at the 8th European conference on Work and Organizational Psychology. Proceedings p. 39. April 2-5, 1997, Verona, Italy. IZSÓ, L., WIETHOFF, M. 1997. Some empirical findings on heart period variability as measure of mental effort in human computer interaction. Paper presented at the 13th Triennial Congress of the International Ergonomics Association. Proceedings Volume 5 pp. 350-352., June 29 - July 4, 1997, Tampere, Finland.