Bán Anetta MULTIMÉDIÁS OKTATÓANYAGOK ÉRTÉKELÉSE ÉS A MINŐSÉG KÉRDÉSEI Bevezetés, problémafelvetés Hazai és nemzetközi tapasztalatok is mutatják, hogy alkalmas multimédiás oktatóprogramok használatával javítani lehet az oktatás hatékonyságát. Két kérdés is felvetődik azonban ezzel a kijelentéssel kapcsolatban. Az egyik: vajon milyen is az alkalmas, mondhatni "jó" program, melyek a jóság kritériumai. A másik: vajon mit is jelent pontosabban a hatékonyság javulása. Egy oktatási segédeszköz, tehát pl. egy oktatóprogram hasznossága megítélhető-e kizárólag annak alapján, hogy egy adott teszttel vagy más módon egy kontrollcsoportéhoz képest kimutatható-e teljesítményjavulás. Ezeknek a kérdéseknek a vizsgálata nemcsak a pedagógiai munka eredményességének a szempontjából, hanem célszerűségi és gazdaságossági okok miatt is fontos. Egy multimédiás program - legalábbis a mai feltételek mellett - sok időt, munkát és költséges környezetet igényel. Meggondolandó tehát, hogy megtérül-e a befektetés vagy pedig hasonló hatékonyság elérhető más, egyszerűbb eszközökkel is. Ezekre a kérdésekre még nem született meg a kimerítő válasz, időnként heves viták lángolnak fel a szakfolyóiratok hasábjain is a kérdéskör elemeit vagy egészét illetően. A vélemények erősen megoszlanak, gyakran szélsőségesen eltérőek, amelynek egyik oka az is lehet, hogy a fogalom-, ill. szempontrendszer nem egységes. Az értékelés mint folyamat az élet különböző területein jelen van, megadott szempontok szerinti adatgyűjtés, adatelemzés és összegzés formájában. Az adatgyűjtés elsősorban mérési eredmények előállítását jelenti, de terjedőben van az a szemlélet, amely szerint nagyszámú bonyolult, összetett objektum esetében az erőltetett kvantifikálásnak több a hátránya, mint az előnye. Sok esetben a mérés a mélyben zajló folyamatoknak csak a felszíni megnyilvánulásait képes regisztrálni, kérdéses a validitás, az érvényesség: valóban azt mérem-e az észlelhető indikátorral, amit akarok. A hatvanas évektől kezdve elsősorban a gazdaság jelenségeinek elemzésére és nem utolsósorban előrejelzésére dolgoztak ki kvalitatív értékelési módszereket, amelyeknek a pedagógia területére való
adaptálása célszerűnek és hasznosnak tűnik, kiegészíti a kvantitatív eredményeket. A módszerek kombinálásával széles spektrumú, átfogó kép alakulhat ki magáról az oktatóprogramról. 1 Ahhoz, hogy oktatóanyagok értékeléséről beszéljünk, kikerülhetetlen, hogy magáról a minőségről, hatékonyságról, programvizsgálatról is szót ejtenénk. Mi a minőség? Az oktatás minősége összetettebb fogalom, mint az eredményesség, a színvonal vagy éppen a hatékonyság, hiszen ezen fogalmak általában külső, államigazgatási elvárásokhoz való alkalmazkodást jelentenek, addig a minőség elsősorban a felhasználók igényeinek megismerését és kielégítését szolgáló belső kezdeményezés nyomán jön létre. A minőséget sokan és sokféleképpen próbálták meghatározni, néhány megfogalmazás közülük: Juran: A minőség a használatra való alkalmasság. Freund: A minőség a termék vagy szolgáltatás azon jellemzőinek összessége, amelyek lehetővé teszik, hogy megfeleljen a kimondott vagy kimondatlan igényeknek. Crosby: A minőség a vevőkkel közösen megállapított követelmények teljesítése, és módosítások kezdeményezése a vevői igényeknek való jobb megfelelés érdekében. Shiba: A minőség a szabványnak, a felhasználásnak, valamint a kimondott és rejtett vevői igényeknek történő megfelelés. 2 Valamennyi meghatározás szerint a minőség: a tágan értelmezett vevői igényekből vezethető le, minden szolgáltatónak saját minőségfogalom jár, folyamatos újraértelmezést és javítást igényel. Ha az oktatás minőségfogalmát keressük, visszanyúlhatunk az ISOszabványcsalád által használt minőségfogalomhoz, amely szerint: Minőségnek nevezzük valamely termék vagy szolgáltatás olyan jellemzőinek összességét, amelyek alkalmassá teszik azt a vevők kifejezett és rejtett igényeinek minél teljesebb kielégítésére. Ha ezt a fogalmat lefordítjuk az oktatás nyelvére, a következő meghatározást kapjuk: Minőségnek nevezzük azon jellemzőket, 1 Forgó Sándor: A multimédiás oktatóprogramok minőségének szerepe a médiakompetenciák kialakításában (http://www.oki.hu/cikk.asp?kod=2001-07-it-forgo-multimedias.html) 2 Varga Lajos: A minőségügy fejlődése. I., Minőség és Megbízhatóság, 1998/4., 151.
amelyek az oktatást alkalmassá teszik az iskola-felhasználók kifejezett és rejtett igényeinek minél teljesebb kielégítésére". 3 Az oktatás minősége, az oktatási folyamat elemeinek a minősége, valamint a minőséggel kapcsolatos intézményi tevékenységek, feladatok mint a minőségbiztosítás, ellenőrzés, illetve az intézmények külső minősítése várhatóan egyre nagyobb szerephez jutnak. A minőségbiztosítás igénye nem elhanyagolható tényező. Megvalósítása a tervezés során fokozott gondosságot, körültekintést követel, a végrehajtás során pedig a munkaerőpiac visszajelzését. Három különböző visszacsatolási kör segít az oktatási folyamat tervezésekor a felvázolt feladatok megoldásában. 4 Minőségirányítás Megfelelőség-irányítás 3. Folyamatirányítás 2. 1. Ellenőrzés Minősítés Oktatási folyamat Szakember Munkaerőpia c 1. Az első visszacsatolási kör az oktatási folyamat során a tanároktól, tanulóktól nyert tapasztalatok összegyűjtését jelenti. 2. A második visszacsatolás az intézményben végzett oktatás eredményességéről ad információt a követelményrendszer függvényében az intézmény számára, és lehetőséget ad az intézményi oktatásszervezés hatásfokának a növelésére, a minőség javítására. 3. A munkaerőpiac értékítéletét, az intézmények külső megítélését jelenti ez a kör, amely a képzési profilok helyes meghatározásához nyújthat hathatós segítséget. 5 3 Dr. Setényi János: A minőség kora. Bevezetés az iskolai minőségbiztosítás gyakorlatába. Raabe, Bp. 1999. 4 Dr. Gubán Gyula: Tanterv-adaptáció. A középfokú szakképzés fejlesztése Phare-támogatással. Tanulmányok. Munkaügyi Minisztérium, Bp., 1997., 108-116. 5 Dr. Gubán Gyula i. m.
A minőségbiztosítás célja A minőségbiztosítási rendszer kiépítésének célja: az oktatás színvonalának emelése. A rendszer kiépítésével érhető el, hogy minden tanuló számára minőségileg garantált, a felemelkedés esélyét adó képzést biztosítanak. A szakképzés tekintetében a minőségbiztosítási rendszer főbb vizsgálati területei: Az intézmény által kínált oktatási szakmai program tartalmában és színvonalában megfelel-e a gazdaság helyi, regionális igényeinek, A gazdaságnak szüksége van-e az intézmény által képzett hallgatókra, létszámban, összetételben, Az intézmény képes-e annak oktatására (megfelelőek-e a személyi és tárgyi feltételek). Képzési szolgáltatások és a minőség Az iskola alapvető feladata a képzés hatékonyságának megvalósítása, a szakpedagógiai jelenlét igénye és szükségessége, ezzel a minőségi képzés fenntartása. A minőség értékelhető, mérhető. Ezek egyébként a szakpedagógia eszköztárában is szerepelnek, mint pl. a képzés minőségi normatívái: kritérium, standard, indikátor, protokoll. Ezen kritériumok alapján szervezhetőek a képzés tantárgycsoportjai, azok működésének folyamatos elemzése, a szükséges változások szakaszonként történő bevezetése. Ezek hozzárendelendők az oktatás-képzés valamennyi vonatkozásához, így ezek együttesen a képzési szolgáltatás minőségének fokozatát jelentik. TQM és ISO 9000 Az oktatás sem mentes azoktól a hatásoktól, amelyeket a gazdaság követ, így szembesülünk az oktatásban is a gazdaság minőségügyi rendszerével, rendszereivel. A nemzetközi gyakorlatban két alapvetően eltérő megközelítésű minőségbiztosítási rendszer működik az ISO (Nemzetközi Szabványügyi Szervezet) műszaki megközelítésű, dokumentált folyamatszabályozás; TQM (Teljeskörű minőségmenedzsment) önértékelésen alapuló, szervezeti kultúrát teremtő szabályozás. Az ISO és TQM rendszerében és szemléletében több érzékelhető különbség van, ami a szakképzés vonatkozásában figyelembe veendő. A TQM megvalósításának sem nem feltétele, sem nem következménye az ISO alkalmazása. Míg az ISO a működésre/működtetésre orientált, a TQM
ember/hatékonyságközpontú rendszer. Az ISO és a TQM elemei számos vonatkozásban érintkeznek, az ISO kényszerpálya, hathatós eszköz a képzés különböző szakaszai minőségi szavatolhatóságának. 6 Ma, amikor különböző szemléleti és más okokból egyre nő a külső résztvevők, vállalkozók száma az oktatási rendszerben, a külső és belső résztvevők együttes minőségfejlesztésében, a beszállítók vagy külső szolgáltatók minőségtartásában vegyes megoldások lehetségesek. Nincs tehát a két rendszer alkalmazásában vagylagosság, hanem tartalmuknak megfelelően használandók fel a képzésben. 7 Mit értékelhetünk? A minőség vizsgálata összetett vizsgálat bármelyik rendszert is vesszük alapul. Mit is kellene értékelnünk? Az oktatási minőségbiztosítás kiépítése és alkalmazása több szinten lehetséges: program, intézmény, település, térség és az ország szintjén. Az alkalmazás szintjeinek elkülönítését az teszi szükségessé, hogy a vevők, szereplők és a feladatok szintenként erőteljesen különböznek. 8 Programszintű minőségirányítás Ez a szint még nem tekinthető a minőségbiztosítás bejáratott területének. Ez részben összefügg a program mint képzési szint hiányos és részleges kialakulásával. Rövid tanulmányomban e szintről szeretnék csak szólni, hiszen doktori témámhoz - Képzési programok beválásának egzakt vizsgálata - e szint minőségirányítása kapcsolódik szorosan. Kinek fontos ez? Olyan szervezeteknek, amelyektől elsősorban programokat vesznek vevőik. Ma már egyre több intézményvezető ismeri fel, hogy a kínált programok változatossága, eltérő tartalmai, kimenetei és a programok közötti átjárhatósága meghatározó tényezője lesz iskolája boldogulásának. A programszintű minőségirányítás célja az, hogy az adott program bemenetét, folyamatát és kimenetét szabályozza és folyamatosan javítsa, annak érdekében, hogy az a lehető legjobban megfeleljen a vevői igényeknek. A Magyarországon elindított kísérleti programok többsége pedagógiai és tantervszervezési elgondolások mentén szerveződő tevékenység. A vevői 6 Bernáth József Mezei Gyula: Szakmai fejlesztés, szaktanácsadás, szakértés, Bp., 2000. 7 Szakképzési Szemle 1999/3., 349. 8 Dr. Setényi János i. m.
igények és visszajelzések beépítése ma is ritkaságnak számít. A végzettek utókövetése és az eredményekből levont következtetések feldolgozása gyerekcipőben jár. 9 A programszintű minőségirányítás leginkább abban különbözik az intézményi minőségirányítástól, hogy a program mérete és kiterjedése általában kisebb az intézménynél. A programszintű működés és minőségirányítás szereplői: Elsődleges vevők: - a tanulók - a szülők, - a képzésben belső vevőkként közreműködő oktatók. Közvetett, másodlagos vevők: - a képzés költségét egészben vagy részben álló, de közvetlenül nem érintett kormányzat, - szakmai működésért felelős fenntartó, általában önkormányzat, - munkaadók. A programszintű működés minőségfogalma az intézményitől nem különböző módon épül fel. A minőségfogalomnak a programot választó hallgatók és a többi vevők igényein kell alapulnia. A nagyobb képző szervezetek és intézmények esetében lehetőség van arra, hogy a képzésnek irányt adó minőségfogalmat programonként dolgozzák ki, és az intézmény minőségfogalma csak a programok kerete legyen. Mivel az oktatásban a programok szintjén a legkisebb a távolság a hallgatók és az oktatók között, itt a legkönnyebb a visszajelzések és az eredmények beépítése. A programszintű minőségirányítás mint tudatos és szervezett tevékenység minimum 3 tevékenységet ölel fel: a program és a képző intézmény rendszeres hallgatói véleményezése, a programban dolgozó oktatók rendszeres önértékelése a program és a képző intézmény működését illetően, a hallgatói vélemények és az oktatói önértékelés folyamatos feldolgozása és a tapasztalatok beépítése. A programértékelés területén 2 feladata van a minőségirányításban közreműködőknek: 9 Dr. Setényi János i. m.
1. Megtervezni a programértékelés folyamatát. Rögzíteni, hogy milyen vevői visszajelzések rendszeres bekérése látszik célszerűnek, ki vesz részt a vevői visszajelzések bekérésében, milyen eszközökkel végzik azt, és ki felelős ezért. Azaz szabályozzák a folyamatot. 2. Ezután a vevői visszajelzések kezelésének és hasznosításának elfogadott és dokumentált folyamatát a gyakorlatban is működtessék. Fontos, hogy a programért felelős vezetők és a program oktatásában kulcsszerepet játszó oktatók egyaránt részt vegyenek a vevői visszajelzések feldolgozásában. Képzési programok beválásának vizsgálata Leendő kutatásom célja, hogy képzési programok, a programok beválásának összehasonlításával, vizsgálatával egy egzakt mérési módszert dolgozzak ki, mely az iskolák minőségbiztosításának aktív részét képezi a továbbiakban, a szakoktatás színvonalának emelése érdekében. A kutatás azt is fel kívánja tárni, hogy hogyan tükröződik a munkaerő-piaci kereslet megváltozott tartalma és szerkezete az iskolai oktatásban, azaz milyen módon hatott a gazdasági szerkezetváltozás Magyarország egy kiemelt ipari régiójában (Dunaújváros és térségében) a szakképzésre. Kutatási programom arra irányul, hogy segítségével feltárjam, milyen lehetőségei, perspektívái vannak Magyarországon a különféle képzési programoknak. Megvizsgálom, hogy a különböző oktatási intézmények milyen alapokat szolgáltatnak a munkaerő-piacon való eredményes részvételhez. Ennek a rendszernek egyik, de igen fontos összetevője az okatatóanyagok minőségének vizsgálata. Értékelési szempontok Amikor értékelésről beszélünk néhány fontos metodológiai szempontot szem előtt kell tartani. A pedagógiai értékelési eljárásoknak az alábbi három alapvető elvárást kell kielégíteniük: legyenek objektívek, érvényesek és megbízhatóak. Egy képzési program értékelése, követelményrendszerhez viszonyított értékelés, ezen belül pedig kritérium orientáltságú, hiszen a pontosított követelményeket tekinti a mérés alapjának, azaz a tanulók teljesítményeit meghatározó követelmények adják a viszonyítási alapot. A tantervi értékelés segítségével olyan tantervfejlesztési kérdéseket tudunk megválaszolni, mint pl. tantervi célok alakítása (célokban hangsúlyozott értékek, elvárások), tananyagok elemzése, viszonyai, taneszközök megfelelő kiválasztása, vizsgálata
Az alkalmazott értékelések két fő eljárást követhetnek. Egyrészt szükséges lehet a használatban lévő dokumentumokkal kapcsolatos tapasztalatoknak az elemzése, másrészt a tervezett változtatások előzetes kutatásokat, kísérleti módszereket is hasznosító kontrollja és várható fogadtatásuk számbavétele. Kutatásomban e két szempontot, eljárásmódot szeretném összekapcsolni, ezáltal alkalmassá tenni a tervezett és a futó programok értékelésére egyaránt. A kritériumok összeállításában egy teljes kritériumrendszert kell kialakítani, jelezve azt, hogy nem mindegyik kritérium releváns valamennyi program esetén. Ez adja a rendszer rugalmasságát és ezért módszerünk jól használható egymástól eltérő képzési programok esetén. A kritériumok között természetesen vannak olyanok, amelyek nélkül egy adott program nem működhet. Ahhoz, hogy elfogadható legyen valamely képzési program, két kritériumcsoportot kell teljesítenie: megfelelőnek kell lennie önmagában véve (belső kritériumok), és ugyanakkor piacképesnek is kell lennie (külső kritériumok). A kritériumok teljesülését pontokkal értékeljük; kategóriákba soroljuk, zárt kérdésként kezeljük a könnyebb számszerűsítés végett. A kritériumok eltérő mértékben (súlyban) jelennek meg, így a programok értékelése, pontozása súlyozással is történik. E kritériumrendszernek köszönhetően többféle kimenete lehet értékelésünknek: Ha az elengedhetetlen kritériumok nem teljesülnek, a program nem megfelelő; Ha az előbbiek teljesülnek, akkor a súlyozás figyelembe vételével minősíthetjük magát a programot (például: megfelelő, nem megfelelő ). E kritériumvizsgálat technikailag könnyen lebonyolítható és megismételhető, ezáltal alkalmas nagyobb összehasonlítások elvégzésére is. Az értékelés menete 1. Az értékelési szempontok összeállítása, az elengedhetetlen kritériumok megállapítása és vizsgálata, hogy alkalmas-e a programok minősítésére. 2. A szempontok kategóriájának, skálájának kialakítása; az értékelési rendszerben való súlyozása. 3. Az adott kritérium értékelőjének, értékelési módjának és értékelési ütemének kialakítása. 4. A kialakított értékelési rendszer minősítése. 5. Képzési programok vizsgálata a kritériumrendszer segítségével.
Multimédiás oktatóanyagok értékelése Egy multimédiás oktatóanyagot nem lehet a hagyományos oktatóanyagok értékelési módjával vizsgálni, új eljárásmódokat, szempontokat kell figyelembe venni. Hiszen egy-egy termék minősítésekor nemcsak a tartalmat és az alkalmazott pedagógiai módszereket, hanem technikai, esztétikai, pedagógiai és szaktudományos szempontokra is kell figyelmet fordítani. A minőség-ellenőrzés ezen módszerei a legtöbb országban már bevezetés alatt állnak, illetve kialakulóban vannak. A minőség-ellenőrző rendszernek a következő követelményeknek kell megfelelniük: - a minőségellenőrző rendszer tükrözze az eszközök sajátosságait és műfaji sokféleségét, - a minősítés segítse elő az eszközök helyes oktatási felhasználását. 10 Az oktatóeszközök értékelése előtt, azokat csoportosítani szükséges, hiszen értékelésük a funkcióból indul ki. Elsődlegesen meg kell határozni, hogy az adott tárgy oktatásához ilyen műfajú taneszköz jöhet számításba, ezután következhet a tartalom szakszerűségének ellenőrzése. Az értékelést végző szakember egyik legfontosabb feladata az, hogy meghatározza: a számos lehetséges bírálati szempont közül melyik a releváns. Ehhez a taneszköz fő funkcióját kell megismerni, amelynek minősítése az egész értékelési eljárás középpontjába kerül. A SODIS (német szoftverértékelő központ) a következő szempontok szerint minősít évente 700-800 új oktatási szoftvert: A taneszköz nélkülözhetetlensége: az adott tartalmat tényleg digitális taneszközzel lehet-e a legjobban oktatni? A képzési cél: világos megfogalmazása, relevanciája, korszerűsége, kapcsolódása a tantervhez és az iskolai oktatás kultúrájához. A tartalom helyessége és tudományos érvényessége, autentikussága. A tartalom megjelenítése rugalmas, értelmes, követhető-e? Az oktatási módszerek alkalmazkodnak-e a szokásos iskolai módszerekhez? A didaktikai megoldások megfelelnek-e az adott tanulócsoportok igényeinek? A tananyag alkalmazható-e különféle előképzettségű, képességű és igényű csoportok esetében? 10 Kárpáti Andrea: Oktatási szoftverek minőségének vizsgálata: www.oki.hu/upsz./2000-03/karpati/oktatasi.htm
A nyelvezet érthető, helyes és érzékletes-e? Tartoznak-e kiegészítő anyagok (digitális és nyomtatott taneszközök, internetes címek) a szoftverhez? Segítik-e ezek a sokoldalú és könnyű felhasználást? A felépítés áttekinthető-e, van-e mindenhonnan hozzáférhető navigációs segítség? Követi-e a hypertext szerkezet a tananyag logikáját és a bemutatandó tudásanyag hierarchikus felépítését? Segítik-e a beépített kapcsolódási pontok a témakör áttekintését, a témák kapcsolatainak feltárását? Van-e kísérő leírás a tananyag szemantikájáról, amely a tanár tervezőmunkáját megkönnyíti? Van-e könnyen használható kereső rendszer, amely az anyag sokoldalú feldolgozását megkönnyíti? A multimédia-megoldások relevánsak és szükségesek-e? A több csatornás információmegjelenítés segíti-e a tananyag jobb elsajátítását, vagy motivál, szórakoztat? A grafika és tipográfia a vizuális kommunikációs, az ergonómia és az esztétika elveinek megfelelő-e? Jól olvasható-e a szöveg, az adott korosztály számára vonzóak-e a képek? Elfogadható minőségűek-e a filmek és hangzó anyagok? Megfelelő-e a szöveg és kép aránya? Érthetőek-e a tipográfiai jelképek (pl. a kiemelések, kapcsolatok jelzései)? Az installáció egyszerű-e, a működtetés biztonságos-e? (Pl.: tanárbiztos versus nyitott, rugalmasan testre szabható termékek.) Van-e szolgáltatáscsomag a szoftverhez? (A használat megmagyarázása, telefonos segítség, kiegészítő termékekről szóló információ küldése, továbbfejlesztett változat felajánlása, oktatási módszerek bemutatója.) Megfelel-e a szolgáltatáscsomag, illetve a szoftverrel szállított információs anyag az üzleti tisztesség követelményeinek? Rendezettek-e a szerzői jogok? Szabályozva van-e az adaptálás, másodfelhasználás, testre szabás? Vannak-e kutatási eredmények a szoftver beválásáról, kísérte-e követő értékelés a fejlesztést? Milyen a kibocsátó cég hírneve? Várható-e, hogy a szoftver egy tananyagrendszer része lesz, a szolgáltatások sokáig fennmaradnak, a továbbfejlesztés folyik? A programok értékelésének módszerei, technikái, eszközei igen változatosak, sok tudományos kutatási módszert felvállalva igen hatékonyak; mint szociológus szeretném e módszerek segítségül hívásával kialakítani egy egzakt, gyakorlatilag jól hasznosítható mérési eljárás alapjait. Egy olyan típusú értékelést kidolgozni,
melyet A. Lewy nyomán posztmodern jellegűnek tekintünk. Ennek fő ismérvei közé soroljuk azt, hogy az értékelés és a mérés a tanítási-tanulási folyamatok integrált részévé válnak, jellemzővé válik a gyakori, szinte állandó jellegű nyomon követés és visszacsatolás. A tartalmakba szervesen beépülnek az ellenőrzés, értékelés különböző formái Összegzés és előremutatás Dolgozatomban megpróbáltam összefoglalni mindazokat az elméleti kiindulópontokat és elképzeléseket, amelyeket vizsgálatomban ki szeretnék alakítani. Jelezve azokat az irányokat és kapcsolódási pontokat, amelyek e multimédiás oktatóanyagok értékelése felé mutatnak, hisz ezek csak egy részét képezik közvetlen kutatási területemnek a képzési programok beválásvizsgálatának. Bibliográfia [BÁTHORY ZOLTÁN: Tanulók, iskolák, különbségek. OKKER Kiadó, Bp., 1997. BENEDEK ANDRÁS: Piacgazdaság és szakképzés. (www.oem.hu/j44741.html) BERNÁTH JÓZSEF MEZEI GYULA: Szakmai fejlesztés, szaktanácsadás, szakértés. Bp., 2000. FORGÓ SÁNDOR: A multimédiás oktatóprogramok minőségének szerepe a médiakompetenciák kialakításában (http://www.oki.hu/cikk.asp?kod=2001-07-it-forgo-multimedias.html) GUBÁN GYULA: Tanterv-adaptáció, A középfokú szakképzés fejlesztése Pharetámogatással. Tanulmányok. Munkaügyi Minisztérium, Bp., 1997., 108-116. KÁRPÁTI ANDREA: Oktatási szoftverek minőségének vizsgálata: www.oki.hu/upsz./2000-03/karpati/oktatasi.htm MARTON JÓZSEF: Önértékelésen alapuló minőségbiztosítási rendszer kísérleti alkalmazásának tapasztalatai a magyar szakképzésben. Szakképzési Szemle, 1998/3., 65-85. SETÉNYI JÁNOS: A minőség kora. Bevezetés az iskolai minőségbiztosítás gyakorlatába, Raabe, Bp. 1999. Szakképzési Szemle 1999/3., 349. TÓTH ETELKA: A minőségbiztosításról. Szakképzési Szemle, 1998/3., 86-89. A szakképzési programok értékelése, szerk. Jari Poikonen, Drahos Péter Munkaügyi Minisztérium, Bp., 1997. Változóban a szakképzés. (www.cegnet.hu/munkaado/0104/ml52-54.html) VARGA LAJOS: A minőségügy fejlődése. I., Minőség és Megbízhatóság, 1998/4., 151.]