Interaktív hallás- és beszédészlelési terápia az Interneten keresztül Vicsi Klára 1, Keresztessy Éva 2, Teleki Csaba 1 1 Budapesti Műszaki és Gazdaságtudományi Egyetem, Távközlési és Médiainformatikai Tanszék, Beszédakusztikai Kutatólaboratórium 2 ELTE Bárczi Gusztáv Gyógypedagógiai Tanárképző Főiskolai Kar, Hallássérültek Pedagógiája Tanszék Absztrakt A szerzők által megvalósítás alatt álló hallás- és beszédészlelést fejlesztő program egyrészt a hallássérült gyermekek intenzív hallásnevelésében nyújt segítséget (3-4 éves kortól), másrészt a cochlearis implantáltak (re)habilitációjának is újszerű segítőeszköze, amely implantált gyermekeknek, felnőtteknek segít az idegi ingerek valósághű értelmezésében. A program Internetről futtatható verzióban készül el, tehát géptípustól függetlenül könnyen, díjtalanul hozzáférhető. A felhasználó az Interneten keresztül jelentkezik be szerverünkre, így használhatja a hallástréning programot, értesülhet az újdonságokról és ugyanakkor fórumokon, levelezőlistá(ko)n, felteheti kérdéseit, megtekintheti a problémákra az általunk javasolt megoldást. Abstract The proposed hearing and speech perception training program will help the education of hearing impaired children by didactically well-constructed and playful exercises using specially constructed databases. Poor hearing abilities are stimulated by different environmental sounds and special speech examples. In this way we develop the ability of the perception and distinction of different sounds and moreover we train the speech understanding and combination skills of children. The program will help the rehabilitation of children with cochlear implant, too. The program will be available through the Internet for everybody free of charge. Keywords: speech perception training, teaching through the Internet, rehabilitation of children, hearing impaired children - 1 -
Célkitűzések Célunk egy olyan hallás- és beszédészlelést fejlesztő program létrehozása, mely a hallássérült gyermekek intenzív hallásnevelésében nyújt segítséget, ahol didaktikusan meghatározott gyakorlatsorok, valamint nagyméretű hangadatbázis segítségével a hallási fogyatékosok megmaradt, beszűkült hallástartományát hangingerekkel igyekszünk mozgósítani, az akusztikus érzékelő és differenciáló készséget fejleszteni, finomítani, illetve a felfogott beszédhangokra építő kombinációs készséget kiépíteni. Továbbá a program a cochlearis implantáltak (re)habilitációjában segít (a műtét utáni hosszan tartó hallásfejlesztésben való részvétellel) és nem utolsósorban a hallásfejlesztési terápiában a terápiát végző szakember munkáját teszi intenzívebbé és változatosabbá, valamint önálló gyakorlásra is lehetőséget nyújt. A program Interneten keresztül futtatható verzióban készül el, tehát géptípustól függetlenül könnyen elérhető. Mindenki számára díjtalanul hozzáférhető. A megoldandó probléma leírása, megvalósítása A hallásveszteség korai diagnosztikájának, a hallásveszteség megállapítása után a gyermekek audiológiai ellátásának, valamint a korai hallásnevelésnek, hallástréningnek igen nagy szerepe van a sérült gyermekek kommunikációs készségének a fejlődésében. A nagyteljesítményű egyéni hallókészülékek megjelenésével az intenzív korai hallásnevelés jelentősége megnőtt, hiszen súlyos fokban hallássérült gyermekek esetében is magas kommunikációs szint érhető el [1, 2, 3]. Az ilyen típusú oktatás mind külföldön, mint Magyarországon széles körben elterjedt, hiszen az intenzív korai hallásnevelés eredményeként lehetőség nyílik, hogy speciális iskola helyett a sérült gyermekek is hallókkal járjanak együtt óvodába és iskolába, lehetővé téve számukra is a tehetségükhöz mért maximális szellemi fejlődést. Minél korábban, és intenzívebben kezdjük meg a gyermekek oktatását, annál jobb eredményt várhatunk. A gyakorlatban a hallásnevelés segítésére számítógépes programok a kilencvenes évek elejétől jelentek meg többnyire angol és német nyelvterületeken [4, 5, 6, 7]. Hatásosságuk jelentős mértékben függ a programok minőségétől, az alkalmazott módszertantól. - 2 -
Magyarországon a hallássérült gyermekek beszédoktatására jól bevált a Beszédkorrektor [8], egy számítógép alapú audio-vizuális beszédoktató program, de beszédészlelés oktatására csak egy része alkalmazható. A Lullenstyd Audiology weboldalán lévő internetes Audiológiai oktatóprogram -ban [9] hallásszűrésre kialakított egyedülálló programrész szerepel ugyan, de önálló egységes tematikával felépült hallásoktató program, Magyarországon még nem készült. Éppen ezért van nagy jelentősége a most kifejlesztett rendszernek, mivel várhatóan lényegesen hatékonyabbá teszi az oktatást. A programban hangingerek segítségével különböző játékos oktató, gyakorló feladatsorokat építünk fel meghatározott tematika szerint. A hallástréning többszintű. Fő hangsúly az alapszintű, a gyermekek környezetében lévő hangjelek hangészlelésének, beazonosításának gyakorlásán van. A magasabb szintű beszédészlelés fejlesztésekor az egyszerű beszédjellemzők érzékelésének, beazonosításának gyakorlásától vezetnek a gyakorlatok a bonyolultabb prozódiai jegyek felismerésének fejlesztéséig. Műszaki megvalósítás A gyakorlatsorozatok moduláris egységekben kezelhetők lesznek, ahol az egyes modulok nagysága változó, cserélhető. Mindenképpen arra törekszünk, hogy most a keretrendszer, az alapvető gyakorlatsorok készüljenek el, de a rendszer tovább bővíthető esetleg a programlépések cserélhetők legyenek. Ezeket a gyakorlatsorok teljes tematikáját, a hangminták sorozatát, a grafikai felületeket, valamint az értékelési módszereket szurdopedagógus szakemberek segítségével állítottuk össze, terveztük meg. A gyakorlatsorokhoz meghatározott hangadatbázist hoztunk létre. Az adatbázisban lévő hangmintákat használjuk fel a tréninghez. A felhasználó számára a rendszer által nyújtott szolgáltatások és azok strukturáltságát az 1. ábrában szemléltetjük. Mint az az előbb említett ábrán is látható, a felhasználó az Interneten keresztül jelentkezik be szerverünkre, így használhatja a hallástréning programot, a hírek menüpont alatt értesülhet az újdonságokról és ugyanakkor fórumokon, levelező listán, felteheti kérdéseit, megtekintheti a problémákra az általunk javasolt megoldást. Minden felhasználó számára javasoljuk a regisztrációt, hiszen regisztráció nélkül csak a program főoldala, azaz csak az első, bevezető feladatcsoport (első helyszín ) érhető el. - 3 -
1. ábra. A rendszer felépítése, szolgáltatások. A felhasználók regisztrációja, beléptetése, követése a PHP programnyelv segítségével készül, az adatok Apache Web-szerveren kerülnek tárolásra SQL adatbázisban. A hallástréning program implementálása Flash MX fejlesztői környezetben valósul meg, hiszen így biztosítható a platformfüggetlenség. A program honlapján letölthető lesz a böngészőprogramok számára szükséges mindenkori legfrissebb Flash Player beépülő modul, amely nélkülözhetetlen felhasználói szinten a program futásához. A program szerkezete, felépítése A program többféle helyszín, szituáció környezeti zajainak illetve szavainak megtanulását segíti (2. ábra). Ennek megfelelően a program olyan egységekből (játékokból, feladatcsoportokból) épül fel, amelyek egy-egy helyszínhez tartoznak. Az egyes helyszíneken annak rajza látható a képernyőn, jellegzetes élőlényeivel és tárgyaival (3. ábra). Amikor az egérkurzor átfut a helyszín egy-egy tárgyán, akkor az adott tárgy működésbe lép, hangot ad, mozog. - 4 -
2. ábra. A hallástréning program egyszerűsített forgatókönyve A működést nemcsak a hang érzékelteti, hanem látvány illetve mozgás is. Azaz amikor pl. a turmixgép működik, akkor nemcsak zúg, hanem táncol is, így a hallássérült felhasználó is azonosítani tudja, hogy melyek az aktív tárgyak. A helyszíneken a felhasználó többségükben hasonló típusú feladatokkal találkozik. Ezeket egészíti ki mindegyik helyszínen egy-egy saját, speciális feladatcsoport. A különböző helyszínek a program főoldaláról érhetők el, illetve minden helyszínről vissza lehet térni a főoldalra. Maga a főoldal is egy különálló helyszín, azaz ehhez az oldalhoz is tartoznak saját feladatcsoportok. E főoldal feladatcsoportjai ismertetik meg a felhasználóval a többi helyszín feladattípusait. A program főszereplője a gyerek, aki játszik (az egérkurzor jelképezi őt - esetleg választani lehet nemet, de hagyományos is lehet, ha nem gyerek használja a programot). A felhasználót egy narrátor segíti a program használatában. A narrátor képe a program használata során mindvégig látható. Minden helyszínnek van egy-egy házigazdája is: egy családtag vagy ismerős. Az adott helyszín feladataihoz tartozó szavak, mondatok az ő hangján szólalnak meg. E házigazda képe folyamatosan látható az adott helyszín rajza felett. - 5 -
A felhasználó még mielőtt az első helyszínre kerülne, el kell, hogy végezzen egy egyszerű hangerő-beállítást, hiszen jelen esetben ez egy kritikus pont a program használhatósága szempontjából. 3. ábra. A program főmenüje és az első helyszín. Az első helyszín, mint azt már említettük, a program főmenüje is egyben. Az első helyszín feladatsorát bárki elvégezheti, viszont továbblépési lehetőség nincs. Amennyiben a felhasználó a program összes feladatát teljesíteni szeretné, regisztrálnia kell, vagy ha már ezt megtette, be kell jelentkeznie, és sikeresen kell teljesítenie az első helyszín feladatsorát. A programban létezik még két virtuális helyszín, amelyek már magasabb szintű feladatok (beszédhang felismerés tréning, mátrixok) végrehajtását engedik. E helyszínek csak a program valamennyi feladatának teljesítése után lesznek elérhetők. A felhasználók regisztrálása, adataik illetve eredményeik nyilvántartása teszik lehetővé a program egyszerű, felhasználóbarát kezelését. Regisztráció után a felhasználó adatai a szerveren tárolt adatbázisba kerülnek, és itt tartjuk nyilván azt is, hogy a felhasználó mely feladatokat oldotta már meg: melyik helyszín mely játékaival foglalkozott már. Így a program használatát a felhasználó onnan folytathatja, ahol korábban abbahagyta. A felhasználó a programban szereplő feladatsorok elvégzése iránti motivációját segíti, hogy két-két helyszín végigjátszása, összes feladatának megoldása után a felhasználó (gyermek) jutalmat kap: egy érdekes logikai vagy ügyességi játékot. A feladatsorok A programban az alábbi feladatsorok kerülnek beépítésre: - 6 -
1. feladat: a hangforrások képének megkeresése az egérrel, a képhez tartozó hang együttes feldolgozása - tanulás 2. feladat: hang szól, a képet kell megkeresni 3. feladat: kép kiemelkedik, a képhez tartozó hang kiválasztása két hang közül 4. feladat: tárgyak nevének, és képének együttes feldolgozása - tanulás 5. feladat: tárgyak azonosítása nevük, vagy a hangeseményhez tartozó kifejezés elhangzása alapján 6. feladat: nevek, vagy a hangeseményhez tartozó kifejezés azonosítása 7. Tesztfeladatok Eltérő szótagszámú szavak felismerése Kéttagú szavak felismerése Beszédhang érzékelés tréningje magánhangzók Azonos magánhangzót tartalmazó kéttagú szavak felismerése (lapát-kanál-kabát-banán; csoki-zokni-kocsi-foci; stb.) Azonos magánhangzót tartalmazó egyszótagú szavak felismerése (fa-nap-sajt-hal, kés-kéz-szék-kép,stb.) 8. Szövegértés Képsorozatok helyes összerakása Fokozatosan nehezedő feladatsor: először csak két mondatnak megfelelő variáció hangzik el, biztos felismerés esetén tovább növelhető a mondatok és variációik száma. Demo verzió az alábbi honlapon található: http://alpha.tmit.bme.hu/speech/ht Hatásvizsgálat Hatásvizsgálatot, már az adott feladaton kívül tervezünk a hallássérültek iskolájában a Dr. Török Béla Óvoda, Általános Iskola és Diákotthonban. Egy szintfelmérő, hallásteszt-sorozatot tervezünk elvégezni ismeretlen anyagon, a célcsoporttal és a kontrollcsoporttal. A célcsoport a program segítségével végez hallástréninget, a kontrollcsoport a hagyományos módszerekkel végez hallástréninget. - 7 -
Meghatározott idő után a két csoport ismét elvégez egy ismeretlen hallásteszt-sorozatot, majd az eredményeket kiértékeljük. Köszönetnyilvánítás A kutatás az IHM által meghirdetett ITEM program keretében történt, ITEM-39 nyilvántartási számmal. Köszönet Tallér Józsefnek a programozási munkákért és Nemes Zoltánnak a szép grafikáért. Irodalmi hivatkozások [1]. Pollack,D.:EducationalAudiology for the Limited Hearing Infant, Springfield, 111. 1970. [2]. Smid-Giovannini, S.: Ratschláege und Anleitungen für Eltern und Erzieher Hörgescheadikter Kinder, Meggen, 1985. [3]. Csányi Yvonne: Hallás-beszéd nevelés, Tankönyvkiadó, Budapest, 1990. [4]. Animal Lovers Gift Store: Animated http://www.animalden.net/sounds.htm [5]. Many other sounds :http://www.quia.com/pages/speechersclass.html [6]. Vocabulary Games: http://www.funbrain.com/words.html [7]. Specific Language Games: http://www.quia.com/pages/havefun.html [8]. Vicsi K.: Beszédkorrektor Audio-vizuális számítógépes beszédoktató rendszer, Bárczi Gusztáv Gyógypedagógiai Főiskola Budapest, jegyzetrészlet, pp. 265-288, 1995. [9].Keresztessy É.-Tallér József:Audiológiai oktatóprogram. Lullenstyd audiology weboldal; http://web.interware.hu/banan/audio - 8 -