PÁLYÁZAT a SZÉCHENYI ISTVÁN EGYETEM MŰSZAKI TUDOMÁNYI KAR KUTATÁSI FŐIRÁNY pályázati felhívásához 1. A pályázó kollektíva vezetőjének adatai: Neve: Tanszéke: Dr. Csapó Ádám Informatika Tanszék Telefonszáma: +36-20/594-3195 e- levelezési címe: Dátum: 2014.09.01 Aláírása: csapo.adam@gmail.com Az utolsó 5 évben megjelent legfontosabb alkotásai, illetve közleményei: Szerzők, cím, megjelenés helye (folyóirat esetén kötetszám, oldalszám v. cikkszám, terjedelem, impakt faktor, ha van; könyv esetén kiadó, kiadás városa), megjelenés éve, független hivatkozások száma, ha van ilyen: 1. Á. Csapó, Gy. Wersényi Overview of auditory representations in human- machine interfaces, Journal ACM Computing Surveys (CSUR), 42, no.2., (2013), Art.nr. 19., 23 oldal, IF: 4,043; Független hivatkozás: 2. 2. Á. Csapó, J. H. Israel, O. Belaifa Oversketching and associated audio- based feedback channels for a virtual sketching application, in 4th IEEE International Conference on Cognitive Infocommunications, Budapest, Hungary, (2013), pp. 509 513. 3. Á. Csapó, P. Baranyi A unified terminology for the structure and semantics of CogInfoCom channels, Acta Polytechnica Hungarica, 9, no. 1, (2012), pp. 85 105, IF: 0.588, Független hivatkozás: 5 4. P. Baranyi, Á. Csapó Definition and synergies of cognitive infocommunications, Acta Polytechnica Hungarica, 9, no. 1, (2012), pp. 67 83, IF: 0.588, Független hivatkozás: 49 5. Á. Csapo, P. Baranyi Perceptual interpolation and open- ended exploration of auditory icons and earcons, in 17th International Conference on Auditory Display, Budapest, Hungary: International Community for Auditory Display, Jun. 2011. SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 1
2. A kutatási feladat adatai: Megnevezése: Tudományterülete: Résztvevő tanszékek: Halláskutatáshoz és hanghatások kifejlesztéséhez és teszteléséhez alkalmas informatikai környezet létrehozása Informatikai tudományok Informatika Tanszék, Távközlési Tanszék A kutatás előzményeinek leírása legfeljebb fél oldal terjedelemben Kutatásaink során egyszerre vizsgáljuk az emberi hallóképességet (virtuális ill. szabad hangterű környezetben), a felhasználói csoportok (mint látássérültek, vagy adott környezetben dolgozók) egyéni igényeit, és a hanghatások létrehozásának módszereit (sound design, szonifikáció). A projekt fejlesztési oldalát tekintve olyan összetett keretrendszer létrehozását célozzuk meg, amely nagyteljesítményű mobilkészülékek felhasználásával támogatást nyújthat a hang alapú interakció területén felmerülő alapkutatási, tervezési és alkalmazás- fejlesztési problémákban is. A létrehozni kívánt kertrendszer elérhetőségét és rugalmas újrahasznosíthatóságát nyílt platformok felhasználásával biztosítjuk. A keretrendszer hosszabb távon funkcionálisan teljes abban az értelemben, hogy a hallóképesség vizsgálatát számos környezetben és az aktuális felhasználó kognitív képességeihez mérten teszi lehetővé. A keretrendszer felhasználási lehetőségei pedig mindeközben túl is haladják a perceptuális vizsgálatok alkalmazási területét: egyéb, audio kimenettel rendelkező rendszerek tervezésekor/validálásakor a keretrendszer ugyanúgy hasznos információt adhat a környezet sajátosságaira, és a felhasználó képességeire vonatkozóan. A projekt által célzott tématerületen sokrétű alapkutatási és alkalmazott kutatási vizsgálat zajlott. Perceptuális szempontból fontos megemlíteni a vakok navigációját és eligazodását érintő akusztikai alapkutatásokat, illetve az ehhez kapcsolódó alkalmazásszintű fejlesztéseket. Ezen kutatások számos hazai és külföldi támogatás alapjául szolgáltak, melyek eredményeként több impakt faktoros cikk, konferencia- előadás, publikációs nívódíj illetve sikeres habilitáció született. Általános, alkalmazás- orientált szempontból fontos megemlíteni a kognitív infokommunikációs csatornák elméletét, melyet szintén a projekthez kapcsolódó kutatók dolgoztak ki, és amely 100%- os pontszámú PhD- védés során is elfogadást nyert. A kognitív infokommunikációs (CogInfoCom) csatornák a klasszikus infokommunikációs csatornák olyan kiterjesztései, amelyek lehetővé teszik az emberi agy perceptuális képességeit és magasszintű kognitív folyamatait figyelembe vevő kommunikáció kialakítását. A projekt résztvevői korábban a CogInfoCom csatornák létrehozására olyan tervezési eljárást is kidolgoztak, amely képes mind a környezetet, mind a felhasználók képességeit figyelembe vevő perceptuális kényszereknek, illetve magasszintű, fogalmi szinten előforduló kényszereknek való megfelelést. Ezen eredményeket a projekt kutatói számos nemzetközi konferencián és folyóirat- publikációban, illetve a Chinese University of Hong Kong- on meghívott előadóként bemutatták. Az idei évben informatikus hallgatók segítségével megkezdődött a fenti kutatások során összegyűjtött ismeretek gyakorlatba való átültetése. Jelenleg fejlesztés alatt áll egy vakokat segítő androidos mobiltelefon alkalmazás, amely a készülék belső szenzorait felhasználva érzékeli és kijelzi az egyenestartásra vonatkozó információkat navigáció során. SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 2
A pályázathoz köthető témában korábban megjelent legfontosabb alkotások és publikációk. Törekedjenek arra, hogy a kollektíva minden kutató munkatársa szerepeljen, ha volt ilyen munkája. Legfeljebb 10 elemet soroljanak fel. A táblázatból sorok törölhetők, de hozzá nem adhatók. Szerzők, cím, megjelenés helye (folyóirat esetén kötetszám, oldalszám v. cikkszám, terjedelem, impakt faktor, ha van; könyv esetén kiadó, kiadás városa), megjelenés éve, független hivatkozások száma: 1. A. Csapó, Gy. Wersényi Overview of auditory representations in human- machine interfaces, Journal ACM Computing Surveys (CSUR), 42, No.2., (2013), Art.nr. 19., 23 oldal, IF: 4,043; Független hivatkozás: 2. 2. Á. Csapó, J. H. Israel, O. Belaifa Oversketching and associated audio- based feedback channels for a virtual sketching application, in 4th IEEE International Conference on Cognitive Infocommunications, Budapest, Hungary, 2013, pp. 509 513. 3. Á. Csapo, E. Gilmartin, J. Grizou, J.- G. Han, R. Meena, D. Anastasiou, K. Jokinen, and G. Wilcock Multimodal conversational interaction with a humanoid robot, in 3rd IEEE International Conference on Cognitive Infocommunications, Kosice, Slovakia, Dec. 2012, pp. 667 672. 4. Á. Csapó, P. Baranyi A unified terminology for the structure and semantics of CogInfoCom channels, Acta Polytechnica Hungarica, 9, no. 1, (2012), pp. 85 105, IF: 0.588, Független hivatkozás: 5. 5. Á. Csapo, P. Baranyi Perceptual interpolation and open- ended exploration of auditory icons and earcons, in 17th International Conference on Auditory Display, Budapest, Hungary, (2011), 6 pages. 6. Gy. Wersényi PSZICHOAKUSZTIKA ÉS AZ EMBERI TÉRHALLÁS ALAPJAI - A 3D akusztikai információ átvitele és feldolgozása. Universitas Press, Győr (2012), ISBN 978-963- 9819-76- 4. 7. Gy. Wersényi Effect of Emulated Head- Tracking for Reducing Localization Errors in Virtual Audio Simulation. IEEE Transactions on Audio, Speech and Language Processing, 17, No.2. (February 2009), pp. 247-252; IF: 1,78; Független hivatkozás: 12. 8. Gy. Wersényi, J. Répás The Influence of Acoustic Stimuli on Walking Straight Navigation by Blindfolded Human Subjects. Acta Technica Jaurinensis, 5, No. 1, (2012), pp. 3-18. 9. Gy. Wersényi Auditory Representations of a Graphical User Interface for a Better Human- Computer Interaction. in S. Ystad et al. (Eds.): Auditory Display. CMMR/ICAD 2009 post proc. ed., Lecture Notes in Computer Science (LNCS) 5954, Springer, Berlin (2010), pp. 80-102, Független hivatkozás: 8. 10. Gy. Wersényi Virtual localization by blind persons. Journal of the Audio Engineering Society (AES), 60, No.7/8, (July- August 2012), pp. 586-579, IF: 0,894; Független hivatkozás: 6. A kutatási feladat leírása, a megjelölt cél elérésének módja, a szükséges részeredmények, az egyes tevékenységek időrendje, kutatási program. Maximum 2 oldal terjedelemben Bevezető, főbb kihívások: A kutatásban olyan applikáció fejlesztése a cél, amely képes dedikált, ugyanakkor paraméterezhető módon akusztikai, halláskutatási, valamint hanghatások fejlesztését és felhasználhatóságát célzó tesztek végrehajtására. A megcélzott platform elsődlegesen androidos SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 3
mobilkészülékeken (telefon, tablet) alkalmazásként, másodsorban web- alapú átültetésként fog futni. A program főbb funkciói a teszthangok lejátszása és annak esetleges attribútumainak megváltoztatása (szonifikáció), egy egyszerű kezelőfelület megvalósítása, beépített standard tesztek beprogramozása és az adatok loggolása, egyszerűbb statisztikai kiértékelése. A legfontosabb vizsgált területek a hanghatásokra adott reakcióidők mérése (auditory reaction time), tesztelése ill. a hallórendszer memóriájának (auditory memory) vizsgálata. Az első feladatban az érintőképernyőn adott válaszok (ill. a webes megoldás esetén a klikkelés) gyorsasága mérendő különböző tesztszituációkban. Ilyen pl. több konkurens hanghatás felismerhetősége, bal- jobb irányok alkalmazása, ellentmondásos hanginformáció feldolgozhatósága, jel- zaj- viszonytól függő minőségi problémák tesztelése stb. A második esetben hanghatások mennyiségi változtatásának észlelése és felhasználhatósága a kérdés időben sorosan vagy párhuzamosan. Sok alkalmazás számára (szimulátorok, repülésirányítás, forgalmi szituációk, számítógépes környezetek stb.) lényeges, hogy a vizuális memória mellett/helyett milyen képességekkel rendelkezünk hanghatásokat illetően. Ilyenkor fontos megvizsgálni, hogy milyen paraméterek mellett lehet adott számú hanghatást megjegyezni, térbeli eloszlásukra esetleg emlékezni, vagy éppen egy- egy hanghatás megszűnését, eltűnését detektálni. Mindkét feladattípus feltételezi bizonyos kalibrációs mechanizmusok rendelkezésre állását: e nélkül nehéz lenne garantálni a különböző környezetekben elvégzett tesztek és vizsgálatok összehasonlíthatóságát. A kalibrációs mechanizmusok az egyszerűtől (pl. hangerő kalibrálása) az összetettig (pl. harmonikus torzításokra vonatkozó kalibráció) terjedhetnek, azonban lényeges korlátot jelent a cél- platformok sokrétűsége is (sok különböző telefon futtat Androidot). Az implementálandó kalibrációs mechanizmusok kiválasztása ezért összességében egy kompromisszum keresésén alapul, amely figyelembe veszi, hogy egyrészt nem orvosi pontosságú műszerekre fejlesztünk alkalmazást, másrészt viszont a gyakorlatban elég jól használható rendszert szeretnénk létrehozni. A fentiek alapján az alkalmazás fejlesztése során a legfontosabb kérdések, hogy milyen kalibrációs mechanizmusokat és milyen teszteket kell létrehozni ahhoz, hogy a kapott rendszer egyszerűen használható legyen és az eredmények kiértékelhetőek maradjanak. Ezen kérdések megválaszolását követően felmerül az a kérdés is, hogy hogyan tesszük lehetővé a kutatók illetve fejlesztők számára, hogy a meglevő teszteket új tartalmakkal (más hang- fájlokkal, más audio- szintézis módszerekkel) alkalmazzák, illetve más (pl. vizuális, haptikus, stb.) modalitásokkal összhangban is felhasználhassák. A létrehozni kívánt funkciók vázlatos bemutatása: A jelenlegi támogatási időszak viszonylagos rövidsége miatt (a pályázati támogatás 2014. decemberéig szól) egy az időszakhoz mérten is reális kutatási tervet igyekeztünk kidolgozni. Pontosan megfogalmazva: célunk a fentebb említett két feladattípus mindegyikéhez egy- egy teszt megtervezése és megvalósítása, ezáltal alapot teremtve a platform mögötti koncepció kiértékelésére és későbbi továbbfejlesztésére. Terveink szerint 2015- ben, ha lesz ilyen pályázat, kutatásunkat folytatjuk és ismételten pályázunk. A kalibrációs mechanizmusok tekintetében célunk a hangerőre fókuszáló kalibrációs mechanizmus megvalósítása, amely az eszközök saját beépített mikrofonját felhasználva teszi lehetővé a tesztek normalizálását. A reakcióidő teszteléséhez olyan use case esetet fejlesztünk ki, amely előre (offline módon) létrehozott stereo hangfájlokat felhasználva a jobb- bal megkülönböztetés kapcsán mér reakcióidőt. Az auditív memória teszteléséhez olyan use case esetet fejlesztünk ki, amely az interfész- kutatásokban megszokott vizuális párkeresési játékokhoz hasonló működési elvvel méri le a felhasználó képességeit. A teszttípus rugalmasságát elősegítendő mindenképpen szükséges, hogy ne csak offline módon rendelkezésre álló hangokat, hanem dinamikusan paraméterezhető és SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 4
on- the- fly módon előállítható audio jeleket is használni lehessen. Ehhez nyújt majd segítséget a SuperCollider- Android projekt, amely a SuperCollider (egy objektum- orientált nyelven scriptelhető, általános felhasználású szoftver- alapú audio szintézis program) Androidra készült portját gondozza. A kidolgozandó memória vizsgálatát szolgáló - - teszttípus konceptuálisan a vizuális párkeresési memóriajátékokhoz hasonlítható, azzal a különbséggel, hogy a játék egy- egy eleme nem vizuális ikont, hanem valamilyen irány- (és egyéb típusú, konkrét) paraméterekkel rendelkező audio jelet tartalmaz. A hallórendszer memóriájának vizsgálatát szolgáló teszttípus vizuális analógiája az ábrán látható párkereső játék. Hasonló, pusztán hangok alapján működő változat tesztelése is az egyik cél. Fontos szempont a kidolgozott tesztek más környezetekkel együtt való felhasználhatósága. Ennek garantálása érdekében lehetővé tesszük, hogy a tesztek kiértékelésekor olyan előre specifikált formátumot alkalmazzunk, amely megengedi a más eszközök által generált eredmény- fájlok transzparens kiértékelését (ez egy kezdeti lépés, melyet későbbi feladatként követhet az audio- jelek más eszközökön kapott jelekkel való, kommunikációs hálózaton keresztül történő szinkronizálása ez lehetővé tenné, hogy például a felhasználó részére egyidejűleg prezentált audio és vizuális jelek hatásait együttesen lehessen kiértékelni). Nemzetközi kapcsolatok kialakítása és megerősítése: A platform illetve a rajta futó teszttípusok megtervezéséhez segítséget fognak nyújtani a már meglévő szakmai kapcsolataink, melyek elsősorban amerikai partnerekkel való együttműködést jelentenek (University of Florida, US Navy), akikkel hosszabb távú összehangolt kutatást dolgoznánk ki. Az Egyesült Államokon kívül aktív együttműködést szeretnénk kialakítani a Fraunhofer Institute Erlangenben található divíziójával, ahol az International Audio Laboratories kutatólaboratórium nemzetközi szinten is kimagasló eredményekkel rendelkezik. A kutatás várható eredményei, a tudományos eredmény és megjelenési formája (könyv, cikk, program, disszertáció, habilitáció, konferencia előadás) rövid, pontokba szedett kivitelben Androidos és/vagy web- alapú alkalmazás halláskutatási és hanghatás vizsgálati tesztekhez 2 konferencia- előadás (2015 tavasz és 2015 nyár/ősz), a pályázat lezárása után A kutatásban résztvevő doktorandusz és hallgatók diplomamunkájának ill. kutatásának elősegítése Intézmények közötti (bel- és külföldi) kapcsolatok fejlesztésének perspektívái a pályázattal kapcsolatosan, legfeljebb fél oldal terjedelemben. Pályázatunk egy már megkezdett és részben új irányokat vett kutatás része. Az utóbbi években, különösen a 2014- es new york- i konferencián inicializált kapcsolatok során közös módszerek SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 5
(munkamegosztás) és publikációk reményében működünk együtt az alábbi személyekkel és intézményekkel: Frederik Nagel - Head of Department AudioLabs- IIS at Fraunhofer IIS, Erlangen, Germany Kyla McMullen - Assistant Professor at University of Florida, USA Derek Brock - Computer Scientist at Naval Research Lab, Washington DC. A szóbeli megállapodásunk értelmében harmonizálnánk a hasonló és egymáshoz kapcsolódó kutatási témáinkat, azok időben és térben való helyes felosztásával, egymás eredményeire és publikációira támaszkodva. Annak rövid kifejtése, hogy a pályázat mennyiben járul hozzá a Kar oktatási színvonalának javu- lásához. Legfeljebb fél oldal terjedelem. A pályázatban résztvevő doktorandusz és BSc, MSc informatikus hallgatók nem csupán egy informatikai feladatban (android platformon való programozás) mélyülhetnek el, hanem betekintést nyerhetnek egy kutatás- fejlesztési folyamatba, projektbe. Az alkalmazott programozási és tesztelési eredmények az oktatásba a megfelelő tárgyakba beilleszthetők. A pályázat költségvetése rövid, egy- két mondatos indoklással tételenként (a táblázatba sorok beszúrhatók) Tétel megnevezése: Egység Egységára: Teljes ár (Ft): Indoklás: Samsung G. S5 androidos mobilkészülék Samsung G. Tab S 10.5 androidos tablet Egy gépkocsis, 3-4 napos tanulmányút a németországi Erlangenbe (Fraunhofer Institute) 1 190000 190000 A fejlesztéshez szükséges Android OS többmagos proc. mobileszköz 1 190000 190000 A fejlesztéshez szükséges Android OS többmagos proc. mobileszköz 1 270000 270000 F. Nagel és az ottani kutatócsoport meglátogatása tapasztalatcsere és kapcsolatok kiépítése céljából Az igényelt forrás (a táblázatba sorok beszúrhatók) Nagysága: 650.000 HUF Tanszékek közötti felosztása: Tanszék neve: Informatika Tanszék Részesedése (Ft): 325000 Tanszék neve: Távközlési Tanszék Részesedése (Ft): 325000 3. A pályázó kollektíva kutató munkatársainak adatai (a munkatársak száma tetszőleges, a rájuk vonatkozó táblázatok beszúrhatók, törölhetők): SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 6
1. kutató neve: Dr. Csapó Ádám Tanszéke: Informatika Tanszék Telefonszáma: +36-20/594-3195 e- levelezési címe: Feladatai a kutatásban: csapo.adam@gmail.com Alkalmazásfejlesztés fázisainak megtervezése, a fejlesztés kivitelezésének felügyelete, a létrehozott tesztszoftver funkcionális tesztelése. Kapcsolódó publikációk megírásában való részvétel. Dátum: 2014.09.01 Aláírása: Az 1. kutató utolsó 5 évben megjelent legfontosabb alkotásai, illetve közleményei: Szerzők, cím, megjelenés helye (folyóirat esetén kötetszám, oldalszám v. cikkszám, terjedelem, impakt faktor, ha van; könyv esetén kiadó, kiadás városa), megjelenés éve, független hivatkozások száma, ha van ilyen: 1. Á. Csapó, Gy. Wersényi Overview of auditory representations in human- machine interfaces, Journal ACM Computing Surveys (CSUR), 42, no.2., (2013), Art.nr. 19., 23 oldal, IF: 4,043; Független hivatkozás: 2. 2. Á. Csapó, J. H. Israel, O. Belaifa Oversketching and associated audio- based feedback channels for a virtual sketching application, in 4th IEEE International Conference on Cognitive Infocommunications, Budapest, Hungary, (2013), pp. 509 513. 3. Á. Csapó, P. Baranyi A unified terminology for the structure and semantics of CogInfoCom channels, Acta Polytechnica Hungarica, 9, no. 1, (2012), pp. 85 105, IF: 0.588, Független hivatkozás: 5 4. P. Baranyi, Á. Csapó Definition and synergies of cognitive infocommunications, Acta Polytechnica Hungarica, 9, no. 1, (2012), pp. 67 83, IF: 0.588, Független hivatkozás: 49 5. Á. Csapo, P. Baranyi Perceptual interpolation and open- ended exploration of auditory icons and earcons, in 17th International Conference on Auditory Display, Budapest, Hungary: International Community for Auditory Display, Jun. 2011. 2. kutató neve: Dr. Wersényi György Tanszéke: Távközlési Tanszék Telefonszáma: 613523 e- levelezési címe: Feladatai a kutatásban: wersenyi@sze.hu Alkalmazások tesztelése, akusztikai szempontból való értékelése, az akusztikai tesztek kidolgozása, végrehajtása, publikációk készítése. Dátum: 2014.09.01 Aláírása: A 2. kutató utolsó 5 évben megjelent legfontosabb alkotásai, illetve közleményei: SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 7
Szerzők, cím, megjelenés helye (folyóirat esetén kötetszám, oldalszám v. cikkszám, terjedelem, impakt faktor, ha van; könyv esetén kiadó, kiadás városa), megjelenés éve, független hivatkozások száma, ha van ilyen: 1. A. Csapó, Gy. Wersényi Overview of auditory representations in human- machine interfaces, Journal ACM Computing Surveys (CSUR), 42, No.2., (2013), Art.nr. 19., 23 oldal, IF: 4,043; Független hivatkozás: 1. 2. Gy. Wersényi PSZICHOAKUSZTIKA ÉS AZ EMBERI TÉRHALLÁS ALAPJAI - A 3D akusztikai információ átvitele és feldolgozása. Universitas Press, Győr (2012), ISBN 978-963- 9819-76- 4. 3. Gy. Wersényi Design Methods and Considerations for Case Studies Targeting the Blind Community, Proc. of the 20th Int. Conf. on Auditory Display (ICAD14), New York, (2014), 4 oldal. 4. Gy. Wersényi Virtual localization by blind persons. Journal of the Audio Engineering Society (AES), 60, No.7/8, (July- August 2012), pp. 586-579, IF: 0,894; Független hivatkozás: 6. 5. Gy. Wersényi, J. Répás The Influence of Acoustic Stimuli on Walking Straight Navigation by Blindfolded Human Subjects. Acta Technica Jaurinensis, 5, No. 1, (2012), pp. 3-18. 3. kutató neve: Nagy Hunor Tanszéke: Távközlési Tanszék Telefonszáma: 613523 e- levelezési címe: Feladatai a kutatásban: nhunorz@gmail.com elsőéves doktorandusz hallgató mérnökinformatikus háttérrel, android applikáció programozása, tesztelése, debugging Dátum: 2014.09.01 Aláírása: 4. Külső források bevonása az elmúlt 3 évben Külső forrás megnevezése: DAAD kutatói ösztöndíj (Németország, 2012) Nemzeti Kiválóság Program Szentágothai János Ösztöndíj keretében (2014) Nemzeti Kiválóság Program Jedlik Ányos Doktorjelölt Ösztöndíj keretében Összege: 3000 EUR 500 000 HUF 200.000 HUF SZE MTK Belső Kutatási Főirány Pályázat Érvényes 2012. január 30- tól. 8