A DIGITÁLIS KÉPFELDOLGOZÁS TERÜLETÉN FOLYÓ KUTATÁSOK A DEBRECENI EGYETEM INFORMATIKAI KARÁN RESEARCH ON DIGITAL IMAGE PROCESSING AT FACULTY OF INFORMATICS, UNIVERSITY OF DEBRECEN Fazekas Attila, Hajdu András, Sajó Levente, Kovács György Debreceni Egyetem, Informatikai Kar, Debreceni Képfeldolgozó Csoport Összefoglaló A Debreceni Egyetemen (korábban Kossuth Lajos Tudományegyetem) hosszú múltra tekint vissza a digitális képfeldolgozással kapcsolatos kutatások. A kezdeti, számos sikeres projektet maga mögött tudó, korszakot jellemzik a teljesség igénye nélkül a kifejlesztett ujjlenyomat-felismerő rendszer, a képtömörítő módszerek vizsgálata és a színterekkel kapcsolatos elméleti eredmények. Ezen kezdeti kutatások hatására a digitális képfeldolgozás megjelent az oktatásban is, amely megteremtette a lehetőséget arra, hogy egyre több hallgató ismerhesse meg ezt a tudományterületet, és egyre többen kapcsolódjanak be az aktuális kutatási és fejlesztési projektekbe, aminek természetesen élénkítő hatása volt a kutatásokra is. Továbbá a tehetséges hallgatók megnyerése lehetővé tette, hogy a kutatócsoport létszáma növekedjen ebben az időszakban. A kezdeti korszakot lezárva, egy új, formailag más keretet jelentő korszak kezdetét jelentette az, amikor 2000. szeptember 7-én megalakult a Debreceni Képfeldolgozó Csoport (Image Processing Group of Debrecen). A csoport az elmúlt közel 8 év alatt számos kutatási és fejlesztési projektben részt vett. Ennek az előadásnak elsődleges célja az, hogy bemutassa a csoport által ezen időszak alatt elért kutatási és fejlesztési eredményeket. Kulcsszavak digitális képfeldolgozás, alakfelismerés, Debreceni Képfeldolgozó Csoport (DKCS) Abstract The research related to image processing and computer vision goes back high in the past in the University of Debrecen (earlier Lajos Kossuth University of Sciences). The early period can be characterized by many successful projects like the developed fingerprint recognizer system, the examination of image compressing methods and the theorethical results in the field of color spaces. As an effect of the research the digital image processing appeared in the education making it possible for more and more students to get familiar with this discipline and to latch on to the actual research and development projects. Of course the image processing in the education had stimulant effects on the research, as well. Furthermore the winning of talented students made the headcount of the reasearch group grow in this period. Closing this initial period, a new time began when the Image Processing Group of Debrecen was founded on the 7th of September, 2000. The group have taken part in many research and development projects in the last 8 years. The main aim of this presentation is to present the research and development results in this period. Keywords digital image processing, pattern recognition, Image Processing Group of Debrecen (IPGD) 1
1. Bevezetés Az elmúlt évek, évtizedek alatt letisztult, kikristályosodott néhány tendencia az informatikában, ami a digitális képfeldolgozáson alapuló technológiák egyre fontosabb szerepét vetítik előre. Az egyik fő tendencia, amelynek hatását a digitális képfeldolgozás területén mindenképpen figyelembe kell venni, az informatika humanizálódása. Ebbe az összetett folyamatba beletartozik többek között a számítógépek számának növekedése, a kezelésükhöz szükséges szakismeretek drasztikus csökkenése, az ember-gép kommunikációnak az ember számára egyre természetesebb formában (látás és hallás, kép és hang) történő megvalósítására való erőteljes törekvés. A humanizálódási folyamat eredményeként a mindennapi élet számos területére szánt informatikai alkalmazások keresik az ember-gép kommunikáció alkalmazásának lehetőségét, amely részben a digitális képfeldolgozás eredményein alapulhat. Így a számítógépes képfeldolgozás kutatása a humanizálódási folyamathoz több vonatkozásban is kötődhet: mint a számítógépes látás alapjait magában foglaló tudomány, mint a multimédia megoldások, képi adatbázisok megfelelő háttérismereteit részben tartalmazó tudomány, és végül, mint egyéb alkalmazások háttértudománya. 2. Rövid történeti áttekintés A számítógépes képfeldolgozással kapcsolatos kutatások a KLTE Matematikai és Informatikai Intézetében folyó azon kutatói és alkalmazásfejlesztői tapasztalatokra épülve indult meg, amiket az Intézet munkatársai a nyolcvanas évek eleje óta folyamatosan szereztek meg. Ez az időszak egyébként nagyjából egybeesik a hazai kutatások intenzifikálódásával. Kezdetben a kutató-fejlesztő munka szoros kooperációban folyt más hazai intézményekkel. Több periódusban folytak alapkutatások és azokhoz kapcsolódó szoftverfejlesztések a Számítástechnikai Koordinációs Intézet megbízásából. Ezek közül kiemelendő egy MSS- RGB konvertáló eljárás multispektrális műholdfelvételek pszeudo-színezésére, permutációs forráskódolási eljárások kifejlesztése és implementálása digitalizált hang és kép kódolására, továbbá bizonyos alakfelismerési (OCR) algoritmusok vizsgálata. Az alakfelismeréssel kapcsolatos kutatások később más partnerek megbízásából tovább folytatódotttak és egy ujjlenyomat-azonosításon alapuló beléptető rendszer és egy OCR eljárást is magában foglaló hibrid bizonylat-archiváló rendszer került kifejlesztésre [3]. A fejlesztésekért kapott anyagi támogatás lehetővé tette az intézeti hardver feltételek fokozatos javítását. Így a munkába egyre több hallgató kapcsolódhatott be, a kutatások eredményeit tartalmazó tanulmányok, publikációk mellett hallgatói szakdolgozatok, diákköri dolgozatok születtek. A kezdeti korszak meghatározó alakjai voltak: Buzási Károly, Gesztelyi Ernő, Pethő Attila, Fazekas Gábor és Papp Zoltán. A hallgatók felkészítésére a növekvő létszám miatt az egyéni konzultációk mellett speciálkollégiumok, szemináriumok is megjelentek. Ezen időszak során kapcsolódott be 2
Fazekas Attila hallgatóként a digitális képfeldolgozással kapcsolatos kutatásokba, majd Pethő Attila vezetésével PhD-fokozatot szerzett és később a Debreceni Képfeldolgozó Csoport egyik alapító tagja lett. A kilencvenes évek elején bevezetett tantervi reform tette lehetővé, hogy még szélesebb körben ismerhessék meg a digitális képfeldolgozás eredményeit a hallgatók. Ez további kollégák oktatásba és kutatásba való bekapcsolódását jelentette, akik közül a kiváló debreceni sztochasztikus iskola jeles képviselőjét, Kormos Jánost szeretnénk kiemelni, akinek számos tanítványa közül Hajdu András és Veréb Krisztián később PhD-fokozatot is szerzett. A digitális képfeldolgozással kapcsolatos kutatások hatékonyságának növelése, az ezen a területen dolgozó kutatók munkájának megkönnyítése érdekében 2000. szeptember 7-én megalakult a Debreceni Képfeldolgozó Csoport (Image Processing Group of Debrecen, IPGD). A kutató csoport alapító tagjai voltak: Fazekas Attila, Fazekas Gábor, Hajdu András és Kormos János. A csoport jelenleg, Fazekas Attila és Hajdu András vezetésével, 10 fővel (4 fő PhD- és 6 fő egyetemi hallgató) dolgozik. A Debreceni Egyetem Informatika Karának struktúrája a közel múltban megváltozott, aminek eredményeként megalakult a Komputergrafika és Képfeldolgozás Tanszék 2008. január 1-én. Ez lehetővé tette, hogy a Debreceni Képfeldolgozó Csoport tagjai egyetlen tanszékhez kötődjenek. 3. A Debreceni Képfeldolgozó Csoport kutatási eredményei A Debreceni Képfeldolgozó Csoport eredményes munkáját a megalakulása óta eltelt időszak kutatási projektjei, és azok eredményeiről beszámoló publikációk bizonyítják. Ebben a fejezetben a kutató csoportunk tudományos aktivitását mutatjuk be vázlatosan. A csoportunkkal kapcsolatos információk megtalálhatók az ipgd.inf.unideb.hu címen. 3.1. Diszkrét geometriával kapcsolatos kutatások A digitális képfeldolgozás elméleti alapjainak jelentős része a digitális topológia és diszkrét geometria területéről származik. Ezzel is magyarázható, hogy a gyakorlati alkalmazások fokozott kutatása mellett mind a mai napig intenzív alapkutatás is folyik ezen a területeken a nemzetközi irodalomban. A csoportunk aktivitása a diszkrét geometriához kapcsolódva az alábbi területekre koncentrálódik: Szomszédsági szekvenciák tulajdonságainak és alkalmazási lehetőségeinek vizsgálata a digitális képfeldolgozás különböző területein. A szomszédsági szekvenciák a digitális topológiából jól ismert szomszédsági relációk általánosításának tekinthetők, amelyek lehetővé teszik, hogy segítségükkel olyan digitális metrikák generálódjanak, amelyek jobb közelítését adják az euklideszi-metrikának, mint a klasszikus 4-, 8-, illetve az oktogonális metrika [4,6-7,16]. A szomszédsági szekvenciák által generált metrika segítségével olyan vázkijelölő algoritmust konstruáltunk, amely jobb minőségű vázat generál, mint a klasszikus digitális metrikán alapuló vázkijelölő algoritmusok [13,34]. A vázkijelölő algoritmusok összehasonlításához kidolgozásra került egy módszer. A szomszédsági szekvenciák fő alkalmazhatóságát a szekvenciák által generált távolságfüggvények rugalmassága adja. A szomszédsági szekvenciák segítségével arra is lehetőségünk van, hogy nem metrikus távolságfüggvényeket definiáljunk, amelyek előzetes eredményeink alapján például a képi 3
adatbázisokban használt hasonlósági szemlélettel, illetve szegmentációs szándékkal az egyes színmodellekben való távolságmérés esetében kifejezetten hasznos [8,17,21]. A képi adatbázis lekérésekben használt relevance és feedback értékek is javíthatók szekvenciák elemeinek a távolságmérést lényegesen nem befolyásoló permutálhatóságát kihasználva. A távolságfüggvényekkel kapcsolatos alapkutatások mellett kiemelt gyakorlati fontosságú a távolságmérő algoritmusok hatékony implementációja, az euklideszi metrika approximálása, illetve az eszközrendszer más rácsokra és magasabb dimenziókra való kiterjesztése [24,26]. Lokális operátorok különböző reprezentációjú képeken. A digitális képek tárolása különböző reprezentációkban történhet meg. Számos esetben hasznos lehet, ha bizonyos képfeldolgozási operátorok közvetlenül a reprezentációkon elvégezhetők lennének. Kutató csoportunk megvizsgálta annak lehetőségét, hogy lokális operátorok azon csoportja, amely a vékonyításon alapuló vázkijelölő algoritmusokban használatosak, milyen feltételek mellett használhatóak közvetlenül a futamhossz-kódolt, a 4-fa reprezentációjú és a vetületi képeken. Az ezzel kapcsolatos eredmények megtalálhatók a következő publikációkban: [1-2]. Digitális görbék kódolása. A digitális görbék egyszerűsített leírása gyakori feladat tömör reprezentáció megadásához. A probléma egyik népszerű megközelítése a görbe egyenes szakaszokkal történő helyettesítése. Az objektumdetektálásban használt sablonok esetében ez szintén hasznos lépés, itt azonban tetszőleges (önmagukat metsző) görbék kódolását megengedő módszerre van szükség. A görbe metszéspontjait csúcsoknak, a görberészeket éleknek tekintő gráfelméleti megközelítés előzetes kutatásaink szerint nagyon ígéretes, mivel a gráf bejárását a kívánt kódolásnak megfelelően optimalizálhatjuk [28,33]. Objektumdetektálás és felismerés. A felhasználó számára fontos objektumok detektálása és az azt követő osztályozás alapvető fontosságú feladatkör. Kapcsolódó kutatásainkat [27,29,32] elsősorban a minél gyorsabb eljárások kifejlesztésének gondolata motiválja, amely lehetővé teszi az eredmények valós idejű alkalmazásokban való megjelenését. A fejleszteni kívánt módszerek között szerepel hierarchikus sablonadatbázisok kidolgozása az érdekes objektumok lokalizálásához (elsősorban emberi előfordulás), a sablonok központi Voronoi eloszlásokon alapuló egyszerűsítése a gyorsabb illesztés érdekében, a sablonadatbázis tér- és időbeli változások detektálásához történő átstruktúrálása videók feldolgozásához. Aktív kontúr alapú szegmentáció. Az aktív kontúr alapú technikák kiváló eszközrendszert kínálnak az objektumok precíz kinyeréséhez. Ezek a módszerek a kívánt körvonalat egy zárt görbe iterációs lépések sorozatán keresztül történő változtatásával határozzák meg. Alapproblémának számít az iterációk számának csökkentése (gyorsabb szegmentációhoz) és a bonyolultabb formájú alakzatok körvonalának precíz meghatározása (konkavitások felderítése). Az iterációs szám csökkentéséhez ígéretes elképzelés heterogén rácsok használata, alternatívát kínálva a kevésbé adaptív multirezolúciós technikákhoz. A konkavitások feltáráshoz heterogén rácsokra kiterjesztett kontúrkövető technikákat alkalmazhatunk, ahogy ezt kutatásaink igazolják [22,30-31]. 3.2. Automatikus dokumentum-feldolgozás Az egyik legrégebbi, a digitális képfeldolgozással kapcsolatos kutatási terület a Debreceni Egyetemen a karakter-felismerés, illetve az automatikus dokumentum-feldolgozás lehetőségének vizsgálata. Ezek a kutatások inspirálták a vázkijelöléssel (jól használható, mint sajátság-kinyerő módszer), illetve azon keresztül a digitális topológiával kapcsolatos vizsgálatokat is. 4
Az elmúlt időszakban elsősorban egy speciális Walsh-transzformáción alapuló karakterfelismerő technika került kidolgozásra, amely jól alkalmazható kisméretű karakterkészlet esetén. A karakter-felismerő módszerünk jelentette alapját annak az információ-veszteséggel történő képtömörítő módszerünknek, amely nyomdatechnikailag rögzített dokumentumok, például faxok tömörítésére használható jól [3]. 3.3. Orvosi képfeldolgozás A digitális képfeldolgozás egyik legfontosabb és talán legtöbbek által kutatott felhasználási területe az orvosi képfeldolgozás. A képalkotó eszközök által szolgáltatott képi információk kezelésével kapcsolatos problémák mellett az orvosi szakma számos területéről érkeznek olyan megkeresések, amely más jellegű képfeldolgozási problémák megoldását szorgalmazzák. A kutató csoportunk esetében első sorban az ilyen jellegű kutatási projektek vannak jelen, amelyek a következők: Számítógéppel támogatott műtéti tervezés. Egy igen meghatározó problémakör az emberi szövetek, (például csontok) 3D-s modelljének előállítása 2D-s rétegfelvételekből. Ugyanakkor a műtétek előzetes számítógépes szimulálása is igen nagy jelentősséggel bírhat az orvos számára. Emiatt a 3D-s modell kellemes, jól áttekinthető vizuális megjelenítése mellett fontos szerepet kell kapnia a végrehajtandó műtéti eljárások tesztelésének, a kapott eredményének ellenőrzésének is. A kutatás célja, hogy a fenti kívánalmaknak megfelelő, a gyakorlatban ténylegesen felhasználható számítógépes rendszert hozzunk létre. A kutatás jelenleg a combcsont, illetve a medence-comb ízült vizsgálatára fókuszál, de a fejlesztett módszerek más esetekre is alkalmazhatók. Az általános tervezőfelület kialakítása mellett új ortopédiai eljárások szimulálására is lehetőség nyílik a véges elemes rendszerek segítségével. A témakörben elért eredményeinket [10-11,14-15,19] tartalmazza. Automatizált patológiai vizsgálatok. A klasszikus szövettani és genetikai vizsgálatok elvégzésének új eszköze egy speciális szkenner, amely nagy felbontású virtuális tárgylemezként szolgáltat egy digitális képet, amely számos vizsgálati feladat bemeneti adata lesz. A fejlesztési munka célja bizonyos genetikai vizsgálatok automatizálásának megvalósítása. A munka szoros együttműködésben folyik a Debreceni Egyetem Patológiai Intézetével. Hőkamerás képek elemzése. A technika fejlődésével az utóbbi években megjelentek a kutatóhelyek és kis-/középvállalkozások számára is elérhető áron beszerezhető magas hőmérsékleti felbontással rendelkező hőkamerák. A hőkibocsátás mértékének megállapítása és minél pontosabb elemzése mind mérnöki vonalon, mind klinikai diagnosztikában hasznos. Kitűzött feladataink között a hőképek automatikus feldolgozása, a vizsgálat szerint érdekes területek kinyerése és az esetleges elváltozások feltárása szerepel. A kutatás és fejlesztés helyi mérnöki és klinikai cégekkel közösen folyik. 3.4. Multi-modális ember-gép kapcsolatok Az informatikai megoldások humanizálódása iránti igényre a szakma a multi-modális ember-gép kapcsolatok területén folyó kutatások fokozásával reagált. A Debreceni Képfeldolgozó Csoport ezen a területen a kutatásokat a kezdetektől fontosnak tartotta. Kezdetben magyarul beszélő talking-headdel, arcdetektálással, arci érzelmek felismerésével kapcsolatos kutatások folytak [5,9,12,18,20], majd ezen eredmények felhasználásával 5
komplexebb rendszerek fejlesztése kezdődött el, amely jelenleg is folyik. A multi-modális technika gyakorlati hatékonyságának demonstrálására egy multi-modális technikán alapuló gépi sakkozó került kifejlesztésre [23,25], amellyel kapcsolatos humán kísérletek jelenleg is folynak. Terveink között szerepel egy általános célú információs panel kifejlesztése, amely képes a felhasználóval akár érzelmi kommunikációba lépni. Irodalomjegyzék [1] A. Fazekas, I. Sánta (2000) Skeletonization on quadtree represented images. Acta Mathematica Academiae Paedagogicae Nyíregyháziensis, 16, 79-87. [2] A. Fazekas, I. Sánta (2000) Vázkijelölés kontúr-reprezentációjú képeken. Alkalmazott Matematikai Lapok, 20, 165-181. [3] A. Fazekas, A. Hajdu (2001) Recognizing typeset documents using Walsh transformation. Journal of Computing and Information Technology, 9, 101-112. [4] A. Fazekas, A. Hajdu, L. Hajdu (2001) Analyzing the structure of the set of neighbourhood sequences. 5th International Conference on Applied Informatics, Eger, 41-48. [5] A. Fazekas, C. Kotropoulos, I. Buciu, I. Pitas (2001) Face detection by support vector machines in the Walsh transform domain. 8th Panhellenic Conference in Informatics, Nicosia, 2/156-164. [6] A. Fazekas, A. Hajdu, L. Hajdu (2002) Lattice of generalized neighbourhood sequences in nd and D. Publicationes Mathematicae Debrecen, 60, 405-427. [7] A. Fazekas, A. Hajdu, L. Hajdu (2003) Lattice of generalized neighbourhood sequences in nd. 3rd International Symposium on Image and Signal Processing and Analysis, Rome, 107-111. [8] A. Hajdu, B. Nagy, Z. Zörgő (2003) Indexing and segmenting colour images using neighbourhood sequences. IEEE International Conference of Image Processing, Barcelona, I/957-960. [9] C. Kotropoulos, A. Fazekas, I. Pitas (2003) Fast multiscale mathematical morphology for frontal face authentication. NSIP-03, Grado-Corizia, 5 pages. [10] Z. Zörgő, A. Hajdu, S. Manó, Z. Csernátony, Sz. Molnár (2003) Analyzis of a new femur lengthening surgery. IEEE IASTED International Conference on Biomechanics, Rhodes, 34-38. [11] M. Emri, A. Hajdu, J. Kormos, Z. Zörgő (2004) MEDIP Platformfüggetlen keretrendszer orvosi képfeldolgozáshoz. Informatika és Menedzsment az Egészségügyben (IME), III/5, 44-48. [12] A. Fazekas, I. Sánta (2004) Recognition of Facial Gestures From Thumbnail Picture. NOBIM'2004, Stavanger, 54-57. [13] A. Hajdu, L. Hajdu (2004) Approximating the Euclidean distance using nonperiodic neighbourhood sequences. Discrete Math., 283/1-3, 101-111. [14] A. Hajdu, S. Manó, Z. Zörgő (2004) The "spiral cut" technique for leg lengthening. 1st Hungarian Conference on Biomechanics, Budapest, 151-160. 6
[15] A. Hajdu A, Z. Zörgő (2004) ANSYS for Virtual Surgery: FEA is a valuable tool that aids doctors in orthopedic operations. ANSYS Solutions Summer 2004, 10-13. [16] A. Fazekas, A. Hajdu, L. Hajdu (2005) Metrical neighborhood sequences in Zn. Pattern Recognition Letters, 26, 2022-2032. [17] A. Fazekas, A. Hajdu, I. Sánta, T. Tóth (2005) Neighborhood sequences and their applications in the digital image processing. Lectures Notes in Computer Science, 3691, 766-772. [18] A. Fazekas, I. Sánta (2005) Recognition of facial gestures based on support vector machines. Lectures Notes in Computer Science, 3522, 469-475. [19] A. Hajdu, J. Kormos, A. Lukács, Á. Pányik, Cs. Szabó, P. Veres, Z. Zörgő (2005) Multipurpose 3D modeling for virtual clinical interventions. 2nd International Conference on Computational Intelligence in Medicine and Healthcare, Lisbon. [20] Zs. Ruttkay, A. Fazekas, P. Rigó (2005) Hungarian talking head according to MPEG-4. Harmadik Magyar Grafikai és Geometriai Konferencia, Budapest, 16-23. [21] A. Hajdu, J. Kormos, T. Tóth, K. Veréb (2006) Applications of neighborhood sequence in image processing and database retrieval. Journal of Universal Computer Science,12/9, 1240-1253. [22] A. Roubies, A. Hajdu, I. Pitas (2006) Improving the performance of the GVF snake algorithm. 2nd IEEE-EURASIP International Symposium on Control, Communications, and Signal Processing, Marrakech, 4 pages. [23] A. Fazekas, L. Sajó (2007) Multi-Modal Human-Computer chess player - The Turk, ITI2007, Dubruvnik, 29-30. [24] A. Hajdu, L. Hajdu, A. Fazekas (2007) Properties of natural ordering relation for octagonal neighborhood sequences. 5th International Symposium on Image and Signal Processing and Analysis, Istanbul, 168-173. [25] Gy. Kovács, Zs. Ruttkay, A. Fazekas (2007) Virtual chess player with emotions. Fourth Hungarian Conference on Computer Graphics and Geometry, Budapest, 182-188. [26] A. Hajdu, L. Hajdu, R. Tijdeman (2007) General neighbourhood sequences in Zn. Discrete Appl. Math., 155, 2507-2522. [27] A. Hajdu, C. Giamas, I. Pitas (2007) Object simplification using skeletonbased weight function. 8th International Symposium on Signals, Circuits and Systems, Iasi, 4 pages. [28] A. Hajdu, I. Pitas (2007) Compression optimized tracing of digital curves using graph theory. International Conference on Image Processing, San Antonio, VI/453-456. [29] A. Hajdu, I. Pitas (2007) Optimal approach for fast object-template matching. IEEE Trans. on Image Processing,16/8, 2048-2057. [30] A. Hajdu, I. Pitas (2007) Content adaptive heterogeneous snakes. International Conference on Image Processing, San Antonio, I/253-256. 7
[31] A. Hajdu, I. Pitas (2007) Tracing on heterogeneous grids to improve concavity performance of snake algorithms. International Symposium on Signal Processing and its Applications, Sharjah, 4 pages. [32] A. Hajdu, P. Veres, A. Tanács (2007) Simplification of objects for adaptive matching and visualization. Fourth Hungarian Conference on Computer Graphics and Geometry, Budapest, 164-171. [33] A. Hajdu, I. Pitas (2008) Piecewise linear digital curve representation and compression using graph theory and a line segment alphabet. IEEE Trans. on Image Processing, 17/2, 126-133. [34] A. Fazekas, K. Palágyi, Gy. Kovács, G. Németh (2008) Skeletonization based on metrical neighborhood sequences. Lectures Notes in Computer Science, 5008, 333-342. 8