A KÉPFELDOLGOZÁS OKTATÁSA A BSC ÉS AZ MSC KÉPZÉSEKEN A SZEGEDI TUDOMÁNYEGYETEMEN

Átírás

1 A KÉPFELDOLGOZÁS OKTATÁSA A BSC ÉS AZ MSC KÉPZÉSEKEN A SZEGEDI TUDOMÁNYEGYETEMEN TEACHING IMAGE PROCESSING AT THE UNIVERSITY OF SZEGED Balázs Péter, Erdőhelyi Balázs, Katona Endre, Kató Zoltán, Máté Eörs, Nagy Antal, Nyúl László, Palágyi Kálmán, Tanács Attila Szegedi Tudományegyetem (SZTE), Természettudományi és Informatikai Kar (TTIK), Képfeldolgozás és Számítógépes Grafika Tanszék Összefoglaló A digitális képfeldolgozás oktatása a Szegedi Tudományegyetem Természettudományi és Informatikai Karán, az Informatikai Tanszékcsoport Képfeldolgozás és Számítógépes Grafika Tanszékén közel négy évtizedes hagyományra tekint vissza. Az Informatikai Tanszékcsoporton folyó képzések közül a programtervező informatikus BSc és a mérnök informatikus BSc szakokon törzstárgy a Digitális képfeldolgozás, továbbá a Számítógépes grafika és a Multimédia is. Az indítandó informatikus MSc szak törzstárgyai a Képfeldolgozás haladóknak és a Fejlett grafikai algoritmusok. A képfeldolgozást szakirányként is választhatják a hallgatók. A szakirányos tárgyaink: Orvosi képfeldolgozás, Számítógépes látás, Térinformatika, Képszegmentálás, Képregisztráció, Képi adatbázisok, Képrekonstrukció. Tudomásunk szerint a képfeldolgozás területén a hazai felsőoktatásban a mi kínálatunk a leggazdagabb. Kulcsszavak digitális képfeldolgozás, számítógépes grafika, számítógépes látás Abstract The teaching of digital image processing related subjects has a tradition of about four decades at the Department of Image Processing and Computer Graphics, Faculty of Science and Informatics, University of Szeged. Currently Digital Image Processing, Computer Graphics and Multimedia are mandatory courses in the Computer Program Designer and Computer Engineer BSc programs. Advanced Image Processing and Advanced Graphics Algorithms will be compulsory courses in our upcoming Computer Program Designer MSc program. Image processing can also be selected as the field of specialization. Courses provided by our department in the image processing field are Medical Image Processing, Computer Vision, Geographic Information Systems, Image Segmentation, Image Registration, Image Databases, and Image Reconstruction. To our knowledge, we provide the most versatile education in the image processing field among the Hungarian universities. Keywords digital image processing, computer graphics, computer vision 1

2 1. Törzstárgyak a BSc képzésen 1.1. Digitális képfeldolgozás A tárgy tematikája a képfeldolgozás (matematikai) alapjait, a legfontosabb fejezeteit (bennük az alapvető módszereket, algoritmusokat) öleli fel: képalkotás, Fouriertranszformáció, konvolúció, pontoperációk és hisztogram-transzformációk, szűrés képtérben és frekvenciatérben, jellemzők detektálása, szegmentálás, alakleírás, képek kódolása. Az előadás-anyag legfontosabb forrása Gonzales és Woods kézikönyve (Gonzales, Woods, 2008). A géptermi gyakorlatokon a hallgatók a VisiQuest rendszert (a Khoros utódját) használják, mellyel grafikus felületen tudnak adatfolyam gráfokat szerkeszteni, szemléltethetők vele az alapvető műveletek és alkalmas összetett problémák megoldására is Számítógépes grafika A kurzus a 2D és 3D számítógépes grafika alapelveit, feladatait, matematikai alapjait és legfontosabb algoritmusait tárgyalja: grafikus primitívek rajzolása raszteres képernyőn, területkitöltő algoritmusok, geometriai transzformációk, grafikus primitívek vágása, vetítések, parametrikus görbék és felületek megadása, látható vonalak és felszínek meghatározása. Szó esik még a különféle színmodellekről, a megvilágítottság modelljeiről, árnyékolási algoritmusokról, sugárkövetéses technikákról. A hallgatók megismerkednek az OpenGL programozás alapjaival és a számítógépes laborgyakorlatokon a megismert módszereket konkrét példákon is kipróbálják, illetve egyszerűbb grafikai feladatokat oldanak meg. A tematika Foley klasszikus tankönyvére (Foley et al, 1999) illetve Szirmay-Kalos magyar nyelvű tankönyveire (Szirmay-Kalos, 1999; Szirmay-Kalos et al, 2003) támaszkodik Multimédia A kurzus egy áttekintő képet nyújt a multimédiával kapcsolatos fogalmakról, eszközökről, alapvető technikákról, alkalmazási területekről és tervezési szempontokról. A változatos hallgatói összetétel miatt csak a legszűkebb előismeretekre támaszkodik, és összefoglalásra kerülnek a kapcsolódó témák legalapvetőbb fogalmai, módszerei, és iránymutatókat ad az érdeklődők számára a mélyebb ismeretek felé. Tárgyalásra illetve áttekintésre kerülnek a digitális reprezentációval, digitalizálással, a grafikai elemekkel kapcsolatos fogalmak, különböző színterek, színek megválasztása, használata, tipográfiai alapismeretek, lapelrendezés, grafikus és szöveges elemek kombinálása, struktúrált szöveg, jelölőnyelvek, stíluslapok alkalmazása. Külön témakört alkotnak a mozgóképpel (animáció, film és videókészítés, feldolgozás) és hangelemekkel kapcsolatos technikák, formátumok, szabványok, valamint a különböző médiumok kombinálására, valamint az interaktivitás kezelésére használt módszerek. A számítógépes laborgyakorlatokon a hallgatók megismerkednek egy kiválasztott szoftver eszközzel, amivel önálló multimédiás projekteket valósítanak meg. Az előadás anyaga nagyjából a Chapman páros könyvének (Chapman & Chapman, 2000) tárgyalásmódját követi, de az információkat egyéb nyomtatott és online források alapján bővítve és frissítve tartalmazza. 2

3 2. Törzstárgyak az MSc képzésen 2.1. Képfeldolgozás haladóknak A tárgyat az 1.1. alfejezetben bemutatott a Digitális képfeldolgozás alapozza meg. Tematikája a kulcsproblémákra adott fejlett módszereken túl további érdekes fejezetet is tárgyal: színes képek feldolgozása, a szegmentálás fejlett módszerei, textúra-elemzés, matematikai morfológia, mozgáskövetés, vázkijelölés, leképezések (warping, morphing), bináris képek feldolgozása, Az előadás anyagánál felhasznált forrásművek közül Sonka, Hlavac és Boyle kézikönyvét (Sonka, Hlavac és Boyle, 2007) emeljük ki. A géptermi gyakorlaton a projektek megbeszélése és bemutatása folyik. A hallgatók 4-5 fős csapatokban vállalkoznak egy-egy összetett probléma megoldására Fejlett grafikai algoritmusok A tantárgy keretein belül főleg olyan algoritmusokat mutatunk be, melyek a Számítógépes grafika tantárgy (1.2. alfejezet) ismeret anyagára épülnek, és új módszereket adnak a 3D-s objektumok realisztikus megjelenítésére. Bemutatásra kerülnek különböző transzformációs, textúrázási és megvilágítási technikák valamint az algoritmusok mellett olyan programozási technikákat is ismertetünk, amelyek kihasználják a programozható grafikus hardverek képességeit. Külön kitérünk ezen hardver egységek általános célú (nem grafikai) felhasználására is, mely lehetőséget biztosít a későbbiekben ezen tudás más területeken (például képfeldolgozás vagy számítógéppel támogatott tervezés) való felhasználását. A laboratóriumi gyakorlatokon az OpenGL függvény könyvtár és Cg eszköz segítségével szemléltetjük az előadáson ismertetett algoritmusokat. 3. A képfeldolgozás szakirány tárgyai 3.1. Orvosi képalkotás A tárgy a legfontosabb orvosi képalkotó eljárásokkal, a képalkotás fizikai alapjaival, az egyes modalitásokra leginkább jellemző képfeldolgozó eljárásokkal foglalkozik. Ennek során ismerteti a Röntgen és CT készüléket, a vetületekből történő rekonstrukció elvét. A radioaktív sugárzás detektálására szolgáló szkennereket, a gamma kamerát és a SPECT készüléket. A gamma kamera kapcsán bemutatja a szokásos kalibrációs és korrekciós eljárásokat. A PET készüléket. A PET készülék segítségével végezhető két és több kompartment analízist. Az ultrahanggal végezhető vizsgálatok közül tárgyalja az időbeli és a térbeli felbontást biztosító és a Doppler hatást kihasználó felvételi módokat. Bemutatja a mágneses rezonancia készülék működési elvét, a proton sűrűség, a T1 és T2 képek készítési módját. Szó esik a regiszráció fontosságáról, alkalmazási lehetőségeiről. Bemutatásra kerül néhány egyszerűbb klinikai program, és funkcionális jellemzőket bemutató 3 dimenziós megjelenítés. Az előadás anyagának bőséges kiegészítését szolgálja Gelfand és Thomas könyve (Gelfand, Thomas, 1988), továbbá a három kötetes Medical Imaging (2000). A laboratóriumi gyakorlatokon a hallgatók az orvosi képfeldolgozás egyes fejezeteihez tartozó egyszerűbb feladatokat oldanak meg Számítógépes látás A kurzus célja a számítógépes látás elméletének és gyakorlatának megismertetése a hallgatókkal. A számítógépes látás az emberi látás azon funkcióit valósítja meg, amelyek a 3

4 retinai kép elemzését végzik. Ezek elsősorban a képi tartalom értelmezésére irányulnak: a látott képből következtet az objektumok 3D alakjára (felületrekonstrukció), az objektumok térbeli elhelyezkedésére, egymáshoz való viszonyára (mélységi információ kinyerése), illetve több, időben egymást követő képből a mozgás érzékelése és a mozgó objektumok követése. A kurzus előadásain az alábbi témakörökbe kapnak részletes betekintést a hallgatók: Az emberi és a számítógépes látás kapcsolata, a látás matematikai és pszihofizikai modelljei (Marr, Gestalt szabályok). Kamera geometria és a leképezés paraméterei. Felületrekonstrukció egyetlen kép segítségével. Szetero látás matematikai alapjai: epipolár geometria, esszenciális mátrix, fundamentális mátrix. 3D rekonstrukció egyetlen képpárból, virtuális nézetek generálása. Mozgás mérése, Optical Flow kiszámítása, parametrikus mozgás modellek, mozgáskövetés. A laboratóriumi gyakorlatokon egyrészt az előadáson elhangzott algoritmusok gyakorlati alkalmazását ismerhetik meg a hallgatók mintaprogramokon keresztül, másrészt a félév során intenzív projektmunka zajlik: létszámtól és témától függően 2-4 fős csapatok dolgoznak egyegy projekten. A projekt megoldásához szükséges a kiírt probléma megértése, a megfelelő megoldás (algoritmus) megtervezése és kódolása, egy rövid projektjelentés megírása és mindezekhez egy weboldal összeállítása. Szükség lehet angol nyelvű szakirodalom tanulmányozására is. Továbbá a félév végén minden csapat percben bemutatja a munkáját (védés). A projekten folyamatosan kell dolgozni, a munka előrehaladását a félév folyamán 2 ellenőrzőpontban értékeljük. A kurzus anyagának megértéséhez szakirodalomként három kézikönyv ajánlott (Faugeras, 1996; Hartley, Zisserman, 2004; Ma et. al, 2003) Térinformatika A térinformatika (geoinformatika) ugyan önálló tudományterületet képez, de számos ponton kapcsolódik a digitális képfeldolgozáshoz. A szükséges térképészeti alapismeretek után a kurzusban a vektoros térinformatikára helyezzük a hangsúlyt: áttekintjük a fontosabb adatmodelleket (spagetti és topológikus modellek, tartománytérképek, hálózatok), majd vektoros algoritmusokat és adatbázismodelleket tárgyalunk. Ezután a térinformatikában használatos jellemző raszteres algoritmusok következnek, majd a digitális terepmodellezés eszközrendszerét tárgyaljuk. A géptermi gyakorlaton a hallgatók a MicroStation térinformatikai rendszerrel ismerkednek. Kötelező feladatként egy-egy kisebb térinformatikai alkalmazást kell elkészíteniük, amely egy térképrészlethez kapcsolt több táblás adatbázisból és megfelelő lekérdezési lehetőségekből áll Képszegmentálás A képszegmentálás a képfeldolgozás egyik legfontosabb alapproblémája, mely a hasonló tulajdonságú pixelek homogén területekbe történő csoportosításával foglalkozik. Sok képfeldolgozási feladat (például alakfelismerés, felület leírás, sztereó látás,...) kiindulási adata ilyen feldolgozott, szegmentált képből áll. Az alkalmazott eljárások sokfélék: Megtaláljuk köztük a digitális szűrők, matematikai morfológia, statisztika, valószínűség számítás, döntéselmélet eszközeit használó megoldásokat. A probléma igazi nehézsége azonban abban rejlik, hogy maga a szegmentálási folyamat (mint az emberi látás része) szubjektív és függ a képről meglévő előzetes ismereteinktől is. Mást várunk, másra vagyunk kíváncsiak például egy meteorológiai műholdfelvétel és egy megfigyelőrendszer kamerájából 4

5 érkező kép szegmentálása során. Az előadásokon az alábbi témaköröket tárgyaljuk részletesen: Szegmentálás fogalma, alkalmazási területei. Osztályozáson alapuló módszerek, küszöbölés, klaszterezés. Él- és határ-alapú szegmentálás. Régió-alapú szegmentálás. Illesztésen alapuló szegmentálás. Statisztikai módszerek. Aktív kontúr és deformálható modellek. Szétválasztás és egyesítés, vízválasztó szegmentálás. Szinthalmaz módszerek. Fuzzy összefüggőség és változatai. Szín, textúra, mozgás alkalmazása a szegmentálásban. A laboratóriumi gyakorlatokon a hallgatók megismerkednek az előadáson elhangzott módszerek gyakorlati alkalmazásával, valamint projektmunka keretében különböző szegmentálási problémákat oldanak meg Képregisztráció A képregisztráció a digitális képfeldolgozás napjainkban felmerült problémája, mely két, egymástól függetlenül felvett kép közötti geometriai viszony meghatározását jelenti. Ezen képek felvétele különböző időpontokban, különböző nézőpontokból vagy akár különböző képalkotó berendezésekkel is történhet. A regisztrációs problémával számos alkalmazási területen találkozunk, beleértve a számítógépes látást és az orvosi képek illesztését. Ez utóbbi esetben a betegekről különböző időpontokban, irányokból vagy módokon készült felvételek illesztése megbízhatóbb diagnosztikai információt biztosít, segíti a képmegértést, és javítja a műtét- és a terápia tervezését, valamint kiértékelését. A kurzus során bemutatása kerülnek a regisztrációs módszerek csoportosítási lehetőségei, általános jellemzői. Részletesen tárgyaljuk a pont-alapú, a felszínillesztő, és a képpont hasonlóságon alapuló módszereket. Az anyag zárásaként szó esik a nem-lineáris módszerekről, valamint műtéttervezési és -végrehajtási feladatokról is. Az előadás anyaga elsősorban Hajnal és munkatársai (Hajnal, 2001), valamint Goshtasby (Goshtasby, 2005) könyveire épül Képi adatbázisok A kurzus a képi információ adatbázisban való tárolásával illetve a képi tartalom és adatbázisok kapcsolatával foglalkozik. Két fő megközelítést vizsgálunk. Egyrészt képarchívumok kezelési technikáit tekintjük át, kiegészítve a képi tartalom szerinti keresés lehetőségeivel, érintve a kereséshez használt képi eredetű jellemzők kinyerését, a szegmentálás, képosztályozás, alakleírás kapcsolódó kérdéseit is. Másrészt, vektoros (például geoinformatikai) adatok relációs adatbázisban való hatékony kezelését vizsgáljuk (Rigaux et al., 2002): térbeli indexelési módokat, speciális lekérdezési és megjelenítési lehetőségeket tárgyalunk. A kurzushoz kapcsolódó laborgyakorlaton a hallgatók megismerkednek a témakörhöz kapcsolódó szoftverekkel, és projektmunka keretében mintaalkalmazást készítenek Képrekonstrukció A kurzus a vetületi képekből történő képalkotás általános módszereibe és alkalmazásaiba nyújt bevezetést. A tárgyalt témák többek között: konvolúciós rekonstrukció, algebrai rekonstrukciós technikák, 3D tárgyak rekonstrukciója, számítógépes tomográfia, orvosi képek rekonstrukciója (CT, MRI, SPECT, PET), a tomográfia ipari alkalmazásai. Emellett a hallgatók megismerkedhetnek a diszkrét tomográfiával és annak alkalmazásaival is (angiográfia, elektronmikroszkópia, nemroncsoló anyagvizsgálat). Ez utóbbi témakör Herman és Kuba könyvei alapján kerül feldolgozásra (Herman, Kuba, 1999 és Herman, Kuba, 2007). 5

6 A gyakorlatokon a hallgatók feladata a bemutatott rekonstrukciós módszerek valós képeken történő alkalmazása. Irodalomjegyzék [1] Beutel J., Kundel H.L., Van Metter R.L. (2000) Medical Imaging, Vol. 1, SPIE [2] Chapman N., Chapman J. (2000) Digital Multimedia, John Wiley & Sons, Ltd. [3] Faugeras O. (1996) Three Dimensional Computer Vision: A Geometric Viewpoint, MIT Press [4] Foley J.D., van Dam A., Feiner S.K., Hughes J.F. (1999) Computer Graphics. Principles and Practice, Addison-Wesley [5] Gelfand M.J., Thomas S.R. (1988) Effective Use of Computers in Nuclear Medicine, McGraw-Hill [6] Gonzales R.C., Woods R.E. (2008) Digital Image Processing, 3rd edition, Prentice-Hall, Inc. [7] Goshtasby A.A. (2005) 2-D and 3-D Image Registration, John Wiley & Sons, Inc. [8] Hajnal J.V., Hill D.L.G., Hawkes D.J. (2001) Medical Image Registration, CRC Press [9] Hartley R.I., Zisserman A. (2004) Multiple View Geometry in Computer Vision, Cambridge University Press [10] Herman G.T., Kuba A. (eds.) (1999) Discrete Tomography: Foundations, Algorithms and Applications, Birkhauser [11] Herman G.T., Kuba A. (eds.) (2007) Advances in Discrete Tomography and Its Applications, Birkhauser [12] Kim Y., Horii S.C. (2000) Medical Imaging, Vol. 3, SPIE [13] Ma Y., Soatto S., Kosecka J., Sastry S. (2003) An Invitation to 3-D Vision, Springer Verlag. [14] Rigaux Ph., Scholl M., Voisard A. (2002) Spatial databases. Morgan Kaufmann Publishers, San Francisco [15] Sonka M., Fitzpatrick J.M. (2000) Medical Imaging, Vol. 2, SPIE [16] Sonka M., Hlavac V., Boyle R. (2007) Image Processing, Analysis, and Machine Vision, 3rd edition, Thomson Learning [17] Szirmay-Kalos L. (1999) Számítógépes grafika, Computerbooks [18] Szirmay-Kalos L., Antal Gy., Csonka F. (2003) Háromdimenziós grafika, animáció és játékfejlesztés, Computerbooks [19] VisiQuest - Discover, design, and deliver complex image and data analysis in a visual programming environment: 6