INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY A szakirány célja, hogy a hallgatók megismerkedjenek korszerû mérnöki-informatikai fejlesztõ technológiákkal (MATLAB, LabView, OpenCV), valamint automatizált rendszerek készítésével és az ehhez szükséges elméleti és gyakorlati alapokkal. A három szemeszter alatt a hallgatók egyéni és csoportszervezésû projektekben készítenek el egy-egy összetett rendszert. A fejlesztési munkákat alkalmanként külsõs szakemberek elõadásaival, konzultációival, laborvezetésével kívánjuk segíteni. Tantárgyak 5. szemeszter 6. szemeszter 7. szemeszter ea gy l k kr ea gy l k kr ea gy l k kr Robotika és gépi látás alapjai 3 0 1 f 5 Mérnöki informatika korszerû fejlesztõeszközei 0 0 2 f 2 Gépi látás 2 0 2 v 5 K+F szakmai labor I. 0 0 1 f 1 Mobil robotok és robotlátás 2 0 0 v 3 K+F szakmai labor II. 0 0 1 f 2 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY 91
Mobil robotok és robotlátás Elõfeltételek: Gépi látás; K+F szakmai labor I. szemeszter: 7. óraszám (ea/gy/l): 2/0/0 követelmény: v kredit: 3 A tantárgy keretében a hallgatók elsajátítják a robotika haladó szintû technikáit és megismerik a gépi látás további területeit. A tantárgy tartalma: Mobil robotok általános bemutatása Kerekes robotok, CLAWAR gépek, statikus és dinamikus mozgásstabilitás, hibrid robotok, mikroés nanorobotok, szervizrobotok, telerobotika. Durva pályatervezés módszerei GVD használata pályatervezéshez. Pályatervezés konfigurációs térben, neurális elvû pályatervezés. Foglaltsági térképek. Virtuális erõtér. Finom pályatervezés módszerei Interpolációs mozgás. Spline-ok használata. Lineáris interpoláció parabolikus átmenetekkel. Trajektóriatervezés Optimális utazó trajektória tervezése. Pályavezérlési feladatok Pontról pontra történõ pályavezérlés, folyamatos pályavezérlés. Aktuátorok vezérlése Aktuátortípusok és a vezérlésükhöz szükséges jelek elõállításának különbözõ lehetõségei. Robotnavigáció Külsõ érzékelõk használata navigációhoz, vizuális információ alkalmazása akadályelkerülésre és navigálásra, a PAL optikai tulajdonságai és alkalmazási lehetõségei. Sztereo képfeldolgozás Leíró modell, epipoláris geometria, összetartozó képpontok vizsgálata, diszparitás térképek. Mozgó képek feldolgozása Optical flow alapú módszerek, mozgásdetektálás, mozgáskövetés. Képtömörítési módszerek, videóképek kezelése. Aktív kontúrok Energiaminimalizációs görbe. Snake-ek használata szegmentáláshoz és követéshez. Robotlátási feladatok Akadályelkerülés, térképezés, navigáció. Útjelzõk használata a mozgás során. Somló J., Lantos B., Cat: Advanced Robot Control, Akadémia Kiadó, 1997 R. J. Schilling: Fundamentals of Robotics: Analysis and Control, Prentice-Hall International, 1990 Lantos B.: Robotok irányítása, Akadémiai Kiadó, Budapest, 1991 S. J. Russel, P. Norvig: Mesterséges intelligencia modern megközelítésben, Panem-Prentice Hall International, 2000 E. Trucco, A. Verri: Introductory Techniques for Computer Vision, Prentice Hall Int. 1998 D. Forsyth, J Ponce: Computer Vision A Modern Approach, Prentice Hall Int. 2002 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY 97
K+F szakmai labor I. Elõfeltételek: Robotika és gépi látás alapjai; Mérnöki informatika korszerû fejlesztõeszközei szemeszter: 6. óraszám (ea/gy/l): 0/0/1 követelmény: f kredit: 1 A tárgy célja, hogy a hallgatók egy összetett kutatási feladatot oldjanak meg csoportszervezésû munkában. Ennek érdekében megismerkednek az alapvetõ hardver- és szoftvereszközök használatával, az elkészített rendszerterv alapján megvalósítják majd az ott leírtakat. A gyakorlatok ezen része feladatcentrikus és javarészt konzultációs jellegû. A tantárgy tartalma: Tudományos kutatás módszertani alapjai A témaválasztás, az anyag felkutatása, munkaterv és jegyzékek készítése, kidolgozás, tesztelés, eredmények összegzése. A projektfeladat ütemezése: A szükséges eszközök megismerése folyamatosan. Az elõrehaladás munkanaplóban kerül rögzítésre. Ugyancsak folyamatosan fejlesztendõ a projekt internetes honlapja. Feladatválasztás Rendszertervvázlat (kiindulási irányok, szükséges eszközök felvázolása) Elõzetes irodalomkutatási eredmények dokumentálása Rendszerterv leadása Minikonferencián a téma és megoldási javaslat bemutatása A projektek témájához igazodó konferenciakiadványok és publikációk Eco U.: Hogyan írjunk szakdolgozatot?, Gondolat, 1994 Popper K. R.: A tudományos kutatás logikája, Európa, 1997 96 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY
Gépi látás Elõfeltételek: Robotika és gépi látás alapjai; Mérnöki informatika korszerû fejlesztõeszközei szemeszter: 6. óraszám (ea/gy/l): 2/0/2 követelmény: v kredit: 5 A tantárgy keretében a hallgatók elsajátítják a képfeldolgozás alapvetõ technikáit, algoritmusait és gyakorlatot szereznek ezek számítógépes implementálásában. A félév második felében az alakfelismerés alapjai és algoritmusai a fõ terület, illetve a hallgatók megismerkednek ipari képfeldolgozó eszközökkel. A fejlesztési környezet IPP, OpenCV, MATLAB, LabView. A tantárgy tartalma: Kamera kalibráció Kamerák modellezése. Belsõ és külsõ paraméterek. Kalibrálás Szegmentálási algoritmusok Binarizálás globális küszöbbel, additív binarizálás lokális küszöbértékekkel, Split and merge módszer régiókra, régiónövesztéses algoritmus, textúrajellemzõk meghatározása, csontvázasítás. Élek felismerése Adott futam mentén élek keresése, subpixeles éldetektálás, Canny algoritmusa, élfelismerés és élirány-meghatározás SUSAN módszerrel, Hough transzformáció, élkövetési algoritmusok (lánckódolás, lánckódsimítás). Alakjellemzõk Alakleíró paraméterek, eltolásra, elforgatásra, skálázásra, affin transzformációkra invariáns mennyiségek, nyomatéki leírók és fõtengelyek meghatározása, Fourier leírók. Objektumok azonosítása Mintaillesztés. Tulajdonság vektorok készítése, osztályozási módszerek. Képek feldolgozása frekvenciatartományban Fourier-transzformálás egy és két dimenzióban, DFT, FFT, alul- és felüláteresztõ szûrõk, diszkrét koszinusz transzformáció. Waveletek Wavelet transzformáció jellemzõi, waveletek használata. Képfeldolgozás alkalmazási területei OCR, dokumentációfeldolgozás, azonosító rendszerek, orvosi alkalmazások, képfeldolgozás alapú ipari minõségbiztosítás. Gépi látás további alkalmazásai Arcok keresése képeken és arcfelismerés. Gesztusok vizsgálata. Emberek keresése képsorozatokon. Ujjnyomatalapú azonosítás. Más biometrikus rendszerek. Integrált képfeldolgozó rendszerek A laboratóriumi gyakorlatok témái: A gyakorlatokon a megismert képfeldolgozási, gépi látási algoritmusok kerülnek implementálásra az Intel IPL és OpenCV képfeldolgozó szoftverkönyvtárak felhasználásával, valamint a MATLAB Image Acquiring és Image Processing Toolbox használatával. E. Trucco, A. Verri: Introductory Techniques for Computer Vision, Prentice Hall Int., 1998 D. Forsyth, J. Ponce: Computer Vision A Modern Approach, Prentice Hall Int., 2002 I. Pitas: Digitale Image Processing Algorithms, Prentice Hall Int., 1993 H. Niemann: Pattern Analysis and Image Understanding, Springer, 1991 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY 95
Mérnöki informatika korszerû fejlesztõeszközei Elõfeltételek: Matematika szigorlat; Szoftver szigorlat szemeszter: 5. óraszám (ea/gy/l): 0/0/2 követelmény: f kredit: 2 Sergyán Szabolcs fõiskolai adjunktus A tantárgy keretében a hallgatók elsajátíthatják a MATLAB fejlesztõkörnyezet használatát, jártasságot szereznek a MATLAB programozásában és az Image Processing Toolboxon alapuló fejlesztésben. Emellett a hallgatók elsajátítják a LabView virtuális mûszerezési programozási rendszer használatát. A laboratóriumi gyakorlatok témái: MATLAB környezet Mátrixok, mûveletek mátrixokkal. Lineáris egyenletrendszerek Könyvtári függvények, fájlmûveletek Függvények ábrázolása, képek kezelése Programozási alapok, szkriptek, adattípusok Operátorok és precedenciájuk, vezérlési szerkezetek, ciklusok, függvények készítése, argumentumok Grafikus felhasználói felület készítése és programozása Image Processing Toolbox Képformátumok és konverziók, képaritmetika, megjelenítés, transzformációk Szomszédsági és blokkmûveletek A LabVIEW alapelemeinek és alapelveinek megismerése, A G nyelv. A virtuális mûszer (VI) részei: front panel bemeneti és kimeneti elemei, a diagrampanel a programozás közege, az ikon konnektor az alprogramok készítésének lehetõsége Kimenetei elemek (indikátorok) és bemeneti elemek (kontrollok) használata. A pozicionáló, a címkézõ és a huzalozó eszköz használata adatfolyamprogram készítéséhez. Szubrutin mentése könyvtárba Ciklusok alkalmazási technikája. A LabView ciklus utasításai Case struktúra és attribute node-ok használata. Alprogramok betöltése, a Case szelektorának kezelése, lokális tárolóváltozó használata, attribute node alkalmazása Shift regiszterek kezelése. A differenciálegyenlet programjának elkészítése, integráló tag készítése téglányösszeggel és trapéz szabállyal, ciklusváltozó felhasználása shift regiszter segítségével, shift regiszter típusa és kapcsolódási pontjai Formula node struktúra megismerése és grafikonok létrehozása. Képletek bevitele, input és output adatok csatlakoztatása. Diagramok és használatuk. Rekordok kötegelése Fájlok kezelése. Szöveges fájlok kezelése, adatok betöltése és mentése A LabView képfeldolgozási lehetõségei Lipovszki Gy.: LabView, Multimédia típusú oktató anyag, BME, 1996 Graff J.: LabView mintafeladatok, BME, 1996 94 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY
A laboratóriumi gyakorlatok témái: A gyakorlatok egy részén a megismert képfeldolgozási algoritmusok kerülnek implementálásra MDI alkalmazásként. A megvalósított programrészek hatékonyságát profiler segítségével vizsgálják a hallgatók. A laborok másik felében egy adott robot mozgáslehetõségeinek szimulációs programját fejlesztik ki a diákok Denavit Hartenberg módszer használatával. Siegler A.: Robotirányítási modellek, LSI Alkalmazástechnika, 1987 R. J. Schilling,: Fundamentals of Robotics: Analysis and Control, Prentice-Hall International, 1990 R. Gonzales, R. Woods, S. Eddins: Digital Image Processing Using MATLAB, Prentice Hall Int., 2004 C. Parker: Practical Computer Vision Using C, John Wieley, 1993 Álló G., Hegedûs Gy., Kelemen D., Szabó J.: A digitális képfeldolgozás alapproblémái, Akadémiai Kiadó, Budapest, 1989 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY 93
Robotika és gépi látás alapjai Elõfeltételek: Matematika szigorlat; Szoftver szigorlat szemeszter: 5. óraszám (ea/gy/l): 3/0/1 követelmény: f kredit: 5 A tantárgy keretében a hallgatók elsajátítják a robotok és környezetük modellezésének alapjait, a gépi látás (képfeldolgozás) bevezetõ fogalmait, technikáit, valamint a grafikus megjelenítéshez szükséges egyes elemeket. A tantárgy tartalma: Ipari robotok és manipulátorok fogalma és fajtái, kinematikai felépítésük, robotok paraméterei Történeti áttekintés, robotok és az automatizáció, az ipari manipulátorokhoz, robotokhoz kapcsolódó fogalmak (robotmeghatározások; kinematika, kinetika és dinamika; mozgástengelyek; szabadságfok és mobilitások; robotok paraméterei: pontossági jellemzõk), a robotok osztályozási szempontjai, az ipari robotok generációi, robotok csoportosítása kinematikai felépítésük szerint. Ipari robotok alkalmazásának területei Hegesztõrobotok, pályavezérlésû megmunkáló robotok, tisztító-, sorjázórobotok, festõrobotok, automatikus szerelõ- és ellenõrzõ robotok, szervizrobotok, mobil robotok. Robotosított rendszerek általános felépítése A robotmechanizmus részei: kinematikai lánc és megfogó, kinematikai struktúrák, munkatértípusok, robotok szerkezeti elemei (karok, vezetékek és csuklók, megfogószerkezetek). A mérõrendszerek, az egyes axisok állapotának mérése (abszolút és növekményes mérési módszerek), környezet vizsgálata (külsõ érzékelõk típusai). A robotirányító számítógép. A robotmodellezés matematikai alapjai Homogén koordináták és transzformációk, manipulátorok kinematikai kontrollegyenletei, Denavit Hartenberg karleírás, derékszögû-, henger-, gömbkoordinátás és humanoid robotkarok modelljei, külsõ koordináták alkalmazása modellezésre: Euler szögek. A direkt és az inverz geometriai feladat A direkt feladat szimbolikus és numerikus megoldási lehetõségei, az inverz feladat megoldási módszerei: az inverz mátrixok módszere, részfeladatokra bontás, geometriai megfontolásokon alapuló megoldás, robotszimulátorok. Vizuális információ alkalmazása robotikai feladatokban Vizuális információ használata a relatív helyzet meghatározáshoz, kamera- és munkatér koordinátarendszerek kapcsolata, 3D 2D leképzési technikák. Gépi látás alapfogalmak A látás alapjai, mintavételezés, kvantálás, digitális képek reprezentációi, képformátumok. Elemi képfeldolgozási mûveletek Pontmûveletek (inverz számítás, geometriai transzformációk), kétképes mûveletek (aritmetikai és logikai funkciók). Színes képek kezelése Színmodellek, transzformációk a modellek között. Fõtengely-transzformáció. Elõfeldolgozási módszerek Zajelnyomás alapmódszerei (átlagoló szûrõk), morfológiai algoritmusok (medián szûrõ, erózió, dilatáció, opening, closing, kontúr és extrénum szûrõk), hisztogramok számítása, hisztogramtranszformációk, élesítés, idõben történõ kiegyenlítés és háttér-kiegyenlítés. Normalizálás Normalizálás képtartományban és intenzítástartományban, képpiramisok alkalmazása. Élkiemelési módszerek (kontúrkeresés) Elsõ- és másodrendû parciális deriváltakon alapuló módszerek és ezek javításai (Robert, Sobel, Kirsch, Prewitt, Robinson, Laplace operátorok), élvékonyítás, görbék illesztése kontúrpontokra (regressziós egyenes illesztése), Split and Merge módszer optimalizált illesztéshez. 92 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY
K+F szakmai labor II. Elõfeltételek: Gépi látás; K+F szakmai labor I. szemeszter: 7. óraszám (ea/gy/l): 0/0/1 követelmény: f kredit: 2 A tárgy célja, hogy a hallgatók egy összetett kutatási feladatot oldjanak meg csoportszervezésû munkában. Az elõzõ félévben elkészített rendszerterv alapján a projektek résztvevõi implementálják tervezett megoldásukat és tesztelik az elkészített rendszert. A félév végén minikonferencia keretében számolnak be az eredményekrõl. A projektek témájához igazodó konferenciakiadványok és publikációk Eco U.: Hogyan írjunk szakdolgozatot?, Gondolat, 1994 Popper K. R.: A tudományos kutatás logikája, Európa, 1997 A gyakorlatok témái: A projektfeladat ütemezése: A szükséges eszközök megismerése folyamatosan. Az elõrehaladás munkanaplóban kerül rögzítésre. Ugyancsak folyamatosan fejlesztendõ a projekt internetes honlapja Konferencia stílusú cikk készítése Bétaverzió bemutatása minikonferencia keretében A végsõ dokumentáció leadása Minikonferencián a megoldás és az eredmények bemutatása 98 INFORMATIKAI ÉS AUTOMATIZÁLT RENDSZEREK SZAKIRÁNY