Digitális képfeldolgozás a Georgikon Karon

Digitális képfeldolgozás a Georgikon Karon (Digital Image Processing at Georgikon Faculty) Berke József Pannon Agrártudományi Egyetem, Georgikon Mezőgazdaságtudományi Kar, Szaktanácsadási, Továbbképzési és Informatikai Központ, 8360 Keszthely, Deák F. u. 57. E-mail: berke@georgikon.pate.hu Kivonat A harmadik évezred küszöbén az információ szelektálásában, feldolgozásában különös jelentőséggel bír a képfeldolgozás. Ismert tény, hogy az ember és a környezete közötti kapcsolatban a vizuális információ a legfontosabb a tömörsége miatt. Előadásunkban áttekintő képet kívánunk adni a Karunkon folyó, digitális képfeldolgozáshoz kapcsolódó növénytermesztési és növényvédelmi kutatási módszerek fejlesztéséről, valamint az elért eredmények és a digitális képfeldolgozás oktatási alkalmazásáról. Abstract Digital image processing is a rapidly evolving field with growing applications in science and engineering. The most important in connection with human and environment is the visual information, because it is very compactness. In our lecture we are giving a short summary about the following branches: digital image processing /DIP/ in plant protection and cultivation of plants, evaluation of the agriculture experiments with image processing and DIP possibilities in the education. 1. Bevezetés A harmadik évezred küszöbén az információ szelektálásában, feldolgozásában különös jelentőséggel bír a képfeldolgozás. Ismert tény, hogy az ember és a környezete közötti kapcsolatban a vizuális információ a legfontosabb a tömörsége miatt. A digitális képfeldolgozással nyert információk egy interaktív oktató anyag elkészítéséhez egyben vizuális és szöveges adatokat is szolgálnak, egymáshoz szorosan kapcsolódó formában. Szeretnénk áttekintő képet adni az Egyetemünkön folyó, digitális képfeldolgozáshoz kapcsolódó növénytermesztési és növényvédelmi kutatási módszerek fejlesztéséről, valamint az elért eredmények és a digitális képfeldolgozás oktatási alkalmazásáról. Napjainkban a személyi számítógép alapú eszközök ugrásszerű fejlődése a képi információk feldolgozását is szinte mindenki számára elérhető közelségbe hozza. Mindez a változás érezhető a digitális képfeldolgozás megismerésére jelentkező hallgatói és alkalmazói igény növekedésében is. 2. Kutatói és fejlesztői környezet 2.1 Hardware eszközök A digitális állóképek felvételezésére személyi számítógép alapú rendszert használunk. A jelenlegi eszközpark két, alapvetően jól elkülöníthető részre osztható. Az egyik egy Pentium alapú IBM kompatibilis személyi számítógép, a feldolgozásokat megfelelően támogató gyors

perifériákkal. A képek felvételezéséhez és memóriában történő tárolásához céleszközöket alkalmazunk. Ezek képezik az eszközrendszer következő csoportját (AFP-AT 2048x2048x28 bites képműkártya, CCD videokamera, reprodukciós asztal kamerás felvételekhez és grafikus monitor). A digitális álló- és mozgóképek kiértékelése DEC Pentium Windows, DEC AXP- Unix és SGI O2 - Unix alapú munkaállomások segítségével történik. Az oktatásra önálló PC alapú grafikus labor áll rendelkezésre, megfelelő kiegészítő eszközökkel és hálózati összeköttetéssel. 2.2. Software rendszer Az állóképek feldolgozása során modulárisan felépített software rendszereket használunk, amely a kutatáshoz és oktatáshoz szükséges speciális kiegészítéseket is tartalmazza. Az egyes modulok önállóan is alkalmazhatók és eszközigényük közel azonos. Legtöbbjük önálló fejlesztői nyelvvel is rendelkezik. Az alábbiakban felsorolás jelleggel megemlítjük azokat a software rendszereket, amelyeket alkalmazunk az oktatásban vagy kutatásban Karunkon: PRIMA (PRoper IMage Analysis) általános célú képfeldolgozó rendszer, PRICLA (PRoper Image CLAssification ) szegmentáló és alakfelismerő alrendszer, CIPRUS osztályozó programrendszer, FRAMEBASE képi adatbázis-kezelő rendszer, ERDAS IMAGINE 8.2 képfeldolgozó rendszer, Adobe Photoshop 4.0 képfeldolgozó rendszer, Alias/Wavefront Composer video editáló rendszer, Macromedia Director 6.0 multimédia fejlesztő rendszer, Asymetrix Multimedia ToolBook 3.0 CBT fejlesztői rendszer, TANKÉP oktató rendszer. 3. Kutatás-fejlesztési területek 3.1 Herbicidek fitotoxikus hatásának mérése Dózis: 0 Dózis: 1 Dózis: 2 1. ábra Herbicidek kultúrnövényre (kukorica) kifejtett fitotoxikus hatásának mérése. Vizsgálataink során a herbicidek kultúrnövényre (kukorica) kifejtett esetleges fitotoxikus hatását és tolerancia szintjét analizáltuk. A károsodást hagyományos módszerekkel nehéz elemezni. A károsodásokra jellemző paraméter a növény gyökerének (1. ábra) és zöld-részének felülete. A digitális képfeldolgozás segítségével mérhető egyes herbicidek fitotoxikus hatása és annak mértéke a tenyészedényes kísérletek során. A Herbológiai Tanszék kísérleteire épülve [1] a primisulfuron, rimriduron hatóanyagú herbicidek valamint a klóracetanilid herbicidek és az MG 191-es antidótum hatását vizsgáltuk kukorica gyökerére [2], [3]. Az általunk alkalmazott mérési módszer teljesen új, erre a feladatra eddig nem alkalmazott mérési és értékelési eljárásokat tartalmaz [3], [4].

3.2. Kártevők okozta elváltozások időbeli mérése A képi információk feldolgozásának a kísérletek lefolyásához viszonyított gyorsasága lehetőséget nyújt a folyamatok megfelelő időbeli nyomon követésre. A mintavétel gyorsasága CCD kamerával készített felvételek esetén 25 kép/másodperc. A valós idejű feldolgozó rendszerekben a képeket digitalizálás után közvetlenül feldolgozzuk, értékeljük esetleg döntéseket hozunk. A képeket általában nem tároljuk a feldolgozások után. Hasonló működésűek bizonyos mezőgazdasági robottechnikai látórendszerek. Ezek a mintavételezési gyorsaságok lehetővé teszik növényi kártevők által okozott strukturális és felületi elváltozások időbeli nyomon követését és számszerűsítését. Példaként említjük a káposztalepke /Pieris brassicae L./ hernyó táplálkozásának nyomon követését. A feldolgozott képek alapján megállapítható volt a hernyó időbeli táplálkozása [5], [6] természetes környezetének megváltoztatása nélkül. Diplomadolgozat keretein belül alkalmaztuk a digitális képfeldolgozást biolevelek rágókártevők elleni védekezésben történő alkalmazásánál, az elfogyasztott levélfelület mérésére (2. ábra). 3.3 Vetőmagvak gyommagfertőzöttségének vizsgálata A fitopatogén gombák felismerése során kapott eredmények alapján megpróbáltuk egyes gyommagvak felismerését. Egy-egy kultúrnövény magvai közé veszélyes gyomok magjait kevertük, majd a korábban ismertetett paramétereket mértük. A mérések után a NN-módszerrel osztályoztuk illetve ismertük fel az egyes fajok magjait [5], [6] [9]. A felvételezés során 20-20 ismert magról készítettünk referencia felvételeket. Ezek mérésével felépítettünk egy tananyagot, amely a további, ismeretlen minták osztályozását teszi lehetővé. A felvételezéseket CCD kamerával és CCD Scanner-el is elvégeztük. Kíváncsiak voltunk, hogy a két felvételezési technika között mutatkozó felbontásbeli különbségek (CCD kamera kb. 0.5 millió pixel/felvétel, Scanner kb. 3 millió pixel/felvétel) mennyire érvényesülnek a 2. ábra Az elfogyasztott biolevelek 8 bites álszínes felvételei 3. ábra Vetőmagvak gyommagfertőzöttségének osztályozása során vizsgált magvak felismerés során. Két alapvető hibát mértünk: 1. szegmentálási hiba (a felismert és a valós objektumok közötti eltérés), 2. döntési hiba a kultúrnövényre (a téves osztályba sorolt magvak részaránya). Értékeléseink alapján megállapítható, hogy 1. a szegmentálási hiba általában meghaladta a döntési hibát, 2. a két felvételezési technika hibáinak összehasonlításakor teljesen váratlan eredményt kaptunk: a nagyobb felbontású scanner-rel készült képek felismerésekor mindkét hiba

jelentősen megnőtt (valószínűleg a scanner automatikus szintrevágásának köszönhetően), 3. a szegmentálási hiba utólagosan, manuális korrekcióval csökkenthető volt, ekkor azonban megnövekedett a döntési hiba. Vagyis manuálisan könnyen elkülöníthetők az objektumok, de nem a megfelelő határok mentén. A korábban osztályozásban legjobbnak ítélt négy paraméterrel történő felismerés döntési hibája <2% volt. Jelenleg a felismerés gyakorlati alkalmazhatóságát vizsgáljuk. 3.4 Fitopatogén gombák számítógéppel támogatott felismerése A különböző fitopatogén gombák maghatározásának egyik klasszikus módszere a gombák szaporítóképleteinek morfológiai összehasonlítása [7]. Digitális képfeldolgozás céljára a Kis-Balatonon, a Balatonon, a tihanyi Belső-tó területén, a Velencei és a Fertő tavakon gyűjtött izolátumokat használtuk fel [3]. A megfelelően elkészített tartós preparátumokról binokuláris kutató-mikroszkóp és CCD kamera segítségével felvételeket készítettünk. A referencia képek tárgylemez-mikrométer segítségével az összes alkalmazott nagyításhoz külön-külön készültek. Az egyes osztályoknak megfelelő "tananyagot" ismert minták mérési eredményeit felhasználva határoztuk meg. Az osztályozást a súlyozott legközelebbi szomszédok módszerének alkalmazásával végeztük. A mérések során eddig nem mért, vagy hagyományos módszerekkel nehezen mérhető jellemzőket mértünk [3], mint: 1. Az objektum határvonalának hossza - perimeter. 2. Az objektumot alkotó pixelek száma - area. 3. Az objektum súlypontján átmenő minimális szelő hossza - minimal diameter. 4. Az objektum súlypontján átmenő maximális szelő hossza - maximal diameter. 5. Az objektum súlypontján átmenő szelők hosszának átlaga - (mean) diameter. 6. A súlypont és a legközelebbi határpont távolsága - minimal radius. 7. A kerület, terület és az átmérő felhasználásával kialakított hosszúság - length. 8. A súlypont és a tőle legtávolabbi határpont távolsága - maximal radius. 9. Az objektummal azonos területű körlap sugara - mean radius. 10. A maximális és minimális szelők aránya - flatness. 11. A terület és a kerület négyzetének aránya - shape. 12. Az objektum és a konvex burok területének hányadosa - convexity. 3.4.1 Korábbi vizsgálataink eredményei Morfológiailag eltérő fitopatogén gombafajok osztályozásának találati pontossága, 12 gombanemzetség, 14 fajából vett ismeretlen minta azonosítása során közel 98 %-os volt. A morfológiailag hasonló fajok osztályozása során a találati pontosság jóval alacsonyabbnak bizonyult mint morfológiailag eltérő fajok esetén. A statisztikai számításokból megállapítható volt, hogy a 12 paraméter négy alkalmasan megválasztott paraméterrel helyettesíthető a mérési eredmények alapján. Vagyis az általunk vizsgált minták morfológiai osztályozása négy alkalmasan származtatott paraméter segítségével hasonló eredménnyel prognosztizálható [3], [8], [9]. 3.4.2 Jelenlegi vizsgálataink Jelenlegi vizsgálataink az alkalmazott módszer pontosítására és egyes alternaria fajok /4. ábra/ jellemző paramétereinek mérésére terjednek ki. Szeretnénk továbbá az alkalmazott módszert a kísérletes pathológiai vizsgálatok könnyen alkalmazható vizsgálati módszerévé tenni. Napjainkban számos személyi számítógép alapú programrendszer lehetővé tesz alapvető képfeldolgozási feladatok megoldását. A kiértékelések hardver és szoftver feltétele tehát könnyen elérhető. Az egyes feldolgozási eljárások, módszerek azonban kevésbé ismertek vagy nincsenek kidolgozva. Több olyan próbálkozásunk is született, amely ezen utóbbi hiány részleges pótlására irányult [3], [4], [6].

4. ábra Néhány, az alakfelismerés során mért gombafajról készült digitális kép 3.5 Kis-balaton monitoring A Kis-balaton állapotának felmérése és monitoringja az MTA által összefogott, a kormány által kiemelt fontossággal bíró kutatási terület. A digitális képfeldolgozást, mint alkalmazási technikát több kísérletsorozat vizuális információinak értékelésére is kívánjuk használni. Ezen eljárások pontos kidolgozása jelenleg folyamatban van [20]. 3.6. Digitális műholdfelvételek mezőgazdasági alkalmazásának lehetőségei Az Informatikai Központ digitális képfeldolgozó rendszerének oktatásban való első alkalmazását egy gyakorlati feladat megoldása [10] és egy diplomadolgozat elkészítése közösen jelentette. A munka kitért az űrfelvételek feldolgozásán alapuló jelentősebb alkalmazások ismertetésére, összefoglalva azok jelentőségét a világ mezőgazdasági jellegű feldolgozásaiban. Konkrét példákon keresztül bemutatott néhány alkalmazási lehetőséget [4], [10], [11]: táblatérképek aktualizálása, pontosítása űrfelvételek alapján, bizonyos növénykultúrák egyszerű elkülönítése, táblán belüli inhomogenitás vizsgálat. Referenciaterületként az Óbudai TSZ adatait és területeit használtuk. A feldolgozásokhoz Landsat TM és SPOT P űrfelvételek kerültek alkalmazásra. 5. ábra Termesztett növénykultúrák táblán belüli inhomogenitásának vizsgálata

3.7. Meliorációs utóvizsgálatok Multispektrális SPOT űrfelvételek alapján elvégeztük melioráció utáni talajnedvesség-viszonyok analízisét, adott területen. Referenciaadatokat közvetlenül a gazdálkodó szervezettől kaptunk. Az értékelésekből megállapíthatóvá vált az alagcsövezés hatása. Kimutatható volt a kevésbé hatásosan működő drainek lokális elhelyezkedése [4], [5], [8]. Az 6. ábra bal oldali felvételén a fekete (sötét) foltok mutatják a nem működő drainek elhelyezkedését. 6. ábra Melioráció előtti és utáni talajnedvesség-viszonyok analízise 3.8. Képosztályozó eljárások összehasonlítása digitális légifelvételeken Digitális (Daedalus Scanner) légifelvételek és Landsat TM űrfelvételek alapján vizsgáltuk a különböző spektrális sávokban hasonló intenzitású, de eltérő növénykultúrák [12], valamint terméshozam szempontjából különböző [19] növénykultúrák szétválaszthatóságát. Az alkalmazott képfeldolgozási eljárások közül a színkompozitok osztályozását és az index analízist használtuk. A tesztterületeket Sutton Bonington és környéke, (Anglia) és a Balaton északi víz gyűjtője képezte, amelyekről földhasználati referencia adataink álltak rendelkezésre [12], [19]. Index analízis és néhány képosztályozási módszer /NN, BOX, CLUSTER/ együttes alkalmazásával a nagyfelbontású légifelvételeken sikerült megfelelő pontossággal elkülöníteni az egyes spektrális sávokban azonos, de a valóságban eltérő növénykultúrákat (7. ábra). 7. ábra Hasonló intenzitású, de eltérő növénykultúrák (bal oldali felvétel), valamint terméshozam szempontjából különböző növények (jobbra) szétválaszthatóságának vizsgálata

3.9. Távérzékeléssel nyert információk integrálása térinformatikai rendszerbe Az Informatikai Központban működő térinformatikai rendszerrel GIS adatbázis építését végeztük. A Mapinfo for Windows térinformatikai program és a Magyar Közigazgatási Térinformatikai Adatbázis (MATÉRIA) felhasználásával Zala megye talajtérképének adatai alapján a talaj kilenc jellemző adattípusát rögzítettük [19]. Ezek a: talajtípus, talajképző kőzet, talaj kémhatása és mészállapota, talajértékszám, szervesanyag készlet, termőréteg vastagság, talaj vízgazdálkodási tulajdonsága és fizikai jellemzők két csoportban. Jelenleg légi- és űrfelvételek alapján a Kis-balaton térségére eső, művelés alatt alló mezőgazdasági területek felmérése és a raszteres képek alapján nyert információk GIS rendszerbe történő integrálása folyik. 3.10. Károsodott erdőrészek meghatározása SPOT űrfelvételek alapján A Toulous-i PURPAN Mezőgazdasági Főiskola közreműködésével, SPOT űrfelvételek értékelését és osztályozását végeztük. Speciális kutatási területünk az erdők vizsgálata volt [13], [14]. Referenciákat a vizsgált terület közel 1 %- ának, terepen történő felmérésével gyűjtöttük. Közel 80 darab véletlenszerűen kiválasztott területet kerestünk fel és vizsgáltunk meg (pl. fenyő hó töréses károsodása, kiszáradt éger állomány, szelídgesztenye pusztulás, nagyfokú rovarkár következményei vizsgálata). A SPOT Multispectral űrfelvételen digitális képfeldolgozó (PRIMA) és osztályozó (ERDAS IMAGINE, PRICLA) programcsomagok segítségével, a referenciák felhasználásával elkülönítettük, majd azonosítottuk az egyes növénykultúrákat több osztályozó módszert is kipróbálva. Munkánk befejezéseként elvégeztük a felvételek és a begyűjtött információk elemzését a leghatásosabb osztályozó 8. ábra Zalai erdők károsodásának vizsgálata - a tesztterületek algoritmusok tesztelésével. Az egyes eljárások oktatásban való alkalmazhatóságára mintapéldák készültek [13]. 4. Kutatásokra épülő tananyagok alkalmazási lehetőségei A kutatási eredmények alkalmazási lehetőségeként elkészítettünk egy a képfeldolgozást interaktív módon oktató programrendszert [15], [16], [17] valamint - az elmúlt év végén - a digitális képfeldolgozás alapvető területeit bemutató tankönyvet, [18]. A tananyag felépítésére jellemző, hogy az alapszintű ismeretanyag nyolc fejezetben került összefoglalásra. A rendszer tartalmazza az egyes interdiszciplinák köré csoportosított alkalmazások bemutatását is. Az elméleti részek gyakorlására külön program modul található. A tanulás folyamatát és a számonkérést közel fél ezer ellenőrző kérdés segíti. Az 1. Táblázat összefoglalja, hogy a digitális képfeldolgozást mint módszert vagy tantárgyat mely képzési formákban, milyen óraszám mellett oktatjuk karunkon.

Képzési forma Óraszám /szemeszterenként/ Tantárgy neve Felsőfokú informatikai szakképzés /PATE Georgikon/ Nappali tagozatos oktatás /PATE Georgikon/ Nappali tagozatos oktatás /PATE Georgikon/ Nappali tagozatos oktatás /PATE Georgikon/ 42 e+gy Digitális képfeldolgozás és alkalmazásai 28 e+gy Távérzékelés 28 e+gy Digitális képfeldolgozás és alkalmazásai 5 gy Képfeldolgozás mezőgazdasági alkalmazásai Távoktatás /GDF/ 21+7 e+gy Digitális képfeldolgozás és alkalmazásai Ph.D. képzés /PATE Georgikon/ 5 e+gy Integrált növényvédelmi módszerek elméleti alapjai digitális képfeldolgozás 1. táblázat Irodalomjegyzék [1] BERKE, J. - GYŐRFFY, K. (1993): Digitális képfeldolgozással Gombakalap és krumplihéj. Alaplap, 11:12, 3-4. [2] GYŐRFFY, K. - BERKE, J. (1990): Számítógépes képfeldolgozás felhasználásának lehetősége a növényvédelmi kísérletek értékelésében. 36. Növényvédelmi Tudományos Napok, Budapest. [3] BERKE, J. (1994): Digitális képfeldolgozás alkalmazása mezőgazdasági kísérletek értékelésében. Magyar Tudományos Akadémia, kandidátusi disszertáció. [4] BERKE, J. - GYŐRFFY, K. - FISCHL, G. - KÁRPÁTI, L. - BAKONYI, J. (1993): The application of digital image processing in the evaluation of agricultural experiments, 5 th International Conference CAIP'93 Budapest. Springer-Verlag, Lecture Notes in Computer Science, 719:780-787. [5] BERKE, J. - GYŐRFFY, K. - FISCHL, G. - KÁRPÁTI, L. (1992): The application of image processing in the evaluation of agricultural experiments. Ist Alps-Adria Workshop on Satellite Data Evaluation and GIS Technologies, Keszthely, XV. [6] BERKE, J. (1997): Digitális képfeldolgozás alkalmazása interaktív multimédia anyagok fejlesztésénél, mezőgazdasági kísérletek értékelésénél. Számítógépes látó és képfeldolgozó rendszerek alkalmazása a mezőgazdaságban és az élelmiszeriparban - Image Analysing Systems in Agriculture and Food Industry, 3. Workshop, Budapest. [7] BERKE, J. - FISCHL, G. (1992): Possibilities of using computer analysis in identification of phytopathogenic fungi, 38 th Plant Protection Days, Budapest, 78. [8] BERKE, J. KÁRPÁTI, L. GYŐRFFY, K. - FISCHL, G. (1994): Applied Digital Image Processing Methods in the Evaluation of Agricultural Experiments, A2-Science and Technology in the Alpine-Adriatic Region, 5:8-10. [9] BERKE, J. (1995): Applied Statistical Pattern Recognition for the Identification of the Phytopathogenic Fungi and Determination Morphologically Features, Computational Modelling and Imaging in Biosciences - COMBIO'95, Kecskemét, Hungary, I.3-9.

[10] KÁRPÁTI, L. - BERKE, J. (1990): Applicability of information obtained by remote sensing in Agriculture. XXXIIth Georgikon Scientific Conference, Keszthely, 71-78. [11] KÁRPÁTI, L. - BERKE, J. (1990): Közeli távérzékelés. Magyar Mezőgazdaság, 45:40, 7. [12] SZABÓ, B. - BERKE, J. (1992): Practical uses for Remote Sensing and Image Processing in Agriculture. Ist Alps-Adria Workshop on Satellite Data Evaluation and GIS Technologies, Keszthely, V. [13] BERKE, J. - VARGÁNÉ DUGONICS, R. - GAY, M. - CALLEDE, V. - CHEMINEAU, E. (1997): Távérzékeléssel nyert adatok integrálása térinformatikai rendszerbe, zalai erdőállomány károsodásának felmérése során /esettanulmány/. 3. Veszprémi Környezetvédelmi Konferencia és Kiállítás, Veszprém. [14] GAY, M. - CHERET, V. (1996): Integration of Remote Sensing Classification Data In a GIS Devoted to Forest Management. Application of Remote Sensing in European Forest Monitoring Conference, Institute for Surveying and Remote Sensing of the University of Agriculture Vienna, Austria, 14-16 October 1996. [15] BERKE, J. - SZABÓ, J. - KELEMEN, D. - HEGEDŰS, GY. CS. (1996): Digitális képfeldolgozást oktató multimédia szoftver rendszer /TANKÉP 1.0/, PATE Keszthely, PICTRON Kft., Budapest. [16] BERKE, J. - SZABÓ, J. - KELEMEN, D. - HEGEDŰS, GY. CS. (1995): Digitális képfeldolgozást oktató rendszer fejlesztése, Képfeldolgozási és térinformatikai alkalmazások, Keszthely, 16-18. [17] SZABÓ, J. - HEGEDŰS, GY. CS. - KELEMEN, D. - BODROGI, H. - BERKE, J. (1996): TANKÉP computerised educational, exercising and examiner system for teaching digital image processing, Mesterséges látási rendszerek alkalmazása a mezőgazdaság műszaki fejlesztésénél Workshop, PATE Kaposvár. [18] BERKE, J. - HEGEDŰS, GY. CS. - KELEMEN, D. - SZABÓ, J. (1996): Digitális képfeldolgozás és alkalmazásai. Keszthelyi Akadémia Alapítvány, Keszthely, ISBN 963 04 7466 2. [19] BERKE, J. - KÁRPÁTI, L. - GYŐRFFY, K. - FISCHL, G. (1995): Applied Image Processing as a Subject of Scientific Instruction for Hungarian and Foreign Students, A2-Science and Technology in the Alpine-Adriatic Region, 6:10-11. [20] FISCHL, G. BERKE, J. (1997): Új módszerek a nád minősítésében. Országos Hidrobiológiai Napok 97. /preprint/.