Válogatott kérdések a képelemzésből

Átírás

1 Válogatott kérdések a képelemzésből Csornai Gábor László István Budapest Főváros Kormányhivatala Mezőgazdasági Távérzékelési és Helyszíni Ellenőrzési Osztály Az előadás 2011-es átdolgozott változata a TÁMOP /B-09/1/KMR pályázat támogatásával készült.

2 1. A felvételek szegmensenkénti osztályozása

3 1. A felvételek szegmensenkénti osztályozása Sok alkalmazásnál a földfelszín nagyobb homogén foltok együtteseként írható le (mezőgazdasági, erdészeti alkalmazások). Ha meghatározzuk a felvétel homogén szegmenseit, akkor ezeket a képrészleteket együtt is osztályozhatjuk. A szegmens spektrálisan hasonló, szomszédos képpontok egybefüggő halmaza. Lényeg: az osztályozásban a spektrális információ mellett a térbeli kapcsolódás, szomszédság figyelembe vétele

4 1. A képek szegmensenkénti osztályozása A pontonkénti osztályozás gyakori tévedése: a pontokat nem a szomszédjaikkal együtt, hanem önmagukban vizsgálva sorolja be a legvalószínűbb osztályba. Szegmensalapú osztályozás: a környezeti információ kinyerése. Végrehajtunk egy szegmentálást, majd a további lépéseket szegmensekre alkalmazzuk az önálló képpontok helyett. Előny: a természetből adódó homogenitások megőrzése. Hátrány a felszínborítások határpontjainak besorolásánál javítás: pontonkénti felülvizsgálat

5 1. A képek szegmensenkénti osztályozása A képszegmentálás néhány módszere Összevonás-alapú (lentről fel) módszerek: 1.1. Szekvenciális csatolás módszere 1.2. Legjobb összevonás alapú szegmentálás (best merge) 1.3. Összevonásos gráfalapú szegmentálás Vágás-alapú (fentről le) módszerek: 1.4. Minimális átlagsúly-alapú vágás 1.5. Minimális arány-alapú vágás 1.6. Normált minimális vágás A szegmentálás eredményeként egy tematikus térképet, ún. szegmenstérképet kapunk. A képpontok értéke: a képpontot tartalmazó szegmens sorszáma.

6 1. A képek szegmensenkénti osztályozása 1.1. A szekvenciális csatolás módszere Az eljárás szekvenciálisan (sorfolytonosan) halad: Az aktuális 2 2-es cella homogenitásvizsgálata (szórás alapján) A homogénnek bizonyult cella csatolása valamely korábbi szegmenshez, ha ez lehetséges akár közvetlenül, akár áthidaló cellák segítségével majdnem tetszőleges állású szegmenshatár kialakítása Illetve új szegmens kezdete, ha nem lehetséges a csatolás A cellák bejárásának és csatolásának módja miatt az eljárás sorrendfüggő.

7 1.1. A szekvenciális csatolás módszere m i i x x x A 1 2 ) ( n i i y y y A 1 2 ) ( y A x A A m i i x z x B 1 2 ) ( n i i y z y B 1 2 ) ( y B x B B 1 2 ) / ( ) / ( C B A n m 2 2 1/ )) /( ( ) / ( ) / ( C n m A n A m A n m n y m x Két szegmens akkor vonható össze, ha az alábbi egyenlőtlenségek minden sávra teljesülnek (adott C 1 és C 2 értékre): Szegmens-összevonás: ANOVA-kritériumok segítségével. Legyen x egy m elemű, y egy n elemű minta, z a kettő összevonásával kapott eloszlás. 1. A képek szegmensenkénti osztályozása Kiegészítő tananyag, nem kérdezzük a vizsgán!

8 1. A képek szegmensenkénti osztályozása 1.2. Legjobb összevonás alapú szegmentálás Kiindulás: minden képpont önálló szegmens Iteratív lépés: a két legközelebbi, szomszédos szegmens összevonása Leállási feltétel: megfelelő szegmensszám elérése vagy erősen eltérő szomszédos szegmensek Hasonlósági kritérium: pl. divergencia, Bhattacharya-, Jeffries-Matusitavagy átlagos négyzetes távolság Gráf-reprezentáció: a pixelek rácsgráfjából kiinduló csúcsösszevonó eljárás, ahol a csúcsok szegmenseket ábrázolnak Hatékony implementáció fejlett adatstruktúrákkal A szekvenciális csatolással szemben nem sorrendfüggő.

9 1. A képek szegmensenkénti osztályozása Gráfalapú szegmentálások A képszegmentálás tekinthető gráfelméleti problémának is, mivel a kép könnyen reprezentálható egy rácsgráf segítségével A csúcsok a képpontok, vagy azok intenzitásértékei lesznek

10 1. A képek szegmensenkénti osztályozása Gráfalapú szegmentálások Az élek költsége a szomszédos képpontok viszonyát (hasonlóságát vagy különbségét) fejezi ki. Pl. az intenzitások lineáris (euklideszi) távolsága, vagy a Gauss-féle súlyfüggvény: ( I ( u) I ( v)) ( u, v) e 2 2 A szegmensek ekkor összefüggő részgráfok lesznek:

11 1. A képek szegmensenkénti osztályozása 1.3. Összevonásos gráfalapú szegmentálás Kiegészítő tananyag, nem kérdezzük a vizsgán! Gráf-reprezentáció: minden csúcs egy szegmens; kiindulás a pixelek rácsgráfjából. Az élek súlya: az összekötött pixelek távolsága Algoritmus: a szomszédos szegmensek iteratív összevonása úgy, hogy a heterogenitás csak kis mértékben nőjön A szegmens heterogenitása: a megfelelő részgráf minimális feszítőfájában a maximális él súlya Összevonási kritérium: min het( S ) k / i S i, het( S ) k Megvalósítás: az éleket növekvő sorrendben vizsgáljuk effektív összevonás nem szükséges j / S j het( S i S j )

12 1. A képek szegmensenkénti osztályozása 1.4. Minimális átlagsúly-alapú vágás Kiegészítő tananyag, nem kérdezzük a vizsgán! Egy vágás költsége (G=(V,E), a vágás A és B részgráfokat képez) Cut(A,B)= A minimális átlagsúly megállapításához a vágás költségét elosztjuk a benne szereplő élek számával: Mcut(A,B)= ( u, v) ua,vb,(u,v) E Cut(A,B) 1 ua,vb,(u,v) E Ez alapján minimális vágások keresése az irányítatlan gráfban NPnehéz probléma, de van mód rá, hogy polinomiális idejű algoritmust alkalmazzuk rá megfelelő transzformációk után.

13 1. A képek szegmensenkénti osztályozása Háromféle szegmentálás eredményeként kapott szegmenstérképek Szekvenciális csatolás Legjobb összevonás Összevonásos gráfalapú

14 2. Több forrású adatok integrálása

15 A felvételek közös térképi rendszerbe illesztése

16 A növények fejlődése űrfelvételekkel megfigyelhető Búza LAI 0,01 LAI 1,66 LAI 7,89 LAI 4,27 LAI 0,01 Kukorica

17 A folyamatok követését a különböző időpontokban készült felvételek teszik lehetővé

18 Az űrfelvétel a földfelszín pontos, részletes tükre május 8-i IRS-1D LISS-III. űrfelvétel részlet (Csongrád megyében)

19 QuickBird pankromatikus űrfelvétel részlet május 1.

20 QuickBird multispektrális űrfelvétel részlet május 1.

21 QuickBird pankromatikus és multispektrális űrfelvétel adatfúziójával előállított űrfelvétel részlet

22 Űrfelvétel idősor és légifelvétel összehasonlítása Multispektrális Landsat (30 m) és pankromatikus IRS (6m) űrfelvételek egyesítésével készült űrfelvétel idősor és egy időpontú légifelvétel összehasonlítása a Somogy megyei mintaterület egy részletére

23 Ortofotó részlet Felvétel 2: Ortofotó részlet, május 27.

24 Landsat űrfelvétel (2000. augusztus) Felvétel 1: Landsat TM augusztus 20.

25 Landsat űrfelvétel (április) és ortofotó egyesítése

26 Landsat űrfelvétel (május) és ortofotó egyesítése

27 Landsat űrfelvétel (június) és ortofotó egyesítése

28 Összefüggés az adatok dimenziószáma és a tematikus osztályozás pontossága között Összefüggés az átlagos osztályozási pontosság és a mérési adatvektor komplexitása között korlátlan tananyag esetén Ha B dimeziós adattal dolgozunk, legalább 10B, de jobb esetben legalább 100B pixelnyi tanulóadat szükséges.

29 Összefüggés az adatok dimenziószáma és a tematikus osztályozás pontossága között A gyakorlatban, korlátos tananyag mellett az osztályozási pontosságnak optimuma van bizonyos adatkomplexitás (dimenziószám) mellett. Hughes-jelenség, a magas dimenziószám átka (Curse of dimensionality)

30 Több időpontban készített felvételek feldolgozása - Az időpontokat külön-külön kiértékeljük, majd az eredményeket a feladathoz illő logikai megfeleltetés szerint összevonjuk - Az egyes időpontok adatait egyesítjük (szükség szerint csökkenthetjük a dimenziószámot), majd az így kapott adatrendszert kiértékeljük - A több időpont spektrális értékeihez modell segítségével egy görbét illesztünk; a görbék paraméterei lesznek az osztályozás bemenő adatai

31 Több időpontban készített felvételek feldolgozása A többidőpontú felvételek alapján általában nagyobb tematikus pontosság érhető el, mint egy felvétel alapján

32 Több időpontban készített felvételek feldolgozása A radiometriai korrekció szerepe a több időpontban készült és/vagy különböző típusú űrfelvételek együttes felhasználásában 01_somog_00_102_tm.xls (NDVI) 01_somog_00_110_tm.xls (NDVI) 1,00 1,00 0,80 0, , ,60 0,40 0, , , , , , ,20-0,40-0,40-0,60-0,60-0,80-0,80-1,00-1,00 Nyers Korrigált

33 3. Texturális mértékek használata

34 3. A texturális mértékek használata Egy elemi földfelszíndarab jellemzésére figyelembe vehetjük a környező képpontok sugárzási viszonyait. A pixel szabályos intenzitásváltozása a textúra, melynek mértékei a pixel környezetének eltérő, vagy azonos intenzitású pixeleinek arányából indulnak ki.

35 3. A texturális mértékek használata Szürkeszint-egybeesési mátrix (GLCM) Sorok és oszlopok száma = szürkeszintek száma (radiometria) (i,j) indexű elem: képpontpárok száma, amelyek adott pozícióban helyezkednek el egymáshoz képest, és az egyiknek i, a másiknak j az intenzitása. Entrópia: a mintázat rendezetlensége, azaz véletlenszerűsége Homogenitás: a GLCM elemeinek közelsége a főátlóhoz

36 4. Objektum-alapú felvétel-kiértékelés

37 4. Objektum-alapú felvétel-kiértékelés (Object Based Image Analysis, OBIA) Célja: - A távérzékelt felvételek értelmes egységekre történő felosztása, a valós világ objektumainak a megtalálása - Az objektumok térbeli, spektrális és időbeli tulajdonságainak a meghatározása, felhasználása Alapelemként tartalmazza a szegmentálást, az osztályozást és az objektum-attribútumok meghatározását. Magasabb rendű cél: az emberi érzékelés utánzása, esetleg kiváltása A szegmentálás után az osztályok finomítása ún. szabályrendszerek alkalmazásával történik, amelyekben már felhasználhatjuk a szegmensekhez hozzárendelt attribútumokat.

38 5. Speciális spektrális transzformációk és ezek időfüggvényei

39 5. Speciális spektrális transzformációk és ezek időfüggvényei Az eredeti sávokban mért intenzitásértékek helyett gyakran használnak különböző sávkombinációkat, ún. spektrális indexeket, legtöbbször a vizuális áttekintés segítésére. Például: hányados-vegetációs index I IR (Ratio Vegetation Index, RVI) RIR, R I R Azaz az infravörös és vörös hullámhossztartományban érzékelt intenzitások aránya. (Ld. fizikai alapok: a jól fejlett növényzet visszaverése a közeli infravörös tartományban magas, a látható vörös fény sávjában alacsony.) Leggyakrabban: [normalizált] különbségi vegetációs index ([Normalized] Difference Vegetation Index, [N]DVI) DVI I IR I R NDVI I I IR IR I I R R

40 5. Speciális spektrális transzformációk és ezek időfüggvényei Egy adatcsökkentő eljárás: a főkomponens-transzformáció (Karhunen Loeve-transzformáció) Feladata úgy csökkenteni a később osztályozandó elemi adatok dimenzióját, hogy az osztályozás pontossága minél kevésbé csökkenjen. A többsávos felvételek intenzitásvektorai gyakran nem egyenletesen oszlanak el az egyes sávpárokban: A főkomponens-transzformáció lényege: a transzformált koordináta-rendszer az adatokhoz illeszkedő sajátrendszer

41 5. Speciális spektrális transzformációk és ezek időfüggvényei Kauth-Thomas (K-T) vagy Tasseled Cap (TC) intenzitás-transzformáció Növénymegfigyelésnél használják. Lényege: a talajfelszínhez tartozó képpontok az ábrán látható ellipszisbe esnek az intenzitástérben, míg a zöld növényzet erre nagyjából merőleges irányba. A K-T transzformációval a talaj világosságát és a zöld növényzet mennyiségét jól leíró értékeket kaphatunk.

42 5. Speciális spektrális transzformációk és ezek időfüggvényei A Tasseled Cap (TC) intenzitás-transzformációval kapott vegetációs indexek és együtthatóik a Landsat 5 TM szenzor esetén Index rövidítése Index neve * TM1 * TM2 * TM3 * TM4 * TM5 * TM6 * TM7 Additív BR (SBI) Fényesség / Brightness (Soil Brightness Index) GN (GVI) Zölderősség / Greenness (Greenness Vegetation Index) WN Nedvesség / Wetness HZ Párásság / Haziness

43 5. Speciális spektrális transzformációk és ezek időfüggvényei Teljes 1.cluster növényzet 2.cluster maradék 3.cluster talaj

44 5. Speciális spektrális transzformációk és ezek időfüggvényei A főkomponens-transzformáció és a Tasseled Cap-transzformáció kapcsolata Főkomponens-transzformáció: Minden felvételre külön számítjuk a transzformációs mátrixot Számításigényesebb Az új koordinátarendszer első néhány (2-3) tengelye meghatározó a tárolt információtartalomra nézve; ilyen szempontból optimális a tengelyek megválasztása. Tasseled Cap-transzformáció: (Adott szenzorra) egységes transzformációs mátrix Egyszerű számítás Az új koordinátarendszer tengelyei kézzelfogható fizikai jellemzőknek felelnek meg. Megválasztásuk átlagos felvételeknél közel optimális az információtartalomra nézve.

45 5. Speciális spektrális transzformációk és ezek időfüggvényei A zölderősség időbeli változása két különböző növényre A zölderősség (GVI) időbeli változása nagyon jól leírja a növények fejlődését, és az időgörbék jellegzetes pontjai megfeleltethetők fontos növényfejlettségi állapotoknak. A GVI görbéknek a növényfejlődés vizsgálatában és a termés-előrejelzésben kiemelkedő szerepük van.