Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Átírás

1 Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

2 Orvosi képdiagnosztika Diagnosztika = egy rendszer állapotának meghatározása a rendszerről rendelkezésre álló mérések, megfigyelések és a priori információk alapján Állapotok száma: véges, sok esetben 2: hibás (beteg), normális működésű (egészséges). x N y{0,1}; x N y[0,1] Diagnosztika = döntés meghozatala Diagnosztikai rendszer = Input-output leképezés y=f(x) Orvosi diagnosztika Input: tünetek, vizsgálatok, leletek, képek, háttértudás Output: diagnózis. 2 (vagy több) osztályú osztályozási feladat

3 Orvosi képdiagnosztika Orvosi diagnosztika = tapasztalati tudomány Sok minősített eset: {x i,d i } i=1,p y=f(x) Megtanulja a döntéshozó a kapcsolatot Számítógépes diagnosztikai rendszer Próbálja szimulálni az orvosi döntéshozást Más megközelítést (is) alkalmaz, mint az orvosok (az orvosi háttértudás felhasználása nehéz) Egy diagnosztikai rendszer fő elemei Megfigyelési tér definiálása Döntési szabály konstruálása Döntés meghozatala

4 Döntési folyamat leképezései {,......, } 1 i c p(xω i ) P( x) i Megfigyelt rendszer (beteg) Megfigyelési tér tér Döntési tér y{1,2,...c} P(ω i )

5 Orvosi képdiagnosztikasztika (kép)diagnosztika Iteratív folyamat ünetek, leletek = jellemzők Döntési tér módosítása igen Lehet dönteni? nem Diagnózis osztályozás ovábbi vizsgálatok Megfigyelés, mérés Mérési eredmények értelmezése, Jellemző kiválasztás (feature selection), dimenzió növelés, fontossági sorrend megállapítása, dimenzió csökkentés Döntés: döntési szabály, jellemzők alapján (valójában osztályozás)

6 Orvosi képdiagnosztika Statisztikai alapon döntünk Milyen ismeretünk lehet: osztályvalószínűségek, megfigyelések Kétosztályos osztályozás ω = ω 1 egészséges ω = ω 2 beteg naív döntés: a priori valószínűségek alapján ω 1 ha P(ω 1 ) > P(ω 2 ); egyébként ω 2. ω 1 P( ) P( ) 1 2 ω 2 Mindig az lesz a döntés, hogy a paciens egészséges

7 Orvosi képdiagnosztika Döntési szabály mérések alapján: A mérési adatok feltételes sűrűségfüggvénye (likelihood függvény) alapján A megfigyelési tér: a mérési eredmények tere Döntési szabály: a megfigyelési tér dekomponálása, szeparálása Egydimenziós triviális esetben küszöbértékhez hasonlítunk Az egyes osztályok a priori valószínűségeit nem vettük figyelembe px ( 1) px ( 2) ω 2 p( x ) p( x ) 1 2 ω 1 p(xω 1 ) p(xω 2 ) R 1 R 2 Döntési küszöb

8 Statisztikai döntés Milyen alapon döntünk Egy paraméter alapján (egydimenziós a döntési tér): küszöbbel való összevetés, több küszöb Likelihood px ( 1) px ( 2) Az a priori valószínűségeket nem veszi figyelembe

9 Bayes döntés (a posteriori valószínűségek alapján) P( 1 x) P( 2 x) = Bayes szabály 1 2 Statisztikai döntés p( x 1) P( 1) px (, ( 1) p x 1) P( 1) P( 1 x) p( x) p( x) p( x i) P( i) i1,2 1 p( x 1) P( 1) p( x 2) P( 2) = p( x) p( x) 2 P(ω 1, x) P(ω 2, x) p( x 2) P( 2)

10 A döntés minősítése A döntés hibája, a hibás döntések valószínűségei Ha =

11 Statisztikai döntés Döntés minősítése a hibás döntések valószínűség Költségfüggvény, veszteségfüggvény (loss function), Bayes kockázat (risk) a költség várható értéke Optimális döntés: az átlagos döntési hiba minimumát biztosító döntés R 1 R 2 1 =P F (false alarm) a téves riasztás valószínűsége elsőfajú hiba 2 =P M (missed detection) a tévesztés valószínűsége másodfajú hiba

12 Statisztikai döntés A döntéshez költség is rendelhető: C ij annak a költsége, ha i a döntés de j a valódi osztály Ezzel a Bayes átlagos költség: A Bayes költség minimumát biztosító döntés Mivel és

13 Statisztikai döntés Bayes döntés Redukálható hiba

14 Statisztikai döntés A Bayes költség felírható R C P p( x ) dx C P p( x ) dx Felhasználva... R R R 1 1 C P p( x ) dx C P p( x ) dx a b R R 2 2 A döntési tartomány minimalizálja az átlagos költséget 2 2 C P C P ( C C ) P p( x ) dx ( C C ) P p( x ) dx R R R arg min ( C C ) P p( x ) ( C C ) P p( x ) dx R

15 Likelihood arány teszt Statisztikai döntés ( x) P( 1) P( ) 2 ω 1 = ω 2 Naiv döntés = 1 ( x) px ( ) 1 px ( ) 2 ω 1 = Likelihood függvény alapján = 1 ω 2 ω 1 px ( 1) P( 2) ( x) = Bayes döntésnél = P(ω 2 p( x ) P( ) P(ω ω 2 ω 1 px ( 1) ( C12 C22) P( 2) ( x) = p( x ) ( C C ) P( ) ω 2 A Bayes költség minimumát biztosító döntésnél ( C12 C22) P( 2) ( C C ) P( )

16 Statisztikai döntés A Bayes hiba az a priori valószínűségek függvénye: a döntési küszöb (felület) módosul

17 ovábbi döntési szabályok Statisztikai döntés Minimax döntés A Bayes hiba az a priori valószínűségek függvénye.

18 ovábbi döntési szabályok Neyman-Pearson döntés Statisztikai döntés Az a priori valószínűségek meghatározása lehet nehéz A cél a hibavalószínűségek minél kisebb értéken tartása Az egyik hibavalószínűség (P F ) rögzítése mellett (P F =) a másik (P M )minimumát biztosító döntést keressük: Lagrange multiplikátoros feltételes szélsőérték-kereső probléma C P ( P ) NP M F C (1 ) p( x ) p( x ) dx NP R Itt is megadható a likelihood arány teszt ( x) px ( ) 1 px ( ) 2 ω 1 = ω 2

19 Statisztikai döntés Neyman-Pearson döntés triviális esetben nemtriviális esetben

20 A döntés minősítése A döntés eredménye döntés egészséges beteg Valóság egészséges Valódi negatív (N) (Helyes döntés) éves pozitív (FP) (False alarm P F, elsőfajú hiba, 1 ) beteg éves negatív (FP) (Missed detection P M, másodfajú hiba, 2 ) Valódi pozitív (P) (Helyes döntés) R 1 R 2 Érzékenység (sensitivity) = P P+FN Fajlagosság (specificity) = N N+FP

21 Értékelés Minősítés ROC görbe, (érzékenység 1-specificitás; 1-P M P F ) FROC (mivel túl sok a téves pozitív) AUC

22 öbbdimenziós megfigyelési tér etszőleges Gauss sűrűségfüggvények mellett: általános kvadratikus elválasztó (hiper)felület

23 Osztályozás Döntési szabály: az eredő kockázat minimumát biztosító választ kell adni. A kockázat általában nem meghatározható. A megfigyelések terét kell két tartományra bontani. öbb paraméter alapján (többdimenziós döntési tér) A tér szeparálása: lineáris, nemlineáris, összefüggő tartományok, nem összefüggő tartományok Felhasználható információ megfigyelések {x i,d i } i=1,...,l a priori valószínűségek: P( i ) a megfigyelések feltételes sűrűségfüggvényei: Bayes döntés Költségértékek: C ij px} ( i ) megfigyelések {x i,d i } } i=1,...,l maximum likelihood megfigyelések feltételes sűrűségfüggvényei px ( i ) döntés megfigyelések megfigyelések {x i,d i } i=1,...,l LS döntés Egyre kevesebb a felhasznált ismeret

24 Osztályozás, szeparáló felület öbb paraméter alapján (többdimenziós döntési tér) lineáris kvadratikus? Általános nemlineáris

25 Osztályozók Lineáris osztályozók Megfelelő feltételek mellett Bayes, ML, LS LDA Perceptron Logisztikus regresszió (megfelelő feltételek mellett) SVM (kernel gépek, lineáris kernellel) Döntési fák... Nemlineáris osztályozók Megfelelő feltételek mellett Bayes Nemlineáris transzformáció + lineáris osztályozó Nemparametrikus módszerek (NN, knn) KDA Bázisfüggvényes megoldások Kernel gépek (nemlineáris kernellel) Neurális hálók

26 Osztályozás Perceptron Logisztikus regresszió LS megoldás ML megoldás Gauss eloszlások mellett Bayes megoldás regularizált LS megoldás Gauss eloszlások mellett

27 Lineáris osztályozás LDA többdimenziós tér (x) egydimenziós tér (y=w x) Kitüntetett vetítési irány (w) keresése m 1 m 1 m 2 m 2

28 LDA: Fisher linear discriminant Optimalizálási feladat: azt a vetítési irányt keressük, mely irányra vetítve az adatok a legjobban megkülönböztethetők 2 ( m1 m2 ) w ( m2 m1)( m2 m1) w w SBw Rayleigh hányados 1 W B J ( w) S S w w -1 w SWSBw ww S w ( m m )( m m ) w B S w iránya ( m m ) B 2 1

29 Lineáris osztályozás Perceptron s(k) = w x(k) y(k) = sgn(s(k)) (k)= d(k)-y(k) w k w k 1 d k y k x k w k 1 k x k Konvergens, ha: Az adatok lineárisan szeparálhatók Véges számú adat van Az adatok felülről korlátosak >0

30 Lineáris osztályozás LS megoldás y=w x vagy y=w x+w 0 Iteratív megoldás w k w k 1 2 d k y k x k w k 1 k x k analitikus megoldás: pszeudoinverz 1 ( w X X) X d

31 Lineáris osztályozás Logisztikus regresszió posterior alapján dönt p( x ) P( ) 1 1 P x a 1 p( x ) P( ) 1 1 ( 1 ) ( ) a p( x ( 1) P( 1) p( x 2) P( 2) p x 2) P( 2) 1e a p( x ) P( ) 1 1 ln p ( x 2 ) P ( 2 ) 1 1 Folytonos bemenet mellett, Gauss eloszlású mérési adatoknál P( x k ) P( 1 x) P( ) ln 1 P ( ) 2

32 Lineáris osztályozás Maximum likelihood megoldás pd ( 1 x, w) sgm( w x) ( w x) i i pd ( 0 x, w) 1 sgm( w x) 1 ( w x) i i p( d x, w) ( ( w x )) (1 ( w x ) y (1 y ) Egy mintára di (1 di ) di (1 di ) i i i i i i i xi w L di i L i1 i L p( d, ) y (1 y ) (1 d ) L( w) d ln y (1 d )ln(1 y ) i i i i i1 i1 i Az összes (L) mintára Likelihood függvény Iteratív megoldás

33 , Lineáris osztályozás Kernel gép (SVM) wxi wxi b a 0 ha d 1 b a 0 ha d 1 i i d ( wxb) 1 i 1, 2,, P i i 1 Lw, b, α w w ( ) 1 i di w xi b P 2 i1 x 2 x p x r optimális hipersík L L w, b, α 0 P w idixi w i1 i1 w, b, α 0 P idi 0 b i 0 xx p r w w r x 1 1 w Q( α) P idi i1 w 1 P P P i i jdid jxi x j i1 2 i1 j1 0 0 i1,..., P P s i1 d x i i i i ( ) sign P y x i dixi x b i1

34 Nemlineáris osztályozás Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó y w i ix w φx LS megoldás Kernel gép i 1 ( w Φ Φ) Φ d d ( w φx ( ) b) 1 i 1, 2,, P i i 1 Q( α) φ ( x ) φ( x ) P P P i i jdid j i j i1 2 i1 j1 Τ K( x, x) ( x ) ( x) i i x Nemlineáris (x) Lineáris y transzformá osztályozó N ció M>N w P d ( ) i i xi i1 P y( x) sign i dik( xi, x) b i1

35 Nemlineáris osztályozás Paramétereiben is nemlineáris osztályozó LS megoldás x 0 = 1 w k 0( ) x k 1( ) w k 1( ) y sgm( wx ) + + x( k) x k N( ) w k N( ) + - () k + dk () w k 1 w k 2 k k sgm s k x k w k 2 k k x k

36 Nemlineáris osztályozás x (1) 1 x x (1) 2 (1) N (1) x = 0 PE (1 ) 1 s (1) 1 PE (1) 2 PE (1) 3 s (1) 2 s (1) 3 sgm sgm sgm x = (2) W (1) (2) y y y (1) 1 (1) 2 (1) 3 W PE (2) 1 PE (2) 2 s s (2) 1 (2 ) 2 sgm sgm y 1 y 2 d d x (1) x = y (1) ( L) ( L1) (1) y f W f W f W x... ( ) (2) (2) y y = y (2) (1) f W f W x Paramétermeghatározás: minimumkeresés (LS probléma), BP vagy annak valamelyik variánsa

37 Nemlineáris osztályozó Nemparametrikus nemlineáris osztályozó NN nearest neighbour, k-nn Posterior becslése n cimkézett minta x körül egy V térfogat (tartomány) k mintából k i darab i cimkéjű m-edik osztályba sorolunk, ha Nemmetrikus módszerek Döntési fák CAR Szabály alapú módszerek...

38 Jellemzők kiválasztása A jellemzők meghatározása, kiválasztása: az egyik legnehezebb feladat ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett szűrők, stb.) ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők (kerület, terület, ezek aránya,...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia,...), gradiens jellemzők: Gauss deriváltak DoG, LoG,... Globális-lokális jellemzők dilemmája A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális vizsgálat) Occam borotvája Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1 norma Relevant vector machine (Bayes módszer a változók szelektálására)...

39 PCA x y 2 2 Jellemző kiválasztás x φ1, φ2,..., φn N M yiφi xˆ yii M N yi φi x i1 i1 N N N E φi x x φi φi E xx φi φi Rxxφi im 1 im 1 im 1 N M 2 N 2 2 E x xˆ E y iφi yiφi E yi i1 i1 im 1 N N φ i φ j 1 ij φ φ φ C φ φ φ xx ˆ i i i i i i i i im 1 im 1 N ˆ 2 i 2 i i xx φ C φ φ 0 i im1 C φ xx φ i i i 2 I, vagyis N N N φ i R xx φ i φ i i φ i i im 1 im 1 im 1 2 E y f w w Rw w w w w Rayleigh hányados

40 Jellemző kiválasztás KPCA N : R F, ( ) j j 1 P P C Φ x Φ x V CV V iφx i P j 1 i1 P P P Φ xkv Φ xkcv 1 iφ xk Φxi iφ xk Φx j Φ x j Φxi i1 P i1 j1 Φ x X Φ x, Kij K xi xj Φ xi Φ x 2 j PKα K α Pα Kα Sajátvektorok normalizálása k V k V 1 1 P i, j1 k k Φ x Φ x i j i j i, j1 k k kα α A jellemzőtérbeli vektorok vetítése P k k k k K α Kα i j ij V k Φ x k k Φ x Φ x K x, x P i i i1 i1 P i i

41 KPCA K Jellemző kiválasztás Nulla várható érték biztosítása ij i j P k1φ xk 0 K Φ x Φ x K 1 P i i k P k 1 Φ x Φ x Φ x P i 1 α α V iφx i P 1 P 1 Φx Φx Φx Φx ij i p j k P p1 P k1 P P P K 1 K K 1 1 K 1 ij ip pj ik kj 2 ip pk kj P p1 P k 1 P p, k 1 K 1 K K1 1 K1 P P P P ij

42 PLS Jellemző kiválasztás A kritérium szekvenciálisan maximáljuk a kimenet és a bemeneti változók lineáris kombinációját X, d w a bemeneti változók x i és a kimenet d kapcsolatát (súlyait) adja meg) w k 2 arg max cov ( Xw, d) w w1 Ortogonalitási feltétellel t k Xw k tk t j wk X Xw j 0 minden 1 j k

43 Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas röntgenkép (PA) diagnosztika

44 Orvosi CAD rendszerek információ-feldolgozási folyamata Mellkas tomoszintézis

45 Orvosi CAD rendszerek információ- feldolgozási folyamata Mammográfia

46 Main types of suspicious areas malignant cases mikrokalcifikáció architekturális torzítás spikulált folt Jóindulatú elváltozás

47 A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular IMC 2004, Como, Italy

48 Kép szegmentálás

49 Éldetektálás és textura alapú osztályozás Matching based on segment position + texture parameters

50 Egy lehetséges út a mikrokalcifikációk detektálásra Image reading Image egment selection exture analysis no Suspicious segment? yes Focusing on suspicious subsegment no Reinforcement yes Edge detection Curvilinear detection no yes Removing of curvilinear objects Verification no Fals positive result yes rue positive result

51

52 Kulcscsont és bordák árnyékának eltüntetése

53 Kulcscsont és bordák árnyékának eltüntetése

54 Kerekárnyék keresés

55 Kerekárnyék keresés

56 Kerekárnyék keresés

57 Kerekárnyék keresés

58 Kerekárnyék keresés

59 Kerekárnyék keresés

60 Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

61 example of the results of the steps of vessel feature extraction.

62