Osztályozás képdiagnosztikánál

Hasonló dokumentumok
Diagnosztika, statisztikai döntések, hipotézisvizsgálat, osztályozás

Osztályozási feladatok képdiagnosztikában. Orvosi képdiagnosztikai 2017 ősz

Least Squares becslés

Konvolúciós neurális hálózatok (CNN)

Neurális hálók tanítása során alkalmazott optimalizáció

Regresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.

Lineáris regressziós modellek 1

ACM Snake. Orvosi képdiagnosztika 11. előadás első fele

Optimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/

Principal Component Analysis

Neurális hálózatok elméleti alapjai TULICS MIKLÓS GÁBRIEL

Számítógépes képelemzés 7. előadás. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Intelligens orvosi műszerek VIMIA023

Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók. Pataki Béla

Keresés képi jellemzők alapján. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék

Gauss-Jordan módszer Legkisebb négyzetek módszere, egyenes LNM, polinom LNM, függvény. Lineáris algebra numerikus módszerei

Babeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet

Konjugált gradiens módszer

Visszacsatolt (mély) neurális hálózatok

Tanulás az idegrendszerben. Structure Dynamics Implementation Algorithm Computation - Function

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Gépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)

Google Summer of Code Project

Gépi tanulás a gyakorlatban. Lineáris regresszió

Mély konvolúciós neurális hálózatok. Hadházi Dániel BME IE 338

A szimplex algoritmus

Regressziós vizsgálatok

I. LABOR -Mesterséges neuron

A maximum likelihood becslésről

Feladatok a Gazdasági matematika II. tárgy gyakorlataihoz

Képszegmentáló eljárások. Orvosi képdiagnosztika 2018 ősz

Deep Learning: Mélyhálós Tanulás

Képfeldolgozó eljárások áttekintés. Orvosi képdiagnosztika 9. ea ősz

Numerikus matematika vizsga

LOGIT-REGRESSZIÓ a függő változó: névleges vagy sorrendi skála

Sajátértékek és sajátvektorok. mf1n1a06- mf1n2a06 Csabai István

Nemlineáris programozás 2.

Line aris f uggv enyilleszt es m arcius 19.

Deep Learning a gyakorlatban Python és LUA alapon Tanítás: alap tippek és trükkök

Funkcionális konnektivitás vizsgálata fmri adatok alapján

Numerikus módszerek 1.

YBL - SGYMMAT2012XA Matematika II.

Norma Determináns, inverz Kondíciószám Direkt és inverz hibák Lin. egyenletrendszerek A Gauss-módszer. Lineáris algebra numerikus módszerei

Mesterséges Intelligencia I.

Saj at ert ek-probl em ak febru ar 26.

Alap-ötlet: Karl Friedrich Gauss ( ) valószínűségszámítási háttér: Andrej Markov ( )

Mátrixok 2017 Mátrixok

FEGYVERNEKI SÁNDOR, Valószínűség-sZÁMÍTÁs És MATEMATIKAI

Tanulás az idegrendszerben

n n (n n ), lim ln(2 + 3e x ) x 3 + 2x 2e x e x + 1, sin x 1 cos x, lim e x2 1 + x 2 lim sin x 1 )

3. Szűrés képtérben. Kató Zoltán. Képfeldolgozás és Számítógépes Grafika tanszék SZTE (

Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók 2. Pataki Béla

Adatbányászati szemelvények MapReduce környezetben

2 (j) f(x) dx = 1 arcsin(3x 2) + C. (d) A x + Bx + C 5x (2x 2 + 7) + Hx + I. 2 2x F x + G. x

Modellkiválasztás és struktúrák tanulása

Matematika A2 vizsga mgeoldása június 4.

Megerősítéses tanulás 9. előadás

Numerikus matematika. Irodalom: Stoyan Gisbert, Numerikus matematika mérnököknek és programozóknak, Typotex, Lebegőpontos számok

Vektorok, mátrixok, lineáris egyenletrendszerek

Gyakorló feladatok I.

Sergyán Szabolcs szeptember 21.

Numerikus módszerek II. zárthelyi dolgozat, megoldások, 2014/15. I. félév, A. csoport. x 2. c = 3 5, s = 4

Mérnökgeodéziai hálózatok feldolgozása

Gépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)

Strukturált Generátorrendszerek Online Tanulása és Alk-ai

E x μ x μ K I. és 1. osztály. pontokként), valamint a bayesi döntést megvalósító szeparáló görbét (kék egyenes)

Nemlineáris modellek

PONTFELHŐ REGISZTRÁCIÓ

Képfeldolgozó eljárások áttekintés. Orvosi képdiagnosztika

Bevezetés a neurális számításokba Analóg processzortömbök,

Nemlineáris egyenletrendszerek megoldása április 15.

Support Vector Machines

Pletykaalapú gépi tanulás teljesen elosztott környezetben

Inferencia valószínűségi modellekben

A lineáris programozás alapjai

Matematikai statisztika c. tárgy oktatásának célja és tematikája

11. gyakorlat megoldásai

Bevezetés a Korreláció &

Searching in an Unsorted Database

Számítógépes geometria (mester kurzus)

Nem-lineáris programozási feladatok

Mátrixhatvány-vektor szorzatok hatékony számítása

Megoldott feladatok november 30. n+3 szigorúan monoton csökken, 5. n+3. lim a n = lim. n+3 = 2n+3 n+4 2n+1

NEURONHÁLÓK ÉS TANÍTÁSUK A BACKPROPAGATION ALGORITMUSSAL. A tananyag az EFOP pályázat támogatásával készült.

PIXEL SZINTŰ SZEGMENTÁLÁS CNN-EL

Gépi tanulás a gyakorlatban SVM

Gauss-Seidel iteráció

11. gyakorlat megoldásai

Kernel gépek vizsgálata

[1000 ; 0] 7 [1000 ; 3000]

Differenciálegyenletek numerikus megoldása

5. elıadás március 22. Portfólió-optimalizálás

Többváltozós lineáris regresszió 3.

Matematika III előadás

Numerikus módszerek: Nemlineáris egyenlet megoldása (Newton módszer, húrmódszer). Lagrange interpoláció. Lineáris regresszió.

Geometriai vagy kinematikai természetű feltételek: kötések vagy. kényszerek. 1. Egy apró korong egy mozdulatlan lejtőn vagy egy gömb belső

Statisztikai eljárások a mintafelismerésben és a gépi tanulásban

Likelihood, deviancia, Akaike-féle információs kritérium

Képfeldolgozó eljárások áttekintés. Orvosi képdiagnosztika 9. ea ősz

A Newton-Raphson iteráció kezdeti értéktől való érzékenysége

Átírás:

Osztályozás képdiagnosztikánál

Osztályozás Elválasztó felület keresése Input-output leképezés ismert osztályú (tanító) pontok alapján x, d P d 1,2,..., k i i i1 i Lineáris Paramétereiben lineáris, de nemlineáris Nemlineáris

Célfüggvény, kritérium függvény, objektív függvény, kockázat Veszteség függvény (loss function, hibafüggvény) minimumkeresés négyzetes hiba, kereszt entrópia L( d, f ( x, w)) d f ( w, x ) d y 2 2 i i i i i i i, xi, w i ln xi, w 1 i ln 1 xi, w Kockázat p(w,z) a paramétervektor és a megfigyelések együttes sűrűségfüggv. apasztalati kockázat (empirical risk) P 1 R ( w) d f ( w, x ) 2 E i i P i 1 L d f d f d f R w E L d, f x, w x, d R ( w) L( z, w) p( w, z) dz dw Egyéb objektív függvények (különbözőség, likelihood függvény, a posteriori sűrűségfüggvény) z, w

Az osztályozás minősítése R (risk) és R emp (empirical risk) kapcsolata R( w) R emp ( w) ( h) 2 1 4R emp ( h) ( w) h(ln (2l / h) 1) ln( / 4) 2 2 ( h) 4 h min R w, N 1, l Egy függvénykészlet a VC-dimenziója (h), ha létezik h olyan mintapont, melyeket a függvénykészlet elemeivel minden lehetséges módon be tudunk sorolni két osztály valamelyikébe (a h mintapontot minden lehetséges módon két színnel ki lehet színezni), de h+1 ilyen mintapont már nem létezik. A VC-dimenzió tehát az a maximális mintaszám, amit adott függvényosztály elemeivel hibátlanul particionálhatunk minden lehetséges módon. A VC-dimenzió egy függvényosztály komplexitásának egyfajta mértékeként is tekinthető.

Lineáris bináris osztályozás Optimális vetítési irány keresése Objektív függvény: különbözőség maximuma

LDA Optimális vetítési irány keresése LDA linear discriminant analysis: dimenzió redukció

LDA - KDA C( w) Kritérium függvény maximumkeresési feldat 2 m m 2 1 w m2 m1 m2 m1 w w SBw s s w x m x m w w x m x m w 2 2 1 2 i 1 i 1 i 2 i 2 (1) ( 2) ic ic w S w w S w w S S w w S w W1 W 2 W1 W 2 W C( w) S B osztályok közötti S W osztályokon belüli

LDA optimális paraméter vektor w arg min w w SBw w SW w arg min w 1 w SWSBw w w Rayleigh hányados 1 W B B 2 1 2 1 S S w w de ws w w m m m m w ezért 1 W S w m m m m w B S m m w 2 1 2 1 2 1

y Xw x 1 x 2 X x Analitikus megoldás Lineáris egyenletrenszer Mátrix invertálás A regularizació szerepe Lineáris osztályozás Lineáris modell, négyzetes hiba, csak a mintapontok P R ( w) ( d Xw) ( d Xw) Iteratív megoldás (gradiens módszer) w( k 1) w( k) μc( k). E w X d 1 X X X d -1 w X d X X I X d LS ( )

Lineáris osztályozás Egyenletek száma (P) Ismeretlenek száma (N) P<N Alulhatározott: végtelen számú megoldás (az N-P számú szabad paraméter tetszőlegesen megválasztható) P=N Van egyértelmű megoldás. Ha a lineáris egyenletek (az X mátrix sorai) lineárisan függetlenek, a mártix teljes rangú. P>N úlhatározott: Minden egyenletet kielégítő megoldás nem feltétlenül létezik. De LS értelemben lesz megoldás: Moore-Penrose inverz. Iteratív megoldásnál egy tartományon belül fog kóvályogni a megoldás. Példák a túlhatározott esetre : kétdimenziós (N=2), és P>2 mellett.

Gradiens módszerek (elsőrendű módszerek) Négyzetes hibafelület C 2 2 w( k) k dk x k wk ˆ C k 2 w k k 2 k xk. LMS algoritmus (-LMS) w ˆ k 1 wk μck wk 2μ k xk -LMS ( k) w k 1 w k k x x k kxk 0 1 0 2 max

Gradiens módszerek (kapcsolatok) Online módosítás ( k) y Xw wk 1 wk k x k x kxk Kaczmarz iteráció Minták elővételi sorrendje nem közömbös. Batch módosítás ( k) w k 1 w k x k x k kxk SAR/SIR

Másodrendű módszerek Hibafelület négyzetes vagy a hibafelület aylor soros közelítésével dolgozunk 0 0 0 0 12 0 2 C 0 Hesse mátrix Cw w w C w w C w w H w w H w 0 i, j w Newton módszer w i w w j 1 k 1 wk Hw( k) Cw( k). w w w 2 1 1 R C( w) Az LMS/Newton algoritmus 1 k 1 wk 2R k xk R E xx Autokorrelációs mátrix Ha a négyzetes hiba várható értéke alapján keressük a minimumot

. Másodrendű módszerek A H mátrixot közelítjük 2 y w H E y wy w wiwj 1 w k 1 w k H w( k) k I C w( k). a H mátrix az optimumhoz közeledve egyre inkább az első tagtól függ, hiszen akkor általában mind, mind y(w) görbülete egyre kisebb, ezért felvethető az alábbi közelítés. H E y w y w A Levenberg-Marquardt eljárás (az első- és a másodrendű eljárás kombinálása)

Konjugált Gradiens módszer Olyan irányokat keresünk, hogy egy N-dimenziós keresési térben N lépés alatt garantált legyen a konvergencia (kvadratikus felületnél) qi Rq j 0, i j. j j 1 0 N j j j0 w w q 0 q Rq q p Rw j j 1 k j j j0 k k N w w 0 q, és w w, q Rw k k q Rw 0. w k1 w k k q k, j 1 2 q j q. C j a kezdőpontban érvényes negatív gradiens adja a legelső irányt, majd a következő irányok rendre az aktuális gradiens és a megelőző irány lineáris kombinációjaként kerülnek kiszámításra: q q 0 C 0 1 C k 1 q, k k k C k 1 C k k Rqk, k k j C k Rq j k1 q Rq k Rq k. 1 1 C k 1 C k C k C k C k q k

Itertatív eljárások konvergenciája w 1 w * (b) (a) (c) w (1) w (0) w 0 Példa konvergenciára négyzetes hibafelület esetén -"legmeredekebb lejtő" módszerrel a trajektória mentén (kis mellett) (a), -"legmeredekebb lejtő" módszerrel nagyobb mellett (b); - a konjugált gradiensek módszerével (c).

Logisztikus regresszió Folytonos Gauss eloszlás mellett (ha az eges osztályokhoz tartozó feltételes sűrűségfüggvényeknél a kovariancia mátrix azonos) ( a) Emlékeztető 1 W S m m w 2 1 LDA

Likelihood arány teszt Statisztikai döntés ( x) p( x C ) 1 p( x C ) 2 C 1 = Based on the Likelihood function = 1 C 2 C 1 p( x C1 ) PC ( 2) ( x) = Bayes döntés = P(C 2 p( x C ) P( C ) P(C 1 2 1 C 2 C 1 p( x C1 ) ( K12 K22) P( C2) ( x) = p( x C ) ( K K ) P( C ) 2 21 11 1 C 2 A Bayes döntés költségértékekkel ( K12 K22) P( C2) ( K K ) P( C ) 21 11 1

Lineáris osztályozás Maximum likelihood megoldás pd ( 1 x, w) sgm( w x) ( w x) i i pd ( 0 x, w) 1 sgm( w x) 1 ( w x) i i p( d x, w) ( ( w x )) (1 ( w x ) y (1 y ) Egy mintára di (1 di ) di (1 di ) i i i i i i i xi w L di i L i1 i L p( d, ) y (1 y ) (1 d ) L( w) d ln y (1 d )ln(1 y ) i i i i i1 i1 i Az összes (L) mintára Likelihood függvény Iteratív megoldás

, Lineáris osztályozás Kernel gép (SVM) wxi wxi b a 0 ha d 1 b a 0 ha d 1 i i d ( wxb) 1 i 1, 2,, P i i 1 Lw, b, α w w ( ) 1 i di w xi b P 2 i1 x 2 x p x r optimális hipersík L L w, b, α 0 P w idixi w i1 i1 w, b, α 0 P idi 0 b i 0 xx p r w w r x 1 1 w Q( α) P idi i1 w 1 P P P i i jdid jxi x j i1 2 i1 j1 0 0 i1,..., P P s i1 d x i i i i ( ) sign P y x i dixi x b i1

Nemlineáris osztályozás Paramétereiben lineáris osztályozó: nemlineáris transzformáció + lineáris osztályozó y w i ix w φx LS megoldás Kernel gép i 1 ( w Φ Φ) Φ d d ( w φx ( ) b) 1 i 1, 2,, P i i 1 Q( α) φ ( x ) φ( x ) P P P i i jdid j i j i1 2 i1 j1 Τ K( x, x) ( x ) ( x) i i x Nemlineáris (x) Lineáris y transzformá osztályozó N ció M>N w P d ( ) i i xi i1 P y( x) sign i dik( xi, x) b i1

Nemlineáris osztályozó Nemparametrikus nemlineáris osztályozó NN nearest neighbour, k-nn Posterior becslése n cimkézett minta x körül egy V térfogat (tartomány) k mintából k i darab i cimkéjű m-edik osztályba sorolunk, ha Nemmetrikus módszerek Döntési fák CAR Szabály alapú módszerek...

Nemlineáris osztályozás Nemlineáris kernel gépek (SVM) Neuronhálók Klasszikus hálók Deep hálók

Az MLP-től a mély hálókig (Deep Klasszikus NN (MLP) Networks) Open question: hány rejtett réteg?

MLP sok rejtett réteggel Egy rejtett réteg elegendő az univerzális approximációs tulajdonsághoz (...), de előnyös lehet ha több rejtett réteget használunk. Összetettebb leképezés kevesebb neuronnal Különböző típusú rejtett rétegek is alkalmazhatók Hátrányok BP tanítás lassú úl sok szabad paraméter, túl nagy szabadságfok Számítási komplexitás nagy

Jellemzők kiválasztása A jellemzők meghatározása, kiválasztása: az egyik legnehezebb feladat ROI kiválasztása: elváltozás kiemelő szűrők (IRIS filter, SBF, AFUM, illesztett szűrők, stb.) ROI jellemzői: Haralick features (textúra jellemzők), geometriai jellemzők (kerület, terület, ezek aránya,...), ROI-n belül képjellemzők (minimum, maximum, átlag, szórás, magasabb momentumok, medián, entrópia,...), gradiens jellemzők: Gauss deriváltak DoG, LoG,... Globális-lokális jellemzők dilemmája A jellemzőtér dimenziója: hány jellemző alapján osztályozzunk? Dimenzió növelés, több megfigyelés- többdimenziós vektor: a dimenzió átka Szekvenciális döntés (több mérés, ugyanarról az objektumról, multimodális vizsgálat) Occam borotvája Dimenzió redukció, a releváns változók kiválasztása (PCA, NPCA, KPCA, PLS,...) Dimenzió redukció regularizáció segítségével: regularizációs tag: l2 norma, l1 norma Relevant vector machine (Bayes módszer a változók szelektálására)...

PCA x y 2 2 Jellemző kiválasztás x φ1, φ2,..., φn N M yiφi xˆ yii M N yi φi x i1 i1 N N N E φi x x φi φi E xx φi φi Rxxφi im 1 im 1 im 1 N M 2 N 2 2 E x xˆ E y iφi yiφi E yi i1 i1 im 1 N N φ i φ j 1 ij φ φ φ C φ φ φ xx ˆ 2 1 1 i i i i i i i i im 1 im 1 N ˆ 2 i 2 i i xx φ C φ φ 0 i im1 C φ xx φ i i i 2 I, vagyis N N N φ i R xx φ i φ i i φ i i im 1 im 1 im 1 2 E y f w w Rw w w w w Rayleigh hányados

KPCA Φ: F, x X Φ( x) Jellemző kiválasztás N 1 P P R C Φx jφx j V CV V iφx i P j 1 i1 P P P k k 1 iφ xk Φ xi iφ xk Φ x j Φ x j Φ xi i1 P i1 j1 Φ x V Φ x CV, Kij K xi xj Φ xi Φ x 2 j PKα K α Pα Kα Sajátvektorok normalizálása k V k V 1 1 P i, j1 k k Φ x Φ x i j i j i, j1 k k kα α A jellemzőtérbeli vektorok vetítése P k k k k K α Kα i j ij V k Φ x k k Φ x Φ x K x, x P i i i1 i1 P i i

Osztályozás fő lépései (különböző megközelítések)

Jellemző kiválasztás Dimenzió redukció a legfontosabb jellemzők meghatározására (PCA, KPCA) Dimenzió redukció a legrelevánsabb jellemzők meghatározására (PLS, érzékenység analízis) Ritka megoldás keresése (regularizáció,...)

MLP BP algorithm anítás A telítődő nemlineáris aktivációs függvény hátrányai Szigmoid nemlinearitás, a derivált tart nullához... Exponenciális függvények számítása Lassú és nagy számítási komplexitású algoritmus Lokális minimumba ragadás veszélye Hogyan módosítsuk a háló architektúráját a hátrányos kiküszöbölése vagy mérséklése céljából Módosítsuk az aktivációs függvényt

Aktivációs függvények ReLU előnyei - Könnyű számítani - Nincs telítéses szakasz - A derivált számítása egyszerű - Univ approximation képesség megmarad - Hatékony gradiensalapú tanítási algoritmusok léteznek

Az új MLP architektúra

anítás (BP)

raining algorithms SGD Minibatch Különböző gradiens alapú algoritmusok Momentum (Nesterov momentum) AdaGrad, AdaDelta, RMSProp, Adam

Data set Increase the number of labelled data Artificially generated samples (augmentations) Shifting Rotating Flip vertically or horizontally...

Jellemző kiválasztás Különböző típusú rétegek alkalmazása A lényegkiemelést maga a háló végzi Szűrés (konvolúció), sok konvolúciós réteg Dimenzió redukció, feature selection

Convolutional layer

convolution

Feature selection

Dimension reduction Pooling layer

Fully connected layers Normál BC umor1 umor2 Nem azonosított elvált

A complex network

A complex network

Dropout Complex neurons (to reduce free parameters )

Dropout

Autoencoders Feature selection, dimension reduction (bottleneck layer)

An example

ransfer learning Fix (pretained) Fix (pretained) Fix (pretained) trainable trainable

Implementation

Implementation Models: GoogleNet: CNN model finetuned on the Extended Salient Object Subitizing dataset (~11K images) and synthetic images. his model significantly improves over our previous models. Recommended. AlexNet: CNN model finetuned on our initial Salient Object Subitizing dataset (~5500 images). he architecture is the same as the Caffe reference network. VGG16: CNN model finetuned on our initial Salient Object Subitizing dataset (~5500 images). Many further details can be found in http://deeplearning.net/ Some figures of this slide set was obtained from: - Deep Learning NIPS 2015 utorial, Geoff Hinton, Yoshua Bengio & Yann LeCun - Introduction to Machine Learning CMU-10701 Deep Learning

Main types of suspicious areas malignant cases mikrokalcifikáció architekturális torzítás spikulált folt Jóindulatú elváltozás

A képek (esetek) változatossága zsíremlő zsír-grandular sűrű grandular 20.05.2004 IMC 2004, Como, Italy

Kép szegmentálás

Éldetektálás és textura alapú osztályozás Matching based on segment position + texture parameters

Egy lehetséges út a mikrokalcifikációk detektálásra Image reading Image egment selection exture analysis no Suspicious segment? yes Focusing on suspicious subsegment no Reinforcement yes Edge detection Curvilinear detection no yes Removing of curvilinear objects Verification no Fals positive result yes rue positive result

Kulcscsont és bordák árnyékának eltüntetése

Kulcscsont és bordák árnyékának eltüntetése

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Kerekárnyék keresés

Összesített eredmények: FROC (Free-Response Receiver Operating Characteristic Curve)

example of the results of the steps of vessel feature extraction.