Deep Learning: Mélyhálós Tanulás
|
|
- Gabi Hegedüs
- 7 évvel ezelőtt
- Látták:
Átírás
1 Deep Learning Deep Learning: Mélyhálós Tanulás Mesterséges Neuronhálók 2015 o sz Milacski Zoltán Ádám srph25@gmail.com ELTE Informatika Doktori Iskola
2 Deep Learning anyagok Szoftverek: NVIDIA Digits (web, NVIDIA): Caffe (command line/python/matlab, UC Berkeley): torch (Lua/Python/MATLAB, NYU): theano (Python, Université de Montréal): Ingyenes online kurzusok: NVIDIA Deep Learning Course (Jon Barker, NVIDIA): Neural Networks for Machine Learning (Geoffrey Hinton, University of Toronto): Convolutional Neural Networks for Visual Recognition (Andrej Karpathy, Stanford): Machine Learning (Andrew Ng, Stanford): Tudományos cikkek: Yann LeCun, Joshua Bengio, Geoffrey Hinton, Ilya Sutskever, Christian Szegedy, Alex Krizhevsky, Andrew Ng, Quoc Le, Vincent Vanhoucke, Diederik Kingma és még sokan mások...
3 Deep Learning Deep Learning 1. Legnépszeru bb MI megközelítés napjainkban: aktív kutatási terület, legnagyobb cégek használják adatelemzésre (Google, Facebook, Microsoft, Netflix, Baidu, IBM). Sok sikeres alkalmazás: rekordokat döntöget (ImageNet: 25% 5% hiba) de még spam-szu rés, arcfelismerés, Xbox Kinect, Q-learning... Zavarba ejto en párhuzamosítható feladat: mátrix-vektor mu veletek, GPU gyorsítás (olcsó és takarékos szuperszámítógép). Egyszeri lassú betanítás, utána gyors predikció (betanított modell hatékonyan telepítheto beágyazott rendszerekre, mobiltelefonokra). Az elmúlt években alapjaiban do ltek meg Machine Learning tézisek: Klasszikus Machine Learning: feature extrakció és kernel kézzel, tanuljunk súlyozást (pl. SVM, HMM, klaszterezés, LDA). Konvex optimalizáció: rengeteg tétel, pl. garantált globális megoldás. Deep Learning: vegyünk sok mintát és sok paramétert, tanuljuk meg a feature-öket is az adatokból! Ero sen nem konvex feladat: nagyon kevés elméleti garancia, sok mintával és kello hardverrel mégis jobban általánosít...
4 Deep Learning Deep Learning 2. Inceptionism: felho k formája és képzelgés, valamire tanítva, máson tesztelve (becsaphatóság kiaknázása) = Festés stílus másolás: B=Turner, C=van Gogh, D=Munch, E=Picasso, F=Kandinsky
5 Deep Learning 3. input output nemlineáris leképezést tanulunk sok (input,output) párból: minden input vektor feature-ökből áll: x i R n, i = 1,..., N, minden output vektor címkékből áll: y i R m, i = 1,..., N, a leképezés paraméterekből áll: f θ : R n R m, θ R p, a leképezés vektoros adatokból címkét próbál jósolni: f θ (x) y. Cél: előre adott paraméteres leképezés-családból kiválasztani a legjobbat, ami megold valamilyen feladatot (úgy beállítani a θ értékeket, hogy minimalizáljunk egy l : R m R m R + hibát a jósolt és a tényleges címkék között). Osztályozás: y Z m, Regresszió: y R m, Rekonstrukció: y = x, f θ id. Matematikailag: (x i, y i ) N i=1 = min θ 1 N N i=1 l(f θ(x i ), y i ). Túltanulás kikerülendő: még nem látott (x, y) párokra is kicsi legyen az l(f θ (x), y) hiba. Aktivációs függvény: g(z) = max(0, z) ReLU függvény. Neuron: f w,b (x) = g(w T x + b) = g( n i=1 w i x i + b), Neuronréteg: f W,b (x) = g(w x + b), Neuronháló: f W 1,...,W k,b 1,...,b k (x) = g k (W k g 2 (W 2 g 1 (W 1 x + b 1 ) + b 2 ) + b k ).
6 Deep Learning 4. Neuronháló: f W 1,...,W k,b 1,...,b k (x) = g k (W k g 2 (W 2 g 1 (W 1 x + b 1 ) + b 2 ) + b k ). A feature-ök hierarchiába rendeződnek: a mélyebb rétegek egyre magasabb szintű feature-öket tartalmaznak, és mindig az előző réteg feature-eit kombinálják össze. Előnyök: Nem kell előzetesen manuálisan feature-öket létrehozni. Általános architektúra: sokféle feladatra és adattípusra jó. Sok mintával (N ), GPU-val (NVIDIA CUDA/cuBLAS), új módszerekkel (pl. ReLU, Adam, pretraining, dropout) jól működik. Transfer Learning: más által nagy adatbázison betanított háló letölthető és adaptálható saját kicsi adatbázishoz. Geoffrey Hinton: "nagyjából így működik az emberi agy, tökéletlen modell is lehet hasznos és tanulságos".
7 Optimalizáció Hogyan találhatunk jó θ = {W 1,..., W k, b 1,..., b k } paramétereket? Gradiens-módszerrel (iteratívan)! Hiba: l(f θ (x), y) kettes norma közelítés: 1 2 y f θ(x) 2 2, egyes norma közelítés: y f θ (x) 1. Összhiba: [ ] 1 N L(θ) = l(f θ (x i ), y N i ). i=1 Gradiens-módszer: a negatív gradiens ( L(θ) ) mindig a lokális minimum felé θ mutat, lépjünk egy kicsit ebbe az irányba! L(θ) θ t+1 = θ t α t. θ θ=θt 2 kérdés: x i inputok skálázása? L(θ) θ gradiens kiszámítása? (véges differenciával való numerikus közelítés pontatlan) α t lépésköz beállítása? (ne lépjünk se nem túl kicsit, se nem túl nagyot)
8 Gradiens-módszer 1. Gradiens-módszer: θ t+1 = θ t α t L(θ) θ, θ = {W 1,..., W k, b 1,..., b k }. θ=θt x i inputok skálázása: ha a feature-ök különböző skálákon mozognak, de azonos súllyal szeretnénk figyelembe venni őket (szinte mindig igaz), feature-önként standard normalizáljuk az inputokat: µ = 1 N x i, σ = 1 N (x i µ) 2, N N 1 i=1 i=1 x i x i µ σ.
9 Gradiens-módszer 2. Gradiens-módszer: θ t+1 = θ t α t L(θ) θ L(θ) θ Legyen X = [x 1,..., x N ], Y = [y 1,..., y N ], g j, θ = {W 1,..., W k, b 1,..., b k }. θ=θt gradiens kiszámítása: láncszabállyal, dinamikus programozással. g(h) (h) = h, l (z, y) = l(z,y). z function PROP(X, Y, W 1,..., W k, b 1,..., b k, g 1,..., g k, g 1,..., g k, l, l ) // ForwardPropagation Z 0 = X for j = 1,..., k do H j = W j Z j 1 + [b j,..., b j ] Z j = g j (H j ) end for L = 1 N N i=1 l(z k,,i, Y,i ) // BackPropagation Z k = 1 N [l (Z k,,1, Y,1 ),..., l (Z k,,n, Y,N )] for j = k,..., 1 do H j = g j (H j ) Z j // itt az elemenkénti szorzás Z j 1 = W T j H j b j = N i=1 H j,,i W j = H j Z T j 1 end for return Z k, L, W 1,..., W k, b 1,..., b k end function
10 Gradiens-módszer 3. Gradiens-módszer: θ t+1 = θ t α t L(θ) θ, θ = {W 1,..., W k, b 1,..., b k }. θ=θt α t lépésköz beállítása: Adam algoritmus. function ADAM(α, β 1, β 2, ε, X, Y, θ 0, g 1,..., g k, g 1,..., g k, l, l ) M 0 = 0, V 0 = 0 for t = 0, 1,..., T 1 do [Z k, L, θ]=prop(x, Y, θ t, g 1,..., g k, g 1,..., g k, l, l ) M t+1 = β 1 M t + (1 β 1 ) θ // Gradiens mozgóátlaga V t+1 = β 2 V t + (1 β 2 ) θ 2 // Gradiens négyzet mozgóátlaga θ t+1 = θ t α M t+1 1 β t+1 1 V t+1 1 β t+1 +ε 2 // Paraméterek frissítése end for return θ T end function Tipikus beállítás: α = 0.001, β 1 = 0.9, β 2 = 0.999, ε = θ 0 kezdőpont: ReLU függvény esetén W j N (0, ), b j = Leállási feltétel: θ 2 < 10 4 (közelítőleg lokális szélsőérték). Minibatch: minden lépésben a minták egy részhalmazával számolunk (csökkentett memóriaigény, több kicsi iteráció, gyorsabb konvergencia, mintákban párhuzamosítható GPU-val). Ekkor célszerű a negatív gradiens iránya helyett a negatív gradiensek mozgóátlagának irányába lépni (momentum).
11 Regularizáció Regularizáció: R(θ), plusz költség tag túltanulás ellen (nem engedi, hogy θ elemei nagyok legyenek, egyszerűsíti a modellt, jobban általánosít). Összhiba regularizációval (λ > 0: két költség trade-off-ja): [ ] 1 N L(θ) = l(f θ (x i ), y N i ) + λr(θ) i=1 Kettes norma regularizáció: R(θ) = 1 2 θ 2 2, Egyes norma regularizáció: R(θ) = θ 1. Dropout: exponenciálisan sok háló összekombinálása, tanításkor p = 0.5 valószínűséggel aktív minden neuron (input rétegre p = 0.8), teszteléskor p-vel szorzandó minden aktivitás. Jó implementáció: inverted dropout.
12 Greedy Layer-wise Pretraining Előtanítás: címkék nélküli (felügyeletlen) rekonstrukció, mohó módon, rétegenként. Utána szokásos felügyelt (finom)hangolás címkékkel. Lassú, de gyakran jobb θ 0 kezdőpontot ad. Kis adatbázisoknál segít a legtöbbet! Esetleg ha sok címke nélküli tanítópéldánk van... Manapság csökken a jelentősége, de a jövőben még nagyobb hálók esetén újra szükség lehet rá...
13 Hiperparaméterek Egy mély hálónak sok hiperparamétere van: rétegek száma k, rétegek méretei, regularizáció λ, Adam α, β 1, β 2, ε, dropout p, de akár még aktivációs és költségfüggvények is... Hogyan állítsuk be ezeket? Kereszt-validáció: bontsuk az adatbázist 80% tanító + 10% validáció + 10% teszt részekre. Tanítón sok kombinációt próbáljunk ki, validáción mérjük ki a legjobbat. A legjobb kombinációval tanítsunk újra tanító+validáción és teszten használjuk ezt! Majd válasszuk újra a halmazokat, és átlagoljuk az eredményt. Bayesian optimization: Megerősítéses Tanulás (RL) szerű iteratív eljárás, próba-szerencse alapon oldja fel az exploráció-exploitációs dilemmát. Gauss-folyamatokat használ. Megtanulja a helyes skálázást a változókban. Sokkal jobb, mint a manuális próbálgatás (pontosan emlészik és értékel ki sok kombinációt). Spearmint (Python/MATLAB): Hyperopt (Python): BayesOpt (C/C++/Python/MATLAB):
14 Speciális neuronhálók Az alapvető neuronhálós tudást lefedik az előző diák, speciális hálók azonban mind igényelnek további trükköket. Feedforward háló (FNN): ezt láttuk részletesen az előző diákon. Konvolúciós háló (CNN): mátrixszorzások helyett konvolúciók (kevesebb változó, kisebb feladatméret). Rekurrens háló (RNN): idősorok (dinamika). Autoencoder: rekonstrukció, feature tanulás, előtanítás, klaszterezés. Hopfield háló: tartalom-címzett memória, robusztus, bináris aktivitások, irányítatlan élek a gráfban. Ma már nem használják, történelmi okokból fontos. Boltzmann háló (RBM): ma már nem használják, történelmi okokból fontos.
15 A terület jövője 2016: NVIDIA Pascal architektúra Újabb nagy ugrást jelenthet... Most még nem késő belekezdeni. 32 GB RAM: nagyobb minibatch-ek, kevesebb másolási művelet. NVLink interfész: PCI Express-hez képest sokkal nagyobb sávszélesség. Vegyes-pontosságú számítások: számolás double-ben, tárolás float-ban. CUDA Toolkit: folyamatos szoftveres fejlődés (7.5: ritka mátrixok) Nehéz megmondani, hogy mi lesz a neuronhálók jövője, de: a meglévő módszereket tovább fogják tökéletesíteni, adat és hardverkapacitás is csak egyre több lesz, egyre több helyen fognak megjelenni a hétköznapokban, sok szép meglepő eredményt fognak produkálni az elkövetkezendő években...
16 Köszönöm a figyelmet! Köszönöm a figyelmet! Ez a diasor Jon Barker, Geoffrey Hinton, Andrej Karpathy anyagai; Diederik Kingma, Leon Gatys, Nitish Srivastava cikkei, Ilya Sutskever disszertációja és Yifei Teng, Alexander Mordvintsev (Google Research) blogjai alapján készült. Az algoritmusok és az ábrák a fenti cégek és szerzők szellemi tulajdonát képezik.
Konvolúciós neurális hálózatok (CNN)
Konvolúciós neurális hálózatok (CNN) Konvolúció Jelfeldolgozásban: Diszkrét jelek esetén diszkrét konvolúció: Képfeldolgozásban 2D konvolúció (szűrők): Konvolúciós neurális hálózat Konvolúciós réteg Kép,
RészletesebbenDeep Learning a gyakorlatban Python és LUA alapon Tanítás: alap tippek és trükkök
Gyires-Tóth Bálint Deep Learning a gyakorlatban Python és LUA alapon Tanítás: alap tippek és trükkök http://smartlab.tmit.bme.hu Deep Learning Híradó Hírek az elmúlt 168 órából Deep Learning Híradó Google
RészletesebbenNeurális hálózatok elméleti alapjai TULICS MIKLÓS GÁBRIEL
Neurális hálózatok elméleti alapjai TULICS MIKLÓS GÁBRIEL TULICS@TMIT.BME.HU Példa X (tanult órák száma, aludt órák száma) y (dolgozaton elért pontszám) (5, 8) 80 (3, 5) 78 (5, 1) 82 (10, 2) 93 (4, 4)
RészletesebbenA kibontakozó új hajtóerő a mesterséges intelligencia
5. Magyar Jövő Internet Konferencia» Okos város a célkeresztben «A kibontakozó új hajtóerő a mesterséges intelligencia Dr. Szűcs Gábor Budapesti Műszaki és Gazdaságtudományi Egyetem Távközlési és Médiainformatikai
RészletesebbenBudapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók 2. Pataki Béla
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék Neurális hálók 2. Előadó: Hullám Gábor Pataki Béla BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki
RészletesebbenMit látnak a robotok? Bányai Mihály Matemorfózis, 2017.
Mit látnak a robotok? Bányai Mihály Matemorfózis, 2017. Vizuális feldolgozórendszerek feladatai Mesterséges intelligencia és idegtudomány Mesterséges intelligencia és idegtudomány Párhuzamos problémák
RészletesebbenKeresés képi jellemzők alapján. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék
Keresés képi jellemzők alapján Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék Lusta gépi tanulási algoritmusok Osztályozás: k=1: piros k=5: kék k-legközelebbi szomszéd (k=1,3,5,7)
RészletesebbenGoogle Summer of Code Project
Neuronhálózatok a részecskefizikában Bagoly Attila ELTE TTK Fizikus MSc, 2. évfolyam Integrating Machine Learning in Jupyter Notebooks Google Summer of Code Project 2016.10.10 Bagoly Attila (ELTE) Machine
RészletesebbenVisszacsatolt (mély) neurális hálózatok
Visszacsatolt (mély) neurális hálózatok Visszacsatolt hálózatok kimenet rejtett rétegek bemenet Sima előrecsatolt neurális hálózat Visszacsatolt hálózatok kimenet rejtett rétegek bemenet Pl.: kép feliratozás,
RészletesebbenSzámítógépes képelemzés 7. előadás. Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék
Számítógépes képelemzés 7. előadás Dr. Balázs Péter SZTE, Képfeldolgozás és Számítógépes Grafika Tanszék Momentumok Momentum-alapú jellemzők Tömegközéppont Irányultáság 1 2 tan 2 1 2,0 1,1 0, 2 Befoglaló
RészletesebbenBudapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék. Neurális hálók. Pataki Béla
Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs rendszerek Tanszék Neurális hálók Előadó: Előadás anyaga: Hullám Gábor Pataki Béla Dobrowiecki Tadeusz BME I.E. 414, 463-26-79
RészletesebbenBevezetés a mesterséges intelligencia mély tanulás eszközrendszerébe
Bevezetés a mesterséges intelligencia mély tanulás eszközrendszerébe Csapó Tamás Gábor http://smartlab.tmit.bme.hu AI, ML, DL Forrás: https://blogs.nvidia.com/blog/2016/10/17/deep-learning-help-business/
RészletesebbenNeurális hálózatok bemutató
Neurális hálózatok bemutató Füvesi Viktor Miskolci Egyetem Alkalmazott Földtudományi Kutatóintézet Miért? Vannak feladatok amelyeket az agy gyorsabban hajt végre mint a konvencionális számítógépek. Pl.:
RészletesebbenI. LABOR -Mesterséges neuron
I. LABOR -Mesterséges neuron A GYAKORLAT CÉLJA: A mesterséges neuron struktúrájának az ismertetése, neuronhálókkal kapcsolatos elemek, alapfogalmak bemutatása, aktivációs függvénytípusok szemléltetése,
RészletesebbenModellkiválasztás és struktúrák tanulása
Modellkiválasztás és struktúrák tanulása Szervezőelvek keresése Az unsupervised learning egyik fő célja Optimális reprezentációk Magyarázatok Predikciók Az emberi tanulás alapja Általános strukturális
RészletesebbenIntelligens orvosi műszerek VIMIA023
Intelligens orvosi műszerek VIMIA023 Neurális hálók (Dobrowiecki Tadeusz anyagának átdolgozásával) 2017 ősz http://www.mit.bme.hu/oktatas/targyak/vimia023 dr. Pataki Béla pataki@mit.bme.hu (463-)2679 A
RészletesebbenDeep learning. bevezetés
Deep learning bevezetés Egy kis történelem - a kezdetek 1957 - Frank Rosenblatt: Perceptron A perceptron algoritmus első implementációja a Mark I Perceptron gép 20 20 pixeles képet adó kamerához volt kötve
RészletesebbenGépi tanulás a gyakorlatban. Lineáris regresszió
Gépi tanulás a gyakorlatban Lineáris regresszió Lineáris Regresszió Legyen adott egy tanuló adatbázis: Rendelkezésünkre áll egy olyan előfeldolgozott adathalmaz, aminek sorai az egyes ingatlanokat írják
RészletesebbenGépi tanulás Gregorics Tibor Mesterséges intelligencia
Gépi tanulás Tanulás fogalma Egy algoritmus akkor tanul, ha egy feladat megoldása során olyan változások következnek be a működésében, hogy később ugyanazt a feladatot vagy ahhoz hasonló más feladatokat
RészletesebbenNEURONHÁLÓK ÉS TANÍTÁSUK A BACKPROPAGATION ALGORITMUSSAL. A tananyag az EFOP pályázat támogatásával készült.
NEURONHÁLÓK ÉS TANÍTÁSUK A BACKPROPAGATION ALGORITMUSSAL A tananyag az EFOP-3.5.1-16-2017-00004 pályázat támogatásával készült. Neuron helyett neuronháló Neuron reprezentációs erejének növelése: építsünk
RészletesebbenTanulás az idegrendszerben. Structure Dynamics Implementation Algorithm Computation - Function
Tanulás az idegrendszerben Structure Dynamics Implementation Algorithm Computation - Function Tanulás pszichológiai szinten Classical conditioning Hebb ötlete: "Ha az A sejt axonja elég közel van a B sejthez,
RészletesebbenGépi tanulás a gyakorlatban. Kiértékelés és Klaszterezés
Gépi tanulás a gyakorlatban Kiértékelés és Klaszterezés Hogyan alkalmazzuk sikeresen a gépi tanuló módszereket? Hogyan válasszuk az algoritmusokat? Hogyan hangoljuk a paramétereiket? Precízebben: Tegyük
RészletesebbenKONVOLÚCIÓS NEURONHÁLÓK. A tananyag az EFOP pályázat támogatásával készült.
KONVOLÚCIÓS NEURONHÁLÓK A tananyag az EFOP-3.5.1-16-2017-00004 pályázat támogatásával készült. 1. motiváció A klasszikus neuronháló struktúra a fully connected háló Két réteg között minden neuron kapcsolódik
RészletesebbenBabeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet
/ Babeş Bolyai Tudományegyetem, Kolozsvár Matematika és Informatika Kar Magyar Matematika és Informatika Intézet / Tartalom 3/ kernelek segítségével Felügyelt és félig-felügyelt tanulás felügyelt: D =
RészletesebbenKonjugált gradiens módszer
Közelítő és szimbolikus számítások 12. gyakorlat Konjugált gradiens módszer Készítette: Gelle Kitti Csendes Tibor Vinkó Tamás Faragó István Horváth Róbert jegyzetei alapján 1 LINEÁRIS EGYENLETRENDSZEREK
RészletesebbenOpenCL alapú eszközök verifikációja és validációja a gyakorlatban
OpenCL alapú eszközök verifikációja és validációja a gyakorlatban Fekete Tamás 2015. December 3. Szoftver verifikáció és validáció tantárgy Áttekintés Miért és mennyire fontos a megfelelő validáció és
RészletesebbenIntelligens Rendszerek Elmélete. Versengéses és önszervező tanulás neurális hálózatokban
Intelligens Rendszerek Elmélete : dr. Kutor László Versengéses és önszervező tanulás neurális hálózatokban http://mobil.nik.bmf.hu/tantargyak/ire.html Login név: ire jelszó: IRE07 IRE 9/1 Processzor Versengéses
RészletesebbenAradi Bernadett. 2017/18 ősz. TensorFlow konvolúciós hálózatokhoz 2017/18 ősz 1 / 11
TensorFlow konvolúciós hálózatokhoz Aradi Bernadett 2017/18 ősz TensorFlow konvolúciós hálózatokhoz 2017/18 ősz 1 / 11 Tensorflow import tensorflow as tf szoftverkönyvtár neurális hálózatokhoz a Google
RészletesebbenFELÜGYELT ÉS MEGERŐSÍTÉSES TANULÓ RENDSZEREK FEJLESZTÉSE
FELÜGYELT ÉS MEGERŐSÍTÉSES TANULÓ RENDSZEREK FEJLESZTÉSE Dr. Aradi Szilárd, Fehér Árpád Mesterséges intelligencia kialakulása 1956 Dartmouth-i konferencián egy maroknyi tudós megalapította a MI területét
RészletesebbenMély neuronhálók alkalmazása és optimalizálása
magyar nyelv beszédfelismerési feladatokhoz 2015. január 10. Konzulens: Dr. Mihajlik Péter A megvalósítandó feladatok Irodalomkutatás Nyílt kutatási eszközök keresése, beszédfelismer rendszerek tervezése
RészletesebbenDeep Learning a gyakorlatban Python és LUA alapon Hogyan tovább?
Tóth Bálint Pál Deep Learning a gyakorlatban Python és LUA alapon Hogyan tovább? http://smartlab.tmit.bme.hu Jogi nyilatkozat Jelen előadás diái a Deep Learning a gyakorlatban Python és LUA alapon című
RészletesebbenAdatbányászati szemelvények MapReduce környezetben
Adatbányászati szemelvények MapReduce környezetben Salánki Ágnes salanki@mit.bme.hu 2014.11.10. Budapesti Műszaki és Gazdaságtudományi Egyetem Méréstechnika és Információs Rendszerek Tanszék Felügyelt
RészletesebbenLineáris regressziós modellek 1
Lineáris regressziós modellek 1 Ispány Márton és Jeszenszky Péter 2016. szeptember 19. 1 Az ábrák C.M. Bishop: Pattern Recognition and Machine Learning c. könyvéből származnak. Tartalom Bevezető példák
RészletesebbenTeljesen elosztott adatbányászat alprojekt
Teljesen elosztott adatbányászat alprojekt Hegedűs István, Ormándi Róbert, Jelasity Márk Big Data jelenség Big Data jelenség Exponenciális növekedés a(z): okos eszközök használatában, és a szenzor- és
RészletesebbenRegresszió. Csorba János. Nagyméretű adathalmazok kezelése március 31.
Regresszió Csorba János Nagyméretű adathalmazok kezelése 2010. március 31. A feladat X magyarázó attribútumok halmaza Y magyarázandó attribútumok) Kérdés: f : X -> Y a kapcsolat pár tanítópontban ismert
RészletesebbenDeep Learning a gyakorlatban Python és LUA alapon Bevezetés
Tóth Bálint Pál Deep Learning a gyakorlatban Python és LUA alapon Bevezetés http://smartlab.tmit.bme.hu Jogi nyilatkozat Jelen előadás diái a Deep Learning a gyakorlatban Python és LUA alapon című tantárgyhoz
RészletesebbenMély neuronhálók az akusztikus modellezésben
Szeged, 2013. január 7 8. 3 Mély neuronhálók az akusztikus modellezésben Grósz Tamás, Tóth László MTA-SZTE Mesterséges Intelligencia Kutatócsoport, e-mail: groszt@sol.cc.u-szeged.hu,tothl@inf.u-szeged.hu
RészletesebbenInformatikai Kar Eötvös Loránd Tudományegyetem Mesterséges neuronhálók
Mesterséges neuronhálók Lőrincz András Bevezető kérdések Mi az intelligencia? Mi a mesterséges intelligencia? 2 Miről lesz szó? Felismerés első típusa 3 Miről lesz szó? Felismerés első típusa Ló Honnan
RészletesebbenIntelligens Rendszerek Gyakorlata. Neurális hálózatok I.
: Intelligens Rendszerek Gyakorlata Neurális hálózatok I. dr. Kutor László http://mobil.nik.bmf.hu/tantargyak/ir2.html IRG 3/1 Trend osztályozás Pnndemo.exe IRG 3/2 Hangulat azonosítás Happy.exe IRG 3/3
RészletesebbenTanulás az idegrendszerben. Structure Dynamics Implementation Algorithm Computation - Function
Tanulás az idegrendszerben Structure Dynamics Implementation Algorithm Computation - Function Tanulás pszichológiai szinten Classical conditioning Hebb ötlete: "Ha az A sejt axonja elég közel van a B sejthez,
RészletesebbenAz idegrendszeri memória modelljei
Az idegrendszeri memória modelljei A memória típusai Rövidtávú Working memory - az aktuális feladat Vizuális, auditórikus,... Prefrontális cortex, szenzorikus területek Kapacitás: 7 +-2 minta Hosszútávú
RészletesebbenOsztályozási feladatok képdiagnosztikában. Orvosi képdiagnosztikai 2017 ősz
Osztályozási feladatok képdiagnosztikában Orvosi képdiagnosztikai 2017 ősz Osztályozás Szeparáló felületet keresünk Leképezéseket tanulunk meg azok mintáiból A tanuláshoz használt minták a tanító minták
RészletesebbenTanulás az idegrendszerben
Tanulás az idegrendszerben Structure Dynamics Implementation Algorithm Computation - Function Funkcióvezérelt modellezés Abból indulunk ki, hogy milyen feladatot valósít meg a rendszer Horace Barlow: "A
RészletesebbenACM Snake. Orvosi képdiagnosztika 11. előadás első fele
ACM Snake Orvosi képdiagnosztika 11. előadás első fele ACM Snake (ismétlés) A szegmentáló kontúr egy paraméteres görbe: x Zs s X s, Y s,, s A szegmentáció energia funkcionál minimalizálása: E x Eint x
RészletesebbenKészítette: Trosztel Mátyás Konzulens: Hajós Gergely
Készítette: Trosztel Mátyás Konzulens: Hajós Gergely Monte Carlo Markov Chain MCMC során egy megfelelően konstruált Markov-lánc segítségével mintákat generálunk. Ezek eloszlása követi a céleloszlást. A
RészletesebbenMesterséges neurális hálózatok II. - A felügyelt tanítás paraméterei, gyorsító megoldásai - Versengéses tanulás
Mesterséges neurális hálózatok II. - A felügyelt tanítás paraméterei, gyorsító megoldásai - Versengéses tanulás http:/uni-obuda.hu/users/kutor/ IRE 7/50/1 A neurális hálózatok általános jellemzői 1. A
RészletesebbenNeurális hálózatok.... a gyakorlatban
Neurális hálózatok... a gyakorlatban Java NNS Az SNNS Javás változata SNNS: Stuttgart Neural Network Simulator A Tübingeni Egyetemen fejlesztik http://www.ra.cs.unituebingen.de/software/javanns/ 2012/13.
RészletesebbenÚj eredmények a mély neuronhálós magyar nyelvű beszédfelismerésben
Szeged, 2014. január 16 17. 3 Új eredmények a mély neuronhálós magyar nyelvű beszédfelismerésben Grósz Tamás 1, Kovács György 2, Tóth László 2 1 Szegedi Tudományegyetem, TTIK, Informatikai Tanszékcsoport,
RészletesebbenKernel gépek vizsgálata
Kernel gépek vizsgálata Kooperáció és gépi tanulás laboratórium (VIMIMB02) 2018. március 5. Elméleti alapok A mérés során újabb kernel gépeket fogunk megismerni: a szupportvektor-gépek (SVM) regressziós
RészletesebbenPéldák jellemzőkre: - minden pixelérték egy jellemző pl. neurális hálózat esetében csak kis képekre, nem invariáns sem a megvilágításra, sem a geom.
Lépések 1. tanító és teszt halmaz összeállítása / megszerzése 2. jellemzők kinyerése 3. tanító eljárás választása Sok vagy kevés adat áll-e rendelkezésünkre? Mennyi tanítási idő/memória áll rendelkezésre?
RészletesebbenMegerősítéses tanulás 9. előadás
Megerősítéses tanulás 9. előadás 1 Backgammon (vagy Ostábla) 2 3 TD-Gammon 0.0 TD() tanulás (azaz időbeli differencia-módszer felelősségnyomokkal) függvényapproximátor: neuronháló 40 rejtett (belső) neuron
RészletesebbenHibadetektáló rendszer légtechnikai berendezések számára
Hibadetektáló rendszer légtechnikai berendezések számára Tudományos Diákköri Konferencia A feladatunk Légtechnikai berendezések Monitorozás Hibadetektálás Újrataníthatóság A megvalósítás Mozgásérzékelő
RészletesebbenGépi tanulás a gyakorlatban. Bevezetés
Gépi tanulás a gyakorlatban Bevezetés Motiváció Nagyon gyakran találkozunk gépi tanuló alkalmazásokkal Spam detekció Karakter felismerés Fotó címkézés Szociális háló elemzés Piaci szegmentáció analízis
RészletesebbenGépi tanulás. Hány tanítómintára van szükség? VKH. Pataki Béla (Bolgár Bence)
Gépi tanulás Hány tanítómintára van szükség? VKH Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Induktív tanulás A tanítás folyamata: Kiinduló
Részletesebben1. gyakorlat. Mesterséges Intelligencia 2.
1. gyakorlat Mesterséges Intelligencia. Elérhetőségek web: www.inf.u-szeged.hu/~gulyasg mail: gulyasg@inf.u-szeged.hu Követelmények (nem teljes) gyakorlat látogatása kötelező ZH írása a gyakorlaton elhangzott
RészletesebbenBonyolultságelmélet. Monday 26 th September, 2016, 18:50
Bonyolultságelmélet Monday 26 th September, 2016, 18:50 A kiszámítás modelljei 2 De milyen architektúrán polinom? A kiszámításnak számos (matematikai) modellje létezik: Általános rekurzív függvények λ-kalkulus
RészletesebbenNeurális Hálók. és a Funkcionális Programozás. Berényi Dániel Wigner GPU Labor
Neurális Hálók és a Funkcionális Programozás Berényi Dániel Wigner GPU Labor Alapvető építőkövek Függvény kompozíció Automatikus Differenciálás (AD) 2 Neurális Háló, mint kompozíció Bemenetek Súlyok w
RészletesebbenSapientia - Erdélyi Magyar TudományEgyetem (EMTE) Csíkszereda IRT- 4. kurzus. 3. Előadás: A mohó algoritmus
Csíkszereda IRT-. kurzus 3. Előadás: A mohó algoritmus 1 Csíkszereda IRT. kurzus Bevezetés Az eddig tanult algoritmus tipúsok nem alkalmazhatók: A valós problémák nem tiszta klasszikus problémák A problémák
RészletesebbenPIXEL SZINTŰ SZEGMENTÁLÁS CNN-EL
PIXEL SZINTŰ SZEGMENTÁLÁS CNN-EL Csúszóablakos szegmentálás Szegmentálás direkt osztályozással Kisméretű ablakkal kivágott kép alapján megítéli az adott pixel környezetének a típusát Nagyon lassú, nehezen
RészletesebbenBevezetés a neurális számításokba Analóg processzortömbök,
Pannon Egyetem Villamosmérnöki és Információs Tanszék Bevezetés a neurális számításokba Analóg processzortömbök, neurális hálózatok Előadó: dr. Tömördi Katalin Neurális áramkörök (ismétlés) A neurális
RészletesebbenMesterséges Intelligencia Elektronikus Almanach. MI Almanach projektismertetı rendezvény április 29., BME, I. ép., IB.017., 9h-12h.
Mesterséges Intelligencia Elektronikus Almanach Neurális hálózatokh 1 BME 1990: Miért neurális hálók? - az érdeklıdésünk terébe kerül a neurális hálózatok témakör - fıbb okok: - adaptív rendszerek - felismerési
RészletesebbenGépi tanulás. Féligellenőrzött tanulás. Pataki Béla (Bolgár Bence)
Gépi tanulás Féligellenőrzött tanulás Pataki Béla (Bolgár Bence) BME I.E. 414, 463-26-79 pataki@mit.bme.hu, http://www.mit.bme.hu/general/staff/pataki Féligellenőrzött tanulás Mindig kevés az adat, de
RészletesebbenStatisztikai következtetések Nemlineáris regresszió Feladatok Vége
[GVMGS11MNC] Gazdaságstatisztika 10. előadás: 9. Regressziószámítás II. Kóczy Á. László koczy.laszlo@kgk.uni-obuda.hu Keleti Károly Gazdasági Kar Vállalkozásmenedzsment Intézet A standard lineáris modell
RészletesebbenKözösség detektálás gráfokban
Közösség detektálás gráfokban Önszervező rendszerek Hegedűs István Célkitűzés: valamilyen objektumok halmaza felett minták, csoportok detektálása csakis az egyedek közötti kapcsolatok struktúrájának a
RészletesebbenTeljesen elosztott adatbányászat pletyka algoritmusokkal. Jelasity Márk Ormándi Róbert, Hegedűs István
Teljesen elosztott adatbányászat pletyka algoritmusokkal Jelasity Márk Ormándi Róbert, Hegedűs István Motiváció Nagyméretű hálózatos elosztott alkalmazások az Interneten egyre fontosabbak Fájlcserélő rendszerek
RészletesebbenOptimalizálási eljárások GYAKORLAT, MSc hallgatók számára. Analízis R d -ben
Optimalizálási eljárások GYAKORLAT, MSc hallgatók számára Analízis R d -ben Gyakorlatvezetõ: Hajnal Péter 2012. február 8 1. Konvex függvények Definíció. f : D R konvex, ha dom(f) := D R n konvex és tetszőleges
RészletesebbenSupport Vector Machines
Support Vector Machnes Ormánd Róbert MA-SZE Mest. Int. Kutatócsoport 2009. február 17. Előadás vázlata Rövd bevezetés a gép tanulásba Bevezetés az SVM tanuló módszerbe Alapötlet Nem szeparálható eset Kernel
RészletesebbenMegerősítéses tanulás 7. előadás
Megerősítéses tanulás 7. előadás 1 Ismétlés: TD becslés s t -ben stratégia szerint lépek! a t, r t, s t+1 TD becslés: tulajdonképpen ezt mintavételezzük: 2 Akcióértékelő függvény számolása TD-vel még mindig
RészletesebbenTakács Árpád K+F irányok
Takács Árpád K+F irányok 2016. 06. 09. arpad.takacs@adasworks.com A jövőre tervezünk Az AdasWorks mesterséges intelligencia alapú szoftverterfejlesztéssel és teljes önvezető megoldásokkal forradalmasítja
RészletesebbenGoogle App Engine az Oktatásban 1.0. ügyvezető MattaKis Consulting http://www.mattakis.com
Google App Engine az Oktatásban Kis 1.0 Gergely ügyvezető MattaKis Consulting http://www.mattakis.com Bemutatkozás 1998-2002 között LME aktivista 2004-2007 Siemens PSE mobiltelefon szoftverfejlesztés,
RészletesebbenNEURÁLIS HÁLÓZATOK 1. eloadás 1
NEURÁLIS HÁLÓZATOKH 1. eloadás 1 Biológiai elozmények nyek: az agy Az agy az idegrendszerunk egyik legfontosabb része: - képes adatokat tárolni, - gyorsan és hatékonyan mukodik, - nagy a megbízhatósága,
RészletesebbenDr. Schuster György február / 32
Algoritmusok és magvalósítások Dr. Schuster György OE-KVK-MAI schuster.gyorgy@kvk.uni-obuda.hu 2015. február 10. 2015. február 10. 1 / 32 Algoritmus Alapfogalmak Algoritmus Definíció Algoritmuson olyan
RészletesebbenTanulás az idegrendszerben. Structure Dynamics Implementation Algorithm Computation - Function
Tanulás az idegrendszerben Structure Dynamics Implementation Algorithm Computation - Function Tanulás pszichológiai szinten Classical conditioning Hebb ötlete: "Ha az A sejt axonja elég közel van a B sejthez,
RészletesebbenE x μ x μ K I. és 1. osztály. pontokként), valamint a bayesi döntést megvalósító szeparáló görbét (kék egyenes)
6-7 ősz. gyakorlat Feladatok.) Adjon meg azt a perceptronon implementált Bayes-i klasszifikátort, amely kétdimenziós a bemeneti tér felett szeparálja a Gauss eloszlású mintákat! Rajzolja le a bemeneti
RészletesebbenPROGRAMOZÁS tantárgy. Gregorics Tibor egyetemi docens ELTE Informatikai Kar
PROGRAMOZÁS tantárgy Gregorics Tibor egyetemi docens ELTE Informatikai Kar Követelmények A,C,E szakirány B szakirány Előfeltétel Prog. alapismeret Prog. alapismeret Diszkrét matematika I. Óraszám 2 ea
RészletesebbenOpenCL - The open standard for parallel programming of heterogeneous systems
OpenCL - The open standard for parallel programming of heterogeneous systems GPU-k általános számításokhoz GPU Graphics Processing Unit Képalkotás: sok, általában egyszerű és független művelet < 2006:
Részletesebben"A tízezer mérföldes utazás is egyetlen lépéssel kezdődik."
"A tízezert mérföldes utazás is egyetlen lépéssel kezdődik dik." A BINB INSYS Előadók: Kornafeld Ádám SYS PROJEKT Ádám MTA SZTAKI kadam@sztaki.hu Kovács Attila ELTE IK attila@compalg.inf.elte.hu Társszerzők:
RészletesebbenMátrixhatvány-vektor szorzatok hatékony számítása
Mátrixhatvány-vektor szorzatok hatékony számítása Izsák Ferenc ELTE TTK, Alkalmazott Analízis és Számításmatematikai Tanszék & ELTE-MTA NumNet Kutatócsoport munkatárs: Szekeres Béla János Alkalmazott Analízis
RészletesebbenIII.6. MAP REDUCE ELVŰ ELOSZTOTT FELDOLGOZÁSI ALGORITMUSOK ÉS TESZTKÖRNYEZET KIDOLGOZÁSA ADATBÁNYÁSZATI FELADATOK VÉGREHAJTÁSÁHOZ
infokommunikációs technológiák III.6. MAP REDUCE ELVŰ ELOSZTOTT FELDOLGOZÁSI ALGORITMUSOK ÉS TESZTKÖRNYEZET KIDOLGOZÁSA ADATBÁNYÁSZATI FELADATOK VÉGREHAJTÁSÁHOZ KECSKEMÉTI ANNA KUN JEROMOS KÜRT Zrt. KUTATÁSI
RészletesebbenBEKE ANDRÁS, FONETIKAI OSZTÁLY BESZÉDVIZSGÁLATOK GYAKORLATI ALKALMAZÁSA
BEKE ANDRÁS, FONETIKAI OSZTÁLY BESZÉDVIZSGÁLATOK GYAKORLATI ALKALMAZÁSA BESZÉDTUDOMÁNY Az emberi kommunikáció egyik leggyakrabban használt eszköze a nyelv. A nyelv hangzó változta, a beszéd a nyelvi kommunikáció
RészletesebbenTanulás tanuló gépek tanuló algoritmusok mesterséges neurális hálózatok
Zrínyi Miklós Gimnázium Művészet és tudomány napja Tanulás tanuló gépek tanuló algoritmusok mesterséges neurális hálózatok 10/9/2009 Dr. Viharos Zsolt János Elsősorban volt Zrínyis diák Tudományos főmunkatárs
RészletesebbenMegerősítéses tanulás
Megerősítéses tanulás elméleti kognitív neurális Introduction Knowledge representation Probabilistic models Bayesian behaviour Approximate inference I (computer lab) Vision I Approximate inference II:
RészletesebbenDiszkrét matematika I., 12. előadás Dr. Takách Géza NyME FMK Informatikai Intézet takach november 30.
1 Diszkrét matematika I, 12 előadás Dr Takách Géza NyME FMK Informatikai Intézet takach@infnymehu http://infnymehu/ takach 2005 november 30 Vektorok Definíció Egy tetszőleges n pozitív egész számra n-komponensű
Részletesebben5-6. ea Created by mrjrm & Pogácsa, frissítette: Félix
2. Adattípusonként különböző regisztertér Célja: az adatfeldolgozás gyorsítása - különös tekintettel a lebegőpontos adatábrázolásra. Szorzás esetén karakterisztika összeadódik, mantissza összeszorzódik.
RészletesebbenStratégiák tanulása az agyban
Statisztikai tanulás az idegrendszerben, 2019. Stratégiák tanulása az agyban Bányai Mihály banyai.mihaly@wigner.mta.hu http://golab.wigner.mta.hu/people/mihaly-banyai/ Kortárs MI thispersondoesnotexist.com
RészletesebbenTársadalmi és gazdasági hálózatok modellezése
Társadalmi és gazdasági hálózatok modellezése 2. el adás A hálózatkutatás néhány fontos fogalma El adó: London András 2015. szeptember 15. Átmér l ij a legrövidebb út a hálózatban i és j pont között =
RészletesebbenA programozás alapjai előadás. Amiről szólesz: A tárgy címe: A programozás alapjai
A programozás alapjai 1 1. előadás Híradástechnikai Tanszék Amiről szólesz: A tárgy címe: A programozás alapjai A számítógép részegységei, alacsony- és magasszintű programnyelvek, az imperatív programozási
RészletesebbenBodó / Csató / Gaskó / Sulyok / Simon október 9. Matematika és Informatika Tanszék Babeş Bolyai Tudományegyetem, Kolozsvár
Bodó / Csató / Gaskó / Sulyok / Simon Matematika és Informatika Tanszék Babeş Bolyai Tudományegyetem, Kolozsvár 2016. október 9. Tudnivalók Tudnivalók: 1 Csapatok kiválasztása: a második hét végéig; 2
RészletesebbenPáros összehasonlítás mátrixokból számolt súlyvektorok Pareto-optimalitása
Páros összehasonlítás mátrixokból számolt súlyvektorok Pareto-optimalitása Bozóki Sándor 1,2, Fülöp János 1,3 1 MTA SZTAKI; 2 Budapesti Corvinus Egyetem 3 Óbudai Egyetem XXXI. Magyar Operációkutatási Konferencia
RészletesebbenMagas szintű optimalizálás
Magas szintű optimalizálás Soros kód párhuzamosítása Mennyi a várható teljesítmény növekedés? Erős skálázódás (Amdahl törvény) Mennyire lineáris a skálázódás a párhuzamosítás növelésével? S 1 P 1 P N GPGPU
RészletesebbenOptimalizálás alapfeladata Legmeredekebb lejtő Lagrange függvény Log-barrier módszer Büntetőfüggvény módszer 2017/
Operációkutatás I. 2017/2018-2. Szegedi Tudományegyetem Informatikai Intézet Számítógépes Optimalizálás Tanszék 9. Előadás Az optimalizálás alapfeladata Keressük f függvény maximumát ahol f : R n R és
RészletesebbenIntelligens adatelemzés
Antal Péter, Antos András, Horváth Gábor, Hullám Gábor, Kocsis Imre, Marx Péter, Millinghoffer András, Pataricza András, Salánki Ágnes Intelligens adatelemzés Szerkesztette: Antal Péter A jegyzetben az
RészletesebbenAz idegrendszeri memória modelljei
Az idegrendszeri memória modelljei A memória típusai Rövidtávú Working memory - az aktuális feladat Vizuális, auditórikus,... Prefrontális cortex, szenzorikus területek Kapacitás: 7 +-2 minta Hosszútávú
RészletesebbenÚj típusú döntési fa építés és annak alkalmazása többtényezős döntés területén
Új típusú döntési fa építés és annak alkalmazása többtényezős döntés területén Dombi József Szegedi Tudományegyetem Bevezetés - ID3 (Iterative Dichotomiser 3) Az ID algoritmusok egy elemhalmaz felhasználásával
RészletesebbenNeurális hálók tanítása során alkalmazott optimalizáció
Neurális hálók tanítása során alkalmazott optimalizáció Háló paramétereinek tanulása Lényegében egy szélsőérték keresési feladat: θ: háló paramétereinek vektora X: tanító minták bemeneteiből képzett mátrix
RészletesebbenSzemidenit optimalizálás és az S-lemma
Szemidenit optimalizálás és az S-lemma Pólik Imre SAS Institute, USA BME Optimalizálás szeminárium 2011. október 6. Outline 1 Egyenl tlenségrendszerek megoldhatósága 2 Az S-lemma 3 Szemidenit kapcsolatok
RészletesebbenSzámítógép és programozás 2
Számítógép és programozás 2 11. Előadás Halmazkeresések, dinamikus programozás http://digitus.itk.ppke.hu/~flugi/ A keresési feladat megoldása Legyen a lehetséges megoldások halmaza M ciklus { X legyen
RészletesebbenPONTFELHŐ REGISZTRÁCIÓ
PONTFELHŐ REGISZTRÁCIÓ ITERATIVE CLOSEST POINT Cserteg Tamás, URLGNI, 2018.11.22. TARTALOM Röviden Alakzatrekonstrukció áttekintés ICP algoritmusok Projektfeladat Demó FORRÁSOK Cikkek Efficient Variants
RészletesebbenStatisztikai eljárások a mintafelismerésben és a gépi tanulásban
Statisztikai eljárások a mintafelismerésben és a gépi tanulásban Varga Domonkos (I.évf. PhD hallgató) 2014 május A prezentáció felépítése 1) Alapfogalmak 2) A gépi tanulás, mintafelismerés alkalmazási
RészletesebbenDeep learning szoftverek
Deep learning szoftverek Neurális hálózatok - rétegenkénti szemlélet Előreterjesztés Visszaterjesztés Bemeneti réteg Bemeneti réteg x Rejtett réteg (FC, ReLU) C/ x w1 out1 Rejtett réteg (FC, lin) Rejtett
Részletesebben