Deep Learning a gyakorlatban Python és LUA alapon Hogyan tovább?

Átírás

1 Tóth Bálint Pál Deep Learning a gyakorlatban Python és LUA alapon Hogyan tovább?

2 Jogi nyilatkozat Jelen előadás diái a Deep Learning a gyakorlatban Python és LUA alapon című tantárgyhoz készültek és letölthetők a honlapról. A diák nem helyettesítik az előadáson való részvételt, csupán emlékeztetőül szolgálnak. Az előadás diái a szerzői jog védelme alatt állnak. Az előadás diáinak vagy bármilyen részének újra felhasználása, terjesztése, megjelenítése csak a szerző írásbeli beleegyezése esetén megengedett. Ez alól kivétel, mely diákon külső forrás külön fel van tüntetve. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 2/47

3 Vélemény Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 3/52

4 Tárgy célkitűzése Gépi tanulás új paradigmája. Óriási potenciál! Gyakorlati tudás vállalkozáshoz vagy munkavállaláshoz. A tárgy elvégzése 5-ös érdemjeggyel presztízs értékű! Vonzó a cégek számára! Junior deep learning mérnök: 1 komplex feladat, tanítás. Senior deep learning szakember: legalább 8-10 komplex feladat, tanítás. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 4/47

5 Miről volt szó a kurzuson? 1. Neurális hálózatok alapjai, back-propagation, L1 és L2 regularizáció, momentum módszer, dropout, normalizálás, standardizálás, Numpy implementáció. 2. Numpy és LUA alapok. 3. Gépi szövegfelolvasás, előrecsatolt mély neurális hálózatok, ReLU, LReLU, PReLU, súly inicializálás. Implementációs részletek. 4. Előrecsatolt hálóval XOR és SinX modellezés Numpy, Torch, TensorFlow és Keras alapon. 5. SoftMax, keresztentrópia, optimizációs algoritmusok (SGD, ADAM, RMSProp, ADAGRAD). 6. Egy és kétdimenziós konvolúciós hálózatok, transfer learning, vizualizációs technikák. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 5/47

6 Miről volt szó a kurzuson? 7. 2D konvolúció TensorFlow alapon. 8. 1D konvolúció, felhasználói viselkedés modellezése szenzoradatok alapján. 9. Aggregált (ensemble) mély neurális modellek. 10. Rekurrens neurális hálózatok, LSTM és fajtái. 11. Szövegszintézis karakter alapon Keras-ban. 12. Autoencoder, Variational AE. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 6/47

7 Miről volt szó a kurzuson? 7. GAN. 8. Ajánló rendszerek. 9. Nyelvi modellezés, természetes nyelvfeldolgozás alapok. Szó beágyazások (word embedding). 10. Szó beágyazások Keras-al és TensorFlow-val. 11. End-to-End beszédfelismerés. 12. Pénzügyi alkalmazási lehetőségek. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 7/47

8 Tárgy követelményei Előadáson, gyakorlaton való részvétel Gyakorlatok 70%-án való részvétel Kis házi feladatok (+1 jegy) Nagy házi feladat (aláírás, megajánlott jegy) Kahoot! (+1 jegy) Vizsga: írásbeli + szóbeli Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 8/47

9 Nagy házi feladat leadás CSAPATNEVEK README.MD-BEN!!! Aláírás: Határidő: december 8. 23:59 Github: forráskód, readme.md, beszámoló PDF Megajánlott jegy esetén is!!! Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 9/46

10 Nagy házi feladat leadás Megajánlott jegy: Határidő: december :59 I és II mérföldkő teljesítése határidőre Github-on az utolsó commit-ot fogjuk nézni. A csapat egyszerre jön vizsgára és 10 percben bemutatják a munkájukat Ha szakdolgozat vagy diploma védéshez szükséges a jegy, akkor írjatok külön t, hogy előre vegyük a nagy házitok javítását! Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 10/46

11 Vizsga Írásbeli + szóbeli Írásbeli: Például: Ismertesd az általad ismert aktivációs függvényeket és tulajdonságaikat. Mi az a transfer learning? Mi az LSTM és milyen célokra használják? Milyen adatstruktúrával tanítjuk a CNN és LSTM hálókat? Miért van szükség standardizálásra és normalizálásra? Miben különbözik és miben hasonlít az 1D és 2D CNN? Melyiket mire használjuk? Stb. Szóbeli: Mindenkinek: magyarázd el a backpropagation algoritmust. (+ L1, L2 regularizáció, momentum, stb.) Az írásbelivel és házi feladatokhoz kapcsolódó kérdések. Az egész témából kérdések. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

12 Első NVIDIA DLI Online Lab Meetup december 14., 17:00, IB210 Regisztráció + LAPTOP szükséges ban egész napos Workshop-ok és Meetup-ok Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 12/46

13 Ajánlott tárgyak Neurális hálózatok (VIMIJV07) Dr. Horváth Gábor, tavaszi félév 'Big Data' elemzési eszközök nyílt forráskódú platformokon (VITMAV15) Prekopcsák Zoltán, Gáspár Csaba Média- és szövegbányászat (VITMM275), Dr. Szűcs Gábor, Dr. Tikk Domonkos Adatbányászati technikák (VISZM185), Dr. Katona Gyula, Dr. Pintér Márta Barbara, Dr. Sali Attila A lineáris algebra numerikus módszerei (VIMAD041) Dr. Pach Péter Pál, tavaszi félév Mátrixanalízis (doktori képzés, VIMAD569) Dr. Pach Péter Pál, őszi félév Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

14 WTF? What s the future?

15 Mesterséges intelligencia jövője Paradigmaváltás Számítási kapacitás + adat Forrás: Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

16 Tech Giants Are Paying Huge Salaries for Scarce A.I. Talent 12/15/2016 Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 16/47

17 Órára jövet. összefutottam tavalyi hallgatóval, szóbeli tájékoztatás: Nyáron gyakornoknak jelentkezett deep learning-es céghez, most végez, hosszú távra tervez, főállású munka. A tárgy és a házifeladatok sokat segítettek a felvételinél, szerinte ha nem végzi el a tárgyat, lehet nem veszik fel. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/

18 Munkalehetőségek 1. Hazai Külföldi Google Research (New York/Montain View, USA) Facebook Research Center (Párizs, Franciaország) Yann LeCun: Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

19 Munkalehetőségek 2. Baidu (Sunnyvale, USA) Twitter IBM OpenAI Stb. NIPS-en pénzügyi cégek titokban vadásznak a deep learning mérnökökre (témaindító cikk: Freelancer Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

20 Hogyan tovább? Tanuljátok tovább: 1. Kódoljatok minden nap de mit? Alap, jól körbejárt példák nulláról való felépítése, Saját alkalmazás (pl. macskariasztó), Kaggle vagy egyéb versenyben részvétel Pl: 2. Szoftverfrissítésekkel, újdonságokkal tartsatok lépést (CUDA, cudnn, TF, Keras, PyTorch, stb.). Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

21 Hogyan tovább? 3. Olvassatok: Könyvek (DLBook, DLinPractice, Sutton RL könyv) és Konferenciák (NIPS, ICLR, stb.) Twitter feedek Quora, Reddit, Gitter, Google Groups Tárgy honlapján linkek 4. Írjatok, publikáljatok, commitoljatok. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

22 Önlab, szakmai gyakorlat, szakdoga, diploma Elméleti és/vagy gyakorlati téma: Cél: Közösen átbeszélve, érdeklődésnek megfelelően választunk témát. Folyó kutatásba és/vagy ipari projektbe való bekapcsolódás is lehetséges. Pl. gyengén koherens idősorok vizsgálata elméleti esetben tudományosan legyen új megközelítés, ami segíti a deep learning alkalmazásokat, gyakorlati esetben legyen a munka végére működő prototípus. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

23 Önlab, szakmai gyakorlat, szakdoga, diploma GPU erőforrás, folyamatos konzultáció (NVidia GEC, NVidia DLI). Oktatásban való részvételi lehetőség Kézzel fogható, ipari tudás TDK, hazai vagy nemzetközi konferencia, PhD Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

24 Hallgatói és projekt témák WaveNet alapú TTS és általános regresszió Személyi asszisztens (pl. repülőjegy foglalás, intelligens autó vezérlés), chatbot Deep reinforcement learning Kriptovaluta ármozgás modellezése Szenzoradatok klasszifikációja Önvezető autó, mobil alkalmazás Elméleti deep learning, deep reinforcement learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

25 PhD Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

26 Miért éri meg PhD-zni deep learningből? Nagyon pörgős és izgalmas téma, óriási potenciál! Ipar vs PhD (szakmai tapasztalat, fizetési szint) Egyetemi kutatás és az ipari megoldások összeérnek, ipar érdekelt a PhD képzés támogatásában. Egyre nagyobb érdeklődés! Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

27 Miért éri meg PhD-zni deep learningből? Ösztöndíj lehetőségek Hazai és külföldi Céges, pl: NVIDIA Graduate Fellowship Program USD / PhD hallgató Facebook Fellowship Program USD / PhD hallgató / év USD konferenciákra Kiváló gyakornoki pozíciók (pár hónap külföld) Facebook, Google / DeepMind, OpenAI, Twitter, IBM, stb. Pl. PhD-val jobb munkalehetőségek és jobb fizetés a célterületen! (de más területen is) Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

28 Deep Learning PhD a BME-n 4 év Állami ösztöndíj: Ft / hó Részletek: Témák nálunk: Elméleti és gyakorlati deep learning (ahogy korábban) Knowledge Representation and Reasoning in Deep Learning Deep Reinforcement Learning based Optimization Method Joint Modeling of Heterogeneous Data with Deep Learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

29 A Te témád! Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

30 További infók (nem csak PhD) Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

31 Kutatási-fejlesztési témák - Szaszák György Félig felügyelt és felügyelet nélküli gépi tanulás (deep learning) Szemantikus információkinyerés, -ábrázolás Komplex AI modellek (kommunikációs, tartalmi modellek, humán percepció, viselkedés, empátia, stb.) Mailto: szaszak@tmit.bme.hu Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/ /47

32 Önlab témák Csapó Tamás Gábor IEEE/ACM Transactions on Audio, Speech, and Language Processing november különszám: Biosignal-Based Spoken Communication Agy idegrendszer Izommozgások Légzőrendszer Beszédképző szervek Azaz nem csak a beszédjelet érdemes vizsgálni! Deep Learning a gyakorlatban Python és LUA alapon 32/47

33 Bioszignál példák Deep Learning a gyakorlatban Python és LUA alapon 33/47

34 Artikuláció -> beszéd, deep learning Mi a nyelvmozgás és a keletkezett beszédjel kapcsolata? Nyelvmozgás alapján, ultrahang képből beszéd generálása deep learning módszerekkel Deep Learning a gyakorlatban Python és LUA alapon 34/47

35 CNN és ultrahang Mi volt a kimondott hang? Csak ultrahang kép alapján Deep Learning a gyakorlatban Python és LUA alapon 35/47

36 NKFIH Fiatal Kutatói pályázat: Artikulációs mozgás alapú beszédgenerálás Együttműködés: BME + Deep Learning a gyakorlatban Python és LUA alapon 36/47

37 Köszönjük a figyelmet! {toth.b,szaszak,csapo.t}@tmit.bme.hu