Tóth Bálint Pál Deep Learning a gyakorlatban Python és LUA alapon Hogyan tovább? http://smartlab.tmit.bme.hu
Jogi nyilatkozat Jelen előadás diái a Deep Learning a gyakorlatban Python és LUA alapon című tantárgyhoz készültek és letölthetők a http://smartlab.tmit.bme.hu honlapról. A diák nem helyettesítik az előadáson való részvételt, csupán emlékeztetőül szolgálnak. Az előadás diái a szerzői jog védelme alatt állnak. Az előadás diáinak vagy bármilyen részének újra felhasználása, terjesztése, megjelenítése csak a szerző írásbeli beleegyezése esetén megengedett. Ez alól kivétel, mely diákon külső forrás külön fel van tüntetve. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 2/47
Vélemény http://bit.ly/vitmav45-velemeny Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 3/52
Tárgy célkitűzése Gépi tanulás új paradigmája. Óriási potenciál! Gyakorlati tudás vállalkozáshoz vagy munkavállaláshoz. A tárgy elvégzése 5-ös érdemjeggyel presztízs értékű! Vonzó a cégek számára! Junior deep learning mérnök: 1 komplex feladat, 20-80 tanítás. Senior deep learning szakember: legalább 8-10 komplex feladat, 2000-3000 tanítás. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 4/47
Miről volt szó a kurzuson? 1. Neurális hálózatok alapjai, back-propagation, L1 és L2 regularizáció, momentum módszer, dropout, normalizálás, standardizálás, Numpy implementáció. 2. Numpy és LUA alapok. 3. Gépi szövegfelolvasás, előrecsatolt mély neurális hálózatok, ReLU, LReLU, PReLU, súly inicializálás. Implementációs részletek. 4. Előrecsatolt hálóval XOR és SinX modellezés Numpy, Torch, TensorFlow és Keras alapon. 5. SoftMax, keresztentrópia, optimizációs algoritmusok (SGD, ADAM, RMSProp, ADAGRAD). 6. Egy és kétdimenziós konvolúciós hálózatok, transfer learning, vizualizációs technikák. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 5/47
Miről volt szó a kurzuson? 7. 2D konvolúció TensorFlow alapon. 8. 1D konvolúció, felhasználói viselkedés modellezése szenzoradatok alapján. 9. Aggregált (ensemble) mély neurális modellek. 10. Rekurrens neurális hálózatok, LSTM és fajtái. 11. Szövegszintézis karakter alapon Keras-ban. 12. Autoencoder, Variational AE. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 6/47
Miről volt szó a kurzuson? 7. GAN. 8. Ajánló rendszerek. 9. Nyelvi modellezés, természetes nyelvfeldolgozás alapok. Szó beágyazások (word embedding). 10. Szó beágyazások Keras-al és TensorFlow-val. 11. End-to-End beszédfelismerés. 12. Pénzügyi alkalmazási lehetőségek. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 7/47
Tárgy követelményei Előadáson, gyakorlaton való részvétel Gyakorlatok 70%-án való részvétel Kis házi feladatok (+1 jegy) Nagy házi feladat (aláírás, megajánlott jegy) Kahoot! (+1 jegy) Vizsga: írásbeli + szóbeli Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 8/47
Nagy házi feladat leadás http://smartlab.tmit.bme.hu/oktatas-deeplearning-nagy-hazi CSAPATNEVEK README.MD-BEN!!! Aláírás: Határidő: 2017. december 8. 23:59 Github: forráskód, readme.md, beszámoló PDF Megajánlott jegy esetén is!!! Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 9/46
Nagy házi feladat leadás http://smartlab.tmit.bme.hu/oktatas-deeplearning-nagy-hazi Megajánlott jegy: Határidő: 2017. december 13. 23:59 I és II mérföldkő teljesítése határidőre Github-on az utolsó commit-ot fogjuk nézni. A csapat egyszerre jön vizsgára és 10 percben bemutatják a munkájukat Ha szakdolgozat vagy diploma védéshez szükséges a jegy, akkor írjatok külön emailt, hogy előre vegyük a nagy házitok javítását! Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 10/46
Vizsga Írásbeli + szóbeli Írásbeli: Például: Ismertesd az általad ismert aktivációs függvényeket és tulajdonságaikat. Mi az a transfer learning? Mi az LSTM és milyen célokra használják? Milyen adatstruktúrával tanítjuk a CNN és LSTM hálókat? Miért van szükség standardizálásra és normalizálásra? Miben különbözik és miben hasonlít az 1D és 2D CNN? Melyiket mire használjuk? Stb. Szóbeli: Mindenkinek: magyarázd el a backpropagation algoritmust. (+ L1, L2 regularizáció, momentum, stb.) Az írásbelivel és házi feladatokhoz kapcsolódó kérdések. Az egész témából kérdések. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 11/47
Első NVIDIA DLI Online Lab Meetup 2017. december 14., 17:00, IB210 Regisztráció + LAPTOP szükséges http://bit.ly/dlionlinelabmeetup-dec2017 2018-ban egész napos Workshop-ok és Meetup-ok Gyires-Tóth Bálint: Deep Learning a gyakorlatban Python és LUA alapon 12/46
Ajánlott tárgyak Neurális hálózatok (VIMIJV07) Dr. Horváth Gábor, tavaszi félév 'Big Data' elemzési eszközök nyílt forráskódú platformokon (VITMAV15) Prekopcsák Zoltán, Gáspár Csaba Média- és szövegbányászat (VITMM275), Dr. Szűcs Gábor, Dr. Tikk Domonkos Adatbányászati technikák (VISZM185), Dr. Katona Gyula, Dr. Pintér Márta Barbara, Dr. Sali Attila A lineáris algebra numerikus módszerei (VIMAD041) Dr. Pach Péter Pál, tavaszi félév Mátrixanalízis (doktori képzés, VIMAD569) Dr. Pach Péter Pál, őszi félév Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 13/47
WTF? What s the future?
Mesterséges intelligencia jövője Paradigmaváltás Számítási kapacitás + adat Forrás: http://www.motherjones.com/media/2013/05/robots-artificial-intelligence-jobs-automation Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 15/47
Tech Giants Are Paying Huge Salaries for Scarce A.I. Talent https://www.nytimes.com/2017/10/22/technology/artificial-intelligence-experts-salaries.html 12/15/2016 Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 16/47
Órára jövet. összefutottam tavalyi hallgatóval, szóbeli tájékoztatás: Nyáron gyakornoknak jelentkezett deep learning-es céghez, most végez, hosszú távra tervez, főállású munka. A tárgy és a házifeladatok sokat segítettek a felvételinél, szerinte ha nem végzi el a tárgyat, lehet nem veszik fel. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 17
Munkalehetőségek 1. Hazai Külföldi Google Research (New York/Montain View, USA) Facebook Research Center (Párizs, Franciaország) Yann LeCun: https://www.quora.com/is-getting-a-mastersor-a-phd-necessary-to-get-into-top-ai-ml-research-groupslike-fair-or-deepmind/answer/yann-lecun Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 18/47
Munkalehetőségek 2. Baidu (Sunnyvale, USA) Twitter IBM OpenAI Stb. NIPS-en pénzügyi cégek titokban vadásznak a deep learning mérnökökre (témaindító cikk: http://news.efinancialcareers.com/uken/267380/machine-learning-conference-banking/) Freelancer Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 19/47
Hogyan tovább? Tanuljátok tovább: 1. Kódoljatok minden nap de mit? Alap, jól körbejárt példák nulláról való felépítése, Saját alkalmazás (pl. macskariasztó), Kaggle vagy egyéb versenyben részvétel Pl: https://www.kaggle.com/c/the-nature-conservancy-fisheries-monitoring 2. Szoftverfrissítésekkel, újdonságokkal tartsatok lépést (CUDA, cudnn, TF, Keras, PyTorch, stb.). Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 20/47
Hogyan tovább? 3. Olvassatok: Könyvek (DLBook, DLinPractice, Sutton RL könyv) www.arxiv.org és http://www.arxiv-sanity.com/ Konferenciák (NIPS, ICLR, stb.) Twitter feedek Quora, Reddit, Gitter, Google Groups Tárgy honlapján linkek 4. Írjatok, publikáljatok, commitoljatok. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 21/47
Önlab, szakmai gyakorlat, szakdoga, diploma Elméleti és/vagy gyakorlati téma: Cél: Közösen átbeszélve, érdeklődésnek megfelelően választunk témát. Folyó kutatásba és/vagy ipari projektbe való bekapcsolódás is lehetséges. Pl. gyengén koherens idősorok vizsgálata elméleti esetben tudományosan legyen új megközelítés, ami segíti a deep learning alkalmazásokat, gyakorlati esetben legyen a munka végére működő prototípus. Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 22/47
Önlab, szakmai gyakorlat, szakdoga, diploma GPU erőforrás, folyamatos konzultáció (NVidia GEC, NVidia DLI). Oktatásban való részvételi lehetőség Kézzel fogható, ipari tudás TDK, hazai vagy nemzetközi konferencia, PhD Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 23/47
Hallgatói és projekt témák WaveNet alapú TTS és általános regresszió Személyi asszisztens (pl. repülőjegy foglalás, intelligens autó vezérlés), chatbot Deep reinforcement learning Kriptovaluta ármozgás modellezése Szenzoradatok klasszifikációja Önvezető autó, mobil alkalmazás Elméleti deep learning, deep reinforcement learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 24/47
PhD Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 25/47
Miért éri meg PhD-zni deep learningből? Nagyon pörgős és izgalmas téma, óriási potenciál! Ipar vs PhD (szakmai tapasztalat, fizetési szint) Egyetemi kutatás és az ipari megoldások összeérnek, ipar érdekelt a PhD képzés támogatásában. Egyre nagyobb érdeklődés! Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 26/47
Miért éri meg PhD-zni deep learningből? Ösztöndíj lehetőségek Hazai és külföldi Céges, pl: NVIDIA Graduate Fellowship Program 50000 USD / PhD hallgató https://research.nvidia.com/relevant/graduate-fellowship-program Facebook Fellowship Program 37000 USD / PhD hallgató / év + 5000 USD konferenciákra https://research.facebook.com/programs/fellowship/ Kiváló gyakornoki pozíciók (pár hónap külföld) Facebook, Google / DeepMind, OpenAI, Twitter, IBM, stb. Pl. https://www.facebook.com/careers/university/internships/engineering PhD-val jobb munkalehetőségek és jobb fizetés a célterületen! (de más területen is) Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 27/47
Deep Learning PhD a BME-n 4 év Állami ösztöndíj: 180.000.- Ft / hó Részletek: https://www.vik.bme.hu/page/917/ Témák nálunk: Elméleti és gyakorlati deep learning (ahogy korábban) Knowledge Representation and Reasoning in Deep Learning Deep Reinforcement Learning based Optimization Method Joint Modeling of Heterogeneous Data with Deep Learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 28/47
A Te témád! Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 29/47
További infók (nem csak PhD) http://smartlab.tmit.bme.hu/phd-deep-learning Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 30/47
Kutatási-fejlesztési témák - Szaszák György Félig felügyelt és felügyelet nélküli gépi tanulás (deep learning) Szemantikus információkinyerés, -ábrázolás Komplex AI modellek (kommunikációs, tartalmi modellek, humán percepció, viselkedés, empátia, stb.) Mailto: szaszak@tmit.bme.hu Tóth Bálint Pál: Deep Learning a gyakorlatban Python és LUA alapon 12/15/2016 31/47
Önlab témák Csapó Tamás Gábor IEEE/ACM Transactions on Audio, Speech, and Language Processing 2017. november különszám: Biosignal-Based Spoken Communication Agy idegrendszer Izommozgások Légzőrendszer Beszédképző szervek Azaz nem csak a beszédjelet érdemes vizsgálni! Deep Learning a gyakorlatban Python és LUA alapon 32/47
Bioszignál példák Deep Learning a gyakorlatban Python és LUA alapon 33/47
Artikuláció -> beszéd, deep learning Mi a nyelvmozgás és a keletkezett beszédjel kapcsolata? Nyelvmozgás alapján, ultrahang képből beszéd generálása deep learning módszerekkel Deep Learning a gyakorlatban Python és LUA alapon 34/47
CNN és ultrahang Mi volt a kimondott hang? Csak ultrahang kép alapján Deep Learning a gyakorlatban Python és LUA alapon 35/47
NKFIH Fiatal Kutatói pályázat: Artikulációs mozgás alapú beszédgenerálás Együttműködés: BME + Deep Learning a gyakorlatban Python és LUA alapon 36/47
Köszönjük a figyelmet! {toth.b,szaszak,csapo.t}@tmit.bme.hu http://smartlab.tmit.bme.hu