Mi a big data? ML? AI? DS? Az adatelemzés szintjei CRISP-DM módszertan. GUI Enterprise eszközök Programozási nyelvek

Átírás

1

2 Mi a big data? ML? AI? DS? Az adatelemzés szintjei CRISP-DM módszertan GUI Enterprise eszközök Programozási nyelvek

3 McKinsey Global Institute, 2011 Egy magyar fejvadászcég tapasztalatai

4

5

6

7 Nettó átlagkereset Nettó átlagos órabér Egy másfélórás, három részvevős meeting költsége (bruttó-bruttó) Ennyi adatot tudunk ebből a pénzből tárolni egy évig Mennyi adat is ez körülbelül? * Ha nem szeretnénk folyamatosan használni az adatot, akkor akár 368 GB

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29 Analyzing the analyzers, O Reilly

30

31

32

33 Infrastruktúra Adattárolás Adatmozgatás Adatátalakítás Gépi tanulás Optimalizáció Folyamatok Kiértékelés Riporting Adatvezérelt döntések Stratégia

34

35

36 Üzleti érték feltárása és kommunikációja A Világ Termékek Hívások Fogyasztott energia Csalások Mi az a Data Product? egy alkalmazás, amely képes feldolgozni a nyers adatokat egy szoftver, amely automatikusan képes tanulni az adatokból egy mechanizmus, amely egy üzleti mértéket realtime értékel ki egy esemény előrejelzésére képes modell Data Product Adatok feltárása Tanulás az adatokból Gépi tanulás Regresszió Hálózatok és gráfok Klaszterezés Osztályozás Az adathalmaz Korreláció Kovariancia Dimenzionalitás Relevancia Hiányzó adatok Nyers adatok Tranzakciók Klikkek és weblogok Szenzoradatok Mobil adatok Social feeds Adatelőkészítés MapReduce ETL Adattisztítás Mintavételezés Select, join

37

38

39 Standard riportok Mi történt? Mikor történt? Statisztikai elemzés Miért történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? Forecasting Mi lesz, ha ez a trend folytatódik? Mennyi lesz? OLAP Hol van pontosan a probléma? Prediktív modellezés Mi fog történni legközelebb? Alertek Mikor kellene reagálni? Optimalizáció Hogyan lehetne ezt jobban csinálni?

40 Standard riportok Mi történt? Mikor történt?

41

42 Standard riportok Mi történt? Mikor történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor?

43

44 Standard riportok Mi történt? Mikor történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? OLAP Hol van pontosan a probléma?

45

46 Standard riportok Mi történt? Mikor történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? OLAP Hol van pontosan a probléma? Alertek Mikor kellene reagálni?

47

48 Standard riportok Mi történt? Mikor történt? Statisztikai elemzés Miért történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? OLAP Hol van pontosan a probléma? Alertek Mikor kellene reagálni?

49

50 Standard riportok Mi történt? Mikor történt? Statisztikai elemzés Miért történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? Forecasting Mi lesz, ha ez a trend folytatódik? Mennyi lesz? OLAP Hol van pontosan a probléma? Alertek Mikor kellene reagálni?

51

52 Standard riportok Mi történt? Mikor történt? Statisztikai elemzés Miért történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? Forecasting Mi lesz, ha ez a trend folytatódik? Mennyi lesz? OLAP Hol van pontosan a probléma? Prediktív modellezés Mi fog történni legközelebb? Alertek Mikor kellene reagálni?

53

54

55 Standard riportok Mi történt? Mikor történt? Statisztikai elemzés Miért történt? Ad-hoc riportok Hány darab? Milyen gyakran? Mikor? Forecasting Mi lesz, ha ez a trend folytatódik? Mennyi lesz? OLAP Hol van pontosan a probléma? Prediktív modellezés Mi fog történni legközelebb? Alertek Mikor kellene reagálni? Optimalizáció Hogyan lehetne ezt jobban csinálni?

56

57 Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás ???? MODELL Tulajdonságleíró változók input attribútumok Célváltozó Target Címke Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás SIKERÜLT NEM SIKERÜLT NEM

58 Feladat: Van egy tanító adathalmazom ahol ismerem a tulajdonságokat és ahol ismerem a címkéket (osztályt) És van egy új sor, ahol ismerem a tulajdonságokat és a modell mondja meg a címkét Klasszifikáció Címkézés Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás ???? MODELL Tulajdonságleíró változók input attribútumok Célváltozó Target Címke Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás SIKERÜLT NEM SIKERÜLT NEM

59 Feladat: Van egy tanító adathalmazom ahol ismerem a tulajdonságokat és ahol ismerem a címkéket (osztályt) És van egy új sor, ahol ismerem a tulajdonságokat és a modell mondja meg a címkét Klasszifikáció Címkézés Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás ???? Alapkérdés: Mennyire találtam el az osztályt? MODELL Milyen pontos volt az osztályozás? Tulajdonságleíró változók input attribútumok Életkor Jövedelem Lakásméret Gyerekek Autók száma Biztosítás SIKERÜLT NEM SIKERÜLT NEM Célváltozó Target Címke Pontosság (Accuracy) = Eltalált esetek / Összes eset

60 Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem ???? MODELL Tulajdonságleíró változók input attribútumok Célváltozó Target Mennyiség Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem

61 Feladat: Van egy tanító adathalmazom ahol ismerem a tulajdonságokat és ahol ismerem a mennyiséget És van egy új sor, ahol ismerem a tulajdonságokat modell mondja meg mekkora a mennyiség Felügyelt tanulási algoritmusok Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem ???? MODELL Tulajdonságleíró változók input attribútumok Célváltozó Target Mennyiség Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem

62 Feladat: Van egy tanító adathalmazom ahol ismerem a tulajdonságokat és ahol ismerem a mennyiséget És van egy új sor, ahol ismerem a tulajdonságokat modell mondja meg mekkora a mennyiség Felügyelt tanulási algoritmusok Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem ???? Alapkérdés: Mekkorát MODELL tévedtem? Átlagosan mekkora a hiba? Tulajdonságleíró változók input attribútumok Hiba (Error) = Tipp Valós érték Célváltozó Target Mennyiség Életkor Foglalkozás Lakásméret Gyerekek Autók száma Jövedelem

63 Feladat 1. Churn feladat El fog-e vándorolni a konkurenciához az ügyfél? 2. Kinek érdemes kiküldeni egy hitelkártyát? 3. Hány percet fog az ügyfél a következő hónapban telefonálni? 4. 1 és 5 között milyen osztályzatot ad a filmre majd a felhasználó? 5. Többet fog-e jövőre költeni az ügyfél, mint 1 MFt?

64 MODELL Nem felügyelt tanulási algoritmusok Tulajdonságleíró változók input attribútumok Életkor Jövedelem Lakásméret Gyerekek Autók száma Csoport A. klaszter A. klaszter B. klaszter B. klaszter

65 MODELL Feladat: Van egy tanító adathalmazom ahol ismerem a tulajdonságokat Kérdés, hogy milyen csoportokba rakható úgy, hogy csoporton belül hasonlóak. csoportok ne hasonlítsanak egymásra Nem felügyelt tanulási algoritmusok Tulajdonságleíró változók input attribútumok Életkor Jövedelem Lakásméret Gyerekek Autók száma Csoport A. klaszter A. klaszter B. klaszter B. klaszter

66

67 Business understanding Deployment Data understanding Business evaluation Data preparation Modeling

68 Legyen az adatelemzési projekt egy kevésbé hozzáértő számára is megbízható és megismételhető Keretrendszer az eredmények létrehozására Projekttervezés és menedzsment Komfortfaktor

69 Nem szabadalmaztatott, független Felhasználási és alkalmazási területtől független Eszközfüggetlen Az üzleti célokat tartja szem előtt Valós projekttapasztalatokon alapul Nem vízesés-modell

70 Deployment Hogyan tudjuk felhasználni az eredményeket? Business understanding Mi a projekt üzleti célja? Hogyan lehet ezt megoldani adatelemzéssel? Evaluation Sikerült elérni a kitűzött célokat? Data understanding Honnan az adat? Milyen minőségű az adat? Modeling Modellezés Data preparation Adatmasszírozás

71

72 Forrás:

73 Forrás:

74 Források:

75 Források:

76 Források:

77 Források:

78

79 Források:

80 Források:

81

82

83

84

85

86

87

88

89

90 Forrás: Kaggle 2017 The State of Data Science & Machine Learning

91

92 Forrás: Kaggle 2017 The State of Data Science & Machine Learning Forrás: Kaggle 2017 The State of Data Science & Machine Learning

93

94

95 Forrás: Kaggle 2017 The State of Data Science & Machine Learning Forrás: Kaggle 2017 The State of Data Science & Machine Learning Forrás: az előadó tapasztalata & szubjektív véleménye

96

97

98

99

100

101 As experts, we organize and lecture at conferences of our Hungarian data analytics community and also take part in international scientific projects and data mining competitions. As educators, we teach our students to define real-world business problems and give their own effective data analysis solutions. As consultants, we provide innovative solutions from defining business challenges to deploying applications for our business partners.

102 Our goal is to determine the next trends of data analysis and to create new kinds of services which go beyond the classical solutions. On our corporate courses the primary consideration is that the provided knowledge is tailored to cover the needs of our professional partners. Corporate courses with our training partners meetup speeches to Hungarian data analytics community conference speeches Custom company training

103 Our analysts regularly enter and excel at international data mining competitions that add to our team s inspiration to invent and test the most novel processes and solutions Energy forecasting competition. Solar and wind forecasting tracks Predicting compounds' interference in biochemical pathways using only chemical structure data Implementing an agent that takes on pricing for an online shop Predicting probability of loan default for a Brazilian retail bank Some members of Dmlab team with consistent and stellar competition results in the top of the international competitors of Kaggle.

104 Dmlab aspires to become a venture-builder organization that build companies using their own ideas and resources Big data analytics company with the goal of lowering the barrier for using Hadoop systems. The Radoop package allows even non-technical people to access and analyse big data, but also provides scripting and advanced predictive analytics for experts. Most of the founders come from Dmlab RapidMiner (a leading data analytics company) acquired Radoop in 2014 Unviewable ads, non-human generated clicks, malevolent publishers and negligent middlemen - this is the reality of online advertising. With enbrite.ly s technology, actors of online advertiser market expose the facts, both good and bad, protecting their bottom line. The technology is based on research and development of Dmlab Enbrite.ly won the $500,000 cash prize for the best start-up at Slush 2014

105 Electric power consumption Load forecasting for wind and solar Decision support system for scoring of severity of rheumatics Breast cancer diagnosis based on image processing Predictive driver behaviour scoring system Waste diagnostics within production line Conversion booster in online shops based on user behaviour Indoor positioning

106 Founder senior partner Founder senior partner +36 (20) (70)

107