satrday Budapest, September 3, 2016 Uncovering political connections of firms using machine learning methods» János Divényi @janosdivenyi Jenő Pál @paljenczy «
CEU Microdata Political connections and favoritism in Hungary Miklós Koren Ádám Szeidl
Political connections matter
Information Firm register Election data ~5M rows ~350k rows data.table
Decision rule The firm is right if there are more right than left politicians ~1B rows ~1B rows in the firm
Test firms: left or right nyírbátori tésztaipari wallis rt. gepkar wallis auto holding rt. portfolion zrt. publimont quality invest rt. tokaj kereskedőház rt. mészáros és mészáros prestige média horizont zrt. utilitas rt. motim zrt. fittelina agro-best-consulti ng fico vegyépszer rt. dolomit i.m.g. inter media group elios innovatív zrt. monéta hajdú-bét rt. bekes-projekt elintézzük.hu graboplast zrt. defend mahír kiállítás és rendezvény ezüsthajó pro aurum rt. savaria rehab-team köz-tér-ház altus rt. elender rt. mobilparts cellum global zrt. happy end mahír cityposter karmopol-agro ud zrt. start 2003 bt. skbh tanácsadó wing zrt. szabadszentkirályi mezőgazdasági zrt. b-motep szentvér bt. continental dohányipari zrt. közgép rt. szárhegydűlő-sár azsadánytokajhegyalja strategopolis századvég
Test firms: left or right nyírbátori tésztaipari wallis rt. gepkar wallis auto holding rt. portfolion zrt. publimont quality invest rt. tokaj kereskedőház rt. mészáros és mészáros prestige média horizont zrt. utilitas rt. motim zrt. fittelina agro-best-consulti ng fico vegyépszer rt. dolomit i.m.g. inter media group elios innovatív zrt. monéta hajdú-bét rt. bekes-projekt elintézzük.hu graboplast zrt. defend mahír kiállítás és rendezvény ezüsthajó pro aurum rt. savaria rehab-team köz-tér-ház altus rt. elender rt. mobilparts cellum global zrt. happy end mahír cityposter karmopol-agro ud zrt. start 2003 bt. skbh tanácsadó wing zrt. szabadszentkirályi mezőgazdasági zrt. b-motep szentvér bt. continental dohányipari zrt. közgép rt. szárhegydűlő-sár azsadánytokajhegyalja strategopolis századvég
Improve data Ferenc Gyurcsány PM of left coalition 2004-2009 Probabilistic coloring Ferenc Gyurcsán local representative at Nyíregyháza 1998 Prime minister: 69% left 31% other
Test firms: left or right nyírbátori tésztaipari wallis rt. gepkar wallis auto holding rt. portfolion zrt. publimont quality invest rt. tokaj kereskedőház rt. mészáros és mészáros prestige média horizont zrt. utilitas rt. motim zrt. fittelina agro-best-consulti ng fico vegyépszer rt. dolomit i.m.g. inter media group elios innovatív zrt. monéta hajdú-bét rt. bekes-projekt elintézzük.hu graboplast zrt. defend mahír kiállítás és rendezvény ezüsthajó pro aurum rt. savaria rehab-team köz-tér-ház altus rt. elender rt. mobilparts cellum global zrt. happy end mahír cityposter karmopol-agro ud zrt. start 2003 bt. skbh tanácsadó wing zrt. szabadszentkirályi mezőgazdasági zrt. b-motep szentvér bt. continental dohányipari zrt. közgép rt. szárhegydűlő-sár azsadánytokajhegyalja strategopolis századvég
Improve information igraph Links: common ownership or location
Improve decision rule caret classification and regression training one interface to many algorithms streamlines the process of machine learning parallel computation with reproducibility doparallel
The train function
Test firms: left or right nyírbátori tésztaipari wallis rt. gepkar wallis auto holding rt. portfolion zrt. publimont quality invest rt. tokaj kereskedőház rt. mészáros és mészáros prestige média horizont zrt. utilitas rt. motim zrt. fittelina agro-best-consulti ng fico vegyépszer rt. dolomit i.m.g. inter media group elios innovatív zrt. monéta hajdú-bét rt. bekes-projekt elintézzük.hu graboplast zrt. defend mahír kiállítás és rendezvény ezüsthajó pro aurum rt. savaria rehab-team köz-tér-ház altus rt. elender rt. mobilparts cellum global zrt. happy end mahír cityposter karmopol-agro ud zrt. start 2003 bt. skbh tanácsadó wing zrt. szabadszentkirályi mezőgazdasági zrt. b-motep szentvér bt. continental dohányipari zrt. közgép rt. szárhegydűlő-sár azsadánytokajhegyalja strategopolis századvég
Takeaways iterative process involving manipulation, visualization, modelling, etc data.table caret igraph doparallel ggplot2 ROCR