{"id":2755,"date":"2019-08-26T22:55:53","date_gmt":"2019-08-27T01:55:53","guid":{"rendered":"https:\/\/www.geekosas.com\/?p=2755"},"modified":"2020-06-25T12:38:08","modified_gmt":"2020-06-25T15:38:08","slug":"destapando-promedios-v2","status":"publish","type":"post","link":"https:\/\/geekosas.com\/index.php\/es\/2019\/08\/26\/destapando-promedios-v2\/","title":{"rendered":"Destapando Promedios V2"},"content":{"rendered":"Unos d\u00edas atr\u00e1s escrib\u00ed el articulo Destapando Promedios<\/a> que b\u00e1sicamente lo que hac\u00eda era abrir un valor promedio en factores utilizando arboles, por favor leer el articulo antes de seguir.\n\nEn ese an\u00e1lisis de ejemplo yo cree el dataset y por ende sabia exactamente donde estaba el cambio, el cual estaba en la columna causa, solo en el caso colectividad, pero dado que el \u00e1rbol no se abr\u00eda en esta dimension, quedaba solo un “indicio sobre donde buscar”.\n\n\"\"\n\nComo este mundo del Data Science es una mezcla entre obsesi\u00f3n y creatividad, estuve d\u00e1ndole vueltas y vueltas al como hacer que todos los factores aparecieran hasta que di con el clavo en usar una regresi\u00f3n lineal.\n\nLa metodolog\u00eda es la misma, lo que cambia es que el beta corresponde a la nota promedio y el promedio de cada variable predictora la tasa.\n\nLo primero que hacemos es cargar los dataset el cual se ve del siguiente modo:\n\n
library(tidyverse)\nlibrary(broom)\nlibrary(caret)\n\ndata1 = readRDS('dataset1.rds')\ndata2 = readRDS('dataset2.rds')\n\n> head(data1)\n  id        causa genero region nota\n1  1       equipo hombre  norte    6\n2  2        saldo  mujer  norte    8\n3  3  facturacion hombre  norte    2\n4  4        saldo  mujer centro    6\n5  5 conectividad  mujer centro    9\n6  6 conectividad hombre centro    4\n<\/code><\/pre>\n\nLuego dumificamos las variables de modo que las categor\u00edas queden con redundancia:\n\n
encoder <- dummyVars( ~ nota + causa + genero + region, data1)\ndataset1 <- predict(encoder, data1)\ndataset2 <- predict(encoder, data2)\n<\/code><\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\nY corremos un modelo para cada periodo y usamos tidy de broom para formatear los par\u00e1metros de la regresi\u00f3n como data.frame: (n\u00f3tese que tidy elimino los par\u00e1metros que no se pudieron estimar por dependencia lineal, en el fondo es por que son un contraste y el estimate es 0, eso lo necesitaremos m\u00e1s adelante).\n\n
fit1 = lm(nota ~ .,data.frame(dataset1))\nfit2 = lm(nota ~ .,data.frame(dataset2))\n\nparams1 = tidy(fit1) %>% select(term,estimate)\nparams2 = tidy(fit2) %>% select(term,estimate)\nparams1\n> params1\n  term              estimate\n1 (Intercept)         7.87  \n2 causaconectividad  -1.98  \n3 causaequipo        -0.844 \n4 causafacturacion   -2.88  \n5 generohombre       -1.02  \n6 regioncentro       -0.925 \n7 regionnorte         0.0486\n<\/code><\/pre>\n\nAhora calculamos la porci\u00f3n o valor promedio de cada columna del dataset dumificado:\n\n
porciones1 = dataset1 %>% data.frame() %>% summarise_all(mean) %>% gather(term,porcion)\nporciones2 = dataset2 %>% data.frame() %>% summarise_all(mean) %>% gather(term,porcion)\nporciones1\n                term porcion\n1               nota   5.577\n2  causaconectividad   0.293\n3        causaequipo   0.216\n4   causafacturacion   0.101\n5         causasaldo   0.390\n6       generohombre   0.704\n7        generomujer   0.296\n8       regioncentro   0.576\n9        regionnorte   0.213\n10         regionsur   0.211\n<\/code><\/pre>\n\nY cruzamos los dataset anteriores y rellenamos con 0 los betas de contraste y en el intercepto la porci\u00f3n sera 1 por que afecta a todos los elementos:\n\n
dataset = params1 %>% \n  left_join(params2, by = \"term\",suffix = c(\"_1\",\"_2\")) %>% \n  full_join(porciones1,by = \"term\") %>% \n  left_join(porciones2,by = \"term\",suffix = c(\"_1\",\"_2\")) %>% \n  filter(term!=\"nota\") %>% \n  mutate_at(vars(starts_with(\"e\")),~replace_na(.,0)) %>% \n  mutate_at(vars(starts_with(\"p\")),~replace_na(.,1))\n> dataset\n   term              estimate_1 estimate_2 porcion_1 porcion_2\n 1 (Intercept)           7.87        7.80      1        1     \n 2 causaconectividad    -1.98       -2.87      0.293    0.304 \n 3 causaequipo          -0.844      -0.966     0.216    0.212 \n 4 causafacturacion     -2.88       -2.98      0.101    0.0985\n 5 generohombre         -1.02       -1.00      0.704    0.290 \n 6 regioncentro         -0.925      -0.864     0.576    0.586 \n 7 regionnorte           0.0486      0.174     0.213    0.201 \n 8 causasaldo            0           0         0.39     0.386 \n 9 generomujer           0           0         0.296    0.71  \n10 regionsur             0           0         0.211    0.213\n<\/code><\/pre>\n\nN\u00f3tese que el promedio de la columna estimate por la columna porci\u00f3n, dan el promedio, por ende podemos decir que tenemos el promedio descompuesto en factores:\n\n
sum(dataset$estimate_1 * dataset$porcion_1)\n[1] 5.577\n> mean(data1$nota)\n[1] 5.577\n> sum(dataset$estimate_2 * dataset$porcion_2)\n[1] 5.6705\n> mean(data2$nota)\n[1] 5.6705\n<\/code><\/pre>\n\nLo anterior es debido a que la suma de los cuadrados residuales en una regresi\u00f3n lineal suman 0.\n\nAhora usamos el mismo truco del articulo anterior en que calculamos el cambio en el beta y el cambio en la muestra y con ello determinamos los aportes:\n\n
dataset = dataset %>% \n  mutate(\n    delta_freq = porcion_2 - porcion_1,\n    delta_nota = estimate_2 - estimate_1\n  )\ndataset = dataset %>% \n  mutate(aporte_dfreq = estimate_1 * delta_freq,\n         aporte_dnota =  porcion_2 * delta_nota\n  )\n<\/code><\/pre>\n\n\n\n
\"\"<\/figure>\n\n\n\nLo interesante es que la suma de los aportes es el cambio en la nota:\n\n
sum(dataset$aporte_dnota) + sum(dataset$aporte_dfreq)\n[1] 0.0935\n> mean(data2$nota) - mean(data1$nota)\n[1] 0.0935\n<\/code><\/pre>\n\nPor ende podemos decir que tenemos el promedio descompuesto y al igual que en el resultado anterior, si vemos cuando cambio el promedio por la nota y por la muestra, obtenemos el siguiente resultado:\n\n
sum(dataset$aporte_dfreq)\n[1] 0.4012351\n> sum(dataset$aporte_dnota)\n[1] -0.3077351\n<\/code><\/pre>\n\nResultado simular al articulo anterior.\n\nPor otro lado, volviendo a la tabla de aportes, podemos ver que una disminuci\u00f3n de 41% en la cantidad de hombres encuestados causo un aumento de 0.42 en la nota, lo que anula la disminuci\u00f3n de 0.27 puntos causada por la peor evaluaci\u00f3n de los casos de conectividad.\n\nPor ultimo este modelo parece superior al de los arboles, pero para realizar regresiones lineales, se necesitan cierto supuestos que no se necesitan para los arboles, por ende, hay que ser un poco mas cuidadoso.\n\nEspero que les sirva y estar\u00e9 viendo los comentarios a ver si hay algo que quieran que aborde.\n\nSaludos!","protected":false},"excerpt":{"rendered":"
Unos d\u00edas atr\u00e1s escrib\u00ed el articulo Destapando Promedios que b\u00e1sicamente lo que hac\u00eda era abrir un valor promedio en factores utilizando arboles, por favor leer […]<\/a><\/p>\n<\/div>","protected":false},"author":1,"featured_media":2762,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":false,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[1],"tags":[],"class_list":["post-2755","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-sin-categoria"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/averages.jpeg?fit=500%2C345&ssl=1","jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p8vjqF-Ir","jetpack-related-posts":[{"id":2743,"url":"https:\/\/geekosas.com\/index.php\/es\/2019\/08\/04\/destapando-los-promedios\/","url_meta":{"origin":2755,"position":0},"title":"Destapando los promedios","author":"Daniel Fischer","date":"2019-08-04","format":false,"excerpt":"Como dicen por ah\u00ed, los promedios esconden muchas cosas, en el articulo gender-pay-gap-en-tecnologia vimos un an\u00e1lisis que mostraba como, para esos datos, la diferencia de sueldos entre hombres y mujeres puede entenderse con factores distintos al g\u00e9nero. Ahora vamos a ver una t\u00e9cnica, basada en machine learning, muy simple de\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/distribution.png?fit=1200%2C767&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/distribution.png?fit=1200%2C767&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/distribution.png?fit=1200%2C767&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/distribution.png?fit=1200%2C767&ssl=1&resize=700%2C400 2x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/08\/distribution.png?fit=1200%2C767&ssl=1&resize=1050%2C600 3x"},"classes":[]},{"id":2656,"url":"https:\/\/geekosas.com\/index.php\/es\/2019\/02\/20\/gender-pay-gap-en-tecnologia\/","url_meta":{"origin":2755,"position":1},"title":"Gender Pay Gap en Tecnolog\u00eda","author":"Daniel Fischer","date":"2019-02-20","format":false,"excerpt":"El Gender Pay Gap consiste en la diferencia que existe en promedio en los sueldos de Hombres vs el de las Mujeres. Hoy en d\u00eda existen personas que atribuyen lo anterior a una discriminaci\u00f3n, mientras que otros dicen que es debido a las decisiones que en promedio los hombres toman\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/02\/GenderPayGap-201803070107196681-20180404082357920.jpg?fit=619%2C413&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/02\/GenderPayGap-201803070107196681-20180404082357920.jpg?fit=619%2C413&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/02\/GenderPayGap-201803070107196681-20180404082357920.jpg?fit=619%2C413&ssl=1&resize=525%2C300 1.5x"},"classes":[]},{"id":2385,"url":"https:\/\/geekosas.com\/index.php\/es\/2018\/06\/18\/separar-efectos-y-analisis-de-camada\/","url_meta":{"origin":2755,"position":2},"title":"Separar Efectos y An\u00e1lisis de Camada","author":"Daniel Fischer","date":"2018-06-18","format":false,"excerpt":"En los negocios de suscripci\u00f3n (Diarios, Celular, Seguros, etc...) el negocio siempre es el mismo: captar a un cliente y luego recibir flujos de dinero asociados a un servicio provisto por la empresa, el d\u00eda que el cliente corta el servicio se llama CHURN y el cliente pasa a estar\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2018\/06\/pressent-value.png?resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2018\/06\/pressent-value.png?resize=350%2C200 1x, https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2018\/06\/pressent-value.png?resize=525%2C300 1.5x, https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2018\/06\/pressent-value.png?resize=700%2C400 2x"},"classes":[]},{"id":2329,"url":"https:\/\/geekosas.com\/index.php\/es\/2018\/04\/12\/han-empeorado-los-videojuegos\/","url_meta":{"origin":2755,"position":3},"title":"Han empeorado los videojuegos?","author":"Daniel Fischer","date":"2018-04-12","format":false,"excerpt":"Introducci\u00f3n \/ Abstract Un data scientist es aquel que logra hacer que los datos le hablen, es b\u00e1sicamente una converzaci\u00f3n, donde les haces preguntas y los datos de responden. En este notebook quiero compartir mi ultima converzaci\u00f3n con este dataset con las notas que le han puesto a distintos videojuegos,\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/04\/consoles-800x491.jpg?fit=800%2C491&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/04\/consoles-800x491.jpg?fit=800%2C491&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/04\/consoles-800x491.jpg?fit=800%2C491&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/04\/consoles-800x491.jpg?fit=800%2C491&ssl=1&resize=700%2C400 2x"},"classes":[]},{"id":2064,"url":"https:\/\/geekosas.com\/index.php\/es\/2017\/04\/23\/peliculas-2016\/","url_meta":{"origin":2755,"position":4},"title":"Pel\u00edculas 2016","author":"Daniel Fischer","date":"2017-04-23","format":false,"excerpt":"Las pel\u00edculas nos hacen re\u00edr, llorar y algunas... dormir, por lo que decid\u00ed realizar un peque\u00f1o an\u00e1lisis sobre las pel\u00edculas del 2016 Al igual que con V\u00eddeo Juegos y Data Science, hicimos un web scraping del sitio\u00a0www.metacritic.com\u00a0para generar una base de datos, en la cual, para cada pel\u00edcula obtuvimos la\u2026","rel":"","context":"In "Uncategorized"","block_context":{"text":"Uncategorized","link":"https:\/\/geekosas.com\/index.php\/es\/category\/uncategorized-es\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2017\/03\/histogramas-300x120.png?resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2017\/03\/histogramas-300x120.png?resize=350%2C200 1x, https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2017\/03\/histogramas-300x120.png?resize=525%2C300 1.5x, https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2017\/03\/histogramas-300x120.png?resize=700%2C400 2x"},"classes":[]},{"id":1923,"url":"https:\/\/geekosas.com\/index.php\/es\/2017\/03\/04\/ley-de-estacionamientos\/","url_meta":{"origin":2755,"position":5},"title":"Ley de Estacionamientos","author":"Daniel Fischer","date":"2017-03-04","format":false,"excerpt":"En Chile el d\u00eda 15 de febrero (corrijanm\u00e9 si estoy equivocado) se promulg\u00f3 la ley de estacionamientos, la cual entre otros obliga a la empresas de estacionamientos a: Compensar a los clientes\u00a0victimas de robos. Imposibilidad de multar por perdida de ticket. Elegir uno de los dos siguientes modos de tarificaci\u00f3n\u00a0.\u2026","rel":"","context":"In "Uncategorized"","block_context":{"text":"Uncategorized","link":"https:\/\/geekosas.com\/index.php\/es\/category\/uncategorized-es\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/02\/1487175020-auno760729.jpg?fit=799%2C533&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/02\/1487175020-auno760729.jpg?fit=799%2C533&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/02\/1487175020-auno760729.jpg?fit=799%2C533&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/02\/1487175020-auno760729.jpg?fit=799%2C533&ssl=1&resize=700%2C400 2x"},"classes":[]}],"_links":{"self":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/2755","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/comments?post=2755"}],"version-history":[{"count":8,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/2755\/revisions"}],"predecessor-version":[{"id":2924,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/2755\/revisions\/2924"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/media\/2762"}],"wp:attachment":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/media?parent=2755"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/categories?post=2755"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/tags?post=2755"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}