4 discos duros SAS<\/li>\n<\/ul>\nFotos del Juguete:<\/h4>\n![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2016\/11\/image_3140-300x200.jpg?resize=300%2C200&ssl=1\")
![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2016\/11\/hp-proliant-dl360-g6-1-300x79.jpg?resize=467%2C123\")
<\/h4>\n
<\/p>\n
La prueba<\/h2>\n
Utilizar\u00e9 la librer\u00eda plyr<\/strong>, data.table, reshape2<\/strong> para realizar agregaciones y doSNOW<\/strong> para la paralelizaci\u00f3n, el dataset ser\u00e1 una tabla de unos 30 millones de registros similares a la base de datos de un operador movil (seg\u00fan recuerdo estos registros se llaman los CDR guardados en el CRCE de la plataforma de tarificaci\u00f3n).<\/p>\nB\u00e1sicamente la tabla tendr\u00e1 un identificador de usuario, uno de tipo de trafico y la cantidad de trafico.<\/p>\n
Generar los Datos<\/h4>\n
Generaremos 30 millones de registros CDR en una tabla que tendr\u00e1:<\/p>\n
\n- identificador de usuario.<\/li>\n
- tipo de trafico.<\/li>\n
- cantidad de trafico.<\/li>\n<\/ul>\n
options(stringsAsFactors = FALSE)
\nlibrary(reshape2)
\nlibrary(plyr)<\/p>\n
Parametros<\/h1>\n
set.seed(1986) #seteada la semilla a la fecha de nacimiento de mi querida polola.
\ntipo_trafico = c("DATA","SMS","VOICE")
\nprob_tipo_trafico = c(0.6,0.1,0.3)
\nuserids = 5e4 #simularemos n usuarios
\nregistros = 3e7 #numnero de registros CDR<\/p>\n
valores aleatoreos del monto del trafico<\/h1>\n
datos_tipo_trafico =
\ndata.frame(
\nDATA = round(runif(registros,1,1024^2)),# sesion de datos en bytes con numero entre 1 byte y 1 mega
\nSMS = rep(1,registros), #cada sms genera un registro
\nVOICE = round(rexp(registros,1\/120)) #largo de llamadas en segundos
\n)<\/p>\n
generar los registros CDR<\/h1>\n
cdr = data.frame(
\nid_cdr = 1:registros,
\nuserid = floor(runif(registros,1,userids+1)),
\ntipo_trafico = sample(tipo_trafico,registros,replace = T,prob = prob_tipo_trafico))
\nTI = proc.time()
\ncdr$trafico = datos_tipo_trafico$DATA(cdr$tipo_trafico=="DATA") + datos_tipo_trafico$SMS<\/em>(cdr$tipo_trafico=="SMS") + datos_tipo_trafico$VOICE*(cdr$tipo_trafico=="VOICE")
\nprint(proc.time()-TI)
\nrm(datos_tipo_trafico) #borrar tabla de daltos aleatorios
\ngc() #limpiar memoria no usada<\/p>\n<\/p>\nEl resultado es una tabla con este formato:<\/p>\n
\n\n\n| <\/th>\n | id_cdr<\/th>\n | userid<\/th>\n | tipo_trafico<\/th>\n | trafico<\/th>\n<\/tr>\n |
\n| 1<\/td>\n | 1<\/td>\n | 5579<\/td>\n | VOICE<\/td>\n | 20<\/td>\n<\/tr>\n |
\n| 2<\/td>\n | 2<\/td>\n | 28374<\/td>\n | VOICE<\/td>\n | 82<\/td>\n<\/tr>\n |
\n| 3<\/td>\n | 3<\/td>\n | 28526<\/td>\n | VOICE<\/td>\n | 36<\/td>\n<\/tr>\n |
\n| 4<\/td>\n | 4<\/td>\n | 39179<\/td>\n | VOICE<\/td>\n | 56<\/td>\n<\/tr>\n |
\n| 5<\/td>\n | 5<\/td>\n | 14244<\/td>\n | DATA<\/td>\n | 629075<\/td>\n<\/tr>\n |
\n| 6<\/td>\n | 6<\/td>\n | 36779<\/td>\n | DATA<\/td>\n | 690397<\/td>\n<\/tr>\n |
\n| 7<\/td>\n | 7<\/td>\n | 42774<\/td>\n | DATA<\/td>\n | 175632<\/td>\n<\/tr>\n |
\n| 8<\/td>\n | 8<\/td>\n | 4276<\/td>\n | VOICE<\/td>\n | 115<\/td>\n<\/tr>\n |
\n| 9<\/td>\n | 9<\/td>\n | 4445<\/td>\n | VOICE<\/td>\n | 44<\/td>\n<\/tr>\n |
\n| 10<\/td>\n | 10<\/td>\n | 29458<\/td>\n | DATA<\/td>\n | 946171<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nBenchmark<\/h4>\nCrearemos una tabla de trafico agregado por usuario, esta tabla ser\u00e1 generada con: reshape2, data.table y plyr<\/strong> (en un thread y multy-thread).<\/strong><\/p>\nAlgunos comentarios antes de mostrar los resultados:<\/p>\n \n- reshape2 permite realizar la agregaci\u00f3n, pero permite muchas menos opciones que las otras librer\u00edas.<\/li>\n
- data.table es una extensi\u00f3n de data.frame que permite utilizar indices.<\/li>\n
- plyr perimite ejecutar en un thread como en paralelo<\/li>\n<\/ul>\n
El c\u00f3digo utilizado:<\/p>\n<\/p>\n usando reshape2<\/h1>\nTI = proc.time()
\ntmp = reshape2::dcast(cdr,userid ~ tipo_trafico, fun.aggregate = sum, value.var = "trafico")
\nprint(proc.time()-TI)<\/p>\n usando plyr 1 thread<\/h1>\nTI = proc.time()
\ntmp = ddply(cdr,"userid",function(x) data.frame(DATA = sum(ifelse(x$tipo_trafico == "DATA",x$trafico,0)),
\nSMS = sum(ifelse(x$tipo_trafico == "SMS",x$trafico,0)),
\nVOICE = sum(ifelse(x$tipo_trafico == "VOICE",x$trafico,0))
\n),.progress = T)
\nprint(proc.time()-TI)<\/p>\n usando plyr 8 thread (uno por CPU)<\/h1>\nlibrary("doSNOW")
\nnCPU = as.numeric(Sys.getenv("NUMBER_OF_PROCESSORS")[1])
\ncl = makeSOCKcluster(nCPU,outfile="cl.txt")
\nregisterDoSNOW(cl)
\nTI = proc.time()
\ntmp = ddply(cdr,"userid",function(x) data.frame(DATA = sum(ifelse(x$tipo_trafico == "DATA",x$trafico,0)),
\nSMS = sum(ifelse(x$tipo_trafico == "SMS",x$trafico,0)),
\nVOICE = sum(ifelse(x$tipo_trafico == "VOICE",x$trafico,0))
\n),.parallel = T)
\nprint(proc.time()-TI)
\nstopCluster(cl)<\/p>\n library("doSNOW")
\nnCPU = as.numeric(Sys.getenv("NUMBER_OF_PROCESSORS")[1])
\ncl = makeSOCKcluster(2,outfile="cl.txt")
\nregisterDoSNOW(cl)
\nTI = proc.time()
\ntmp = ddply(cdr,"userid",function(x) data.frame(DATA = sum(ifelse(x$tipo_trafico == "DATA",x$trafico,0)),
\nSMS = sum(ifelse(x$tipo_trafico == "SMS",x$trafico,0)),
\nVOICE = sum(ifelse(x$tipo_trafico == "VOICE",x$trafico,0))
\n),.parallel = T)
\nprint(proc.time()-TI)
\nstopCluster(cl)<\/p>\n usando data.table<\/h1>\nlibrary(data.table)
\ncdr_dt = data.table(cdr,key = "userid")
\nTI = proc.time()
\ntmp = cdr_dt[,list(DATA = sum(ifelse(tipo_trafico == "DATA",trafico,0)),
\nSMS = sum(ifelse(tipo_trafico == "SMS",trafico,0)),
\nVOICE = sum(ifelse(tipo_trafico == "VOICE",trafico,0))
\n),by="userid"]
\nprint(proc.time()-TI)<\/p>\n<\/p>\n Resultados<\/h2>\n\n\n\n| libreria<\/td>\n | funcion<\/td>\n | threads<\/td>\n | segundos<\/td>\n<\/tr>\n | \n| plyr<\/td>\n | ddply<\/td>\n | 1<\/td>\n | 9,18<\/td>\n<\/tr>\n | \n| plyr<\/td>\n | ddply<\/td>\n | 2<\/td>\n | 78,37<\/td>\n<\/tr>\n | \n| plyr<\/td>\n | ddply<\/td>\n | 8<\/td>\n | 146,04<\/td>\n<\/tr>\n | \n| reshape2<\/td>\n | dcast<\/td>\n | 1<\/td>\n | 17,31<\/td>\n<\/tr>\n | \n| data.table<\/td>\n | <\/td>\n | 1<\/td>\n | 12,94<\/td>\n<\/tr>\n<\/tbody>\n<\/table>\nConclusiones<\/h4>\nreshape2 a pesar de ser una librer\u00eda especializada en este tipo de transformaci\u00f3n, result\u00f3 ser m\u00e1s lenta que plyr.<\/p>\n plyr se perdi\u00f3 performance a medida que se agregan threads, esto debido a que para operaciones simples, el costo de paralelizar es mayor que no utilizar el resto de las CPU.<\/p>\n data.table a pesar de utilizar indices, result\u00f3 ser m\u00e1s lento que plyr, cuando se utilizan algoritmos complejos para situaciones simples, a veces se pierde performance.<\/p>\n Para el futuro….<\/h4>\nEn el futuro realizar\u00e9 esas pruebas usando datasets m\u00e1s grandes y otro numero de usuarios a ver que resultados se obtienen.<\/p>\n","protected":false},"excerpt":{"rendered":" Introducci\u00f3n Hace unos d\u00edas, caminando por ah\u00ed, vi que estaban vendiendo un HP Proliant DL360 G6 de segunda mano, para los que no saben es […]<\/a><\/p>\n<\/div>","protected":false},"author":1,"featured_media":2137,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_jetpack_newsletter_access":"","_jetpack_dont_email_post_to_subs":true,"_jetpack_newsletter_tier_id":0,"_jetpack_memberships_contains_paywalled_content":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[13],"tags":[],"class_list":["post-1452","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-uncategorized-es"],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/11\/RStudio-Ball.png?fit=1000%2C1000&ssl=1","jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p8vjqF-nq","jetpack-related-posts":[{"id":182,"url":"https:\/\/geekosas.com\/index.php\/es\/2016\/04\/02\/arduino\/","url_meta":{"origin":1452,"position":0},"title":"Arduino","author":"Daniel Fischer","date":"2016-04-02","format":false,"excerpt":"Es dif\u00edcil comenzar este articulo, llevo unos d\u00edas jugando con mi nuevo Arduino Starter Kit y creo que la mejor forma de definirlo es: un Lego electr\u00f3nico.\u00a0Un excelente juguete\u00a0para quienes disfrutaron de los bloques a\u00f1os atr\u00e1s. Arduino es un micro controlador f\u00e1cilmente programable desde el computador utilizando Arduino IDE,\u00a0en el\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/ardr3a.jpg?fit=1200%2C829&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/ardr3a.jpg?fit=1200%2C829&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/ardr3a.jpg?fit=1200%2C829&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/ardr3a.jpg?fit=1200%2C829&ssl=1&resize=700%2C400 2x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/ardr3a.jpg?fit=1200%2C829&ssl=1&resize=1050%2C600 3x"},"classes":[]},{"id":21,"url":"https:\/\/geekosas.com\/index.php\/es\/2016\/04\/11\/como-elegir-celular\/","url_meta":{"origin":1452,"position":1},"title":"Como elegir celular?","author":"Daniel Fischer","date":"2016-04-11","format":false,"excerpt":"Pasamos m\u00e1s tiempo con nuestro celular que con nuestra familia, es m\u00e1s, lo usamos para comunicarlos con ella y para muchos es una herramienta fundamental de trabajo. Un celular, quiera admitirlo o no, es un compa\u00f1ero de vida, que seg\u00fan sea la relaci\u00f3n te podr\u00eda acompa\u00f1ar el ba\u00f1o por varios\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2016\/04\/mensagens_amor_namorados_para_celular.jpg?fit=400%2C225&ssl=1&resize=350%2C200","width":350,"height":200},"classes":[]},{"id":3115,"url":"https:\/\/geekosas.com\/index.php\/es\/2022\/05\/07\/buenas-practicas-al-programar-con-codigo\/","url_meta":{"origin":1452,"position":2},"title":"Buenas pr\u00e1cticas al programar (con c\u00f3digo)","author":"Daniel Fischer","date":"2022-05-07","format":false,"excerpt":"Muchos disfrutan programar y resolver laberintos algor\u00edtmicos en su lenguaje favorito, pero lo que a nadie le gusta, es meterse en un c\u00f3digo viejo o incluso peor, en un c\u00f3digo escrito por otro. A m\u00ed me ha tocado hacerlo ya varias veces, algunas veces ha sido malo, otras veces peor,\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2022\/05\/logo.png?fit=1200%2C600&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2022\/05\/logo.png?fit=1200%2C600&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2022\/05\/logo.png?fit=1200%2C600&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2022\/05\/logo.png?fit=1200%2C600&ssl=1&resize=700%2C400 2x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2022\/05\/logo.png?fit=1200%2C600&ssl=1&resize=1050%2C600 3x"},"classes":[]},{"id":2560,"url":"https:\/\/geekosas.com\/index.php\/es\/2018\/08\/18\/escribir-en-redshift-desde-r-a-toda-velocidad\/","url_meta":{"origin":1452,"position":3},"title":"Escribir en Redshift desde R a toda velocidad","author":"Daniel Fischer","date":"2018-08-18","format":false,"excerpt":"Como muchos saben, Redshift es un fork de Postgres hecho por Amazon para entregar un servicio de Data Warehouse, la gran diferencia entre estos 2 productos es que el primero es una base de datos columnar y comprimida, mientras que el segundo no. Las bases de datos columnares son muy\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/08\/RtoRedshift.png?fit=600%2C300&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/08\/RtoRedshift.png?fit=600%2C300&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2018\/08\/RtoRedshift.png?fit=600%2C300&ssl=1&resize=525%2C300 1.5x"},"classes":[]},{"id":2771,"url":"https:\/\/geekosas.com\/index.php\/es\/2020\/04\/07\/comparativa-entre-julia-python-y-r\/","url_meta":{"origin":1452,"position":4},"title":"Comparativa entre Julia, Python y R","author":"Daniel Fischer","date":"2020-04-07","format":false,"excerpt":"La discusi\u00f3n sobre que lenguaje es el mejor para analizar datos puede llevarnos a conversaciones mas apasionadas que por temas como religi\u00f3n o pol\u00edtica. Pero como Data-Scientist debemos enfocarnos en la evidencia emp\u00edrica, las dimensiones con las que se podr\u00edan comparar son muchas: Comunidad, Performance, Editores, Gestor de Paquetes, Encapsulaci\u00f3n\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2019\/09\/external-content.duckduckgo.com_.jpg?fit=474%2C312&ssl=1&resize=350%2C200","width":350,"height":200},"classes":[]},{"id":2269,"url":"https:\/\/geekosas.com\/index.php\/es\/2017\/12\/18\/estimacion-repartija-de-votos-segunda-vuelta-presidenciales-chile-2017\/","url_meta":{"origin":1452,"position":5},"title":"Estimaci\u00f3n repartija de votos segunda vuelta presidenciales Chile 2017","author":"Daniel Fischer","date":"2017-12-18","format":false,"excerpt":"Este Articulo fu\u00e9 hecho apurado y con pocos datos, el definitivo est\u00e1 en\u00a0Quien vot\u00f3 por cada Candidato? Despu\u00e9s de la primera vuelta de las elecciones presidenciales de Chile, es tradicional que cada uno de los candidatos comienza a \"rematar\" los votos de sus seguidores a aquel candidato con el que\u2026","rel":"","context":"In "Sin categor\u00eda"","block_context":{"text":"Sin categor\u00eda","link":"https:\/\/geekosas.com\/index.php\/category\/sin-categoria\/"},"img":{"alt_text":"","src":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/12\/segunda-vuelta.jpg?fit=710%2C399&ssl=1&resize=350%2C200","width":350,"height":200,"srcset":"https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/12\/segunda-vuelta.jpg?fit=710%2C399&ssl=1&resize=350%2C200 1x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/12\/segunda-vuelta.jpg?fit=710%2C399&ssl=1&resize=525%2C300 1.5x, https:\/\/i0.wp.com\/geekosas.com\/wp-content\/uploads\/2017\/12\/segunda-vuelta.jpg?fit=710%2C399&ssl=1&resize=700%2C400 2x"},"classes":[]}],"_links":{"self":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/1452","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/comments?post=1452"}],"version-history":[{"count":3,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/1452\/revisions"}],"predecessor-version":[{"id":3279,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/posts\/1452\/revisions\/3279"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/media\/2137"}],"wp:attachment":[{"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/media?parent=1452"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/categories?post=1452"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/geekosas.com\/index.php\/wp-json\/wp\/v2\/tags?post=1452"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}} | |