\nR<\/strong> es un lenguaje funcional inventado para analizar datos, su principal estructura de datos son los DataFrames (tablas en memoria) y todo el lenguaje gira en torno a estas, a pesar de que R est\u00e1 enfocado a manipular tablas, gracias a su tremenda comunidad hoy en d\u00eda se pueden hacer cosas completamente distintas e inesperadas de este como paginas web (en shiny) o APIs REST (plumber).
\nJulia<\/strong> por ultimo es otro lenguaje funcional muy nuevo, similar a R pero que no gira tan en torno a los DataFrames, su foco es ser r\u00e1pido y distribuido, logrando un performance cercano al de C++, lo interesante es que mientras que las librer\u00edas eficientes de R y Python est\u00e1n programadas en otro lenguaje, Julia est\u00e1 principalmente escrito en Julia.<\/p>\n
Los tres lenguajes anteriores son de alto nivel y tienen una consola REPL<\/strong>, por lo que a travez de 4 experimentos nos enfocaremos en las dimensiones 2) Performance<\/strong> y 3) Numero de lineas<\/strong>, por otro lado, dado que Julia es muy nuevo, tendremos los resultados de Julia actual y los de 6 meses atr\u00e1s.<\/p>\n Agregaci\u00f3n sobre un DataFrame de 10 millones de registro<\/strong>, algunos lenguajes tienen mas de una librer\u00eda para realizar esto, por lo que habr\u00e1 mas de un resultado para cada uno. BarPlot de Tiempos en ejecutar<\/strong> Claramente Julia no es el mas r\u00e1pido, lo fue python que en el ultimo tiempo ha optimizado mucho pandas<\/strong>, pero si se puede destacar que en los \u00faltimos 6 meses ha mejorado mucho, alcanzando a los data.tables (data.tables + setkey considera solo el tiempo de agregaci\u00f3n, no de crear el indice,por eso no puede considerarse ganador), cabe destacar que como Julia esta escrito en Julia, estas agregaciones se pueden programaren en un loop sin perder velocidad, <\/strong> a continuaci\u00f3n en la secci\u00f3n de los c\u00f3digos mostrare al final un ejemplo.<\/p>\n Los c\u00f3digos para realizar cada uno de estas agregaciones es el siguiente:<\/p>\n data.table<\/strong> Todos son similar en largo, pero la escritura de Queryverse y tidyverse son los mas claros y flexibles, por otro el \u00faltimo ejemplo conjulia, tiene el performance de DataFrames, pero con la m\u00e1xima flexibilidad, no as\u00ed en eficiencia en el numero de lineas.<\/p>\n Recursividad <\/strong>,en particular series de fibonacci<\/strong> programadas en una funci\u00f3n recursiva. una funci\u00f3n recursiva es aquella que se llama a si misma varias veces para obtener un resultado, por lo que este exterimento medir\u00e1 la eficiencia en c\u00f3digo explicito, sin librer\u00edas.<\/p>\n En particular calcularemos Fibonacci(100), lo que nos obliga a llamar a la funcion 100 veces.<\/p>\n Todos los codigos son muy similares, por lo que solo pondr\u00e9 el codigo en python: Donde no son tan similares es el tiempo deje ejecuci\u00f3n, a continuaci\u00f3n los tiempo ej ejecutar la funci\u00f3n para cada lenguaje en 2 fechasdistintas. Donde el claro perdedor es python del 2020\/08\/01 que correspond\u00eda a python 3.7<\/p>\n Ahora si vemos los resultados en escala logaritmica (log10), vemos que los 3 lenguajes han mejorado en los ultimos 6 meses y Julia es el claro ganador por mas de 2 Francamente los tiempos para cada lenguaje fueron chicos, por lo que solo recomendar\u00eda Julia si en tu modelo hay que llamar mucho a alguna funci\u00f3n hecha por ti, por ejemplo en Optimizaci\u00f3n utilizando el m\u00e9todo del gradiente.<\/p>\n Performance sobre Matrices<\/strong><\/p>\n Los tres lenguajes son muy potentes en manejo de matrices, se pueden realizar muchas operaciones sobre matrices, pero escog\u00ed la descomposici\u00f3n en valores propios para realizar la prueba, esta es una operaci\u00f3n relativamente pesada.<\/p>\n BarPlot de tiempos en calcular valores propios<\/strong> Vemos que Julia es el m\u00e1s r\u00e1pido, pero est\u00e1 muy cercano a R, por otro lado Python se escapa.<\/p>\n Por otro lado, la notaci\u00f3n para los 3 casos es muy similar, pero la pondr\u00e9 de tomos modos. Julia<\/strong> Python<\/strong> es un poco distinto por ser orientado a objetos Tiempo en modificar los elementos de una matriz dentro de un loop.<\/p>\n En este caso en un loop, llenaremos la matriz anterior con mat[i,j] = i + j, los tiempos quedan reflejados en el siguiente grafico:<\/p>\n Python es lejos el m\u00e1s lento, aunque ha mejorado en pyton 3.8, por otro lado dado que los objetos de R son inmutables, esperaba peores resultados.<\/p>\n Nuevamente los codigos son similares, pero quiero compartir una menci\u00f3n honrosa en python que permite iterar sobre 2 variables con un for: Hice este an\u00e1lisis por que record\u00e9 que la ultima vez que intent\u00e9 usar Julia, fue muy molesto el que los import de librer\u00edas tomaban mucho tiempo, esto mejor\u00f3, pero aun toman mucho, en especial en librer\u00edas grandes como Queryverse, de todos modos es un proyecto interesante.<\/p>\n Por otro lado, en general los lenguajes se parecen, pero creo que donde hay mas diferencia es en la orientaci\u00f3n a objetos de python, que queda muy manifiesta en como se manipulan los DataFrames de Pandas.<\/p>\n Por \u00faltimo, aunque las diferencias en performance parezcan grandes, de todos modos al comparar con Excel, las 3 alternativas son r\u00e1pidas y eficientes.<\/p>\n Saludos!<\/p>\n","protected":false},"excerpt":{"rendered":" Experimento 1 <\/h3>\n
\nEn el siguiente gr\u00e1fico vemos los tiempos para distintas librer\u00edas para ejecutar la misma agregaci\u00f3n, donde:
\ndata.table<\/strong> Es una librer\u00eda para manipular tablas programada en C y enfocada principalmente en se r\u00e1pida.
\ndata.table + setkey<\/strong> los data.tables permiten crear indices, en este caso se creo un indice sobre la columna que se agreg\u00f3.
\nDataFrames<\/strong> Es una de las librer\u00edas para manipular tablas en Julia.
\nJuliaDB<\/strong> Es una de las librer\u00edas para manipular tablas en Julia.
\npandas<\/strong> Es la libreria para manipular tablas en Python, est\u00e1 basada en Numpy.
\nQueryverse<\/strong> Es una de las librer\u00edas para manipular tablas en Julia y tiene como objetivo imitar a tidyverse
\ntidyverse<\/strong> en verdad dplyr, el cual debido a su f\u00e1cil notaci\u00f3n, es la librer\u00eda m\u00e1s popular para manipular tablas en R.<\/p>\n
\n![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2020\/04\/agregacion-1024x636.png?resize=810%2C503&ssl=1\")
<\/p>\n
\n dt[,list(valor = mean(valor)),by='categoria'] <\/code>
\ndata.table + setkey<\/strong>
\n setkey(dt,categoria)
\ndt[,list(valor = mean(valor)),by='categoria'] <\/code>
\nDataFrames<\/strong>
\n aggregate(datos,:categoria,[mean]) <\/code>
\n\u00f3 by(datos,:categoria,x->(promedio = mean(x.valor))) <\/code>
\nJuliaDB<\/strong>
\n JuliaDB.groupby(mean, indexed, :categoria, select =:valor) <\/code>
\npandas<\/strong>
\n datos.groupby(['categoria']).aggregate(np.mean) <\/code>
\nQueryverse<\/strong>
\n datos |> @groupby(_.categoria) |> @map({categoria = key(_),promedio = mean(_.valor)}) |> DataFrame <\/code>
\ntidyverse<\/strong>
\n datos %>% group_by(categoria) %>% summarise(valor = mean(valor)) <\/code>
\nJulia usando un Loop<\/strong>
\n results = []
\n for slice in groupby(datos,:categoria)
\n push!(results,(promedio = slice.categoria[1], valor = mean(slice.valor)))
\n end
\n DataFrame(results)<\/code><\/p>\n Experimento 2 <\/h3>\n
\ndef fico(n,contador = 2, ant = 1, antant = 0):
\n if(n <= 1):\n return n\n if(n == contador):\n return ant + antant\n else:\n return fico(n,contador+1,ant + antant,ant)<\/code><\/p>\n![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2019\/09\/fibonacci-1024x636.png?resize=810%2C503&ssl=1\")
<\/p>\n
\nordenes de magnitud, por otro lado python 3.8 mejor\u00f3 mucho con respecto a la versi\u00f3n anterior, logrando quedar a la par con R.<\/p>\n![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2019\/09\/fibonacci_log-1-1024x636.png?resize=810%2C503&ssl=1\")
<\/p>\n Experimento 3 <\/h3>\n
\n![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2019\/09\/svd-1024x717.png?resize=810%2C567&ssl=1\")
<\/p>\n
\nR<\/strong>
\nmat = matrix(runif(1000*1000),nrow=1000)
\nsvd(mat)<\/code><\/p>\n
\nmat = rand(1000,1000)
\nsvd(mat)<\/code><\/p>\n
\nmat = np.random.rand(1000,1000)
\nnp.linalg.svd(mat)<\/code><\/p>\nExperimento 4<\/h1>\n
![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2019\/09\/fill-1024x717.png?resize=810%2C567&ssl=1\")
<\/p>\n
\nimport itertools
\nfor i,j in itertools.product(range(1000),range(1000)):
\n mat[i,j] = i+j<\/code><\/p>\nNota al Pie<\/h1>\n