En general la \u00faltima etapa (Load), carga los datos a un Data-Lake o un Base de Datos SQL, t\u00edpicamente Microsoft SQL Server<\/strong>, en esta etapa de carga de datos muchas veces toma tiempo considerable del ETL, debido a que la operaci\u00f3n insert<\/strong>, la cual inserta filas a una Base de Datos en la base de datos es relativamente lenta.<\/p>\n Por eso es que existe una forma de insertar los datos de manera masiva llamada Bulk Insert<\/strong>, la cual le permite al servidor SQL leer un archivo de datos e insertarlos directamente en la base de datos.<\/p>\n Hoy vamos a comparar el desempe\u00f1o de estas dos t\u00e9cnicas (Insert y Bulk Insert) escribiendo desde R a SQL, vamos a comparar el tiempo que toma escribir bases de datos o tablas de distintos tama\u00f1os.<\/p>\n El experimento consistir\u00e1 en insertar 3 datasets de 100.000, 1.000.000 y 10.000.000 filas, cada uno con 10 columnas de 20 caracteres aleatorios.<\/p>\n Para realizar estas pruebas usaremos el driver ODBC oficial de Microsoft en linux con el paquete odbc para R, por otro lado, generaremos el archivo CSV de carga para bulk insert con la librer\u00eda data.table, la cual es la m\u00e1s r\u00e1pida que conozco (si saben de otra me dicen). en ambos casos mediremos el tiempo completo de carga, osea desde que se tienen los datos listos hasta que est\u00e1n insertados, consideran el crear y depositar los archivos de datos en el servidor.<\/p>\n La configuraci\u00f3n del sistema es bastante simple: el servidor SQL y R est\u00e1n en el mismo datacenter y la comunicaci\u00f3n para traspasar archivos es por SAMBA (carpeta compartida de windows).<\/p>\n En el eje Y tenemos el tiempo y en el X el n\u00famero de filas, podemos ver que el insert normal es considerablemente m\u00e1s lento y que no tenemos el dato para 10 millones de filas, esto se debe a que la carga fall\u00f3.<\/p>\n La diferencia es abismante pero seg\u00fan la documentaci\u00f3n de SQL server, el bulk insert puede funcionar en paralelo, por lo que compararemos las velocidades para 1, 4 y 8 threads<\/p>\n Quiero destacar que la programaci\u00f3n para logar insertar en paralelo es algo compleja, pero aca van los resultados:<\/p>\n Podemos ver que para datasets grandes usar 8 threads es conveniente, mientras que para datasets peque\u00f1os puede ser problem\u00e1ticos, esto se debe a que dividir el dataset en y crear los threads toma tiempo (a llamada a bulk insert se hizo en python, por que crear un thread en R toma muchos recursos, para realizar esta interacci\u00f3n entre R y Python se us\u00f3 el paquete rericulate).<\/p>\n Por \u00faltimo, hoy en d\u00eda est\u00e1n muy de moda las bases de datos columnares, dise\u00f1adas m\u00e1s para el procesamiento de datos que para ser transaccionales.<\/p>\n Podemos ver que el columnstore es un poco m\u00e1s r\u00e1pido que el cl\u00e1sico rowstore, esto es relevante porque el m\u00e1ximo beneficio del columnstore viene en la extracci\u00f3n de datos m\u00e1s que en la inserci\u00f3n, por lo que es completamente recomendable.<\/p>\n Bulk Insert es aproximadamente 10 veces m\u00e1s r\u00e1pido para insertar datos en una base datos<\/p>\n La inserci\u00f3n en paralelo tiene beneficios significativos, pero la programaci\u00f3n es compleja, si alguien quiere guia, que no dude en contactarme.<\/p>\n Por \u00faltimo, el columnstore tiene algo de impacto positivo, pero es recomendado por que mejora la velocidad de lectura y es f\u00e1cil de configurar.<\/p>\n Por ultimo: esta vez no comparto los c\u00f3digos por que los desarrolle para el ambiente anal\u00edtico de Anasac donde trabajo actualmente, por lo que no son gen\u00e9ricos, pero si alguien requiere ayuda, que no dude en contactarme.<\/p>\n","protected":false},"excerpt":{"rendered":"Bulk Insert VS Insert<\/h3>\n
![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2022\/01\/1-1024x768.png?resize=1024%2C768&ssl=1\")
<\/p>\nInserci\u00f3n en paralelo.<\/h3>\n
![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2022\/01\/2-1024x768.png?resize=1024%2C768&ssl=1\")
<\/p>\nTipos de Storage<\/h3>\n
![\"\"](\"https:\/\/i0.wp.com\/www.geekosas.com\/wp-content\/uploads\/2022\/01\/3-1024x768.png?resize=1024%2C768&ssl=1\")
<\/p>\nConclusiones<\/h3>\n