La semana pasada tuve la oportunidad de visitar la bella ciudad de Bogotá, en donde me reuní con un amigo de la infancia quien está en proceso de crecimiento de un startup en el ramo financiero. Conversando y de gustando unas ricas tapas españolas y un buen vino, surgió a la conversación el tema de los datos de su "startup" y cómo los administran hoy y cómo quieren administrarlos en el futuro, teniendo en cuenta posibles rondas de inversión de capital.
Hoy en día, los datos los tienen almacenados en hojas de cálculo de Excel y en otras pequeñas bases de datos diversas, lo cual no impide que se utilicen los datos para la operación de su empresa. Sin embargo, al continuar platicando, se percató que existe un riesgo inherente en el manejo de esta información y se preguntó lo siguiente: ¿qué pasaría si alguien se roba estos datos e hiciera mal uso de los mismos, cuál sería el riesgo económico y de reputación al que nos habremos expuesto como empresa?
Hablando de procesamiento de datos y plataformas de la información, en muchas ocasiones, sólo iluminamos las ventajas, o desventajas, en tiempo o costo del procesamiento; pero, no siempre tenemos presente el riesgo y la seguridad de los datos. Ésta tercera variable, a veces un poco invisible, es muy importante y no la podemos ocultar cuando nuestra empresa maneja datos sensibles.
Mi respuesta fue que en Snowflake, puede almacenar sus datos de una manera segura, por ejemplo, los archivos en donde se almacenan los datos están siempre protegidos por una secuencia de al menos 4 llaves de cifrado, llaves que son diferentes del archivo contiguo. Estas llaves se rotan cada mes y una vez al año es posible cifrar nuevamente todos los archivos. Por consiguiente, si alguien pudiera robar un archivo de estos datos, el cual contendría sólo datos parciales, sería equivalente a tener en sus manos una caja fuerte con al menos 4 puertas, cada una con una llave diferente para abrirse. Sus pupilas se abrieron al platicarle este detalle de cómo se protege la información en Snowflake.
Continuando con nuestra conversación, le pregunté cuantos datos manejan el día de hoy. Me respondió que están empezando y tienen algunos miles de clientes en estos momentos y que en su plan de crecimiento esperan crecer a varios millones en un plazo de tiempo muy corto. A continuación, procedí a explicarle a más detalle qué es Snowflake.
Snowflake es una plataforma de datos segura, escalable, y ágil, la cual permite que empresas pequeñas, medianas, y grandes puedan guardar, procesar, compartir, y explotar todos sus datos (pequeños, grandes, transaccionales, estructurados, semi-estructurados, y no estructurados) de una forma fácil, rápida, y versátil. Agregando, que el tiempo requerido para administrar la infraestructura es casi nulo; permitiendo así, que los usuarios se dediquen sólo a la creación de valor y administración de los datos, y no a la administración de la plataforma y los datos. Desglose a detalle los 4 conceptos mencionados anteriormente:
Almacenamiento de datos
Snowflake puede almacenar TODOS los datos, sin importar el tipo de dato y la fuente de los mismos. Generalmente, se almacenan los datos obteniendo entre un 60 y 80% de compresión comparado con el tamaño de los datos originales. No hay límite inferior o superior para la cantidad de datos que se guarden dentro de la plataforma.
Procesamiento de datos
Snowflake tiene la capacidad de procesar datos de forma distribuida e independiente, de tal forma, que no es un sólo recurso que se comparte entre todas las diferentes necesidades de procesamiento de información. Es decir, al mismo tiempo que se ingestan datos de manera rápida, se pueden estar ejecutando procesos de ciencia de datos complejos, de inteligencia de negocios con altos grados de concurrencia, o una transformación de datos masiva, sin que ninguno de los procesos se alente a causa de otro proceso. Compartición de datos
Snowflake, a través su red distribuida de datos en la nube, permite que los datos se compartan de forma fácil, segura, y gobernada entre entidades dentro de una misma organización, organizaciones distintas, o inclusive entre proveedores dedicados a la recabación de datos y sus consumidores. Por ejemplo, una empresa de "retail" puede utilizar datos geodemográficos para entender mejor el comportamiento de sus clientes agregando variables demográficas a su analítica.
Explotación de los datos
Snowflake permite que los datos se exploten de forma directa con visualizaciones que se creen dentro de la plataforma o utilizando visualizadores externos. Además, permite la creación de modelos de ciencia de datos para realizar análisis predictivos en base a la información almacenada en Snowflake.
Fig 1 - Arquitectura de Snowflake, separación de almacenamiento y procesamiento
Ante la incredulidad de mi amigo, lo invité a que compruebe por sí mismo como Snowflake le puede ayudar hoy, que son una empresa pequeña, mañana que estén creciendo, y en el futuro cuando su empresa atienda a millones de clientes. Que vea como Snowflake puede ser la plataforma de datos con la cúal pueda crecer, reducir costos, y reducir el riesgo inherente que conlleva el manejo de datos.
De igual manera, invito a los lectores a que prueben como Snowflake es la plataforma que permite una verdadera democratización de los datos, eliminando silos de información, eliminando la necesidad de administrar infraestructura, y fortaleciendo una estrategia de datos para el futuro.