Juan Carlos Gomez

Desarrollle una POC o prueba de concepto que permita probar los diferentes tipos de ingesta que tiene Snowflake ya sea batch, near realtime y realtime junto con un analisis de costos, latencia, performance para almacenar grandes volumnes de informacion. Para esto se configuro un ambiente de desarrollo en Snowflake con la creacion y configuracion de warehouses, roles, permisos y objetos de base de datos, se definio un stage donde acceder a datos de S3, se crearon buckets en S3 junto a roles y policies en AWS que permitan ser visibles desde Snowflake y se configuro las notificaciones de S3 para ingestar en near realtime usando Snowpipep de Snowflake. Se crearon politicas de enmascaramiento a nivel columna y politicas de acceso a datos a nivel filas. Para la ingesta en batch se utilizo COPY, para la ingesta en near realtime se utilizo Snowpipe y para la ingesta en Realtime se utilizo un programa Java que ingestaba a razon de 60.000 registros por segundo y rafagas de 2.000 registros por segundo a traves de la API de Snowflake. La informacion se guardo tanto en tablas como tablas dinamicas para evitar procesos ETL que pasen la informacion de capa BRONZE a SILVER y GOLD. Esta ultima capa se creo para poder explotar la informacion ingestada.

Arquitecto de datos en Singular Bank

- Desarrollo e implementacion del Data Lake corporativo del banco utilizando sus diversas capas.

- Desarrollo e implementacion del Data Warehouse corporativo del banco sobre Snowflake.

- Analisis y desarrollo de toda la arquitectura del Data Lake y Data Warehouse (seguridad, definicion de roles, permisos, estructura de carpetas de las capas, estructura y analisis de los procesos ELT, ciclo de vida de los datos, tipos de tablas y campos, reglas de calidad de los datos, politicas de backups, definicion y armado de framework de procesamiento de datos, etc).

- Automatizacion de procesos ETL en tecnología SSIS, Data Factory, Python, SP.

- Migracion de procesos ETL en tecnologia SSIS 2016 a 2019 de sistema de archivos a catalogo.

- Tecnologias: SSIS, Snowflake, SQL Server, Talend, Data Factory, Python, Shell scripts, Azure, AWS.

- Liderando el diseño e implementacion de politicas DataOps contemplando estandares de nomenclatura de tablas en Data Lake y Data Warehouse, definicion reglas de calidad, nomenclatura de procesos, definicion de usuarios nominales y de servicio, permisos, CI/CD, definicion politicas y estandares de pasaje entre ambientes, etc.

- Apoyando a diseñar e implementar las politicas de Data Governance de la compañia segun metodologia DAMA.

- Desarrollo de politicas, lineamientos y estrategias que garanticen la homologacion, estandarizacion, escalabilidad y la atencion adecuada a las necesidades del negocio.

- Definicion de arquitecturas de datos batch, near realtime y realtime para el analisis y explotacion de datos a traves de diversas herramientas como Tableau, Power BI, Metabase.

Desarrollo procesos de ingesta ficheros de S3 en near-realtime hacia

Snowflake a capa SILVER.

Desarrollo procesos del modulo control de calidad en capa SILVER y

configuración de reglas para cada fichero.

Desarrollo procesos del modulo de trazabilidad (logs).