- SOFTTEK - SpainArquitecto de datos SnowflakeOctober 2024 - November 2024 (1 month)Madrid, EspañaDesarrollle una POC o prueba de concepto que permita probar los diferentes tipos de ingesta que tiene Snowflake ya sea batch, near realtime y realtime junto con un analisis de costos, latencia, performance para almacenar grandes volumnes de informacion. Para esto se configuro un ambiente de desarrollo en Snowflake con la creacion y configuracion de warehouses, roles, permisos y objetos de base de datos, se definio un stage donde acceder a datos de S3, se crearon buckets en S3 junto a roles y policies en AWS que permitan ser visibles desde Snowflake y se configuro las notificaciones de S3 para ingestar en near realtime usando Snowpipep de Snowflake. Se crearon politicas de enmascaramiento a nivel columna y politicas de acceso a datos a nivel filas. Para la ingesta en batch se utilizo COPY, para la ingesta en near realtime se utilizo Snowpipe y para la ingesta en Realtime se utilizo un programa Java que ingestaba a razon de 60.000 registros por segundo y rafagas de 2.000 registros por segundo a traves de la API de Snowflake. La informacion se guardo tanto en tablas como tablas dinamicas para evitar procesos ETL que pasen la informacion de capa BRONZE a SILVER y GOLD. Esta ultima capa se creo para poder explotar la informacion ingestada.
- Singular BankData Architect / Data EngineerBANKING & INSURANCEAugust 2022 - Today (2 years and 6 months)Madrid, EspañaArquitecto de datos en Singular Bank- Desarrollo e implementacion del Data Lake corporativo del banco utilizando sus diversas capas.- Desarrollo e implementacion del Data Warehouse corporativo del banco sobre Snowflake.- Analisis y desarrollo de toda la arquitectura del Data Lake y Data Warehouse (seguridad, definicion de roles, permisos, estructura de carpetas de las capas, estructura y analisis de los procesos ELT, ciclo de vida de los datos, tipos de tablas y campos, reglas de calidad de los datos, politicas de backups, definicion y armado de framework de procesamiento de datos, etc).- Automatizacion de procesos ETL en tecnología SSIS, Data Factory, Python, SP.- Migracion de procesos ETL en tecnologia SSIS 2016 a 2019 de sistema de archivos a catalogo.- Tecnologias: SSIS, Snowflake, SQL Server, Talend, Data Factory, Python, Shell scripts, Azure, AWS.- Liderando el diseño e implementacion de politicas DataOps contemplando estandares de nomenclatura de tablas en Data Lake y Data Warehouse, definicion reglas de calidad, nomenclatura de procesos, definicion de usuarios nominales y de servicio, permisos, CI/CD, definicion politicas y estandares de pasaje entre ambientes, etc.- Apoyando a diseñar e implementar las politicas de Data Governance de la compañia segun metodologia DAMA.- Desarrollo de politicas, lineamientos y estrategias que garanticen la homologacion, estandarizacion, escalabilidad y la atencion adecuada a las necesidades del negocio.- Definicion de arquitecturas de datos batch, near realtime y realtime para el analisis y explotacion de datos a traves de diversas herramientas como Tableau, Power BI, Metabase.
- Banco HipotecarioData Architect / Data GovernanceSOFTWARE PUBLISHINGMay 2021 - August 2022 (1 year and 3 months)Madrid, EspañaData Engineer / Data Architect / Data GovernanceDesde hace mas de 6 años, soy especialista en soluciones de business intelligence. Ayudo a las organizaciones a diseñar e implementar soluciones exitosas de BI desde el diseño y modelado de datos, procesos ELT/ETL para la ingesta de datos a partir de diferentes origenes ya sean on-premise como cloud y procesamiento batch, como real time.Soy arquitecto de datos Azure y he diseñado la arquitectura y el desarrollo de diferentes proyectos de BI como ser:- Datalake.- Lakehouse.- Delta Lake.- Data Warehouses.Los servicios utilizados en Azure fueron: Event Hub, Stream Analytics, Data Factory, Databricks, Synapse SQL Pool/Serverless, Azure SQL Server, Power BI.Tengo experiencia en el armado de estrategias de Data Governance, Master Data, Data Catalog.He liderado equipos de ingenieros de datos para el desarrollo de diferentes proyectos identificando los requerimientos funcionales y técnicos, estableciendo objetivos, roles del equipo y seguimiento de las tareas asignadas.He manejado presupuestos para la contratación de servicios con proveedores externos.Actualmente presto mis servicios a entidades financieras, de consumo masivo y empresas de IT que tercerizan sus servicios y su confianza en mi.
- MS-DP200 Implementing an Azure Data SolutionIT College2021
- MS-DP201 Designing an Azure Data SolutionIT College2021
- Azure Data ArchitectBI64Pro2021