empresa: softtek
tipo de empleo: jornada completa
ubicación: méxico o colombia
descripción del trabajo
ingeniero de datos azure senior
habilidades requeridas
- 5+ años de experiencia en ingeniería de datos.
- experiencia sólida en diseño, desarrollo y optimización de procesos etl/elt.
- dominio de servicios azure: azure data factory (adf), azure databricks, azure synapse analytics / azure sql data warehouse, azure event hubs
- experiencia comprobable en diseño de bases de datos transaccionales.
- conocimientos avanzados de bases de datos sql y nosql.
- experiencia desarrollando en python y scala dentro de entornos databricks.
- experiencia con procesamiento de datos a gran escala mediante apache spark.
- conocimiento de arquitecturas orientadas a eventos y consumo de microservicios.
- experiencia trabajando con formatos de datos: json, xml, csv, parquet
- conocimiento y administración de unity catalog.
- experiencia en implementación y mantenimiento de procesos ci/cd para soluciones de datos.
- capacidad para optimizar consultas, procesos de extracción y rendimiento de plataformas de datos.
habilidades deseables
- experiencia con kafka u otras plataformas de streaming.
- conocimiento de data lakehouse architecture.
- experiencia con terraform o herramientas de infraestructura como código (iac).
- certificaciones microsoft azure relacionadas con data engineering.
- experiencia en ambientes ágiles (scrum / kanban).
- conocimiento de gobierno de datos, calidad de datos y seguridad en azure.
responsabilidades
- diseñar, desarrollar y mantener pipelines de ingesta, procesamiento y transformación de datos.
- implementar soluciones robustas y escalables utilizando azure databricks y azure data factory.
- diseñar y optimizar bases de datos transaccionales y modelos de almacenamiento de datos.
- garantizar la calidad, integridad y disponibilidad de la información.
- integrar múltiples fuentes de datos estructurados y no estructurados.
- implementar y administrar unity catalog para el gobierno y control de acceso a datos.
- optimizar procesos de extracción y procesamiento para grandes volúmenes de información.
- participar en la definición de arquitecturas de datos modernas basadas en eventos y microservicios.
- colaborar con equipos multidisciplinarios para entender requerimientos de negocio y transformarlos en soluciones técnicas.
- implementar y mantener procesos de integración y despliegue continuo (ci/cd).
- identificar y resolver problemas de rendimiento, calidad y confiabilidad de los datos.