Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas.Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.Experiencia trabajando con SQL avanzado.Dominio de PySpark y Apache Spark.Experiencia práctica con Databricks y Delta Lake.Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze,



silver y gold.Experiencia con herramientas de orquestación como Apache Airflow o Prefect.Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.Responsabilidades

Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks.Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold.Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad.Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos.Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube.Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science.Diagnosticar y resolver incidentes críticos en ambientes productivos,



implementando acciones correctivas y preventivas.Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue.Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.Requisitos

Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines.Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción.Experiencia trabajando con SQL avanzado.Dominio de PySpark y Apache Spark.Experiencia práctica con Databricks y Delta Lake.Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold.Experiencia con herramientas de orquestación como Apache Airflow o Prefect.Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube.Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos.Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence.Competencias

Pensamiento analítico y resolución de problemas complejos.Orientación a la calidad, eficiencia y mejora continua.Capacidad para diagnosticar y resolver incidentes en producción.Comunicación efectiva y colaboración con equipos multidisciplinarios.Autonomía, iniciativa y aprendizaje continuo.Liderazgo técnico y capacidad para compartir conocimientos y promover buenas prácticas.

#J-18808-Ljbffr

📌 Ingeniero(a) de Datos Senior (Ciudad de México)
🏢 CRH Talento en IT
📍 Ciudad de México