18 oct
|
CRH Talento en IT
|
Monterrey
18 oct
CRH Talento en IT
Monterrey
Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y near real-time utilizando Databricks. Implementar y mantener arquitecturas Lakehouse mediante las capas bronze, silver y gold. Desarrollar procesos de ingestión, transformación, validación y publicación de datos, asegurando su calidad, disponibilidad y confiabilidad. Implementar mecanismos automatizados de monitoreo, detección de errores y alertas para los pipelines de datos. Optimizar procesos de Spark y Databricks para mejorar el rendimiento y reducir los costos de procesamiento en la nube. Validar, documentar y publicar datasets certificados para su consumo por equipos de Analytics, Business Intelligence y Data Science. Diagnosticar y resolver incidentes críticos en ambientes productivos, implementando acciones correctivas y preventivas. Establecer y promover estándares técnicos, buenas prácticas de desarrollo, pruebas, documentación y despliegue. Colaborar con equipos multidisciplinarios para garantizar la disponibilidad de datos confiables para iniciativas analíticas y de Machine Learning.
Licenciatura en Ingeniería, Ciencias de la Computación, Matemáticas, Actuaría, Economía, Finanzas o carreras afines. Entre 4 y 7 años de experiencia construyendo y manteniendo pipelines de datos en producción. Experiencia trabajando con SQL avanzado. Dominio de Py Spark y Apache Spark. Experiencia práctica con Databricks y Delta Lake. Conocimiento de arquitecturas Lakehouse y del modelo de capas bronze, silver y gold. Experiencia con herramientas de orquestación como Apache Airflow o Prefect. Experiencia en diseño de pipelines escalables y optimización de procesos de datos en la nube. Conocimiento de prácticas de calidad, monitoreo, documentación y gobierno de datos. Experiencia colaborando con equipos de Data Science, Machine Learning, Analytics Engineering o Business Intelligence. Responsabilidades Diseñar, desarrollar y mantener pipelines de datos end-to-end para procesamiento batch y
📌 Ingeniero(a) de datos senior (Monterrey)
🏢 CRH Talento en IT
📍 Monterrey