21 ago
|
SOFTTEK
|
México
Ingeniero de Datos Big DataHabilidades Requeridas:Bases de Datos y SQL (Obligatorio)
- Dominio avanzado de SQL.
- Experiencia en PostgreSQL, SQL Server, Oracle o bases de datos relacionales equivalentes.
- Optimización de consultas (query tuning) y rendimiento.
- Diseño de modelos y estructuras de datos.
- Gestión y procesamiento de grandes volúmenes de información.
- Experiencia en administración y explotación de Data Warehouses y Data Marts.
Data Engineering y Python (Obligatorio)
- Desarrollo avanzado en Python.
- Diseño e implementación de procesos ETL/ELT.
- Construcción y mantenimiento de Data Pipelines.
- Automatización de procesos de integración de datos.
- Desarrollo de transformaciones y validaciones de información.
- Implementación de buenas prácticas de calidad y gobierno de datos.
Databricks y Procesamiento Distribuido (Prioridad Alta)
- Experiencia sólida con Databricks.
- Desarrollo utilizando Apache Spark y PySpark.
- Procesamiento distribuido de grandes volúmenes de datos.
- Optimización de cargas y procesos de datos en entornos Big Data.
- Diseño de soluciones escalables de procesamiento masivo.
Plataformas Cloud
- Experiencia en Microsoft Azure.
- Azure Data Factory.
- Microsoft Fabric.
- Implementación y administración de soluciones de datos en la nube.
- Integración de servicios cloud para analítica y procesamiento de datos.
Big Data y Arquitecturas Modernas
- Experiencia con al menos una de las siguientes tecnologías:
- Apache Kafka
- Hadoop
- Cassandra
- MongoDB
- Redis
- Apache Flink
- Dask
- Experiencia en arquitecturas distribuidas y procesamiento en tiempo real o por lotes.
Habilidades Deseables:
- Experiencia con AWS y sus servicios de datos.
- Conocimientos de Docker y Kubernetes.
- Experiencia con Data Lake,
Lakehouse y arquitecturas modernas de datos.
- Conocimientos en DataOps y CI/CD para entornos de datos.
- Experiencia con herramientas de visualización como Power BI, Tableau o Qlik Sense.
- Desarrollo de soluciones orientadas a Machine Learning y Advanced Analytics.
- Conocimiento en arquitectura de microservicios.
- Experiencia en gobierno, calidad y seguridad de datos.
- Certificaciones en Azure, AWS, Databricks o tecnologías Big Data.
- Conocimiento de metodologías ágiles (Scrum, Kanban).
Responsabilidades
- Diseñar, desarrollar y mantener arquitecturas de datos escalables y resilientes.
- Construir y optimizar pipelines de datos para entornos analíticos y operativos.
- Implementar procesos ETL/ELT de alta disponibilidad y rendimiento.
- Diseñar soluciones de integración de datos provenientes de múltiples fuentes.
- Desarrollar procesos de transformación y enriquecimiento de datos utilizando Python, Spark y Databricks.
- Optimizar el desempeño de consultas, bases de datos y procesos de carga.
- Participar en el diseño e implementación de plataformas Big Data y ecosistemas analíticos.
- Implementar soluciones de procesamiento distribuido para grandes volúmenes de datos.
- Colaborar con equipos de BI, Analytics, Ciencia de Datos y áreas de negocio.
- Garantizar la calidad, integridad, disponibilidad y confiabilidad de la información.
- Implementar monitoreo, trazabilidad y automatización de procesos de datos.
- Aplicar mejores prácticas de seguridad, gobierno y gestión de datos.
- Participar en iniciativas de modernización y migración de plataformas de datos hacia la nube.
- Documentar arquitecturas, desarrollos y estándares técnicos.
Idiomas RequeridosInglés Intermedio Bajo
UbicaciónPresencial - CDMX
📌 Data Management Engineer Cloud ETL Sr (México)
🏢 SOFTTEK
📍 México