13 nov
|
Atalait
|
Monterrey
ESPECIALISTA EN APACHE SPARK
Monterrey, N.L. y Guadalajara, Jal. | Modalidad híbrida En Atalait promovemos la igualdad de oportunidades y el desarrollo; los procesos de selección de talento se realizan con base en parámetros de desempeño y potencial, sin hacer distinción de género. En Atalait no se solicitan pruebas de embarazo ni de VIH.
Tu misión: Asegurar la continuidad operativa de los servicios tecnológicos mediante el monitoreo, la detección y la atención de incidentes, escalando oportunamente los eventos que impacten la disponibilidad.
ACERCA DE ATALAIT
Atalait es una empresa 100% mexicana de servicios de TI, parte del grupo Aktiva, con certificaciones y un equipo comprometido con la calidad, la integridad y el desarrollo de su gente.
OBJETIVO DEL PUESTO
Diseñar, desarrollar, optimizar y mantener soluciones de procesamiento de datos a gran escala con Apache Spark, garantizando su rendimiento, confiabilidad y calidad para los proyectos de datos de nuestros clientes.
FUNCIONES PRINCIPALES
- Desarrollar pipelines de procesamiento de datos batch y streaming con Spark (PySpark o Scala).
- Construir procesos de ingesta, transformación y carga (ETL/ELT) sobre grandes volúmenes de datos.
- Optimizar jobs de Spark: particionamiento, joins, manejo de shuffle y data skew, caché y ajuste de memoria de executors.
- Diagnosticar y resolver problemas de rendimiento y fallas usando Spark UI y logs.
- Diseñar modelos de datos y almacenar información en formatos columnares como Parquet o Delta.
- Implementar validaciones de calidad de datos y pruebas automatizadas de los pipelines.
- Automatizar el despliegue y la ejecución de procesos con CI/CD y orquestadores.
- Colaborar con equipos de datos, desarrollo y operación, y documentar las soluciones.
REQUISITOS
Formación
- Licenciatura o ingeniería en Sistemas, Computación, Ciencia de Datos o carrera afín (titulado/a).
Experiencia
- Mínimo 3 años de experiencia comprobable desarrollando con Apache Spark.
- Experiencia en proyectos de datos con grandes volúmenes de información.
Conocimientos técnicos obligatorios
- Apache Spark: RDD, DataFrames, Spark SQL y Structured Streaming.
- PySpark o Scala.
- SQL avanzado.
- Optimización de Spark: particiones, broadcast joins, shuffle, caché y Adaptive Query Execution.
- Formatos y almacenamiento: Parquet, Delta Lake u ORC; HDFS o almacenamiento en la nube (S3, ADLS o GCS).
- Plataforma de ejecución: Databricks, AWS EMR, Azure Synapse, Google Dataproc o Kubernetes.
- Git y control de versiones.
- Inglés técnico (lectura de documentación).
Conocimientos deseables
- Orquestación con Airflow u otra herramienta.
- Mensajería y streaming: Kafka.
- CI/CD, Docker y Kubernetes.
- Hive Metastore o catálogos de datos.
- Certificaciones: Databricks Certified Associate Developer for Apache Spark, o certificaciones de datos en AWS, Azure o Google Cloud.
Competencias
- Pensamiento analítico y resolución de problemas.
- Trabajo en equipo y comunicación clara.
- Orden y documentación de su trabajo.
- Compromiso con la calidad y la integridad.
CONDICIONES
- Ubicación: Monterrey, N.L. o Guadalajara, Jal.
- Modalidad: híbrida.
- Crecimiento profesional y capacitación.
Sueldo: $22,000.00 - $45,000.00 la hora Lugar de trabajo: remoto híbrido en Monterrey, N. L.
📌 ESPECIALISTA EN APACHE SPARK (Monterrey)
🏢 Atalait
📍 Monterrey