Descripción de la posición En Orion Innovation estamos buscando un Data Engineer con experiencia en el diseño, desarrollo e implementación de soluciones de procesamiento y análisis de datos en tiempo real.

La persona será responsable de desarrollar y mantener pipelines de datos escalables, trabajar con arquitecturas basadas en eventos y optimizar el procesamiento, almacenamiento y consulta de grandes volúmenes de información utilizando tecnologías como Apache Flink y Apache Pinot.

Responsabilidades

- Diseñar, desarrollar y mantener pipelines de datos en tiempo real y batch.
- Implementar soluciones de procesamiento de streaming utilizando Apache Flink.
- Diseñar y optimizar soluciones de almacenamiento y consulta analítica utilizando Apache Pinot.
- Trabajar con plataformas de mensajería y streaming, como Apache Kafka.
- Desarrollar procesos de ingesta, transformación y enriquecimiento de datos.
- Optimizar el rendimiento, escalabilidad y disponibilidad de pipelines y plataformas de datos.
- Implementar procesos de validación y monitoreo de calidad de datos.
- Colaborar con equipos de Data Engineering, Analytics, Backend y DevOps.
- Participar en el diseño de arquitecturas orientadas a eventos y procesamiento de información en tiempo real.
- Resolver problemas relacionados con procesamiento distribuido, latencia, rendimiento y escalabilidad.
- Documentar soluciones técnicas, flujos de datos y procesos.





Experiencia y conocimientos requeridos
- Experiencia como Data Engineer, Streaming Engineer, Big Data Engineer o posición similar.
- Experiencia práctica con Apache Flink para procesamiento de datos en streaming.
- Experiencia con Apache Pinot para análisis de datos en tiempo real.
- Experiencia con Apache Kafka o plataformas similares de mensajería y streaming.
- Experiencia desarrollando aplicaciones o pipelines de procesamiento distribuido.
- Conocimientos sólidos de SQL.
- Experiencia con al menos uno de los siguientes lenguajes:
- Java
- Scala
- Python
- Conocimiento de arquitecturas Event-Driven.
- Experiencia con bases de datos SQL y NoSQL.
- Conocimientos de modelado de datos y procesos ETL/ELT.
- Experiencia con plataformas Cloud, preferentemente AWS, Azure o GCP.
- Conocimientos de contenedores y herramientas como Docker y Kubernetes.
- Familiaridad con herramientas de CI/CD y control de versiones mediante Git.

Conocimientos deseables
- Experiencia con Apache Spark.
- Conocimiento de Kafka Streams.
- Experiencia con Trino, Presto o motores de consulta distribuidos.
- Conocimiento de Databricks.
- Experiencia con Airflow u otras herramientas de orquestación.
- Experiencia trabajando con arquitecturas Lakehouse.
- Conocimientos de observabilidad y monitoreo de aplicaciones distribuidas.

📌 Data Engineer (México)
🏢 Orion Innovation
📍 México