17 ago
|
Axity
|
Municipio de Huixquilucan
17 ago
Axity
Municipio de Huixquilucan
INFORMACION
- CONSULTOR SENIOR
- hace 2 horas
Descripción
- El objetivo del puesto es diseñar, desarrollar y mantener procesos de integración, preparación y transformación de datos para soluciones de Business Intelligence y Analítica Avanzada, asegurando consistencia, trazabilidad y rendimiento en entornos Big Data y Cloud. El Ingeniero de Datos es responsable de construir las rutas de datos de extremo a extremo (ETL/ELT), implementar procesos automatizados y optimizar la movilidad de la información entre fuentes y destinos analíticos. Su misión es crear infraestructuras de datos escalables usando Spark, Hadoop, Hive, Databricks y plataformas en la nube (Azure/GCP), garantizando que la información esté lista para su uso en modelos predictivos, BI y machine learning.
**Requisitos**:
- Formación Académica: Ingeniería en Sistemas, Computación, Ciencia de Datos, Informática o afines
- Experiência Competente: Mínimo 6 años en implementación de procesos ETL y 2 años en entornos Big Data
- Idiomas: Inglés técnico (intermedio)
**Actividades**
- Diseñar y mantener procesos ETL y ELT para integrar, limpiar y transformar datos en entornos Big Data.
- Desarrollar transformaciones de datos en Spark (SQL, Scala o Python) para procesamiento batch y streaming.
- Realizar modelado de datos columnar orientado a consumo, optimización y desempeño.
- Elegir y optimizar tecnologías Big Data (Hadoop, Hive, Databricks) según el volumen y tipo de fuente.
- Diseñar modelos dimensionales (esquema estrella y copo de nieve) para almacenes de datos y analítica BI.
- Comprender los requerimientos y flujos de negocio para proponer soluciones de integración de datos.
- Implementar flujos de trabajo de orquestación y automatización (Airflow, Oozie, etc.).
- Desarrollar procesos para la extracción desde sistemas OLTP y la carga en repositorios OLAP/DWH
- Asegurar el rendimiento y la escalabilidad, optimizando consultas SQL y operaciones en discos distribuidos.
- Integrar servicios mediante APIs REST y otros mecanismos
- Garantizar la calidad, seguridad y consistencia de los datos en todas las etapas
- Colaborar con Científicos de Datos, Analistas BI y Arquitectos de Información
- Documentar procesos, diccionarios de datos y metodologías de transformación
**Habilidades técnicas indispensables**
- Conocimientos Requeridos: Spark, Hadoop, Hive, Databricks, Azure Data Factory, **GCP, Airflow,**DataFlow, ETL, SQL, OLTP/OLAP, Python, Scala, Java, modelado dimensional (estrella/copo de nieve), APIs
- Competencias Clave:Procesos ETL / ELT: Diseño y automatización de pipelines
- Ecosistemas Big Data: Spark (SQL, Scala, Python), Hadoop, Hive, Databricks
- Cloud Data Platforms: Azure Data Factory, Azure Databricks, Google Cloud Dataproc/Dataflow, BigQuery
- Bases de Datos y SQL: SQL avanzado y optimización de consultas
- Modelado de Datos: Modelos dimensionales (estrella/copo de nieve)
- Integración y APIs: Conexión a sistemas OLTP/OLAP y exposición vía APIs REST
- Automatización y Orquestación: Apache Airflow, Oozie, ADF, CI/CD 034 Integración...gineer.pdf.
- Lenguajes de Programación: Python, Scala, Java, R
- Data Quality y Monitoreo: Validación de datasets y control de errores
- Metodologías Ágiles: Scrum/SAFe
**Habilidades técnicas deseables**
- Certificaciones Deseables: Azure Data Engineer Associate, Google Cloud Data Engineer, Databricks Certified Data Engineer, Scrum Fundamentals
- Perfil
**CONSULTOR SENIOR**
- Localización
**Huixquilucan, Estado de México, México (Híbrido)**
- Experiência
**6 Años de Experiência**
- o
📌 Data Engineer Sr (Municipio de Huixquilucan)
🏢 Axity
📍 Municipio de Huixquilucan