03 ago
|
Acute-Talent
|
México
03 ago
Acute-Talent
México
DESCRIPCIóN
Administrar, validar y optimizar el ciclo de vida y la calidad de los datos en un entorno AWS: desde su adquisición y transformación hasta su almacenamiento seguro y disponibilidad para análisis y toma de decisiones. Esta posición es clave para certificar que los procesos de ingestión, pipelines y productos de datos (flujos, tableros y reportes) cumplan estándares de integridad, consistencia, trazabilidad y disponibilidad, colaborando con equipos de datos y aplicando mejores prácticas de ingeniería de datos para asegurar resultados confiables.
Responsabilidades principales
- Validación y certificación de ingesta/adquisición de datos
- Validar y certificar los procesos de recopilación/adquisición construidos por especialistas de datos.
- Revisar fuentes, estructuras, llaves, reglas de negocio y criterios de aceptación de datos.
- Control de calidad y consistencia (Data Quality)
- Certificar y dar soporte al proceso de calidad incorporando cifras de control, datos sumarizados y reglas de consistencia.
- Definir y ejecutar validaciones de integridad, referencialidad, duplicidad, completitud y vigencia.
- Diseño de soluciones QA escalables y seguras en AWS
- Diseñar y mantener mecanismos de QA de datos escalables, con controles y evidencias auditables.
- Alinear estándares de seguridad, accesos, cifrado y buenas prácticas de operación.
- Automatización y orquestación de validaciones
- Desarrollar flujos automatizados para controlar la calidad de datos usando servicios/herramientas AWS.
- Implementar orquestación para validaciones recurrentes, reintentos controlados y manejo de excepciones.
- Monitoreo y detección temprana de incidencias
- Implementar medidas de control para detectar incidencias/problemas de calidad y consistencia en productos de datos (pipelines, tableros, reportes).
- Definir métricas, umbrales, alertas y seguimiento de remediaciones.
- Colaboración transversal
- Trabajar con Ingeniería de Datos, BI/Analítica,
y equipos técnicos para resolver fallas y prevenir recurrencias.
- Comunicar hallazgos, riesgos e impacto en lenguaje transparente (técnico y de negocio).
REQUISITOS
Indispensables
- Experiencia mínima: 3+ años en roles de Data Quality / QA de Datos / Ingeniería de Datos (validación, certificación, controles, monitoreo).
- SQL avanzado: consultas complejas para validación, reconciliación y análisis.
- Experiencia creando/operando controles de calidad en pipelines ETL/ELT (cargas iniciales e incrementales).
- Capacidad para documentar criterios, resultados y evidencias de calidad (trazabilidad).
- Comunicación clara y colaboración con equipos técnicos y de negocio.
Escolaridad: Licenciatura (preferente) en Sistemas, Informática o afín con bases de matemáticas/estadística.
Conocimientos y herramientas clave (muy importantes)
AWS (datos y procesamiento):
- Amazon S3, Redshift, Glue, EMR, Lambda, DynamoDB, RDS (deseable: Kinesis).
ETL/ELT y arquitectura de datos:
- Diseño/validación de pipelines, esquemas eficientes, controles por capa (raw/curated/consumption).
- Big Data: nociones de Hadoop/Spark (por ejemplo en EMR).
Automatización y orquestación:
- AWS Step Functions, Glue Workflows o equivalentes (y/o AWS Data Pipeline).
Monitoreo y optimización:
- Amazon CloudWatch (métricas/alertas) y prácticas de optimización de rendimiento.
Programación (al menos una):
- Python (preferente) o Java/Scala, y uso práctico de SQL.
Control de versiones:
- Git (seguimiento, revisión y versionamiento de scripts/artefactos).
Deseables
- Frameworks/herramientas de pruebas o data quality (por ejemplo, validaciones automatizadas y data profiling).
- Contenedores: ECS/EKS (nociones).
- Prácticas DevOps aplicadas a datos (CI/CD para pipelines/validaciones).
- Conocimientos de seguridad y cumplimiento en nube (buenas prácticas; referencias como GDPR/HIPAA como deseable, no limitativo).
- Certificaciones AWS (Data Analytics / Solutions Architect) deseable.
📌 Lider Ingeniero de Datos QA (Data Quality) – AWS (México)
🏢 Acute-Talent
📍 México