ESPECIALISTA JR INTELIGENCIA ARTIF E INN
Especialista en Pruebas de Soluciones Gen AI Jr
(CDMX)
En Banorte buscamos talento único, robusto y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México.
Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.
Objetivo del puesto: Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.
Cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de:
- Diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones Gen AI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés. - Ejecutar pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia. - Construir suites de evaluación reproducibles con herramientas como Ragas, Deep Eval, promptfoo, Lang Smith, Langfuse o equivalentes, integradas en pipelines CI/CD. - Detectar y documentar defectos, degradaciones,



alucinaciones críticas y regresiones en soluciones Gen AI, comunicando hallazgos al equipo de desarrollo de manera accionable. - Apoyar pruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA. - Validar integraciones entre soluciones Gen AI, APIs empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end. - Mantener tableros y reportes de calidad con métricas clave (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.
Requisitos:
- Formación profesional: Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas. - Años de experiencia: 1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa. - Áreas de experiencia: - Diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación. - Evaluación de modelos de IA: definición de métricas, construcción de benchmarks, curación de datasets de prueba. - Pruebas de sistemas RAG, agentes,



MCPs y APIs de LLMs (Open AI, Azure, Google Vertex AI). - Testing de APIs REST, validación de contratos y pruebas de carga básicas. - Exposición a frameworks de evaluación LLM: Ragas, Deep Eval, promptfoo, Lang Smith, Langfuse o equivalentes. - Lectura y análisis de logs, trazas de agentes y resultados de evaluación. - Conocimientos requeridos: - Programación en Python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis. - Fundamentos de LLMs, embeddings, transformers y evaluación de calidad de generación. - Herramientas de evaluación y observabilidad de IA (Lang Smith, Langfuse, Ragas, promptfoo, Deep Eval, Helicone). - Uso de APIs de LLMs (Open AI, Azure, Google Vertex AI) y construcción de clientes programables. - Métricas de calidad para Gen AI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore, etc. - Fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking. - Integración de pruebas en pipelines CI/CD (Azure Dev Ops, Git Hub Actions, Gitlab). - Manejo de Git, control de versiones de datasets y trazabilidad de experimentos. - Capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones). - Idiomas: Inglés avanzado (lectura y escritura técnica, comunicación fluida). - Disponibilidad para viajar: Deseable para asistir a eventos nacionales e internacionales sobre IA e Innovación - Disponibilidad para cambio de residencia: No es necesario
Haz clic en el botón aplicar y no pierdas la oportunidad de desarrollar todo tu potencial.

📌 Especialista jr inteligencia artif e inn - pruebas de soluciones gen ai jr (Ciudad de México)
🏢 Grupo Financiero Banorte
📍 Ciudad de México