ESPECIALISTA JR INTELIGENCIA ARTIF E INNEspecialista en Pruebas de Soluciones Gen AI Jr
(CDMX)En Banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México.Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.Objetivo del puesto:Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.Cada día te encontrarás antenuevos e interesantes retosdentro de tu puesto, en los cuales serás responsable de:
Diseñarcasos de prueba, datasets de evaluación y protocolos de validación para soluciones Gen AI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés.
Ejecutarpruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia.
Construirsuites de evaluación reproducibles con herramientas como Ragas, Deep Eval, promptfoo, Lang Smith, Langfuse o equivalentes, integradas en pipelines CI/CD.
Detectar y documentardefectos, degradaciones,



alucinaciones críticas y regresiones en soluciones Gen AI, comunicando hallazgos al equipo de desarrollo de manera accionable.
Apoyarpruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA.
Validarintegraciones entre soluciones Gen AI, APIs empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end.
Mantenertableros y reportes de calidad con métricas principal (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.Requisitos:
Formación profesional: Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas.
Años de experiencia: 1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa.
Áreas de experiencia:
Diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación.
Evaluación de modelos de IA: definición de métricas, construcción de benchmarks, curación de datasets de prueba.
Pruebas de sistemas RAG, agentes, MCPs y APIs de LLMs (Open AI,



Azure, Google Vertex AI).
Testing de APIs REST, validación de contratos y pruebas de carga básicas.
Exposición a frameworks de evaluación LLM: Ragas, Deep Eval, promptfoo, Lang Smith, Langfuse o equivalentes.
Lectura y análisis de logs, trazas de agentes y resultados de evaluación.
Conocimientos requeridos:
Programación en Python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis.
Fundamentos de LLMs, embeddings, transformers y evaluación de calidad de generación.
Herramientas de evaluación y observabilidad de IA (Lang Smith, Langfuse, Ragas, promptfoo, Deep Eval, Helicone).
Uso de APIs de LLMs (Open AI, Azure, Google Vertex AI) y construcción de clientes programables.
Métricas de calidad para Gen AI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore, etc.
Fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking.
Integración de pruebas en pipelines CI/CD (Azure Dev Ops, Git Hub Actions, Gitlab).
Manejo de Git, control de versiones de datasets y trazabilidad de experimentos.
Capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).
Idiomas: Inglés avanzado (lectura y escritura técnica, comunicación fluida).
Disponibilidad para viajar: Deseable para asistir a eventos nacionales e internacionales sobre IA e Innovación
Disponibilidad para cambio de residencia: No es necesarioHaz clic en el botónaplicaryno pierdas la oportunidad de desarrollar todo tu potencial.

📌 Especialista Jr Inteligencia Artif E Inn - Pruebas De Soluciones Gen Ai Jr (Nezahualcóyotl)
🏢 Grupo Financiero Banorte
📍 Nezahualcóyotl