ESPECIALISTA JR INTELIGENCIA ARTIF E INN Especialista en Pruebas de Soluciones GenAI Jr(CDMX) En Banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México. Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.

Objetivo del puesto: Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo. Cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de: Diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones GenAI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés.

Ejecutar pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia.

Construir suites de evaluación reproducibles con herramientas como Ragas, DeepEval, promptfoo, LangSmith, Langfuse o equivalentes, integradas en pipelines CI/CD.

Detectar y documentar defectos, degradaciones, alucinaciones críticas y regresiones en soluciones GenAI,



comunicando hallazgos al equipo de desarrollo de manera accionable.

Apoyar pruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA.

Validar integraciones entre soluciones GenAI, APIs empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end.

Mantener tableros y reportes de calidad con métricas principal (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.

Requisitos: Formación profesional: Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas.

Años de experiencia: 1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa.

Áreas de experiencia: Diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación.

Evaluación de modelos de IA: definición de métricas, construcción de benchmarks, curación de datasets de prueba.

Pruebas de sistemas RAG, agentes, MCPs y APIs de LLMs (OpenAI, Azure, Google Vertex AI).

Testing de APIs REST, validación de contratos y pruebas de carga básicas.

Exposición a frameworks de evaluación LLM: Ragas, DeepEval, promptfoo, LangSmith,



Langfuse o equivalentes.

Lectura y análisis de logs, trazas de agentes y resultados de evaluación.

Conocimientos requeridos: Programación en Python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis.

Fundamentos de LLMs, embeddings, transformers y evaluación de calidad de generación.

Herramientas de evaluación y observabilidad de IA (LangSmith, Langfuse, Ragas, promptfoo, DeepEval, Helicone).

Uso de APIs de LLMs (OpenAI, Azure, Google Vertex AI) y construcción de clientes programables.

Métricas de calidad para GenAI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore, etc.

Fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking.

Integración de pruebas en pipelines CI/CD (Azure DevOps, GitHub Actions, Gitlab).

Manejo de Git, control de versiones de datasets y trazabilidad de experimentos.

Capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).

Idiomas: Inglés avanzado (lectura y escritura técnica, comunicación fluida).

Disponibilidad para viajar: Deseable para asistir a eventos nacionales e internacionales sobre IA e Innovación

Disponibilidad para cambio de residencia: No es necesario Haz clic en el botón aplicar y no pierdas la oportunidad de desarrollar todo tu potencial.

En Grupo Financiero

Banorte impulsamos una cultura de inclusión, respeto y equidad. Todas las personas interesadas en formar parte de nuestro equipo son consideradas bajo criterios objetivos, relacionados con su talento, experiencia y habilidades. Nuestro compromiso es garantizar procesos de selección transparentes.

📌 ESPECIALISTA JR INTELIGENCIA ARTIF E INN (Ciudad de México)
🏢 Banco Mercantil Del Norte
📍 Ciudad de México