Especialista en Pruebas de Soluciones Gen AI Jr En Banorte buscamos talento único, resistente y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con México.
Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.
Objetivo del puesto: Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.
Cada día te encontrarás ante
nuevos e interesantes retos
dentro de tu puesto, en los cuales serás responsable de:
Diseñar
casos de prueba, datasets de evaluación y protocolos de validación para soluciones Gen AI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés.
Ejecutar
pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia.
Construir
suites de evaluación reproducibles con herramientas como Ragas, Deep Eval, promptfoo, Lang Smith, Langfuse o equivalentes, integradas en pipelines CI/CD.
Detectar y documentar
defectos, degradaciones,



alucinaciones críticas y regresiones en soluciones Gen AI, comunicando hallazgos al equipo de desarrollo de manera accionable.
Apoyar
pruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA.
Validar
integraciones entre soluciones Gen AI, APIs empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end.
Mantener
tableros y reportes de calidad con métricas clave (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.
Formación profesional: Ingeniería o licenciatura en Computación, Inteligencia Artificial, Ciencias de la Computación, Data Science, Ingeniería de Software o áreas relacionadas.
Años de experiencia: 1-2 años en pruebas de software, QA, testing de APIs o evaluación de soluciones de IA, preferentemente con exposición a proyectos de IA generativa.
Áreas de experiencia:
Diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación.
Pruebas de sistemas RAG, agentes, MCPs y APIs de LLMs (Open AI, Azure, Google Vertex AI).
Testing de APIs REST, validación de contratos y pruebas de carga básicas.
Lectura y análisis de logs,



trazas de agentes y resultados de evaluación.
Conocimientos requeridos:
Programación en Python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis.
Fundamentos de LLMs, embeddings, transformers y evaluación de calidad de generación.
Herramientas de evaluación y observabilidad de IA (Lang Smith, Langfuse, Ragas, promptfoo, Deep Eval, Helicone).
Uso de APIs de LLMs (Open AI, Azure, Google Vertex AI) y construcción de clientes programables.
Métricas de calidad para Gen AI: faithfulness, answer relevance, context precision, groundedness, ROUGE, BLEU, BERTScore, etc.
Fundamentos de seguridad de LLMs (OWASP LLM Top 10), prompt injection y jailbreaking.
Integración de pruebas en pipelines CI/CD (Azure Dev Ops, Git Hub Actions, Gitlab).
Manejo de Git, control de versiones de datasets y trazabilidad de experimentos.
Capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).
Idiomas: Inglés avanzado (lectura y escritura técnica, comunicación fluida).
Disponibilidad para viajar: Deseable para asistir a eventos nacionales e internacionales sobre IA e Innovación.
Disponibilidad para cambio de residencia: No es necesario.
En Grupo Financiero Banorte impulsamos una cultura de inclusión, respeto y equidad. Todas las personas interesadas en formar parte de nuestro equipo son consideradas bajo criterios objetivos, relacionados con su talento, experiencia y habilidades. Nuestro compromiso es garantizar procesos de selección transparentes.

📌 Especialista jr inteligencia artif e inn - pruebas de soluciones gen ai jr (Heroica Puebla de Zaragoza)
🏢 Grupo Financiero Banorte
📍 Heroica Puebla de Zaragoza