especialista en pruebas de soluciones gen ai jr

en banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer fuerte con méxico.

estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero.

objetivo del puesto:

diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la dirección de inteligencia artificial e innovación de banorte, incluyendo evaluación de calidad de llms, pruebas funcionales y de regresión de sistemas rag, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo.

cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de:

- diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones genai, agentes y sistemas rag, cubriendo escenarios funcionales, de regresión y de estrés.
- ejecutar pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia.
- construir suites de evaluación reproducibles con herramientas como ragas, deepeval, promptfoo, langsmith, langfuse o equivalentes, integradas en pipelines ci/cd.
- detectar y documentar defectos, degradaciones,



alucinaciones críticas y regresiones en soluciones genai, comunicando hallazgos al equipo de desarrollo de manera accionable.
- apoyar pruebas de seguridad de llms (prompt injection, jailbreaking, fuga de información, pii, dlp) en coordinación con el equipo de seguridad de ia.
- validar integraciones entre soluciones genai, apis empresariales, bases vectoriales y servicios en la nube para asegurar end-to-end.
- mantener tableros y reportes de calidad con métricas clave (pass rate, faithfulness, costo por test, latencia) visibles para el equipo y stakeholders.
- formación cualificado: ingeniería o licenciatura en computación, inteligencia artificial, ciencias de la computación, data science, ingeniería de software o áreas relacionadas.
- años de experiencia: 1-2 años en pruebas de software, qa, testing de apis o evaluación de soluciones de ia, preferentemente con exposición a proyectos de ia generativa.
- áreas de experiencia:
- diseño y ejecución de casos de prueba automatizadas y manuales, incluyendo regresión, integración y aceptación.
- pruebas de sistemas rag, agentes, mcps y apis de llms (openai, azure, google vertex ai).
- testing de apis rest, validación de contratos y pruebas de carga básicas.
- lectura y análisis de logs,



trazas de agentes y resultados de evaluación.
- conocimientos requeridos:
- programación en python (indispensable) y bibliotecas de testing: pytest, unittest, hypothesis.
- fundamentos de llms, embeddings, transformers y evaluación de calidad de generación.
- herramientas de evaluación y observabilidad de ia (langsmith, langfuse, ragas, promptfoo, deepeval, helicone).
- uso de apis de llms (openai, azure, google vertex ai) y construcción de clientes programables.
- métricas de calidad para genai: faithfulness, answer relevance, context precision, groundedness, rouge, bleu, bertscore, etc.
- fundamentos de seguridad de llms (owasp llm top 10), prompt injection y jailbreaking.
- integración de pruebas en pipelines ci/cd (azure devops, github actions, gitlab).
- manejo de git, control de versiones de datasets y trazabilidad de experimentos.
- capacidad de comunicar hallazgos técnicos con claridad (reportes, tableros, presentaciones).
- idiomas: inglés avanzado (lectura y escritura técnica, comunicación fluida).
- disponibilidad para viajar: deseable para asistir a eventos nacionales e internacionales sobre ia e innovación.
- disponibilidad para cambio de residencia: no es necesario.

en grupo financiero banorte impulsamos una cultura de inclusión, respeto y equidad. Todas las personas interesadas en formar parte de nuestro equipo son consideradas bajo criterios objetivos, relacionados con su talento, experiencia y habilidades. Nuestro compromiso es garantizar procesos de selección transparentes.

#j-18808-ljbffr

📌 Especialista jr inteligencia artif e inn - pruebas de soluciones gen ai jr (México)
🏢 Banorte-Ixe Grupo Financiero
📍 México