ESPECIALISTA JR INTELIGENCIA ARTIF E INN Especialista en Pruebas de Soluciones Gen AI Jr (CDMX) En Banorte buscamos talento único, fuerte y extraordinario, que impulse la transformación e innovación del país, convirtiéndonos en un gran aliado para crecer robusto con México. Estamos convencidos que la combinación de solidaridad, innovación, respeto, lealtad y responsabilidad es la fórmula perfecta para ser el mejor equipo del sector financiero. Objetivo del puesto: Diseñar, ejecutar y mantener estrategias de prueba y validación integral para soluciones de inteligencia artificial generativa de la Dirección de Inteligencia Artificial e Innovación de Banorte, incluyendo evaluación de calidad de LLMs, pruebas funcionales y de regresión de sistemas RAG, benchmarking de agentes, medición de alucinación, detección de sesgos y aseguramiento de desempeño, contribuyendo a elevar la confiabilidad de las soluciones antes y después de su despliegue productivo. Cada día te encontrarás ante nuevos e interesantes retos dentro de tu puesto, en los cuales serás responsable de:



- Diseñar casos de prueba, datasets de evaluación y protocolos de validación para soluciones GenAI, agentes y sistemas RAG, cubriendo escenarios funcionales, de regresión y de estrés. - Ejecutar pruebas automatizadas y manuales sobre modelos generativos, midiendo métricas de desempeño, veracidad, groundedness, alucinación, seguridad y consistencia. - Construir suites de evaluación reproducibles con herramientas como Ragas, DeepEval, promptfoo, LangSmith, Langfuse o equivalentes, integradas en pipelines CI/CD. - Detectar y documentar defectos, degradaciones, alucinaciones críticas y regresiones en soluciones GenAI, comunicando hallazgos al equipo de desarrollo de manera accionable. - Apoyar pruebas de seguridad de LLMs (prompt injection, jailbreaking, fuga de información, PII, DLP) en coordinación con el equipo de Seguridad de IA. - Validar integraciones entre soluciones GenAI, APIs empresariales, bases vectoriale

📌 ESPECIALISTA JR INTELIGENCIA ARTIF E INN (Nezahualcóyotl)
🏢 Grupo Financiero Banorte
📍 Nezahualcóyotl