- Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
- Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
- Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
- Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
- Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
- Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
- Automatizar pruebas de APIs utilizando herramientas especializadas.
- Implementar pruebas continuas dentro de pipelines CI/CD.
- Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
- Definir métricas de calidad para aplicaciones basadas en IA.
- Analizar resultados de pruebas y generar reportes de calidad.
- Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.




- Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
- Identificar riesgos funcionales y de calidad antes de la liberación de productos.
- Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
- Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores.
- Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.

Requirements
- Experiencia como competente experimentado (Experienced Professionals).
- Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone, Vector Databases, LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.
- Deseable certificación ISTQB.
- Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).
- Des

📌 Automation Tester, IA (Aguascalientes)
🏢 Jobtailor
📍 Aguascalientes