Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
Automatizar pruebas de APIs utilizando herramientas especializadas.
Implementar pruebas continuas dentro de pipelines CI/CD.
Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
Definir métricas de calidad para aplicaciones basadas en IA.
Analizar resultados de pruebas y generar reportes de calidad.
Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.




Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
Identificar riesgos funcionales y de calidad antes de la liberación de productos.
Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas creativos.
Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.

Requirements
Experiencia como competente experimentado (Experienced Professionals).
Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone, Vector Databases, LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.
Deseable certificación ISTQB.
Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).

📌 Automation Tester, Ia Aguascalientes
🏢 Jobtailor
📍 Aguascalientes