- Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
- Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
- Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
- Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
- Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
- Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
- Automatizar pruebas de APIs utilizando herramientas especializadas.
- Implementar pruebas continuas dentro de pipelines CI/CD.
- Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
- Definir métricas de calidad para aplicaciones basadas en IA.
- Analizar resultados de pruebas y generar reportes de calidad.
- Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.
- Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
- Identificar riesgos funcionales y de calidad antes de la liberación de productos.
- Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
- Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores.
- Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.
Requirements - Experiencia como profesional experimentado (Experienced Professionals).
- Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone,



Vector Databases, LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.
- Deseable certificación ISTQB.
- Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).
- Deseable experiencia en observabilidad y monitoreo de aplicaciones de IA.
- Pensamiento analítico.
- Atención al detalle.
- Resolución de problemas complejos.
- Comunicación efectiva con equipos técnicos y de negocio.
- Capacidad para investigar comportamientos no determinísticos en sistemas de IA.
- Trabajo participativo en equipos multidisciplinarios.
Core Competencies Demonstrates expertise in designing and maintaining automation frameworks for web applications and AI solutions, with a strong focus on implementing automated testing strategies and validating AI models.
Proficient in collaborating with cross-functional teams to enhance quality assurance practices and deliver value-added services.
Highest-signal resume keywords - Automated Testing Framework Development - AI Model Validation - CI/CD Pipeline Implementation - Azure AI Solutions - ISTQB Certification Hard Skills - Automated Testing - Integration Testing - End-to-End Testing - API Testing - Quality Metrics Definition - Prompt Engineering - Data Analysis - AI Testing - Observability - Problem Solving Soft Skills - Analytical Thinking - Attention to Detail - Effective Communication - Collaborative Work Certifications & Qualifications - ISTQB Certification - Microsoft Azure AI Engineer Associate (AI-102) Industry Keywords - AI Solutions - Generative AI - Chatbots - Machine Learning - Quality Assurance - Automation - Cloud Platforms - RAG Architectures Tools & Technologies - Promptfoo - DeepEval - LangSmith - OpenAI Evals - Azure AI Search - Pinecone - Vector Databases - LangChain - Semantic Kernel - Databricks #J-*****-Ljbffr

📌 Automation Tester, Ia (Aguascalientes)
🏢 Jobtailor
📍 Aguascalientes