Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial. Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End. Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs. Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial. Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA. Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation). Automatizar pruebas de APIs utilizando herramientas especializadas. Implementar pruebas continuas dentro de pipelines CI/CD. Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial. Definir métricas de calidad para aplicaciones basadas en IA. Analizar resultados de pruebas y generar reportes de calidad. Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering. Validar soluciones implementadas en Azure Open AI, Azure AI Foundry y plataformas cloud. Identificar riesgos funcionales y de calidad antes de la liberación de productos. Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización. Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores. Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado. Requirements Experiencia como cualificado experimentado (Experienced Professionals). Deseable experiencia en Promptfoo, Deep Eval, Lang Smith, Open AI Evals, Azure AI Search,



Pinecone, Vector Databases, Lang Chain, Semantic Kernel, Crew AI, Auto Gen, Databricks, AWS o GCP. Deseable certificación ISTQB. Deseable certificación Microsoft Azure AI Engineer Associate (AI-102). Deseable experiencia en observabilidad y monitoreo de aplicaciones de IA. Pensamiento analítico. Atención al detalle. Resolución de problemas complejos. Comunicación efectiva con equipos técnicos y de negocio. Capacidad para investigar comportamientos no determinísticos en sistemas de IA. Trabajo colaborativo en equipos multidisciplinarios. Core Competencies

Demonstrates expertise in designing and maintaining automation frameworks for web applications and AI solutions, with a strong focus on implementing automated testing strategies and validating AI models. Proficient in collaborating with cross-functional teams to enhance quality assurance practices and deliver value-added services.

Highest-signal resume keywords Automated Testing Framework Development AI Model Validation CI/CD Pipeline Implementation Azure AI Solutions ISTQB Certification Hard Skills Automated Testing Integration Testing End-to-End Testing API Testing Quality Metrics Definition Prompt Engineering Data Analysis AI Testing Observability Problem Solving Soft Skills Analytical Thinking Attention to Detail Effective Communication Collaborative Work Certifications & Qualifications ISTQB Certification Microsoft Azure AI Engineer Associate (AI-102) Industry Keywords AI Solutions Generative AI Chatbots Machine Learning Quality Assurance Automation Cloud Platforms RAG Architectures Tools & Technologies Promptfoo Deep Eval Lang Smith Open AI Evals Azure AI Search Pinecone Vector Databases Lang Chain Semantic Kernel Databricks #J-18808-Ljbffr

📌 Automation tester, ia (Aguascalientes)
🏢 Jobtailor
📍 Aguascalientes