Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
Automatizar pruebas de APIs utilizando herramientas especializadas.
Implementar pruebas continuas dentro de pipelines CI/CD.
Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
Definir métricas de calidad para aplicaciones basadas en IA.
Analizar resultados de pruebas y generar reportes de calidad.
Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.
Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
Identificar riesgos funcionales y de calidad antes de la liberación de productos.
Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores.
Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.
Requirements Experiencia como cualificado experimentado (Experienced Professionals).
Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone, Vector Databases,



LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.
Deseable certificación ISTQB.
Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).
Deseable experiencia en observabilidad y monitoreo de aplicaciones de IA.
Pensamiento analítico.
Atención al detalle.
Resolución de problemas complejos.
Comunicación efectiva con equipos técnicos y de negocio.
Capacidad para investigar comportamientos no determinísticos en sistemas de IA.
Trabajo colaborativo en equipos multidisciplinarios.
Core Competencies Demonstrates expertise in designing and maintaining automation frameworks for web applications and AI solutions, with a strong focus on implementing automated testing strategies and validating AI models. Proficient in collaborating with cross-functional teams to enhance quality assurance practices and deliver value-added services.
Highest-signal resume keywords Automated Testing Framework Development
AI Model Validation
CI/CD Pipeline Implementation
Azure AI Solutions
ISTQB Certification
Hard Skills Automated Testing
Integration Testing
End-to-End Testing
API Testing
Quality Metrics Definition
Prompt Engineering
Data Analysis
AI Testing
Observability
Problem Solving
Soft Skills Analytical Thinking
Attention to Detail
Effective Communication
Collaborative Work
Certifications & Qualifications ISTQB Certification
Microsoft Azure AI Engineer Associate (AI-102)
Industry Keywords AI Solutions
Generative AI
Chatbots
Machine Learning
Quality Assurance
Automation
Cloud Platforms
RAG Architectures
Tools & Technologies Promptfoo
DeepEval
LangSmith
OpenAI Evals
Azure AI Search
Pinecone
Vector Databases
LangChain
Semantic Kernel
Databricks

#J-18808-Ljbffr

📌 Automation Tester, IA (Centro-Norte)
🏢 Jobtailor
📍 Centro-Norte