- Diseñar, desarrollar y mantener frameworks de automatización de pruebas para aplicaciones web, APIs y soluciones basadas en Inteligencia Artificial.
- Implementar pruebas automatizadas funcionales, de integración, regresión y End-to-End.
- Validar aplicaciones de IA Generativa, chatbots, copilots, asistentes virtuales y soluciones basadas en LLMs.
- Evaluar la precisión, consistencia, relevancia y confiabilidad de modelos de Inteligencia Artificial.
- Diseñar estrategias para detectar alucinaciones, sesgos e inconsistencias en respuestas generadas por IA.
- Ejecutar pruebas sobre arquitecturas RAG (Retrieval-Augmented Generation).
- Automatizar pruebas de APIs utilizando herramientas especializadas.
- Implementar pruebas continuas dentro de pipelines CI/CD.
- Colaborar con equipos de Desarrollo, Data Science, Machine Learning e Inteligencia Artificial.
- Definir métricas de calidad para aplicaciones basadas en IA.
- Analizar resultados de pruebas y generar reportes de calidad.
- Participar en revisiones de prompts, evaluaciones de modelos y procesos de Prompt Engineering.
- Validar soluciones implementadas en Azure OpenAI, Azure AI Foundry y plataformas cloud.
- Identificar riesgos funcionales y de calidad antes de la liberación de productos.
- Impulsar mejores prácticas de QA, automatización y AI Testing dentro de la organización.
- Colaborar con especialistas funcionales, técnicos y del negocio para desarrollar la implementación e integración de soluciones y sistemas innovadores.
- Contribuir a la satisfacción del cliente proporcionando servicios y productos que generen valor agregado.

Requirements

- Experiencia como profesional experimentado (Experienced Professionals).
- Deseable experiencia en Promptfoo, DeepEval, LangSmith, OpenAI Evals, Azure AI Search, Pinecone, Vector Databases,



LangChain, Semantic Kernel, CrewAI, AutoGen, Databricks, AWS o GCP.
- Deseable certificación ISTQB.
- Deseable certificación Microsoft Azure AI Engineer Associate (AI-102).
- Deseable experiencia en observabilidad y monitoreo de aplicaciones de IA.
- Pensamiento analítico.
- Atención al detalle.
- Resolución de problemas complejos.
- Comunicación efectiva con equipos técnicos y de negocio.
- Capacidad para investigar comportamientos no determinísticos en sistemas de IA.
- Trabajo cooperativo en equipos multidisciplinarios.

Core Competencies

Demonstrates expertise in designing and maintaining automation frameworks for web applications and AI solutions, with a strong focus on implementing automated testing strategies and validating AI models. Proficient in collaborating with cross-functional teams to enhance quality assurance practices and deliver value-added services.

Highest-signal resume keywords

- Automated Testing Framework Development
- AI Model Validation
- CI/CD Pipeline Implementation
- Azure AI Solutions
- ISTQB Certification

Hard Skills

- Automated Testing
- Integration Testing
- End-to-End Testing
- API Testing
- Quality Metrics Definition
- Prompt Engineering
- Data Analysis
- AI Testing
- Observability
- Problem Solving

Soft Skills

- Analytical Thinking
- Attention to Detail
- Effective Communication
- Collaborative Work

Certifications & Qualifications

- ISTQB Certification
- Microsoft Azure AI Engineer Associate (AI-102)

Industry Keywords

- AI Solutions
- Generative AI
- Chatbots
- Machine Learning
- Quality Assurance
- Automation
- Cloud Platforms
- RAG Architectures

Tools & Technologies

- Promptfoo
- DeepEval
- LangSmith
- OpenAI Evals
- Azure AI Search
- Pinecone
- Vector Databases
- LangChain
- Semantic Kernel
- Databricks

#J-18808-Ljbffr

📌 Automation Tester, IA (Aguascalientes)
🏢 Jobtailor
📍 Aguascalientes