Qa engineer - genai & sistemas conversacionales

Descripción del cargo

Descripción del rol
Buscamos un QA Engineer con mentalidad analítica y curiosidad por la inteligencia artificial generativa. Serás responsable de garantizar la calidad de sistemas conversacionales basados en GenAI: desde el diseño y ejecución de pruebas funcionales y exploratorias, hasta el seguimiento de métricas y reporte de defectos en entornos con alta variabilidad de respuestas. Un rol clave para equipos que construyen la nueva generación de productos con LLMs.
Responsabilidades clave
• Diseñar, ejecutar y documentar pruebas funcionales y exploratorias sobre sistemas conversacionales de GenAI.
• Asegurar la calidad de flujos, respuestas de prompts e integraciones dentro de pipelines de IA generativa.
• Reportar y hacer seguimiento de defectos con criterio técnico, considerando la variabilidad inherente de los modelos de lenguaje.
• Recopilar y analizar métricas de calidad para monitorear el comportamiento de los sistemas bajo prueba.
• Gestionar casos de prueba, planes y defectos utilizando Azure DevOps.
• Colaborar con equipos de desarrollo y producto para garantizar que los criterios de aceptación sean claros y verificables.
Requisitos técnicos
• Pruebas manuales — diseño de casos, ejecución y reporte de defectos
• Buenas prácticas de QA y métricas de calidad
• Azure DevOps para gestión y seguimiento de pruebas
• Fundamentos de GenAI — prompts, variabilidad de LLMs y riesgos de alucinaciones
• Agentic AI y flujos conversacionales multi-turno
• Proyectos previos en GenAI o IA agéntica
• Automatización de pruebas