Evals de LLM en CI/CD: cómo probar respuestas de IA
Los tests unitarios no cubren salidas probabilísticas. Golden datasets, jueces automatizados y gates de regresión.
Guía por tema
Una estrategia de testing que da confianza para entregar: pirámide de tests, TDD, tests E2E con Playwright, mutation testing y calidad en el code review.
3 temas · 10 artículos
El equilibrio entre tests unitarios, de integración y E2E.
Los tests unitarios no cubren salidas probabilísticas. Golden datasets, jueces automatizados y gates de regresión.
Un escenario de rampa, un umbral p95 que hace fallar el build y k6 en el CI. El load testing convierte la latencia en un número que el equipo defiende e investiga con traces.
La cobertura de unit test no recorre el camino del cliente. Playwright cubre login, checkout y estados de error con fixtures, Page Objects y CI. Ejemplos listos para copiar.
El ciclo red-green-refactor en el día a día.
La cobertura cuenta líneas ejecutadas, no bugs detectados por la suite. Comportamiento sobre implementación, los casos que importan y tres números que miden confianza.
Quality gates, pull requests y buenas prácticas que sostienen la calidad.
Revisar screenshots de un staging compartido no escala. Un ambiente por PR con datos sintéticos transforma la calidad del review.
Los generics, conditional types y mapped types resuelven problemas concretos de reutilización de código y type safety.
La mayoría de las APIs trata errores de forma inconsistente. Un patrón bien definido reduce bugs de integración y facilita el debug.
Merge escribe un commit con dos padres y preserva el historial tal como ocurrió. Rebase repasa tus commits sobre main y deja la línea de tiempo recta. Las reglas de cada uno y el flujo de PR que combina los dos.
Los cinco principios, el patrón de código que viola cada uno y la versión que lo resuelve. Dónde rinde SOLID en un proyecto y dónde se vuelve capa inútil.
El review de un Staff Engineer existe para desarrollar al equipo. Cuatro anti-patterns que lo debilitan, el formato de comentario que transfiere razonamiento y cuándo dejar el teclado y hablar.
Es la pirámide de tests: la mayor parte de la suite son tests unitarios rápidos, y pocos tests E2E lentos cubren los flujos críticos de punta a punta.
TDD (antes) es lo ideal porque moldea el diseño. Pero tests escritos después son mucho mejores que ningún test.
Encuentra la causa raíz: problemas de tiempo, dependencias externas o estado compartido entre tests. Aísla el test y corrige la causa en lugar de agregar reintentos.
Una herramienta modifica el código a propósito para ver si los tests fallan. Si ningún test falla, esa parte del código no está realmente cubierta.
Entre 70% y 80% es una buena meta. La cobertura alta ayuda, pero no garantiza calidad: importa lo que verifican los tests.