Evals de LLM em CI/CD: como testar respostas de IA
Testes unitários não cobrem saídas probabilísticas. Golden datasets, juízes automatizados e gates de regressão.
Guia por tema
Estratégia de testes que dá confiança para entregar: pirâmide de testes, TDD, testes E2E com Playwright, mutation testing e qualidade no code review.
3 tópicos · 10 artigos
O equilíbrio entre testes unitários, de integração e E2E.
Testes unitários não cobrem saídas probabilísticas. Golden datasets, juízes automatizados e gates de regressão.
Cenário de rampa, threshold de p95 que falha o build e k6 no CI. Load testing transforma latência em número que o time defende e investiga com trace.
Cobertura de unit test não percorre o caminho do cliente. Playwright cobre login, checkout e estados de erro com fixtures, Page Objects e CI. Exemplos prontos para copiar.
O ciclo red-green-refactor no dia a dia.
Cobertura conta linhas executadas, não bugs pegos pela suite. Comportamento na frente de implementação, os casos que importam, e três números que medem confiança.
Quality gates, pull requests e boas práticas que seguram a qualidade.
Reviewar screenshot de staging compartilhado não escala. Ambiente por PR com dados sintéticos transforma qualidade de review.
Generics, conditional types e mapped types resolvem problemas específicos de reuso de código e type safety.
A maioria das APIs trata erros de forma inconsistente. Um padrão bem definido reduz bugs de integração e facilita debug.
Merge grava um commit com dois pais e preserva o histórico como aconteceu. Rebase repassa seus commits sobre a main e deixa a linha do tempo em linha reta. As regras de cada um e o fluxo de PR que combina os dois.
Os cinco princípios, o padrão de código que viola cada um e a versão que resolve. Onde aplicar SOLID no projeto e onde ele vira camada inútil.
O objetivo do review de um Staff Engineer é o desenvolvimento do time. Quatro anti-patterns que enfraquecem isso, o formato de comentário que transfere raciocínio e quando sair do teclado e conversar.
É a pirâmide de testes: a maior parte da suíte são testes unitários rápidos, e poucos testes E2E lentos cobrem os fluxos críticos de ponta a ponta.
TDD (antes) é o ideal porque molda o design. Mas testes depois são muito melhores que nenhum teste.
Encontre a causa raiz: problemas de tempo, dependências externas ou estado compartilhado entre testes. Isole o teste e corrija a causa, em vez de adicionar retries.
Uma ferramenta altera o código de propósito para ver se os testes falham. Se nenhum teste falha, aquela parte do código não está realmente coberta.
Entre 70% e 80% é um bom alvo. Cobertura alta ajuda, mas não garante qualidade: importa o que os testes verificam.