Pular para conteúdo

Aula 13 - Testes e Validação 🧪

Garantindo a Qualidade dos seus Agentes

Agenda de Hoje 📅

  1. Pirâmide de Testes para MCP
  2. Testes Unitários de Ferramentas
  3. Mocking de Clientes e Redes
  4. Testes de IA (Evals)
  5. Monitoramento de Saúde (Metrics)

1. A Camada de Testes 🏗️

  • O código funciona? (Unitário).
  • A comunicação JSON-RPC está correta? (Integração).
  • A IA usa a ferramenta certo? (Evals).

2. Testes Unitários (Jest/PyTest)

test("soma", async () => {
  expect(await soma({a:1, b:2})).toBe(3);
});
  • Rápido, barato e essencial.

3. Usando o MCP Inspector 🔍

  • Simular chamadas manuais.
  • Validar o Handshake.
  • Verificação de Schemas JSON.

4. O que são Evals? 🤖

  • Testes de comportamento do modelo.
  • "Se o usuário diz X, a IA deve chamar Tool Y?".
  • Medem a precisão probabilística.

5. Fluxo de Validação

graph TD
    A[Código do Servidor] --> B[Testes Unitários]
    B --> C[MCP Inspector]
    C --> D[Evals com IA]
    D --> E[Produção]

6. Mocking do Servidor 🎭

  • Testar o Cliente sem precisar do servidor real.
  • Útil para testar interfaces web (Aula 10).

7. Prática: Validando o Trigger

$ prompt-eval "Quanto custa o dólar?"
[RESULT] IA chamou 'get_stock' (ERRO)
[RESULT] IA chamou 'get_currency' (SUCESSO)

8. Monitoramento e Saúde

  • Heartbeat: "O servidor ainda responde?".
  • Error Rate: Porcentagem de falhas.

9. Logs de Depuração (Stderr)

  • Diferencie logs de dados.
  • Ajuda a encontrar bugs "na vida real".

10. Resumo ✅

  • Teste a lógica primeiro.
  • Use o Inspetor para o protocolo.
  • Use Evals para a inteligência.

11. Mini-Projeto: Minha Primeira Suíte

  • Escrever 3 casos de teste para uma ferramenta.

12. Dúvidas? 🤔

"Código não testado é código quebrado."