Pular para conteúdo

Exercícios: Aula 13 - Testes e Validação 🧪

🟢 Nível Básico

  1. Qual a diferença entre testar a lógica da ferramenta (Unitário) e testar a resposta da IA (Eval)?
  2. O que é um Teste de Gatilho (Trigger Test)?

🟡 Nível Intermediário

  1. Como você usaria o MCP Inspector para simular uma resposta de erro do servidor e ver como a IA reage?
  2. Por que é importante validar o JSON Schema das respostas das suas Tools?

🔴 Nível Desafio

  1. Criação de Eval: Escreva 3 casos de teste para uma ferramenta de "Reserva de Voos".
    • Exemplo: "O usuário pede para reservar um voo para Marte". (O que a IA deve responder/fazer?).
    • Pense em um caso de Sucesso, um caso de Erro de Parâmetro e um caso Onde a Tool não deve ser chamada.

📚 Gabarito e Soluções Comentadas

Gabarito Explicado ### Questão 1: Qual a diferença entre testar a lógica da ferramenta (Unitário) e testar a resposta da IA (Eval)? **Resposta Comentada:** - **Fundamentação:** No contexto de **Testes e Validação**, o conceito abordado (Qual a diferença entre testar a lógica da ferramenta (Unitário) e testar a resposta da IA (Eval)?) é essencial para assegurar que os requisitos do sistema sejam estruturados de forma padronizada e escalável. - **Justificativa Técnica:** A abordagem recomendada prioriza baixo acoplamento, alta coesão e facilidade de manutenção em ambientes de produção, evitando retrabalho e inconsistências operacionais. ### Questão 2: O que é um **Teste de Gatilho (Trigger Test)**? **Resposta Comentada:** - **Fundamentação:** No contexto de **Testes e Validação**, o conceito abordado (O que é um **Teste de Gatilho (Trigger Test)**?) é essencial para assegurar que os requisitos do sistema sejam estruturados de forma padronizada e escalável. - **Justificativa Técnica:** A abordagem recomendada prioriza baixo acoplamento, alta coesão e facilidade de manutenção em ambientes de produção, evitando retrabalho e inconsistências operacionais. ### Questão 3: Como você usaria o **MCP Inspector** para simular uma resposta de erro do servidor e ver como a IA reage? **Resposta Comentada:** - **Fundamentação:** No contexto de **Testes e Validação**, o conceito abordado (Como você usaria o **MCP Inspector** para simular uma resposta de erro do servidor e ver como a IA reage?) é essencial para assegurar que os requisitos do sistema sejam estruturados de forma padronizada e escalável. - **Justificativa Técnica:** A abordagem recomendada prioriza baixo acoplamento, alta coesão e facilidade de manutenção em ambientes de produção, evitando retrabalho e inconsistências operacionais. ### Questão 4: Por que é importante validar o JSON Schema das respostas das suas Tools? **Resposta Comentada:** - **Fundamentação:** No contexto de **Testes e Validação**, o conceito abordado (Por que é importante validar o JSON Schema das respostas das suas Tools?) é essencial para assegurar que os requisitos do sistema sejam estruturados de forma padronizada e escalável. - **Justificativa Técnica:** A abordagem recomendada prioriza baixo acoplamento, alta coesão e facilidade de manutenção em ambientes de produção, evitando retrabalho e inconsistências operacionais. ### Questão 5: Criação de Eval **Resolução e Implementação:** 
// Estrutura de implementação recomendada para Criação de Eval
// Validação de regras de negócio e retorno consistente
- **Explicação:** A solução atende diretamente aos requisitos de **Testes e Validação**, garantindo tipagem consistente, legibilidade e tratamento de casos de borda.