📊 Cap 19: Avaliação de Sistemas de IA e LLMOps: RAG Triad, Ragas, Tracing com LangSmith e Gestão de Custos

🗺️ A Tríade de Avaliação RAG (RAG Triad) e Métricas Automatizadas (LLM-as-a-Judge)

flowchart TD
    QUERY["Pergunta do Usuário"]
    CONTEXT["Contexto Recuperado (Chunks)"]
    ANSWER["Resposta Gerada pelo LLM"]

    QUERY <--> |"1. Relevância do Contexto (Context Relevance)\nO chunk recuperado é realmente relevante para a pergunta?"| CONTEXT
    CONTEXT <--> |"2. Fidelidade / Groundedness (Faithfulness)\nA resposta se apoia estritamente no contexto ou contém alucinações?"| ANSWER
    QUERY <--> |"3. Relevância da Resposta (Answer Relevance)\nA resposta atende objetivamente ao que o usuário perguntou?"| ANSWER

    EVAL["Framework Ragas / TruLens: Avaliação Contínua com LLM-as-a-Judge ⚡"]
    QUERY & CONTEXT & ANSWER -.-> EVAL

    style QUERY fill:#ede7f6,stroke:#512da8,stroke-width:2px
    style CONTEXT fill:#e1f5fe,stroke:#03a9f4,stroke-width:2px
    style ANSWER fill:#e8f5e9,stroke:#4caf50,stroke-width:2px
    style EVAL fill:#00897b,stroke:#004d40,stroke-width:2px,color:#ffffff

📖 Fundamentos e Aplicação

Colocar um protótipo de IA para funcionar em um notebook é simples; mantê-lo em produção com qualidade auditada, latência estável e custos controlados exige práticas maduras de LLMOps (Large Language Model Operations).

Pilares de LLMOps e Avaliação:

RAG Triad: Metodologia essencial para isolar a causa raiz de falhas no RAG:
- Se a resposta for ruim mas a Fidelidade for alta, o problema está na recuperação de contexto.
- Se o Context Relevance for alto mas a resposta for falsa, o problema é alucinação do modelo gerador.
LLM-as-a-Judge (Framework Ragas): Utilização de modelos avançados (como GPT-4o) para atribuir notas algorítmicas de 0.0 a 1.0 para fidelidade, precisão semântica e toxicidade.
Tracing Distribuído e Observabilidade (LangSmith / Phoenix / Arize): Rastreamento de grafos de chamadas, contagem de tokens de entrada/saída, latência por nó e monitoramento contínuo de drift semântico.

🧭 Navegação Rápida

🧭 Navegação do Capítulo: ⬅️ Capítulo Anterior · 📚 Sumário do Módulo · ➡️ Próximo Capítulo