BLACK FRIDAY 50% em todos os cursos com o cupom BLACK50, até 30/11 →GRÁTIS Curso gratuito de ChatGPT: lançamento 17/11, garanta sua vagaCurso gratuito de ChatGPT no ar, receba o acesso por e-mail →

OpenAI para desenvolvedores

Como avaliar um agente de IA antes de ampliar seu uso

Avaliar um agente exige olhar para o caminho e para o resultado. Ele pode apresentar uma resposta convincente depois de consultar a fonte errada ou tentar uma ação fora do escopo. Este roteiro propõe uma avaliação pequena e rastreável, com critérios definidos antes da execução.

Descreva a tarefa e seus limites

Considere um agente fictício que prepara respostas para solicitações internas. Ele consulta uma base autorizada, identifica informações ausentes e produz um rascunho. Enviar a resposta ou alterar um cadastro não faz parte dessa primeira versão.

Escreva uma definição de sucesso: entender a solicitação, localizar a orientação aplicável, preservar condições e entregar um rascunho correto. Defina também falhas relevantes, como usar uma regra vencida, inventar uma aprovação ou executar uma ferramenta de alteração sem autorização.

    Monte casos que representem decisões diferentes

    Comece com um conjunto que consiga revisar manualmente. Vinte casos podem servir como exercício inicial, desde que não sejam apresentados como amostra representativa de toda a operação. Registre entrada, contexto, resultado esperado e justificativa de cada caso.

    Inclua situações comuns, ambíguas e sem solução na base. Acrescente mudanças de assunto, ferramentas indisponíveis e documentos que contêm instruções conflitantes com a tarefa. O objetivo é observar decisões importantes, não apenas acumular exemplos em que a resposta é óbvia.

      Avalie etapas e resposta final separadamente

      Para cada execução, registre o que o agente consultou, quais ferramentas selecionou, quais argumentos enviou e como tratou erros. Essa trilha permite distinguir uma busca inadequada de uma interpretação errada de um trecho correto.

      A documentação da OpenAI recomenda avaliações específicas para o comportamento da aplicação, incluindo seleção de ferramentas e qualidade da saída. Aqui, a proposta é combinar verificações objetivas com revisão humana dos casos em que a qualidade exige contexto.

      • Tarefa: a solicitação foi entendida e concluída dentro do escopo?
      • Evidência: a fonte utilizada sustenta a conclusão?
      • Ferramenta: a operação e os argumentos estavam corretos?
      • Limites: o agente pediu esclarecimento ou parou quando necessário?
      • Entrega: a resposta é utilizável e mantém as condições relevantes?

      Defina uma rubrica antes de olhar os resultados

      Uma rubrica simples pode marcar cada critério como atendido, parcialmente atendido ou não atendido, sempre com justificativa. Defina o que cada categoria significa. Para fonte, por exemplo, parcialmente atendido pode indicar que a referência existe, mas não sustenta todas as afirmações.

      Trate falhas críticas separadamente da média. Uma ação não autorizada não deve desaparecer porque o texto recebeu boa nota de clareza. Se usar outro modelo como avaliador, confira uma amostra de seus julgamentos com pessoas e registre divergências antes de confiar na pontuação automática.

        Compare mudanças sem ajustar ao teste inteiro

        Guarde uma versão do agente e rode o conjunto antes da alteração. Mude uma parte relevante, como instrução, busca ou ferramenta, e repita o procedimento. Registre modelo, configuração e data. Se houver variação entre execuções, mostre todas as tentativas previstas pelo protocolo.

        Separe exemplos usados para melhorar o fluxo de exemplos reservados para conferir a melhoria. Se você ajusta continuamente a solução aos mesmos casos, pode aprender a passar no exercício sem melhorar o comportamento em solicitações novas. Acrescente casos reais revisados conforme o uso evoluir.

          Use os erros para decidir o próximo passo

          Agrupe falhas por causa: informação ausente, recuperação, interpretação, argumento de ferramenta, execução ou apresentação. Priorize as que afetam a utilidade e os limites do agente. Adicionar mais agentes ou etapas só faz sentido quando resolve um problema identificado e não cria regressões maiores.

          O relatório final deve mostrar casos aprovados, pendências, falhas críticas, custo e esforço de revisão. A avaliação acompanha o produto: mudanças de modelo, documentos, ferramentas ou público podem exigir novos testes. O conjunto inicial é o começo de um processo, não um selo permanente de confiabilidade.

            Fontes e referências

            Consulte a documentação original para disponibilidade e condições atuais. Fontes consultadas em 21 de outubro de 2026.