O problema que você vai resolver.
Uma aplicação deve responder a perguntas usando apenas documentos de uma organização fictícia. O trabalho é separar recuperação, geração, validação do formato e revisão do significado.
O kit inclui três documentos sintéticos, busca local autorizada, chamadas REST à Responses API e uma demonstração fixa para executar sem chave. A etapa online é opcional e usa a configuração da sua conta.
Comece pelos arquivos.
Requisito local: Python 3.10 ou posterior. Os exemplos usam a biblioteca padrão e não exigem instalar pacotes externos.
python -m unittest discover -s tests -v python app.py --demo python avaliar.py
Os comandos verificam o comportamento local, uma integração simulada, uma resposta fixa e a recuperação lexical. O README explica como configurar a execução online e seus custos.
Roteiro de trabalho
- Execute os testes e a demonstração sem chave.
- Inspecione os três documentos sintéticos e o conjunto de avaliação.
- Entenda o que a conferência literal valida e o que exige revisão humana.
- Opcionalmente configure modelo e chave no seu ambiente para executar a API.
- Revise respostas por dimensão e estime custo com os preços aplicáveis à sua conta.
Critérios de aceite.
- Somente a busca nos documentos autorizados pode ser executada pelo modelo.
- A aplicação rejeita evidência inventada ou documento não recuperado.
- A demonstração fixa não é apresentada como resultado de IA.
- A resposta real é revisada quanto ao significado, além de formato e citação.
- Custos são estimados com tokens observados e preços informados, sem tabela inventada.
O que foi verificado.
Código local, validação, recuperação lexical, custo e contrato de integração com transporte simulado.
- 25 testes offline passaram.
- Integração simulada verificou duas requisições, ferramenta autorizada, preservação de estado e saída estruturada.
- Recuperação lexical: 9 de 10 critérios passaram. E10 recuperou um documento sem suporte ao assunto por uma palavra genérica.
- Demonstração fixa validada: 1 citação literal conferida, sem API.
Limites do exercício
- Integração online não executada, pois não foram disponibilizadas credenciais.
- Nenhuma precisão ou resistência de modelo foi medida. 9/10 refere-se apenas ao recuperador lexical deste conjunto.
- Citações literais não comprovam apoio semântico; revisão humana continua necessária.
- Custos reais não medidos. O estimador exige uso retornado e preços informados pelo operador.
Arquivos para baixar.
Fontes e referências
Consulte a documentação original para disponibilidade e condições atuais. Fontes consultadas em 21 de outubro de 2026.
Continue aprendendo
OpenAI para Devs
Construa soluções com a API da OpenAI, ferramentas, RAG e MCP. Aprenda a medir qualidade, controlar custos e operar agentes que entregam resultados verificáveis.
Conhecer a formação