Como saber se a resposta da IA está certa

O problema: o modelo se dá nota alta

Peça para um modelo avaliar a própria resposta de 0 a 10 e ele quase sempre devolve um número alto. A nota parece medição, mas saiu do mesmo processo que gerou a resposta. Se a resposta estava errada, a nota tende a estar errada do mesmo jeito.

Os quatro níveis

1. Teste determinístico. Um código ou regra que sempre dá a mesma resposta. O cálculo bate ou não bate.
2. Feedback do ambiente. O mundo real responde: o código roda, o email é entregue, o cliente responde.
3. Juiz-modelo isolado. Outro modelo avalia o resultado com critérios escritos, sem ver como ele foi produzido.
4. Autoavaliação. O mesmo modelo julga o próprio trabalho. Como prova, vale quase nada.

Como escolher o nível de cada etapa

A autoavaliação não aparece na tabela de propósito. Ela pode melhorar um texto, mas não serve para provar que ele está certo.

Exemplos reais

1. No cognitive-claude, o custo de cada sessão é calculado por um script que lê os logs. Rode de novo e o número é o mesmo.
2. No Branding OS, um validador confere as regras da marca antes de a peça chegar a uma pessoa.
3. No experimento #003, dois auditores rodaram em paralelo sem ver as notas um do outro e encontraram 16 problemas que um só não teria pegado.
4. Este site roda oito testes sobre o próprio código a cada visita, na página Este site por dentro.