El problema: el modelo se pone nota alta
Pide a un modelo que evalúe su propia respuesta de 0 a 10 y casi siempre devuelve un número alto. La nota parece medición, pero salió del mismo proceso que generó la respuesta. Si la respuesta estaba mal, la nota suele estar mal de la misma forma.
Los cuatro niveles
- Prueba determinista. Un código o regla que siempre da la misma respuesta. El cálculo cuadra o no cuadra.
- Feedback del entorno. El mundo real responde: el código corre, el email se entrega, el cliente responde.
- Juez-modelo aislado. Otro modelo evalúa el resultado con criterios escritos, sin ver cómo se produjo.
- Autoevaluación. El mismo modelo juzga su propio trabajo. Como prueba, vale casi nada.
Cómo elegir el nivel de cada etapa
| Tipo de etapa | Ejemplo | Nivel que cabe |
|---|---|---|
| Formato o regla fija | JSON válido, suma que cuadra, enlace que existe | Prueba determinista |
| Acción en el mundo | Email enviado, deploy en línea, pago aprobado | Feedback del entorno |
| Calidad subjetiva | Tono de voz, claridad, ajuste a la marca | Juez-modelo aislado, con criterios |
La autoevaluación no aparece en la tabla a propósito. Puede mejorar un texto, pero no sirve para probar que está bien.
Ejemplos reales
- En cognitive-claude, el costo de cada sesión lo calcula un script que lee los logs. Córrelo de nuevo y el número es el mismo.
- En Branding OS, un validador revisa las reglas de la marca antes de que la pieza llegue a una persona.
- En el experimento #003, dos auditores corrieron en paralelo sin ver las notas del otro y encontraron 16 problemas que uno solo no habría detectado.
- Este sitio corre ocho pruebas sobre su propio código en cada visita, en la página Este sitio por dentro.
Preguntas frecuentes
¿Pedirle a la IA que revise su propia respuesta ayuda?
Puede mejorar la forma. No sirve como prueba de que la respuesta está bien.
¿Un juez-modelo es confiable?
Más que la autoevaluación, siempre que tenga criterios escritos y no vea cómo se produjo la respuesta. Menos que una prueba.
¿Verificar todo no sale caro?
Cada nivel hacia arriba da más trabajo construir. Empieza por las etapas en las que un error le cuesta más caro al negocio.
¿Quieres aplicar esto en tu operación?
La primera conversación es un diagnóstico de una hora, gratuito.