Cómo probamos las herramientas
Publicaremos las reglas antes de publicar las notas.
1. Definimos la tarea
Fijamos el problema y el criterio de éxito.
2. Igualamos condiciones
Mismas entradas y criterios cuando sea posible.
3. Guardamos evidencia
Resultados, capturas y fecha de prueba.
Proceso de una prueba
Primero definimos la pregunta y la salida esperada. Después cerramos la rúbrica antes de ver resultados, registramos el producto y el modelo visible cuando sea posible y ejecutamos la misma tarea bajo condiciones equivalentes. Guardamos las respuestas y puntuamos únicamente los criterios definidos.
Qué hacemos con los empates
Un empate se publica como empate. No añadimos una trampa posterior solo para fabricar un ganador. Tampoco extrapolamos una prueba pequeña a afirmaciones como “la mejor IA” sin evidencia suficiente.
Variabilidad
Los sistemas generativos pueden responder de forma distinta en otra ejecución. Por eso cada resultado indica sus condiciones y las pruebas futuras podrán incorporar repeticiones cuando la variabilidad sea relevante.