PDF-02: contradicciones y verificación

PDF-02: una prueba más difícil de lectura y verificación

PDF-02 fue la segunda prueba de lectura documental de ATALUMA. Se diseñó para corregir la principal debilidad observada en PDF-01: la pregunta sin respuesta estaba demasiado señalizada.

Qué hizo más difícil PDF-02

Una pregunta sin respuesta y sin ninguna advertencia explícita.
Dos cifras muy parecidas con denominadores distintos.
Una tabla donde porcentaje y puntos porcentuales no son intercambiables.
Información relevante repartida entre texto principal y nota metodológica.
Una aparente contradicción que solo se resuelve leyendo el contexto.

Condiciones registradas

Antes de cada ejecución anotamos fecha, producto, plan y modelo visible cuando el servicio lo mostró. Se utilizó un chat nuevo, el mismo archivo y el mismo prompt, sin preguntas de seguimiento.

Estado

Experimento completado. Ver resultados de PDF-02 →

Controles de calidad del protocolo

El objetivo del protocolo es que la comparación pueda entenderse sin conocer el resultado de antemano. Por eso se mantienen iguales el material de entrada y las instrucciones relevantes, y se definen los criterios antes de valorar las respuestas.

Qué registramos

Herramienta y contexto de la prueba.

Material utilizado y si es real, público o ficticio.

Prompt o tarea equivalente.

Criterios de evaluación.

Errores, omisiones y limitaciones observadas.

Qué no demuestra una ejecución

Una prueba no demuestra el rendimiento universal de un modelo. Las respuestas pueden variar y los productos cambian. El resultado debe interpretarse dentro de las condiciones publicadas y de la fecha del experimento.