Experimento completado

PDF-01: ChatGPT vs Claude vs Gemini con el mismo documento

El protocolo se definió antes de ejecutar la prueba. Los resultados ya están publicados y deben interpretarse dentro de las condiciones registradas.

Entrada

Utilizamos un PDF público de 20–60 páginas con texto, cifras, al menos una tabla y una sección de limitaciones. El archivo fue exactamente el mismo en los tres asistentes.

Las cinco tareas

Resumen en ocho puntos sin información externa.
Extracción de cinco cifras y su contexto.
Identificación de limitaciones reconocidas por el documento.
Extracción de una tabla seleccionada.
Una pregunta de control cuya respuesta no aparece en el PDF.

Qué medimos

Exactitud factual, omisiones, reconocimiento de falta de evidencia, facilidad para volver a la fuente, trabajo de corrección y tiempo total hasta obtener un resultado utilizable.

Qué NO hicimos

No cambiamos el prompt a mitad de prueba para favorecer a una herramienta. No convertimos preferencias de estilo en “precisión”. No publicamos una nota numérica sin poder explicar cómo se calculaba.

Controles de calidad del protocolo

El objetivo del protocolo es que la comparación pueda entenderse sin conocer el resultado de antemano. Por eso se mantienen iguales el material de entrada y las instrucciones relevantes, y se definen los criterios antes de valorar las respuestas.

Qué registramos

Herramienta y contexto de la prueba.
Material utilizado y si es real, público o ficticio.
Prompt o tarea equivalente.
Criterios de evaluación.
Errores, omisiones y limitaciones observadas.

Qué no demuestra una ejecución

Una prueba no demuestra el rendimiento universal de un modelo. Las respuestas pueden variar y los productos cambian. El resultado debe interpretarse dentro de las condiciones publicadas y de la fecha del experimento.