Una respuesta convincente no siempre es una respuesta cierta

Introducción

En este ejemplo hipotético, la respuesta parece redonda: doce sesiones de veinte minutos son cuatro horas y, a treinta euros por hora, el curso cuesta ciento veinte euros. Solo hay un problema. La academia había fijado treinta euros por sesión. La cuenta de tiempo está bien, la multiplicación también, y el presupuesto resulta equivocado. Las doce sesiones cuestan 360 euros.

El ejemplo es inventado, pero permite ver dónde se rompe una respuesta convincente. El asistente ha convertido una unidad de facturación en otra que la fuente nunca estableció. Una calculadora confirmaría que 4 × 30 son 120. Para corregir la respuesta hay que volver a leer lo que se cobra, no repetir la operación.

Ese es uno de los riesgos de delegar preguntas en una inteligencia artificial. Podemos recibir un texto claro, con una fuente y herramientas de cálculo, y seguir necesitando comprobar la condición que decide la respuesta. Cada capacidad resuelve una parte del trabajo. Ninguna garantiza por sí sola que las partes encajen.

La comprobación empieza en la pregunta

Imaginemos una situación hipotética. Una persona pide a un asistente un resumen para preparar una reunión. Recibe una página ordenada, con fechas, conclusiones y referencias. Antes de incorporarla al documento de trabajo, necesita resolver algo muy concreto: qué afirmaciones puede justificar delante de los demás. La calidad de la redacción resulta agradable, pero la reunión exige poder explicar de dónde sale cada dato.

Proponemos leer una respuesta con tres preguntas: qué afirma, qué evidencia aporta y qué decisión depende de ello. Este artículo desarrolla ese criterio mediante estudios históricos y ejemplos propios. El objetivo es encontrar un modo de trabajar que deje espacio para consultar, corregir y reconocer lo que todavía no se ha comprobado.

Cómo se produce un error plausible

El perfil de NIST de 2024 relaciona la confabulación con la generación estadística. Al predecir unidades de texto, llamadas tokens, un modelo puede producir contenido coherente que contiene falsedades. Las citas y explicaciones también pueden ser inventadas [1]. El perfil describe riesgos y acciones, sin establecer una tasa universal de error.

Conviene evaluar por separado claridad y respaldo. Para aceptar un dato o una conclusión, buscamos una comprobación adecuada a esa afirmación.

Qué aporta recuperar documentos

Lewis y sus coautores presentaron en 2020 una arquitectura RAG que combinaba información aprendida durante el entrenamiento con pasajes recuperados de Wikipedia. Ese índice externo podía inspeccionarse y actualizarse. En las tareas estudiadas, sus modelos generaron contenido más factual que la referencia BART, aunque los autores advirtieron de errores y sesgos en las propias fuentes [2]. Aquella mejora describe sus experimentos, no certifica los servicios actuales.

Cuando una respuesta incluye un documento, el contraste empieza por localizar el pasaje que sostiene la afirmación que queremos utilizar. Un enlace abre una posibilidad de contraste. Para completar ese contraste, hace falta leer el contenido pertinente y comprobar si permite decir exactamente lo que se está diciendo.

Lo que cabe en el contexto y lo que se utiliza

Liu y sus coautores estudiaron preguntas sobre varios documentos y recuperación de pares de datos. En sus pruebas, la posición del pasaje relevante podía afectar al acierto aunque la respuesta estuviera dentro del contexto recibido. En otro experimento, recuperar más documentos no mejoraba proporcionalmente las respuestas [3]. Los resultados variaban entre modelos. Publicado en 2024, el estudio no demuestra que todos los sistemas de 2026 tengan el mismo comportamiento.

La distinción que extraemos para el trabajo cotidiano es sencilla, recuperar y utilizar información son pasos distintos. Aunque todo el material quepa en la ventana de contexto, queda comprobar qué permite concluir el pasaje relevante.

Qué cambia al utilizar herramientas

Toolformer exploró en 2023 el uso de operaciones externas mediante herramientas, entre ellas calculadora y búsqueda. El modelo incorporaba los resultados a la generación y mejoraba en las tareas evaluadas. Sus autores registraron sensibilidad a la formulación de la entrada y límites para encadenar herramientas [4]. Son resultados de aquella implementación basada en GPT-J, no un inventario de capacidades de los asistentes actuales.

La calculadora del ejemplo inicial hace exactamente lo que se le pide: 4 × 30 = 120. El error aparece antes, al decidir qué multiplicar. La tarifa establecía treinta euros por sesión, de modo que el presupuesto correcto es 12 × 30 = 360 euros. La diferencia es de 240 euros. Tener cuatro horas de clase no convierte una tarifa por sesión en otra por hora.

Un ejemplo hipotético de trabajo

Supongamos que un equipo compara dos programas para organizar proyectos. La tarea propuesta al asistente es preparar una tabla de requisitos: exportación de archivos, permisos y precio para un número determinado de personas. El resultado inicial sería un documento de trabajo sujeto a comprobación.

Para contrastarla, asignaríamos a cada casilla una página oficial y una fecha de consulta. Si una página describe solo un plan comercial, limitaríamos la conclusión a ese plan. Si el precio depende de una condición que no hemos fijado, dejaríamos la casilla abierta. Antes de contratar, quien toma la decisión tendría que revisar los requisitos decisivos y confirmar las condiciones aplicables. El ejemplo no describe productos reales ni afirma que un asistente pueda completar estos pasos sin supervisión.

Un ejemplo hipotético de aprendizaje

Imaginemos ahora a una estudiante que trabaja con un capítulo facilitado por su profesor. Podría pedir un esquema de sus argumentos y una lista de dudas para la siguiente lectura. Conservar junto al esquema los párrafos pertinentes del capítulo permitiría revisarlo.

Si aparece una interpretación nueva, la marcaríamos como interpretación y buscaríamos qué parte del texto la hace razonable. Si surge un dato ajeno al capítulo, lo trataríamos como una cuestión adicional que requiere otra fuente. El trabajo de estudio puede continuar explicando el argumento con palabras propias y volviendo al original cuando falte una conexión. Este uso es una propuesta didáctica nuestra. No se presenta como resultado demostrado de los estudios citados ni como sustituto del criterio del profesor.

Un proceso editorial de uso y contraste

El proceso que planteamos empieza por definir el producto esperado y su destinatario. Un esquema para pensar admite preguntas abiertas. Un informe que otra persona usará para actuar requiere señalar qué está comprobado y qué sigue abierto. Escribir esa diferencia antes de pedir la respuesta ayuda a fijar el trabajo de revisión que queremos realizar.

Después, elegiríamos las afirmaciones decisivas y les asignaríamos una comprobación concreta. Para un dato documental, abrir el original y localizar el pasaje. Para una operación, revisar las entradas, las unidades y el resultado. Para una interpretación, anotar los pasos que conectan las premisas con la conclusión y considerar una lectura alternativa.

Las dudas también necesitan un registro útil. En lugar de cerrar una casilla por obligación, podemos describir qué falta y quién podría resolverlo. Pedir al asistente que organice esas dudas puede formar parte del encargo, siempre sujeto al mismo contraste.

Finalmente, guardaríamos una versión revisada con sus fuentes y fecha. La revisión competente y la decisión final deben quedar asignadas a alguien cuando las consecuencias lo justifiquen. Este proceso es una propuesta editorial de trabajo, no un protocolo certificado ni una promesa de eliminar errores.

Qué merece una evaluación nueva

Nuestro criterio práctico es exigir respaldo para aquello que vayamos a utilizar. Si cambia el asistente, los documentos disponibles o el tipo de tarea, conviene volver a probar el procedimiento con casos representativos antes de dar por suficiente una evaluación anterior. Registrar aciertos y errores puede orientar esa revisión local.

Quedaría por comprobar en cada caso cuánto tiempo exige revisar, qué errores se detectan y cuáles necesitan conocimiento especializado. La utilidad de una respuesta debe juzgarse junto con ese trabajo pendiente. Un resultado bien escrito puede ser el comienzo de una investigación que todavía requiere lectura, cálculo y conversación.

En el presupuesto de la academia, todo el proceso se concreta en conservar una palabra: sesión. La utilidad del asistente incluye el trabajo necesario para comprobar que las condiciones llegan intactas desde la fuente hasta la conclusión. Una multiplicación correcta no repara una condición cambiada.