Evaluar chatbots, un desafío metodológico: de un primer ejercicio con estudiantes a una investigación que sigue creciendo

Un primer análisis de calidad informativa

En los meses de mayo y junio de 2025, un grupo de estudiantes de la Universidad Torcuato Di Tella, bajo la dirección de Natalí Schejtman, se embarcó en un ejercicio pionero para evaluar la calidad de las respuestas de varios chatbots, incluyendo ChatGPT, Grok y Gemini. Durante cinco días, los participantes formularon preguntas sobre acontecimientos relevantes, desde el caso Libra hasta tensiones internacionales, empleando un enfoque que incluía errores intencionales en algunas de las consultas para examinar la capacidad de los chatbots para detectarlos y corregirlos.

Para estructurar el análisis, se desarrolló una matriz con diez variables de contenido basadas en los principios de Krippendorff (2019), abarcando aspectos como la precisión, claridad y la citación de fuentes. Aunque este primer estudio fue limitado en cuanto a la cantidad de datos, permitió identificar tendencias que guiarían futuras investigaciones, revelando que los chatbots a menudo fallaban al no proporcionar contexto temporal en sus respuestas y que la calidad de las fuentes citadas variaba considerablemente.

Avances en la investigación

Las lecciones aprendidas en esta etapa inicial fueron fundamentales para el diseño de una investigación más amplia que se llevó a cabo en abril de 2026. En esta ocasión, se evaluaron las respuestas de los chatbots a preguntas sobre la veracidad de afirmaciones realizadas por el presidente Javier Milei durante la apertura de sesiones del 1° de marzo. El proyecto continúa evolucionando, con el próximo objetivo de implementar un esquema conversacional que permita analizar el comportamiento de los chatbots en diálogos más extensos.

Cada fase de este estudio se ha construido sobre la anterior, y se ha valorado en gran medida la colaboración del grupo de estudiantes que aportaron diversas perspectivas a la evaluación de las respuestas. Este enfoque colectivo se mantiene como una prioridad en cada nueva etapa de la investigación, enriqueciendo el análisis y la comprensión de las capacidades y limitaciones de los chatbots en el ámbito informativo.