En un estudio, el modelo de IA OpenScholar sintetiza la investigación científica y cita fuentes con tanta precisión como los expertos humanos
OpenScholar, un nuevo modelo de IA de código abierto, sintetiza la investigación científica con una precisión de citación comparable a la de los expertos humanos.Resumen
Investigadores de la Universidad de Washington (UW) y el Instituto Allen de IA (Ai2) desarrollaron OpenScholar, un modelo de IA de código abierto diseñado específicamente para sintetizar la investigación científica actual y citar fuentes con precisión, abordando los problemas de alucinación comunes en modelos de propósito general como GPT-4o.
El equipo creó ScholarQABench, el primer punto de referencia grande y multidominio para evaluar la síntesis de investigación, utilizando 3,000 consultas y 250 respuestas escritas por expertos. OpenScholar fue entrenado con 45 millones de artículos científicos y utiliza generación aumentada por recuperación para incorporar investigación emergente. En las pruebas, OpenScholar citó fuentes con tanta precisión como los expertos humanos, y los científicos prefirieron sus respuestas al 51% de las veces en comparación con las escritas por expertos en la materia.
El autor principal, Hannaneh Hajishirzi, señaló la gran demanda de este sistema transparente y de código abierto. Cuando los métodos de citación de OpenScholar se combinaron con GPT-4o, los científicos prefirieron las respuestas escritas por IA el 70% de las veces, superando significativamente el 32% de preferencia para GPT-4o por sí solo. El código y la demostración del proyecto están disponibles públicamente, y el equipo ya está trabajando en un modelo de seguimiento llamado DR Tulu.
(Fuente：UW News)