Un mejor método para identificar modelos de lenguaje grandes demasiado confiados
Investigadores del MIT desarrollaron un nuevo método para identificar modelos de lenguaje grandes demasiado confiados midiendo el desacuerdo entre múltiples modelos.Resumen
Los modelos de lenguaje grandes (LLM) a menudo generan respuestas creíbles pero inexactas, lo que hace necesaria la cuantificación de la incertidumbre. Los métodos actuales miden principalmente la autoconfianza, lo que puede ser engañoso ya que los LLM pueden estar seguros de estar equivocados. Para abordar esto, los investigadores del MIT introdujeron un nuevo enfoque que mide la "incertidumbre epistémica" – el desacuerdo entre un modelo objetivo y un grupo de LLM similares – que identifica de manera más confiable las respuestas incorrectas pero confiadas. Combinaron esto con una medida de autoconsistencia para crear una métrica de "incertidumbre total" (TU) que superó consistentemente a otras medidas en 10 tareas, incluyendo preguntas y respuestas y razonamiento matemático. Esta mejora en la cuantificación de la incertidumbre puede ayudar a identificar predicciones poco fiables y potencialmente mejorar el entrenamiento de LLM reforzando las respuestas correctas. Los investigadores descubrieron que el uso de modelos entrenados por diferentes empresas proporcionó el conjunto más eficaz para medir la incertidumbre epistémica.
(Fuente：MIT News | Massachusetts Institute of Technology)