Guide Labs estrena un nuevo tipo de LLM interpretable

Guide Labs, una startup fundada por Julius Adebayo y Aya Abdelsalam Ismail, ha lanzado Steerling-8B, un Modelo de Lenguaje Grande (LLM) de 8 mil millones de parámetros entrenado con una arquitectura novedosa diseñada para hacer sus acciones fácilmente interpretables. Esta arquitectura permite rastrear cada token producido por el modelo hasta su origen en los datos de entrenamiento, abordando el desafío de comprender modelos complejos como Grok o ChatGPT. Adebayo explicó que, a diferencia de los métodos actuales que tratan la interpretabilidad como una forma de "neurociencia en un modelo", ellos la han diseñado desde cero. Aunque este enfoque requiere más anotación de datos inicial, el modelo aún exhibe comportamientos emergentes que descubre por sí mismo. Adebayo argumenta que esta arquitectura interpretable será necesaria para que los constructores de modelos puedan, por ejemplo, bloquear el uso de material con derechos de autor o controlar salidas en industrias reguladas como las finanzas. Guide Labs afirma que Steerling-8B logra el 90% de la capacidad de los modelos de frontera utilizando menos datos de entrenamiento. El próximo paso de la compañía es construir un modelo más grande y ofrecer acceso por API y agentes.

(Fuente：TechCrunch)