Cuando era niña, siempre pensé que las arenas movedizas y las Fata Morganas ocuparían gran parte de mi vida adulta. Aunque me equivoqué sobre las arenas movedizas, la parte alucinatoria de alguna manera regresó a través de una puerta que no esperaba: mi trabajo. Construyo sistemas de IA, y resulta que las máquinas que ayudo a crear alucinan como profesión.
Una alucinación, en el sentido estándar de un libro de texto psicológico, es una percepción que ocurre sin ningún estímulo externo. En otras palabras, ves algo y no hay nada allí. Los espejismos, como las Fata Morganas, no cuentan: son ilusiones, percepciones reales distorsionadas por la atmósfera (por eso mis caricaturas de la infancia me mintieron técnicamente sobre el desierto). La palabra en sí entró al inglés hace mucho tiempo, en 1646, del latín alucinari, "vagar en la mente". Además de explicar mi cerebro los lunes, el término ha estado vigente en la visión por computadora durante más de dos décadas, describiendo originalmente modelos que detectaban objetos que no existían.
El término permaneció como nicho hasta que los grandes modelos de lenguaje comenzaron a hacerlo ruidosamente y en público. De repente, todo el mundo conocía la palabra y sus consecuencias. Un chatbot te dice que la Mona Lisa fue pintada en 1754; inventa una cifra financiera, un caso judicial, una lista de referencias médicas que suenan plausibles pero no existen en ningún lugar. Y el término en sí es un terrible error de denominación, ya que una alucinación sigue siendo una forma de percepción, y los grandes modelos de lenguaje no tienen percepción para fallar: simplemente estamos vistiendo procesos estadísticos con ropa psicológica elegante pero aún así psicológica. Cuando discutí esto con el neurocientífico Anil Seth, dijo que prefería "confabulación", pero creo que ese término lleva el mismo bagaje antropomórfico, ya que la confabulación es algo que los humanos hacen cuando llenan inconscientemente recuerdos faltantes con invenciones plausibles, lo que implica nuevamente una psicología que estos sistemas simplemente no tienen. Le dije que mi término preferido era botshit, que me han dicho no es apropiado para todas las ocasiones. Esto puede ser una de esas ocasiones.
Entonces, ¿de dónde provienen las alucinaciones? A pesar del abrumador número de expertos en LinkedIn, no lo conocemos completamente. Todavía no hay una teoría empíricamente validada y coherente de por qué exactamente ocurren. Pero sí conocemos los factores que contribuyen: datos de entrenamiento que se contradicen, divergencia entre la fuente y el objetivo, ajuste excesivo a correlaciones espurias, errores en cómo el conocimiento se codifica en miles de millones de parámetros y se decodifica de nuevo, y muchos otros. No es sorprendente que un modelo alucine sobre una lógica de justificación modal de segundo orden, sobre la que no tiene muchos datos en comparación con el último éxito de taquilla de Hollywood.
En charlas y en clases, mi diapositiva de inicio favorita es simplemente preguntar "¿cuál es el único propósito de un gran modelo de lenguaje" en una encuesta anónima. A menudo recibo respuestas como "entender a los humanos", "generar conocimiento", "imitar el razonamiento humano" y respuestas similares, pero la verdad es que los construimos para un solo propósito, y ese es "completar una oración". En términos más técnicos, para predecir el siguiente token más probable. Este proceso optimiza la fluidez más que la verdad o el fundamento fáctico de los datos. Cuando la continuación más probable resulta ser cierta, ¡maravilloso! Cuando es falsa, obtienes disparates seguros entregados exactamente con el mismo tono. Incluso hay un compromiso de ingeniería incorporado: baja el nivel de aleatoriedad, y el modelo se vuelve preciso pero soso, y súbelo, y se vuelve creativo, humanoide y más propenso a inventar cosas (como nosotros). Solo basado en la configuración, no se puede eliminar quirúrgicamente uno y mantener el otro: eres Dr. Jekyll o Mr. Hyde.
Eso me lleva a la pregunta que más nos hacen a menudo como ingenieros, generalmente por clientes o alguien que sostiene el presupuesto de compras como rehén: "¿Puedes garantizar un 100% de precisión?" No, y cualquiera que lo garantice te está vendiendo algo. (Irónicamente, también te estoy vendiendo algo. Se llama Suwali, y hablaremos de eso en breve.)
¿Significa eso que no deberías implementar un chatbot? Tampoco. No nos negamos a trabajar con humanos porque se equivoquen, exageren, confundan cosas y ocasionalmente insistan en que funciona en su máquina (culpable). En cambio, construimos procesos de revisión y pistas de auditoría a su alrededor, por lo que la misma lógica se aplica aquí. No intentamos crear un sistema perfecto, ya que tal cosa no existe, pero la verdadera pregunta es si hemos logrado desarrollar el sistema de manera que sus fallos sean raros, rastreables, detectables y, al final, baratos.
Los bots a menudo fallan en los márgenes: cifras precisas, fechas exactas, citas, nombres de entidades oscuras, a menudo cualquier cosa que haya sucedido recientemente, cualquier cosa en un idioma de bajo recurso (prácticamente todo menos el inglés), y cualquier pregunta formulada de manera que exista una respuesta plausible, ya sea verdadera o no. Es decir, el modelo preferiría darte un año incorrecto que admitir que no tiene idea (y todos conocemos a personas así). Sin embargo, los bots son genuinamente buenos en conversaciones donde la fuente de verdad se encuentra justo al lado del modelo: resumen de un documento que proporcionas, búsqueda de la información en tu colección de documentos, traducción de textos y respuesta a preguntas fundamentadas en una base de conocimientos curada, con las fuentes adjuntas.
La filosofía detrás de Suwali, que estamos construyendo en Meedan, es la de una biblioteca. Un simple chatbot es la persona que leyó todo una vez, hace años, y ahora responde de memoria de manera fluida y confiada, pero a veces te dice que Ryan Gosling es el alcalde de Chicago. A Suwali no se le permite responder de memoria en absoluto – solo prestamos su poder de razonamiento. Cuando se le hace una pregunta, tiene que caminar hacia los estantes – un gráfico de conocimiento repleto de contenido curado por nuestros socios – y recoger los libros reales. Cuando era niño, siempre había una vieja bibliotecaria que sabía exactamente dónde estaba todo. La mía llevaba gafas de lectura y vestidos florales, y en los buenos días, una flor real prendida a su cárdigan. Y era una gran mujer que se movía por los estantes con paso pausado, justo hasta que una pregunta la emocionaba, momento en el cual podía correr más rápido que cualquier niño en el edificio. Parecía llevar toda la biblioteca en su cabeza, pero nunca respondía con su cabeza – respondía con sus pies. Me llevaba al estante, sacaba el libro, lo abría en la página y me mostraba cómo terminar mi ensayo de biología rápidamente. Si la biblioteca no tenía lo que necesitaba, simplemente lo decía, sin inventar que los leones se aparean como medusas, y ninguna cantidad de súplicas podría hacerla inventar un segundo piso que no existía.
Suwali es mi bibliotecaria de la infancia que encuentra libros como ella lo hizo, tanto por el catálogo como por saber de qué trata un libro – búsqueda de texto completo y semántica combinadas – ya que debe responder exclusivamente desde las páginas frente a él. Cada fuente que Suwali cita se concilia contra los documentos que realmente consultó, por lo que citar un libro que tu biblioteca no tiene es estructuralmente imposible. Pero aún tenemos que combatir la fuerte confianza del bot, por lo que antes de que una respuesta llegue a ti, tenemos un equipo de bibliotecarios adicionales – o LLMs como jueces – cuya labor es verificar al anterior. El sistema vuelve a los estantes con una pregunta reformulada, tal vez incluso con una respuesta hipotética para verificar, o simplemente para comprobar si se trata de biología después de todo. Algunas preguntas no pertenecen a los estantes en absoluto, y para esos casos, te lleva al mostrador, donde trabaja un ser humano. Y dado que la desinformación nunca ha esperado cortesmente una traducción al inglés, nuestros estantes son multilingües desde el principio, desde árabe hasta hindi.
Todas estas medidas, por supuesto, no hacen que las alucinaciones sean imposibles, pero sí las hacen raras y responsables. Pero mi infancia me dejó dos imágenes, y solo una de ellas fue mentira. La otra llevaba flores y respondía con sus pies. Dada la elección de en qué construir mi adultez, elegí a la bibliotecaria.
