Quand j'étais petite, je pensais toujours que les sables mouvants et les Fata Morganas allaient occuper une grande partie de ma vie d'adulte. Même si je me suis trompée sur les sables mouvants, la partie hallucinatoire a trouvé sa voie de retour par une porte que je ne m'attendais pas - mon travail. Je construis des systèmes d'IA, et il s'avère que les machines que j'aide à créer hallucinent pour vivre
Une hallucination, dans le sens standard d'un manuel de psychologie, est une perception qui se produit sans stimulus externe. En d'autres termes, vous voyez quelque chose, et il n'y a rien là. Les mirages, comme les Fata Morganas, ne comptent pas : ce sont des illusions, des perceptions réelles déformées par l'atmosphère (ce qui explique pourquoi mes dessins animés d'enfance m'ont techniquement menti sur le désert). Le mot lui-même est entré en anglais il y a longtemps, en 1646, du latin alucinari, "errer dans l'esprit". En plus d'expliquer mon cerveau le lundi, le terme est utilisé en vision par ordinateur depuis plus de deux décennies, décrivant initialement des modèles qui détectaient des objets qui n'étaient pas là.
Le terme est resté confiné jusqu'à ce que de grands modèles linguistiques commencent à le faire bruyamment et en public. Soudain, tout le monde connaissait le mot et ses conséquences. Un chatbot vous dit que la Joconde a été peinte en 1754; il invente une donnée financière, une affaire judiciaire, une liste de références médicales qui semblent plausibles mais qui n'existent nulle part. Et ce terme lui-même est une terrible erreur de dénomination puisque une hallucination est encore une forme de perception, et les grands modèles de langage n'ont pas de perception à échouer : nous ne faisons que déguiser des processus statistiques en vêtements psychologiques élégants. Quand j'en ai discuté avec le neuroscientifique Anil Seth, il a dit qu'il préférait "confabulation", mais je pense que ce terme porte le même bagage anthropomorphique, puisque la confabulation est quelque chose que les humains font lorsqu'ils remplissent inconsciemment les lacunes de leur mémoire avec des inventions plausibles, impliquant encore une psychologie que ces systèmes n'ont tout simplement pas. Je lui ai dit que mon terme préféré était botshit, ce qui, m'a-t-on dit, n'est pas approprié pour toutes les occasions. Cela pourrait être l'une de ces occasions.
Alors, d'où viennent les hallucinations ? Malgré l'énorme nombre d'experts sur LinkedIn, nous ne savons pas entièrement. Il n'existe toujours pas de théorie empiriquement validée et cohérente expliquant pourquoi elles se produisent exactement. Mais nous connaissons les facteurs contributifs : des données d'entraînement qui se contredisent, une divergence entre la source et la cible, un surapprentissage de corrélations fallacieuses, des erreurs dans la manière dont la connaissance est encodée dans des milliards de paramètres et décodée, et bien d'autres. Il n'est pas surprenant qu'un modèle hallucine à propos d'une logique de justification modale d'ordre supérieur, sur laquelle il n'a pas beaucoup de données par rapport au dernier blockbuster hollywoodien.
Dans les conférences et les cours, ma diapositive de départ préférée est de simplement demander "quel est l'unique objectif d'un grand modèle de langage" dans un sondage anonyme. Je reçois souvent des réponses comme "comprendre les humains", "générer des connaissances", "imiter le raisonnement humain" et des réponses profondes similaires, mais la vérité est que nous les avons construits dans un seul but, qui est "compléter une phrase". En termes plus techniques, pour prédire le prochain token le plus probable. Ce processus optimise la fluidité plutôt que la vérité ou la factualité des données. Quand la continuation la plus probable se trouve être vraie, c'est merveilleux ! Quand elle est fausse, vous obtenez un non-sens confiant livré avec le même ton. Il y a même un compromis d'ingénierie intégrée : réduisez l'aléatoire, et le modèle devient précis mais ennuyeux, et augmentez-le, et il devient créatif, humain, et plus susceptible d'inventer des choses (comme nous le faisons). Rien que sur ce principe, vous ne pouvez pas éliminer chirurgicalement l'un et garder l'autre : vous êtes soit Dr. Jekyll soit Mr. Hyde.
Cela m'amène à la question que nous, en tant qu'ingénieurs, nous nous faisons le plus souvent poser, généralement par des clients ou quelqu'un tenant en otage un budget d'approvisionnement : "Pouvez-vous garantir une précision de 100% ?" Non, et toute personne qui vous le garantit vous vend quelque chose. (Ironiquement, je vous vends aussi quelque chose. Cela s'appelle Suwali, et nous y reviendrons sous peu.
Cela signifie-t-il que vous ne devriez pas mettre en œuvre un chatbot ? Aussi non. Nous ne refusons pas de travailler avec les humains car ils se trompent, exagèrent, mélangent les choses et insistent parfois sur le fait que cela fonctionne sur leur machine (coupable comme accusé). Au contraire, nous construisons des processus de révision et des pistes d'audit autour d'eux, donc la même logique s'applique ici. Nous ne cherchons pas à créer un système parfait, car une telle chose n'existe pas, mais la vraie question est de savoir si nous avons réussi à concevoir le système de manière à ce que ses échecs soient rares, traçables, détectables, et, à la fin, bon marché
Les bots échouent souvent aux extrémités – chiffres précis, dates exactes, citations, noms d'entités obscures, souvent tout ce qui s'est passé récemment, tout ce qui est dans une langue à faible ressources (pratiquement tout sauf l'anglais), et toute question formulée de manière à ce qu'une réponse plausible semble exister, qu'elle soit vraie ou non. Autrement dit, le modèle vous remettrait plus tôt une mauvaise année que d'admettre qu'il n'a aucune idée (et nous connaissons tous des gens comme ça). Cependant, les bots sont vraiment bons dans les conversations où la source de vérité est juste à côté du modèle : résumer un document que vous avez fourni, trouver l'information dans votre collection de documents, traduire des textes et répondre à des questions basées sur une base de connaissances organisée, avec des sources attachées.
La philosophie derrière Suwali, que nous créons chez Meedan, est celle d'une bibliothèque. Un chatbot standard est la personne qui a tout lu une fois, il y a des années, et qui répond maintenant de mémoire avec éloquence et assurance, mais vous dit parfois que Ryan Gosling est le maire de Chicago. Suwali n'est pas autorisé à répondre de mémoire - nous ne faisons qu'emprunter son pouvoir de raisonnement. Lorsqu'on lui pose une question, il doit se rendre aux rayonnages - un graphe de connaissances alimenté de contenu organisé par nos partenaires - et choisir les véritables livres. Quand j'étais enfant, nous avions toujours un vieux bibliothécaire qui savait exactement où tout se trouvait. La mienne portait des lunettes de lecture et des robes fleuries, et les bons jours, une vraie fleur accrochée à son gilet. Et c'était une grande femme qui se déplaçait dans les rayonnages à un rythme tranquille, jusqu'à ce qu'une question l'excite, auquel cas elle pouvait distancer tous les enfants du bâtiment. Elle semblait porter toute la bibliothèque dans sa tête, mais elle ne répondait jamais avec sa tête - elle répondait avec ses pieds. Elle me conduisait jusqu'à l'étagère, tirait le livre, l'ouvrait sur la page et me montrait comment finir rapidement mon essai de biologie. Si la bibliothèque n'avait pas ce dont j'avais besoin, elle le disait simplement, sans inventer que les lions s'accouplaient comme des méduses, et aucune quantité d'insistance ne pouvait lui faire inventer un deuxième étage qui n'existait pas.
Suwali est mon bibliothécaire d'enfance qui trouve les livres comme elle le faisait, à la fois par le catalogue et en connaissant le contenu d'un livre - recherche en texte intégral et recherche sémantique combinées - puisqu'il doit répondre exclusivement à partir des pages devant lui. Chaque source que Suwali cite est conciliée par rapport aux documents qu'il a effectivement extraits, de sorte que citer un livre que votre bibliothèque ne possède pas est structurellement impossible. Mais nous devons toujours lutter contre la forte assurance du bot, alors avant qu'une réponse ne vous parvienne, nous avons une équipe de bibliothécaires supplémentaires - ou des grands modèles de langage en tant que juges - dont le rôle est de vérifier le précédent. Le système retourne aux rayonnages avec une question reformulée, peut-être même avec une réponse hypothétique à vérifier, ou simplement pour vérifier si c'est bien de biologie qu'il s'agit. Certaines questions n'ont pas leur place sur les rayonnages, et pour celles-là, il vous conduit au bureau de renseignements, où travaille un être humain. Et parce que la désinformation n'a jamais attendu une traduction anglaise avec patience, nos rayonnages sont multilingues dès le départ, de l'arabe à l'hindi.
Toutes ces mesures, bien sûr, ne rendent pas les hallucinations impossibles, mais elles les rendent rares et traçables. Mais mon enfance m'a donné deux images, et une seule d'entre elles était un mensonge. L'autre portait des fleurs et répondait avec ses pieds. Ayant le choix de ce autour de quoi construire mon âge adulte, j'ai choisi le bibliothécaire.
