Quando eu era pequena, sempre pensei que areias movediças e Fata Morganas iam ocupar uma grande parte da minha vida adulta. Embora eu estivesse errada sobre as areias movediças, a parte alucinatória encontrou seu caminho de volta por uma porta que eu não esperava – meu trabalho. Eu construo sistemas de IA, e descobri que as máquinas que ajudo a criar alucinam para viver.
Uma alucinação, no sentido padrão dos livros-texto de psicologia, é uma percepção que ocorre sem nenhum estímulo externo. Em outras palavras, você vê algo, e não há nada lá. Miragens, como Fata Morganas, não contam: são ilusões, percepções reais distorcidas pela atmosfera (é por isso que meus desenhos animados de infância tecnicamente mentiram para mim sobre o deserto). A própria palavra entrou para o inglês há muito tempo, em 1646, do latim alucinari, "vagar na mente". Além de explicar meu cérebro às segundas-feiras, o termo está presente na visão computacional há mais de duas décadas, originalmente descrevendo modelos que detectavam objetos que não estavam lá.
O termo permaneceu restrito até que grandes modelos de linguagem começaram a fazê-lo ruidosamente e em público. De repente, todos conheciam a palavra e as consequências. Um chatbot diz que a Mona Lisa foi pintada em 1754; inventa um valor financeiro, um caso de tribunal, uma lista de referências médicas que parecem plausíveis e não existem em lugar nenhum. E o próprio termo é um terrível equívoco, já que uma alucinação ainda é uma forma de percepção, e grandes modelos de linguagem não têm percepção para falhar: estamos apenas vestindo processos estatísticos com roupas sofisticadas, mas ainda psicológicas. Quando discuti isso com o neurocientista Anil Seth, ele disse que preferia "confabulação", mas acho que esse termo carrega a mesma bagagem antropomórfica, já que a confabulação é algo que os humanos fazem quando preenchem inconscientemente lembranças faltantes com invenções plausíveis, novamente implicando uma psicologia que esses sistemas simplesmente não têm. Eu disse à ele que meu termo preferido era botshit, que me informaram não ser apropriado para todas as ocasiões. Esse pode ser um desses casos.
Então, de onde vêm as alucinações? Apesar do número esmagador de especialistas do LinkedIn, nós não sabemos completamente. Ainda não há uma teoria empiricamente validada e coerente do porquê exatamente elas acontecem. Mas sabemos os fatores contribuintes: dados de treinamento que se contradizem, divergência entre a fonte e o alvo, ajuste excessivo a correlações espúrias, erros em como o conhecimento é codificado em bilhões de parâmetros e decodificado de volta, e muitos outros. Não é surpreendente que um modelo alucine sobre uma lógica modal de segunda ordem de justificação, sobre a qual ele não tem muitos dados comparado ao último sucesso de bilheteria de Hollywood.
Em palestras e em salas de aula, meu slide inicial favorito é simplesmente perguntar "qual é o único propósito de um grande modelo de linguagem" em uma pesquisa anônima. Geralmente recebo respostas como "entender os humanos", "gerar conhecimento", "imitar o raciocínio humano" e respostas profundas semelhantes, mas a verdade é que os construímos para um único propósito, que é "completar uma frase". Em termos mais técnicos, para prever o próximo token mais provável. Esse processo otimiza a fluência em vez da verdade ou do embasamento factual dos dados. Quando a continuação mais provável acontece de ser verdadeira, maravilhoso! Quando é falsa, você recebe um absurdo confiante entregue exatamente no mesmo tom. Há até mesmo uma troca embutida de engenharia: reduza a aleatoriedade, e o modelo se torna preciso, mas maçante, e aumente-a, e ele se torna criativo, semelhante a um humano, e mais propenso a inventar coisas (como nós fazemos). Apenas com base na configuração, você não pode remover cirurgicamente um e manter o outro – você ou é Dr. Jekyll ou Sr. Hyde.
Isso me leva à pergunta que nós, como engenheiros, recebemos com mais frequência, geralmente de clientes ou de alguém segurando um orçamento de aquisição como refém: "Você pode garantir 100% de precisão?" Não, e quem garante está vendendo algo para você. (Ironicamente, eu também estou vendendo algo para você. Chama-se Suwali, e chegaremos a ele em breve.)
Isso significa que você não deve implementar um chatbot? Também não. Nós não deixamos de trabalhar com humanos porque eles esquecem, exageram, misturam as coisas e às vezes insistem que funciona na máquina deles (culpado como acusado). Em vez disso, construímos processos de revisão e de auditabilidade ao redor deles, então a mesma lógica se aplica aqui. Nós não estamos tentando fazer um sistema perfeito, já que tal coisa não existe, mas a verdadeira questão é se conseguimos projetar o sistema de modo que suas falhas sejam raras, rastreáveis, detectáveis e, no final, baratas.
Os bots frequentemente falham nas beiradas – números precisos, datas exatas, citações, nomes de entidades obscuras, frequentemente qualquer coisa que aconteceu recentemente, qualquer coisa em uma língua de poucos recursos (praticamente tudo menos inglês), e qualquer questão formulada de forma que uma resposta plausível exista, seja ou não verdadeira. Ou seja, o modelo preferiria lhe dar um ano errado do que admitir que não tem ideia (e todos conhecemos pessoas assim). No entanto, os bots são genuinamente bons em conversas onde a fonte da verdade está bem ao lado do modelo: resumindo um documento que você fornece, encontrando a informação na sua coleção de documentos, traduzindo textos e respondendo perguntas fundamentadas em uma base de conhecimento organizada, com fontes anexadas.
A filosofia por trás do Suwali, que estamos construindo na Meedan, é a de uma biblioteca. Um chatbot simples é a pessoa que leu tudo uma vez, anos atrás, e agora responde da memória de forma fluente e confiante, mas às vezes te diz que Ryan Gosling é o prefeito de Chicago. Suwali não tem permissão para responder da memória, nós apenas emprestamos seu poder de raciocínio. Ao receber uma pergunta, ele tem que andar até as prateleiras – um grafo de conhecimento abastecido por conteúdo selecionado por nossos parceiros – e pegar os livros reais. Quando eu era criança, sempre tivemos uma bibliotecária velha que sabia exatamente onde tudo estava. A minha usava óculos de leitura e vestidos floridos e, em dias bons, uma flor de verdade presa no cardigã. E ela era uma grande mulher que se movia pelas prateleiras a um ritmo sem pressa, bem até que uma pergunta a excitava, ponto em que ela podia ultrapassar qualquer criança no edifício. Ela parecia carregar a biblioteca inteira na cabeça, mas nunca respondia com a cabeça – ela respondia com os pés. Ela me levava até a prateleira, puxava o livro, abria na página e me mostrava como terminar minha redação de biologia rápido. Se a biblioteca não tivesse o que eu precisava, ela simplesmente dizia, sem inventar que leões acasalam como águas-vivas, e nenhuma quantidade de súplica fazia ela inventar um segundo andar que não existia.
Suwali é a bibliotecária da minha infância que encontra livros da maneira que ela fazia, tanto pelo catálogo quanto sabendo sobre o que é um livro – busca semântica e de texto completo combinadas – pois ele deve responder exclusivamente a partir das páginas à sua frente. Cada fonte citada por Suwali é reconciliada com os documentos de onde ela realmente os retirou, então citar um livro que sua biblioteca não possui é estruturalmente impossível. Mas ainda temos que combater a forte confiança excessiva do bot, então antes de uma resposta chegar a você, temos uma equipe de bibliotecários adicionais – ou LLMs como juízes – cuja tarefa é verificar a anterior. O sistema volta às prateleiras com uma pergunta reformulada, talvez até com uma resposta hipotética a ser verificada, ou simplesmente para verificar se é mesmo sobre biologia. Algumas perguntas não pertencem às prateleiras de forma alguma, e para essas, ele te leva ao balcão principal, onde um ser humano trabalha. E porque a desinformação nunca esperou educadamente por uma tradução para o inglês, nossas prateleiras são multilíngues desde o início, do árabe ao hindu.
Todas essas medidas, é claro, não tornam as alucinações impossíveis, mas as tornam raras e responsáveis. Mas minha infância me deu duas imagens, e apenas uma delas era mentira. A outra usava flores e respondia com os pés. Dada a escolha do que construir minha vida adulta, escolhi a bibliotecária.
