Conforme prometi, eis uma transcrição parcial, com muitos adendos, da última Live em que falei sobre a Subinteligência Artificial.

Peço desculpas pela confusão da semana; me atrapalhei com a Copa do Mundo!

Informo que utilizei o Claude Opus 4.8 para extrair os pontos que desejava da transcrição automática gerada pelo Substack, pois a Subinteligência é ótima para esse tipo de tarefa. Para fins de transparência, qualquer uso das máquinas faladoras será sempre devidamente divulgado.

Monica de Bolle

_________________________________________________________________________________________

Principais Pontos Discutidos na Live

1. Como funciona um LLM (o mecanismo)

Um LLM é, em essência, um algoritmo autorrecursivo de identificação de padrões probabilísticos. Nada além disso.

Quando pedimos algo à máquina por meio de um prompt, as palavras que usamos acionam regiões específicas do modelo. Como? Durante a fase de “treinamento”, os modelos “aprendem” a reconhecer padrões de uso de pedaços de palavras, os tokens. A partir desse “reconhecimento”, o modelo estabelece representações geométricas, isto é, pedaços de palavras frequentemente usados em um mesmo contexto habitam o mesmo “espaço” ou a mesma “nuvem”.

As palavras que o usuário utiliza no prompt são usadas pelo modelo para rastrear as nuvens a elas relacionadas, de acordo com a sua base de “treinamento". Logo, é como se certas palavras do prompt “acendessem” nuvens de tokens mais próximos às palavras que você escreveu. A geração da resposta do modelo ocorre por rastreamento probabilístico: dadas as nuvens de palavras/tokens que as suas acenderam, o modelo calcula probabilidades para construir frases com tokens que têm maior chance de aparecer no mesmo contexto de outros. Por exemplo, se o prompt contiver as palavras “economia”, “juros” ou “emprego”, elas iluminarão as nuvens de tokens associadas a essas palavras. O modelo se retroalimenta a todo momento, rastreando os pedaços de palavras com maior probabilidade de se associar tanto ao que você escreveu quanto ao que o modelo gera a cada momento como resposta.

Logo, a máquina não lê como nós lemos. Nós extraímos o significado da frase como um todo e do posicionamento das palavras, umas em relação às outras. A máquina rastreia pedacinho por pedacinho, em nuvens espalhadas por diferentes camadas do modelo. Ela soa como se entregasse significado apenas porque foi programada para construir frases como as nossas. Entretanto, ela está rastreando tokens e fazendo cálculos probabilísticos, e não “entendendo” o que quer que seja.

2. Por que os erros cometidos pelas máquinas são estruturais e não cosméticos

Alucinações, citações falsas, invenções e vieses não são bugs que a curadoria ou os filtros consigam eliminar. Tais ocorrências são consequência direta do rastreamento probabilístico da máquina, que não tem discernimento, julgamento ou entendimento. Não há inteligência na “inteligência artificial”; há tão somente um sofisticado modelo probabilístico.

Não pretendo fundir a cabeça de vocês, mas chegou o momento de falar sobre uma distribuição de probabilidades especial: a lei de potência.

Acima consta a representação gráfica de uma Lei de Potência genérica. O eixo horizontal representa os possíveis estados de uma variável aleatória, enquanto o eixo vertical indica a probabilidade de cada um desses estados ocorrer.

Na cauda longa estão os estados mais raros, isto é, os de menor probabilidade, da variável aleatória. O que isso quer dizer? Imaginem que a variável aleatória x represente todo o espectro de palavras em português. Algumas palavras, como “deleite”, são usadas com menos frequência do que “prazer”. Outras, como “regozijo”, são ainda menos utilizadas. Na distribuição acima, entre as três palavras, "regozijo” seria a mais distante do centro ao longo do eixo x, enquanto "prazer” seria a mais próxima. Palavras extremamente comuns estariam quase coladas ao eixo y. Pois bem. De acordo com a Lei de Zipf, as palavras de diferentes idiomas distribuem-se dessa forma. Isso significa que a base de dados utilizada para treinar os modelos segue uma lei de potência.

Olhem novamente para a ilustração gráfica e reparem na cauda. Ela mostra que há uma abundância de palavras e tokens relativamente raros e pouquíssimas palavras muito comuns. As muito comuns serão identificadas pelos modelos e associadas a um espaço específico (a tal da nuvem descrita anteriormente), enquanto as pouco comuns, bem mais numerosas, serão vistas com frequência baixíssima. Como a máquina terá visto amostras insuficientes da palavra rara (ou de combinações raras de tokens), ela irá operar com base em uma distribuição rarefeita ao inferir. É dessa propriedade que surgem as alucinações. Ou seja, se o usuário faz uma pergunta cuja resposta está, em grande medida, na cauda, o modelo não terá associações suficientes para se orientar. O resultado será uma invenção qualquer.

Leis de Potência, ao contrário de outras distribuições de probabilidade, não são sensíveis à escala. O que isso quer dizer é: se aumentarmos o número de estados possíveis da variável aleatória, isso não mudará as muitas instâncias de raridade, a cauda longa. Traduzindo para os LLMs, aumentar a quantidade de palavras e pedaços de palavras aos quais os modelos são expostos durante o “treinamento” não altera a probabilidade de que a máquina te devolva uma palavra inventada como resposta. A coisa fica pior. Os parâmetros de otimização dos modelos rastreiam o espaço de palavras na busca pelo token mais provável em uma sequência, e não pelo mais próximo da verdade. Portanto, as “alucinações” da máquina estão na própria constituição do modelo. Ou seja, os erros estão embutidos no mecanismo.

É comum dizer que os modelos são uma “caixa-preta”, o que não é inteiramente verdade. Eles são apenas máquinas de rastreio de probabilidades, conforme expliquei acima. As máquinas têm um elemento de imprevisibilidade incontornável proveniente da amostragem insuficiente de palavras raras. Ainda que insolúvel, esse não é um mistério insondável.

3. Fluência não é significado

A fluência carrega uma expressão estética. Nós gostamos de coisas que soam bem, que são “macias para o cérebro”. O texto de IA é sempre muito amaciado e, à primeira vista, dá a impressão de que “está tudo ali”. Mas essa é só a primeira impressão; é como olhar algo de relance e, depois de encará-lo novamente, ter um segundo impacto completamente diferente.

Analise, frase por frase, um texto de uma área que você domina e verá que muitas frases são vazias: poderiam ser cortadas sem fazer a menor diferença. Textos humanos também têm frases descartáveis (por isso, a edição é uma profissão nobre), mas os textos de IA têm muito mais. Afinal, eles foram gerados sem a preocupação de carregar significado.

4. O que a máquina não tem

Inteligência — a palavra é puro marketing. “Máquina de rastreio probabilístico” não vende; “inteligência artificial” excita e vende.

Subjetividade — não existe. A subjetividade passa pelo encorpamento (embodiment): um sujeito é sujeito porque sente. Percepção e sujeito estão diretamente atrelados. A máquina não tem visão, audição, tato, corpo — sem sentidos, não há percepção; sem percepção, não há subjetividade. Não perguntamos se uma pedra tem subjetividade. A “conversa” com a máquina não é conversa de verdade, é um mapa de rastreamento de palavras que devolve algo inteligível. Muita gente dá o salto indevido de enxergar intersubjetividade ali.

O “pulo do gato” — nós pensamos de (pelo menos) três formas: associativa (reconhecimento de padrões, que a máquina também faz, de modo totalmente diferente); estruturada (”será que isso está certo? será que não?”, o vai e vem); e o insight — aquele estalo quase sensorial no meio da escrita, que não vem de associação nem de base de conhecimento. Dentro desse pulo do gato moram o discernimento, o julgamento e o raciocínio que chamamos de inteligência humana. A máquina não faz nada disso.

4. Utilidade real e limites

LLMs servem bem para pesquisas automáticas e triviais, como “minha geladeira está com um apito esquisito, o que pode ser?”. Serve também para formular listas de restaurantes ou hotéis para uma viagem, ainda que com alto custo de água e eletricidade. Pode ajudar a navegar a literatura existente sobre determinado assunto, sobretudo agora que o Google virou uma porcaria (aprendi a desligar o odioso “AI Overview” e estou felicíssima).

Para qualquer coisa séria, é preciso auditar tudo o que a máquina devolve, por melhor que seja o prompt. E aqui está o nó: se a área é de seu domínio, você tem julgamento para ignorar o que não presta e aproveitar só o que serve. Se é uma área tangencial ou adjacente à sua, esqueça — você não terá como identificar onde estão os erros. E, os piores erros são aqueles que passam despercebidos.

Parêntese pessoal: para o meu tipo de trabalho (ler, escrever, dar aula), elaborar um prompt que valha a pena dá mais trabalho do que sentar e escrever o texto do zero. A relação custo-benefício não fecha.

(Comparação de ferramentas, na minha experiência: uso mais o Claude; o ChatGPT é muito parecido, mas ainda atrás em algumas coisas; testei pouco o DeepSeek; o Gemini considero uma porcaria e praticamente não uso.)

4. Impactos no trabalho — a onda de arrependimento

O medo de substituição por IA é real e politicamente complicado (nos EUA, as pessoas estão apavoradas; no Brasil, pelos relatos do chat, parece ser o mesmo). Mas o argumento central do artigo da Zeynep Tufekci (New York Times, seção de opinião) — com o qual concordo — é que a maioria dos empregos não será substituída, porque os LLMs não entregam o que se diz que entregam.

Já se veem casos, ainda pontuais (não é uma onda), de empresas arrependendo-se. A Ford anunciou a recontratação de engenheiros sêniores que haviam sido substituídos por agentes de IA.

5. Cognição, educação e o cognitive offloading

Delegar parte da própria cognição à máquina (cognitive offloading) a enfraquece — já há documentação disso, ainda que não em larga escala. É natural que isso aconteça. Afinal, quem usava mapa e passou a usar GPS perdeu habilidades de localização espacial. Quem deixa de praticar uma segunda língua perde fluência. Por aí vai.

A constatação vale para qualquer idade, não apenas para estudantes. A Noruega decidiu, na semana passada, barrar o acesso a ferramentas de IA nas escolas para crianças nos primeiros anos, precisamente por isso.

6. Processo × produto

A aprendizagem humana é lenta, progressiva e caótica. O valor está no processo, não no produto. A máquina entrega algo pronto (às vezes cheio de erros), e a gratificação do “já saiu” nos ilude, porque o esforço é justamente o que ensina. O problema da página em branco é real: escrever é um processo penoso que, independentemente do resultado ser bom ou ruim, te ensina algo. Qualquer uso da máquina — um epsilon que seja — delega um pedaço desse processo. A pergunta é: quanto do processo você quer entregar a uma máquina de probabilidade, cujo resultado ainda terá de ser verificado manualmente?

Em tempo: ex post, o processo pode ser extremamente gratificante. É o caso dessa transcrição, para a qual usei trechos da Live, entremeados com coisas que fui pensando enquanto lia e reescrevia. Espero que seja útil.

Para a surpresa de ninguém, o texto que Claude produziu não tinha qualquer ritmo que embalasse a leitura. Para além das metáforas de péssimo gosto (“portão que rangia co…

Read more