Por que nós não entendemos a Inteligência Artificial (ainda)

Entender a arquitetura pouco ajuda a prever ou entender os parâmetros resultantes.

• Planeja apenas uma palavra por vez.→ Falso
• Não consegue distinguir algo provável de algo falso.→ Falso
• Não tem acesso algum ao seu próprio estado interno.→ Falso

As evidências estão no fim da página. Antes, uma pergunta.

Mas o treinamento não foi todo programado? Como é possível que o resultado seja imprevisível?

“A visão de que máquinas não podem dar origem a surpresas se deve, acredito eu, a uma falácia à qual filósofos e matemáticos são particularmente suscetíveis. Trata-se da suposição de que, tão logo um fato é apresentado a uma mente, todas as consequências desse fato surgem na mente simultaneamente com ele. É uma suposição muito útil em muitas circunstâncias, mas facilmente se esquece de que ela é falsa.”

Regra 110

Oito regras, uma célula preta. Clique nas regras para trocá-las, ou na primeira linha para mudar o começo. A regra 110 é capaz de computação universal.

Jogo da vida de Conway

Nenhuma linha dessas regras menciona um planador.
Mas ele está lá.

Desenhe com o mouse ou o dedo. Os planadores achados pelo detector ficam em laranja. Procurar estruturas lá dentro é, em miniatura, o trabalho da interpretabilidade.

Máquina de Turing

LLMs são capazes de computação universal?

Com um bloco de notas para ler e escrever: sim.

E o treinamento por descida do gradiente, em si?

Clique (ou toque) para soltar uma bolinha. Ela desce pelo gradiente até algum vale. Qual vale depende de onde começou.

1. Reduzir a perplexidade num oceano de texto com relativamente poucos parâmetros força o modelo a desenvolver estratégias internas.
2. Uma propriedade é emergente se não dá para prevê-la olhando modelos menores, nem a arquitetura.

Três afirmações fundamentais

1. RedutibilidadeExistem features: as unidades básicas de processamento de informação.
2. ComposicionalidadeFeatures são combinadas por circuitos.
3. UniversalidadeEstruturas análogas aparecem em redes diferentes.

A unidade básica

Um neurônio …

↻ Sortear outro neurônio

Uma direção: “ponte”

Dados reais do TinyStories-1M, camada 3. À esquerda, as palavras que mais ativam um neurônio do MLP sorteado: às vezes há um tema, muitas vezes é uma mistura. À direita, as mesmas palavras projetadas numa única direção do espaço de ativações, calculada só a partir de “bridge”. Riacho, túnel, penhasco, vale: ninguém mostrou essas palavras a ela.

Golden Gate Claude

Uma palavra por vez?

Antes de escrever a segunda linha, o Claude já tem ativa a palavra que vai rimar, e escreve a linha em direção a ela. Suprimida essa feature, ele replaneja e rima com outra.

A direção da verdade

Esquema ilustrativo (os pontos não são dados do artigo). Nas ativações de modelos grandes, frases verdadeiras e falsas se separam ao longo de uma direção. Empurrar o modelo ao longo dela o faz tratar o falso como verdadeiro: é causal, não só correlação.

Introspecção

~20%

das vezes o Claude Opus 4.1 detecta e nomeia o conceito, no melhor caso

0

falsos positivos em 100 testes de controle, nos modelos de produção

antes

a detecção vem antes de o conceito aparecer na resposta

Respostas parafraseadas dos experimentos. É uma capacidade limitada e pouco confiável. E, ainda assim, existe.

Por onde começar

1. Neel NandaGuia para começar em interpretabilidade mecanicista
2. ARENAExercícios práticos, do transformer do zero até circuitos
3. TransformerLensBiblioteca para abrir e cutucar modelos
4. NeuronpediaExplore features e grafos de atribuição no navegador
5. circuit-tracerO rastreamento de circuitos da Anthropic, em código aberto
6. Transformer CircuitsOs artigos, em ordem, desde 2021
7. Open Problems in Mechanistic InterpretabilityO mapa do que ainda não sabemos (2025)
8. MATSPrograma de mentoria em pesquisa
9. Anthropic FellowsPrograma de pesquisa em segurança e interpretabilidade