Neste artigo

O problema com "um neurônio, uma feature"

A interpretabilidade mecânica clássica carregou por muito tempo uma premissa implícita: cada neurônio de uma rede neural codifica um conceito semântico único. Se isso fosse verdade em um modelo de linguagem de 7 bilhões de parâmetros, cada neurônio precisaria corresponder a uma feature — uma direção de significado — e a leitura da rede seria trivial: ative o neurônio, obtenha o conceito.

Só que a aritmética não fecha. Uma língua natural exige, com folga, muito mais features distintas do que o número de neurônios de qualquer camada. Se o modelo fosse obrigado a manter uma correspondência estrita entre neurônio e feature, sua capacidade de representar o mundo seria muito menor do que a observada.

A saída que as redes encontram é conhecida: superposição. Em vez de alocar uma direção ortogonal dedicada a cada feature, a rede comprime várias features em subespaços de dimensão inferior, sobrepondo-as. Um neurônio passa a responder a mais de um conceito — o fenômeno que a literatura chama de polissemanticidade.

Isso não é uma falha de projeto. É o preço da capacidade.

O que a evidência diz

A formulação mais influente do fenômeno está em Toy Models of Superposition (Elhage et al., Anthropic, Transformer Circuits Thread, 2022). O resultado central: à medida que o número de features crescentemente esparsas cresce em relação à dimensão disponível, o ótimo de treinamento deixa de alocar direções ortogonais e passa a sobrepor features — e a transição acontece com limites geométricos bem definidos, não como ruído.

Em Polysemanticity and Capacity in Neural Networks (Scherlis et al., 2022), a capacidade é tratada como a fração de dimensão que cada feature consome. O modelo resultante prevê uma estratificação: features importantes ganham representação dedicada e monossemântica; features de importância intermediária tornam-se polissemânticas em proporção ao seu impacto na perda; as menos importantes são descartadas. A geometria que ótimo emerge é bloco-semi-ortogonal, com tamanhos de bloco dependentes da arquitetura.

Duas consequências práticas:

O tratamento matemático mais formal dessa capacidade de codificar mais features do que dimensões está em Mathematical Models of Computation in Superposition (2024), que modela explicitamente a computação sobre features superpostas.

A crítica que se segue — e onde ela erra

O argumento contrário à superposição costuma ser: se features se sobrepõem, não há como lê-las; logo, a interpretabilidade está morta.

O erro está na premissa de como se tenta ler a rede. Se a única ferramenta disponível é a inspeção linear de neurônios individuais — ou heurísticas estatísticas sobre ativações isoladas — então a superposição de fato destrói a leitura. Mas isso é um limite das ferramentas, não do objeto.

Uma analogia útil: um sinal composto de várias frequências parece ruído se for observado apenas no domínio do tempo. No domínio da frequência, ele se decompõe em componentes perfeitamente identificáveis. A informação nunca foi ambígua — faltava a base de projeção correta.

O programa de dicionários esparsos (Cunningham et al., 2023) e o de features monossemânticas seguem exatamente essa lógica: superposição é recuperável quando você aprende a base certa.

A questão que se coloca para o Winnex é diferente e mais estreita: é possível operar sobre a superposição com garantias verificáveis, sem treinar nada?

Camada de entrada: o Winnex Nano

Tokenizadores tradicionais como BPE impõem uma discretização do texto. Cada token é um identificador discreto, resultado de merges heurísticos; os limites que ele cria não correspondem a fronteiras semânticas reais.

O Winnex Nano parte de outra premissa. Em vez de discretizar, ele mapeia cada caractere a modos espectrais de fase e amplitude, usando isomorfismo de grupo e quatérnions. A representação resultante é inerentemente superposta: um caractere não é um ID, é uma combinação contínua de frequências.

A propriedade que torna isso operacionalmente diferente de um embedding aprendido é a invertibilidade analítica. O Nano fecha o round-trip decode(encode(text)) == text com 0% de erro em 8 de 8 casos testados, em 10 línguas. Não há perda para merges heurísticos, o que preserva a trilha de auditoria desde o byte bruto até o espaço latente.

Vale declarar o custo, porque ele é real e está no registro: o Nano é 50–70× mais lento e cerca de 1000× menos compacto que o BPE no mesmo host — o encode atinge 234K chars/s em D=32 e 57K chars/s em D=128, contra 4.3M chars/s do BPE Qwen2.5, e usa um vocabulário de 0 tokens contra 151K do BPE. O trade-off é explícito: troca-se throughput e compressão por invertibilidade e auditabilidade.

Nota sobre "superposição" na entrada. No Nano, o termo descreve o fato de um caractere ocupar uma combinação contínua de modos espectrais — não o mesmo fenômeno de compressão de features do LLM. São superposições de naturezas distintas. O elo entre as duas é que ambas são tratadas analiticamente, não heuristicamente.

A geometria do manifold: o Winnex X-Factor

O Winnex X-Factor não tenta desembaraçar as features de um LLM pré-treinado. Ele faz outra coisa: mapeia deterministicamente a entrada para o subespaço principal onde o modelo já opera.

A hipótese é que as embeddings de um LLM não preenchem uniformemente $\mathbb{R}^D$; elas se concentram em um manifold de dimensão inferior. O X-Factor estima esse subespaço a partir da matriz de covariância das embeddings do próprio modelo, via power iteration com deflação, usando o quociente de Rayleigh como critério de seleção.

O argumento de complexidade é onde vale precisão. A decomposição espectral densa (PCA) custa $O(D^3)$; o X-Factor custa $O(D^2 \cdot r \cdot \text{iters})$, onde $r$ é o rank efetivo selecionado via variância capturada ($r(\tau = 0.95)$).

Um ponto que merece correção explícita: $O(D^3)$ não é "proibitivo" na prática em todas as escalas. A D=2048, o próprio X-Factor reporta ~73 s em CPU única — o que significa que a eigendecomposição densa seria viável nessa dimensão, e provavelmente mais rápida. O ganho do método é assintótico: ele importa quando D cresce ou quando $r \ll D$. Em dimensões baixas, a rota densa vence. É essa a leitura honesta do número.

O operador completo é:

$$\Phi_X(T) \;=\; X X^{\mathsf{T}} \cdot \operatorname{padL2}!\big(\operatorname{histogram}(T)\big)$$

O projetor $P = X X^{\mathsf{T}}$ satisfaz $P^2 = P$ (idempotente) e $P^{\mathsf{T}} = P$ (simétrico) — ou seja, é um projetor ortogonal exato, não uma aproximação. Isso é o que garante que a decomposição

$$v \;=\; P^{\mathsf{T}} P v + v_{\perp}$$

separe rigorosamente o sinal que reside no subespaço ($P^{\mathsf{T}} P v$) do componente ortogonal ($v_{\perp}$). A superposição aqui não é um artefato tolerado: é a estrutura do próprio projetor.

Interpretabilidade com limites declarados

A contribuição que o ecossistema Winnex efetivamente faz à discussão não é "resolver" a polissemanticidade. É substituir a inferência heurística por verificação de limites, e ser explícito sobre onde a garantia vale.

O que é provado. O bound de Cauchy-Schwarz por documento é uma afirmação matemática: se o produto interno máximo possível entre a query e um documento fica abaixo do limiar de corte, aquele documento não pode estar entre os $k$ mais próximos. Cada exclusão carrega essa prova. O supplemento forense de UB Width mostra por que a distinção importa: em arXiv d=1536 com inicialização aleatória, apenas 0.4% do pruning veio do bound — 94.6% veio do prefilter heurístico. Com pca_corpus, a proporção se inverte: 80.5% bound, 15.7% prefilter, com recall 1.0000. O "95%" frequentemente citado é o cutoff, não o bound.

O que é empírico. As garantias de qualidade em escala são medidas, não provadas. O motor winnex-madhava alcança recall@10 = 1.0000 nos datasets limpos e 0 violações de bound no BIGANN-100M — mas isso é resultado de benchmark reproduzível, não teorema.

Onde o método perde. O próprio registro do QR-JL declara que o HNSW ainda vence em NDCG e latência em certos regimes. O benchmark v4 expôs que o HNSW é mais rápido (0.2 ms contra 0.5 ms) e que o NDCG do Madhava cai em N grande. São limites documentados publicamente, não omissões.

Essa separação — prova versus medição versus limite conhecido — é o que torna a afirmação "auditável" defensável. Um sistema que não distingue os três não é auditável independentemente de quão rápido seja.

Síntese

Se cada neurônio correspondesse a exatamente uma feature, o X-Factor seria desnecessário: bastaria ativar neurônios de forma esparsa e direta. O fato de a inteligência do modelo residir na interferência construtiva e destrutiva de features sobrepostas é justamente o que torna necessária uma camada que saiba navegar esse espaço.

A leitura que o Winnex propõe dessa cadeia:

A afirmação de partida se sustenta, com uma qualificação importante: a superposição é uma característica, não um bug — e a interpretabilidade não é gratuita. Ela é obtida quando se tem a base de projeção correta e se declara onde a garantia é matemática e onde é medida.

Referências

Registros Winnex citados

Benchmarks reproduzíveis

O demo

O argumento do texto em forma executável: cada célula é o produto interno wᵢ·wⱼ entre duas features unitárias. Baixe d — as dimensões que o espaço oferece — até ficar abaixo do número de features, e veja a matriz diagonal se desfazer em blocos de interferência.

Superposição — quem mais responde quando uma feature acende

G = WWᵀ · n = 20 features em d dimensões
EXACT superposicao-gram.glsl
Como ler a imagem

As linhas seguem a ordem de importância: a linha 0 é a mais importante. Em d ≥ n a matriz é uma diagonal perfeita — uma direção dedicada por feature, leitura trivial. Conforme d cai, os pontos fora da diagonal se multiplicam e se agrupam em blocos. A varredura acende uma linha por vez: tudo o que compartilha a direção dela acende junto. Em d = 1 a matriz inteira fica acesa, porque G ≡ 1: com uma só direção todas as features são o mesmo vetor e nenhuma pode ser distinguida.

O que ainda não está provado

Esta matriz NÃO são os pesos de um LLM e não foi aprendida por gradient descent. É uma alocação que eu construí por regra explícita: as primeiras features recebem eₚ dedicado; as demais caem numa direção por hash e se inclinam dentro de um arco, tanto mais aglomeradas quanto menos importantes. Duas ressalvas que a imagem mostra: colisões de hash podem fazer uma feature menos importante cair na direção de uma dedicada, então a "dedicação" das primeiras não é absoluta; e esta construção não é o ótimo de nenhuma perda — é apenas uma geometria plausível. O que é exato é a álgebra: dado W, G = WWᵀ e a leitura linear x̂ = Gx. Que um modelo treinado chegue a essa geometria bloco-semi-ortogonal é o resultado empírico de Elhage et al. (2022) e Scherlis et al. (2022); eu não o reproduzo aqui.

O que já é exato

A conta é exata: G_ij = wᵢ·wⱼ é o produto interno literal de dois vetores unitários, sem aproximação. O shader avalia essa expressão por célula a cada frame.

superposicao-gram.glsl Um contexto WebGL2 é criado só ao clicar. O código é buscado de ../shaders/superposicao-gram.glsl.
.glsl todos os shaders

Registros citados

DOI 10.5281/zenodo.21865370DOI 10.5281/zenodo.21861809

Continue lendo

Mais recenteΨQRH: o que a curvatura prova, e o que o benchmark não mediu

← todos os artigos