Links e acesso
O pensamento
Um tokenizador não precisa de vocabulário: cada caractere ASCII pode mapear deterministicamente para um espectro quaterniônico. O preço (velocidade e compactação) é declarado honestamente — é uma codificação autônoma para o motor nativo, não um substituto de BPE.
Por que importa
Estabelece a representação determinística de texto do stack WINNEX, invertível com 0% de erro, e o operador de fusão de pesos multimodelo com alinhamento de fase quaterniônico.
Metodologia
Codificação espectral caractere→quatérnio (fase=(a+p+j)·2π/256, amplitude=(a/127)·(j/D)), probe de decodificação por cosseno top-1 (sem softmax), balancer com rotação R(qᵢ); benchmark honesto vs BPE no mesmo host
Resultados principais
- Round-trip decode(encode(text))==text com 0% de erro (8/8, 10 línguas)
- Encode 234K chars/s (D=32) · 57K (D=128) · BPE Qwen2.5: 4.3M chars/s
- Sem vocabulário: 0 tokens vs 151K do BPE
- Balancer W' = ΣᵢαᵢR(qᵢ)Wᵢ: α=[1,0] reproduz modelo 1; θ=0 = média
- Honesto: 50–70× mais lento e ~1000× menos compacto que BPE
Por que esta branch importa
Implementação C++20 portátil (winnex-nano, PyPI) que reutiliza os kernels do winnex-madhava — sem duplicação de código.