Encolher um modelo de linguagem quase sempre cobra pedágio. A receita padrão hoje tem dois passos: primeiro cortar arquitetura (remover camadas, cabeças, neurônios) e depois reduzir os pesos restantes para 4 bits. Economiza memória e computação, mas derruba justo o que interessa: raciocínio, matemática e geração de código.
O remendo que faltava
Por isso todo pipeline sério adiciona uma etapa de recuperação, apelidada de healing. Pense num carro que perdeu peças para ficar leve: você precisa recalibrar o motor pra ele voltar a andar direito. Releases recentes como gpt-oss, a família Nemotron da NVIDIA e o Hypernova 60B usam alguma variação desse compress-then-heal.
O novo paper da Multiverse Computing, Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs, faz a pergunta que o campo deixou em aberto: depois que o modelo já passou por compressão estrutural (não só quantização), o quanto essa recuperação realmente funciona?
Por que os métodos usuais tropeçam
Os dois candidatos têm buracos:
- QAT (quantization-aware training): insere operadores de fake-quantization e segue treinando. Custa caro e, segundo os resultados, fica instável se você treina tempo demais.
- QAD (quantization-aware distillation): destila um professor congelado de precisão total via KL-divergence. Só que, após compressão estrutural, não existe versão full-precision daquela arquitetura menor. O único professor disponível é o checkpoint bfloat16 já degradado — e ele vira o teto de acurácia do aluno.
A virada do QAH
Aqui está o detalhe elegante: o QAH destila direto do modelo original pré-compressão, não do recuperado. Professor e aluno nem compartilham arquitetura — o professor é grande e de precisão total, o aluno tem metade do tamanho e roda em MXFP4.
Como a distribuição de saída do professor é agnóstica à arquitetura, o descasamento de tamanho não impede a transferência. O aluno nunca vê rótulos duros, só a distribuição do professor.
O resultado que inverte tudo
Aplicado a um GPT-OSS 120B comprimido para 60B e quantizado em MXFP4, o QAH gerou um modelo que bate a própria versão de precisão total (bfloat16) em 7 de 9 benchmarks. Ou seja: o modelo de 4 bits terminou menor, mais barato de rodar e mais preciso que o checkpoint de onde saiu.
Olha que curioso — isso inverte a relação clássica entre um modelo 4-bit e o de 16 bits que lhe deu origem. Normalmente a versão comprimida é uma sombra da original; aqui ela superou a fonte. Se a receita se sustentar em produção, muda o cálculo de quem acha que qualidade e tamanho andam sempre no mesmo sentido.
Fonte: https://huggingface.co/blog/MultiverseComputingCAI/quantization-aware-healing