PrismML comprime modelo de IA para 5,9 GB com retenção de 98% do desempenho

A startup de inteligência artificial PrismML lançou o Bonsai 2 27B, um modelo de linguagem comprimido a partir do Qwen3.8 27B, sistema de código aberto da Alibaba. A nova versão reduz o espaço de memória necessário em até dez vezes, passando a ocupar 5,9 GB, volume que permite a execução direta em computadores pessoais e em smartphones avançados sem depender de processamento em nuvem.

Avaliações agregadas de benchmark indicam que o Bonsai 2 mantém 98% da capacidade da versão original do Qwen. O índice supera o patamar de 95% registrado na primeira versão do modelo, disponibilizada em março. Segundo a companhia, a primeira geração do Bonsai registrou mais de 11 milhões de downloads, enquanto alternativas ainda mais compactas do portfólio somaram outros 2,6 milhões.

Arquitetura com pesos ternários

Em arquiteturas convencionais de grandes modelos de linguagem, os parâmetros conhecidos como pesos demandam 16 bits de armazenamento cada. A abordagem desenvolvida pela PrismML adota pesos ternários, simplificando as variáveis para apenas três opções: +1, -1 ou 0. A troca dessas representações numéricas reduz drasticamente o tamanho final dos arquivos.

Embora o setor registre iniciativas concorrentes na área de compactação, como os projetos da Multiverse Computing na Espanha, a PrismML sustenta que sua metodologia minimiza perdas operacionais em tarefas cotidianas. A perda marginal de 2% nos testes de referência tem impacto prático limitado na operação real do software.

Planos para sistemas com centenas de bilhões de parâmetros

Com aporte semente de US$ 22,25 milhões, a PrismML conta com capital da Khosla Ventures, Cerberus Capital e do próprio Instituto de Tecnologia da Califórnia (Caltech). A equipe de fundadores é formada por pesquisadores da instituição e tem como diretor-executivo Babak Hassibi, professor da universidade e especialista no segmento de compressão de dados. O conselho consultivo traz Ion Stoica, cofundador da Databricks e líder do Sky Computing Lab, da Universidade da Califórnia em Berkeley.

O próximo passo técnico da empresa prevê a adaptação da metodologia para estruturas de maior porte.

Os próximos modelos que iremos lançar, esperamos que nos próximos dois meses, estarão na faixa de várias centenas de bilhões de parâmetros, e espero que seja mais fácil reter a inteligência neles. Conforme o tamanho do modelo cresce, há mais espaço para conseguir comprimi-lo sem perder a inteligência.

Além da diminuição no custo computacional de infraestrutura, a transferência da execução de modelos avançados diretamente para os aparelhos dos usuários finais reduz a dependência de servidores centralizados e resguarda a privacidade dos dados ao dispensar o tráfego de dados por servidores externos.