PrismML aposta que LLMs de 1 bit cabem nos celulares; Bonsai 8B é lançado e Apple negocia

Um laboratório de IA que desenvolve grandes modelos de linguagem de 1 bit e ternários — o Bonsai 8B, com 1,15 GB, e o Bonsai 27B, com 3,9 GB — que rodam localmente em smartphones, notebooks e sistemas embarcados.

Que o próximo salto da IA é a densidade de inteligência: modelos de 1 bit podem entregar raciocínio próximo da precisão total em celulares e dispositivos de borda, tornando a IA no dispositivo o padrão.

US$ 16,25 milhões em financiamento SAFE e seed da Khosla Ventures, Cerberus Ventures e Caltech, com subsídios de computação do Google e do Caltech (anunciados em março de 2026).

Fundada por pesquisadores do Caltech em torno do professor Babak Hassibi, após anos de trabalho em compressão de redes neurais sem perda da capacidade de raciocínio. A empresa saiu do modo stealth em 31/03/2026 com a rodada de US$ 16,25 milhões e o lançamento open-source do Bonsai 8B de 1 bit (Apache 2.0), treinado em TPUs do Google.

O Bonsai 8B chegou à página inicial do Hacker News (430 pontos, 153 comentários) e recebeu ampla cobertura como o primeiro LLM de 1 bit comercialmente viável. Em 14/07/2026, a PrismML lançou o Bonsai 27B, uma versão de 1 bit do Qwen3.6 27B que ocupa 3,9 GB (a variante ternária, 5,9 GB) e roda em um iPhone 17 Pro; o edgen.tech informou que a Apple estava em conversas iniciais para avaliar a tecnologia para o Siri no dispositivo.

Escalonamento: o Bonsai 27B está disponível sob Apache 2.0 no Hugging Face, a equipe está contratando e um modelo Gemma comprimido é o próximo da fila; benchmarks independentes de terceiros não haviam sido publicados até setembro de 2026.

A quantização de 1 bit em toda a rede reduz a memória em cerca de 14x, enquanto as médias dos benchmarks permanecem competitivas com modelos de 8B de precisão total.

A execução no dispositivo elimina objeções de latência, privacidade e custo da nuvem, abrindo celulares, robôs, wearables e implantações empresariais seguras.

A propriedade intelectual do Caltech somada ao apoio da Khosla, Cerberus e Google deu a um laboratório em stealth credibilidade e computação em TPU para treinar uma família completa de 1 bit.

Se a Apple adotar a compressão para o Siri, o raciocínio no dispositivo passa da novidade para desenvolvedores a padrão de uma grande OEM da noite para o dia.

Escolha a métrica que inverte o trade-off do incumbente: ao otimizar a inteligência por GB em vez das médias de benchmarks, a PrismML transformou "roda em um celular" em um recurso que os incumbentes não conseguiram copiar rapidamente.

Em 02/09/2026, a PrismML havia lançado o Bonsai 27B (1 bit, 3,9 GB) e os modelos 8B/4B/1,7B, todos sob Apache 2.0 no Hugging Face, com suporte a MLX e CUDA. O edgen.tech informou que a Apple estava em conversas iniciais para avaliar a tecnologia para o Siri no dispositivo, e o CEO Babak Hassibi disse à CNBC que a Apple e outras empresas estavam avaliando a tecnologia. A empresa está contratando e afirma que um modelo Google Gemma comprimido é o próximo, seguido de trabalho acima de 27 bilhões de parâmetros. A principal ressalva: os benchmarks são autorrelatados, e testes independentes de terceiros não haviam sido publicados até a data de referência.