TurboFieldfare 2026: um Gemma de 26B em 2GB de RAM em qualquer Mac da série M

Um motor de inferência open-source (Apache-2.0) em Swift e Metal, com CLI e app nativo para Mac, que executa o Gemma 4 26B-A4B ajustado por instruções do Google em cerca de 2GB de RAM em qualquer Mac com Apple Silicon, inclusive nos de 8GB.

Os especialistas roteados de um modelo MoE poderiam ser transmitidos do SSD em vez da RAM, permitindo que um modelo de 26 bilhões de parâmetros rodasse em cerca de 2GB em um Mac de 8GB, em vez de uma estação de trabalho de 32GB.

Andrey Mikhaylov, engenheiro de iOS e Metal apaixonado por IA no dispositivo, queria executar um modelo cujos 14,3GB de pesos em 4 bits não cabem na memória de um Mac de 8GB. Ele publicou o TurboFieldfare como um Show HN em 2026-07-29, alegando cerca de 2GB de uso de RAM a 5-6 tokens/s em um MacBook Air M2 de 8GB e 31-35 tokens/s em um MacBook Pro M5.

A thread decolou - 919 pontos e 345 comentários - e o mantenedor respondeu a perguntas em tempo real, compartilhando taxas de acerto de cache medidas e recebendo resultados da comunidade em MacBooks M1 e hardware MacBook Neo. Vieram reportagens no Creative AI News e no site alemão ifun.de; o repositório registra 103 experimentos auditados por trás do design, além de um pacote opcional de visão complementar para Macs M2+. Em 2026-09-02, o repositório mostrava cerca de 410 forks.

Em 2026-09-02, o TurboFieldfare continua sendo um projeto de pesquisa independente: código Apache-2.0 sem empresa, financiamento ou monetização, com trabalhos futuros voltados a portes para iPhone/iPad e mais Macs de baixa memória.

A memória, e não o poder de computação, era a barreira que mantinha modelos da classe de 26B fora dos laptops de consumo.

O Gemma 4 26B-A4B é um modelo de mistura de especialistas, então apenas uma pequena fração dos parâmetros é acionada por token e o conjunto completo de pesos não precisa estar residente.

Kernels Metal personalizados e um runtime específico para o modelo superam o empacotamento do MLX ou llama.cpp de uso geral nesta carga de trabalho específica.

SSDs rápidos da Apple tornaram a largura de banda de disco um substituto prático para a capacidade de RAM.

O público de desenvolvedores do HN pôde clonar, compilar e testar o código por conta própria, transformando uma alegação de lançamento em um resultado verificado pela comunidade.

Escrever um motor específico para o modelo em torno de uma restrição difícil pode superar runtimes de uso geral, e publicar código real e medido permite que um único engenheiro tome emprestada toda uma comunidade como equipe de benchmark.

Em 2026-09-02, o TurboFieldfare continua em desenvolvimento open-source ativo: 103 experimentos auditados, um guia de benchmark da comunidade, um servidor compatível com OpenAI em loopback e um pacote de visão opcional, com cerca de 410 forks refletindo uma comunidade ativa. O autor o descreve como um projeto de pesquisa independente sem afiliação com o Google, e lista portes para iPhone e iPad como principal trabalho futuro. O site alemão ifun.de o enquadrou como prova de que um modelo desse porte pode rodar em Macs de 8GB, observando as contrapartidas: a saída em hardware básico é deliberada e a velocidade do SSD importa.