TurboFieldfare 2026: un Gemma de 26B en 2 GB de RAM en cualquier Mac de la serie M

Un motor de inferencia de código abierto (Apache-2.0) en Swift y Metal, con CLI y una app nativa para Mac, que ejecuta el Gemma 4 26B-A4B ajustado por instrucciones de Google en unos 2 GB de RAM en cualquier Mac con Apple Silicon, incluidos los de 8 GB.

Los expertos enrutados de un modelo MoE podían transmitirse desde el SSD en lugar de la RAM, permitiendo que un modelo de 26B parámetros se ejecutara en unos 2 GB en un Mac de 8 GB en lugar de en una estación de trabajo de 32 GB.

Andrey Mikhaylov, un ingeniero de iOS y Metal aficionado a la IA en el dispositivo, quería ejecutar un modelo cuyos 14,3 GB de pesos en 4 bits no caben en la memoria de un Mac de 8 GB. Publicó TurboFieldfare como un Show HN el 2026-07-29, afirmando un uso de RAM de unos 2 GB a 5-6 tokens/s en un MacBook Air M2 de 8 GB y de 31-35 tokens/s en un MacBook Pro M5.

El hilo despegó —919 puntos y 345 comentarios— y el mantenedor respondió preguntas en tiempo real, compartiendo tasas de acierto de caché medidas y recogiendo resultados de la comunidad en MacBooks M1 y hardware MacBook Neo. Le siguieron coberturas en Creative AI News y en el sitio alemán ifun.de; el repositorio registra 103 experimentos auditados detrás del diseño, además de un paquete complementario de visión opcional para Macs M2 o superiores. A fecha de 2026-09-02 el repositorio mostraba unos 410 forks.

A fecha de 2026-09-02, TurboFieldfare sigue siendo un proyecto de investigación independiente: código Apache-2.0 sin empresa, financiación ni monetización, y con el trabajo futuro orientado a ports para iPhone/iPad y a más Macs de baja memoria.

La memoria, no la computación, era la barrera que mantenía a los modelos de clase 26B fuera de los portátiles de consumo.

Gemma 4 26B-A4B es un modelo de mezcla de expertos, así que solo se activa una pequeña porción de parámetros por token y no es necesario que el conjunto completo de pesos esté residente.

Los kernels personalizados de Metal y un runtime específico para el modelo superan a envolver MLX o llama.cpp de propósito general en esta carga de trabajo concreta.

Los rápidos SSD de Apple hicieron del ancho de banda de disco un sustituto práctico de la capacidad de RAM.

El público de desarrolladores de HN podía clonar, compilar y medir el código por sí mismo, convirtiendo una afirmación de lanzamiento en un resultado verificado por la comunidad.

Escribir un motor específico para el modelo ante una restricción difícil puede superar a los runtimes de propósito general, y publicar código real y medido permite que un solo ingeniero se apoye en toda una comunidad como equipo de benchmarking.

A fecha de 2026-09-02, TurboFieldfare sigue en desarrollo activo de código abierto: 103 experimentos auditados, una guía de benchmarking comunitaria, un servidor compatible con OpenAI en loopback y un paquete de visión opcional, con unos 410 forks que reflejan una comunidad activa. El autor lo describe como un proyecto de investigación independiente sin afiliación con Google, y enumera los ports para iPhone y iPad como principal trabajo futuro. El sitio alemán ifun.de lo presentó como prueba de que un modelo de este tamaño puede ejecutarse en Macs de 8 GB, señalando al mismo tiempo las contrapartidas: la salida en hardware básico es deliberada y la velocidad del SSD importa.