TurboFieldfare 2026 : un Gemma de 26B dans 2 Go de RAM sur n'importe quel Mac de la série M

Un moteur d'inférence open source (Apache-2.0) en Swift et Metal, une interface en ligne de commande et une application Mac native qui exécutent le modèle Gemma 4 26B-A4B affiné sur instructions de Google dans environ 2 Go de RAM sur n'importe quel Mac Apple Silicon, y compris ceux dotés de 8 Go.

Les experts routés d'un modèle MoE pourraient être diffusés en flux depuis le SSD plutôt que depuis la RAM, permettant à un modèle de 26 milliards de paramètres de tourner dans environ 2 Go sur un Mac de 8 Go plutôt que sur une station de travail de 32 Go.

Andrey Mikhaylov, un ingénieur iOS et Metal passionné d'IA embarquée, voulait exécuter un modèle dont les 14,3 Go de poids en 4 bits ne tiennent pas dans la mémoire d'un Mac de 8 Go. Il a publié TurboFieldfare comme Show HN le 2026-07-29, revendiquant une utilisation d'environ 2 Go de RAM à 5-6 jetons/s sur un MacBook Air M2 de 8 Go et de 31-35 jetons/s sur un MacBook Pro M5.

Le fil a décollé - 919 points et 345 commentaires - et le mainteneur a répondu aux questions en temps réel, partageant des taux de hits du cache mesurés et recueillant les résultats de la communauté sur des MacBook M1 et du matériel MacBook Neo. Des articles ont suivi sur Creative AI News et sur le site allemand ifun.de ; le dépôt recense 103 expériences auditées à l'origine de la conception, ainsi qu'un pack compagnon de vision optionnel pour les Mac M2 et ultérieurs. Au 2026-09-02, le dépôt affichait environ 410 forks.

Au 2026-09-02, TurboFieldfare reste un projet de recherche indépendant : du code sous Apache-2.0, sans entreprise, financement ni monétisation, et les travaux futurs sont orientés vers des portages iPhone/iPad et davantage de Mac à faible mémoire.

La mémoire, et non la puissance de calcul, était le mur qui tenait les modèles de classe 26B à l'écart des ordinateurs portables grand public.

Gemma 4 26B-A4B est un modèle à mélange d'experts, donc seule une petite fraction des paramètres s'active par jeton et l'ensemble complet des poids n'a pas besoin d'être résident.

Des noyaux Metal personnalisés et un runtime spécifique au modèle surpassent l'encapsulation de MLX ou llama.cpp à usage général sur cette charge de travail précise.

Les SSD Apple rapides ont fait de la bande passante disque un substitut pratique à la capacité de RAM.

Le public de développeurs de HN pouvait cloner, compiler et évaluer le code lui-même, transformant une affirmation de lancement en résultat vérifié par la communauté.

Écrire un moteur spécifique à un modèle pour une contrainte difficile peut surpasser les runtimes à usage général, et livrer du code réellement mesuré permet à un seul ingénieur d'emprunter toute une communauté comme équipe d'évaluation.

Au 2026-09-02, TurboFieldfare est toujours en développement open source actif : 103 expériences auditées, un guide d'évaluation communautaire, un serveur compatible OpenAI en boucle locale et un pack de vision optionnel, avec environ 410 forks reflétant une communauté active. L'auteur le décrit comme un projet de recherche indépendant sans affiliation à Google, et cite les portages iPhone et iPad parmi les principaux travaux futurs. Le site allemand ifun.de l'a présenté comme la preuve qu'un modèle de cette taille peut tourner sur des Mac de 8 Go, tout en notant les compromis : la sortie sur le matériel de base est un choix délibéré et la vitesse du SSD compte.