TurboFieldfare 2026: ein 26B-Gemma in 2 GB RAM auf jedem M-Series-Mac

Eine Open-Source-Inferenz-Engine (Apache-2.0) in Swift und Metal, ein CLI und eine native Mac-App, die Googles instruktionsabgestimmtes Gemma 4 26B-A4B in etwa 2 GB RAM auf jedem Apple-Silicon-Mac ausführen, auch auf solchen mit 8 GB.

Die gerouteten Experten eines MoE-Modells könnten von der SSD statt aus dem RAM gestreamt werden, sodass ein Modell mit 26B Parametern in etwa 2 GB auf einem 8-GB-Mac statt auf einer 32-GB-Workstation läuft.

Andrey Mikhaylov, ein iOS- und Metal-Entwickler mit Vorliebe für On-Device-KI, wollte ein Modell ausführen, dessen 14,3 GB an 4-Bit-Gewichten nicht in den Speicher eines 8-GB-Macs passen. Er veröffentlichte TurboFieldfare am 29.07.2026 als Show HN und gab an, dass es etwa 2 GB RAM bei 5-6 Tokens/s auf einem 8-GB-MacBook Air M2 und 31-35 Tokens/s auf einem MacBook Pro M5 nutzt.

Der Thread schlug ein - 919 Punkte und 345 Kommentare - und der Maintainer beantwortete Fragen in Echtzeit, teilte gemessene Cache-Hit-Raten mit und nahm Community-Ergebnisse von M1-MacBooks und MacBook-Neo-Hardware auf. Es folgten Berichte auf Creative AI News und der deutschen Seite ifun.de; das Repository verzeichnet 103 geprüfte Experimente hinter dem Design sowie ein optionales Vision-Begleitpaket für Macs ab M2. Bis zum 02.09.2026 zeigte das Repository etwa 410 Forks.

Stand 02.09.2026 bleibt TurboFieldfare ein unabhängiges Forschungsprojekt: Apache-2.0-Code ohne Unternehmen, Finanzierung oder Monetarisierung, wobei künftige Arbeiten auf iPhone-/iPad-Ports und weitere Macs mit wenig Speicher ausgerichtet sind.

Nicht die Rechenleistung, sondern der Speicher war die Hürde, die Modelle der 26B-Klasse von Consumer-Laptops fernhielt.

Gemma 4 26B-A4B ist ein Mixture-of-Experts-Modell, sodass pro Token nur ein kleiner Teil der Parameter aktiviert wird und der vollständige Gewichtssatz nicht resident sein muss.

Eigene Metal-Kernel und eine modellspezifische Laufzeitumgebung schlagen bei dieser einen Arbeitslast das Verpacken von Allzweck-MLX oder llama.cpp.

Schnelle Apple-SSDs machten die Festplattenbandbreite zu einem praktikablen Ersatz für RAM-Kapazität.

Das Entwicklerpublikum von HN konnte den Code selbst klonen, bauen und benchmarken und verwandelte so eine Startbehauptung in ein von der Community verifiziertes Ergebnis.

Eine modellspezifische Engine für eine einzige harte Einschränkung zu schreiben, kann Allzweck-Laufzeitumgebungen schlagen, und die Veröffentlichung von tatsächlich gemessenem Code ermöglicht es einem einzelnen Entwickler, eine ganze Community als Benchmark-Team zu nutzen.

Stand 02.09.2026 befindet sich TurboFieldfare weiterhin in aktiver Open-Source-Entwicklung: 103 geprüfte Experimente, ein Community-Benchmark-Leitfaden, ein OpenAI-kompatibler Loopback-Server und ein optionales Vision-Paket, wobei etwa 410 Forks eine aktive Community widerspiegeln. Der Autor beschreibt es als unabhängiges Forschungsprojekt ohne Verbindung zu Google und nennt iPhone- und iPad-Ports als wichtigste künftige Arbeiten. Die deutsche Seite ifun.de rahmte es als Beweis dafür ein, dass ein Modell dieser Größe auf 8-GB-Macs laufen kann, und wies zugleich auf die Kompromisse hin: Die Ausgabe auf Basishardware sei bewusst langsam, und die SSD-Geschwindigkeit spiele eine Rolle.