档案库 · 开发与企业工具 · 技术决策 · 2023-2026
Unsloth押注手工编写的GPU内核，让微调成为桌面应用；75k星
悉尼兄弟用Triton重写LLM训练热路径，微调快2倍且显存减少70%——免费开源，后获YC支持。
Unsloth
做的是什么生意
Unsloth makes open-source software to run and train open LLMs and diffusion models locally - a core library (Apache-2.0), the Unsloth Studio web UI, and Unsloth Desktop - advertising 2x faster training with up to 70% less VRAM and no accuracy loss.
起因
Australian brothers Daniel and Michael Han started Unsloth in late 2023 as an open-source side project. Daniel, a former Nvidia engineer who had built low-memory numerical libraries, rewrote the heaviest transformer training paths as hand-derived Triton kernels; their first notebooks showed a 7B LLaMA-style model fine-tuning on a free T4 GPU in a fraction of the time and memory of stock Hugging Face configurations.
经过
Unsloth AI joined Y Combinator's Summer 2024 batch, with public records placing its seed round near $500K (AI Wiki). The project compounded through 2024-25 as Daniel published detailed bug reports on flagship open models - eight issues in Google's Gemma, tokenization defects in Llama 3, and a sliding-window-attention bug in Phi-3 - with fixes flowing back into transformers and llama.cpp. Star-history records 74 GitHub Trending days, best rank #1 on 2026-02-10 and Python #1 again on 2026-08-17. By 2026 the project had grown from Colab notebooks to a web UI and a native desktop app, and by mid-2026 passed ~67k stars with 10M+ monthly downloads of prequantized weights.
还没有结局，它还在跑。
背景
Unsloth是一个开源库，可微调大型语言模型，速度提高多达2倍，同时GPU内存减少高达70%，且无精度损失。它的赌注是技术性的：不是等待更好的模型，而是将Transformer训练中的热操作符——注意力、旋转位置嵌入、归一化和损失——改写为在OpenAI Triton中手工推导的反向传播，融合PyTorch的autograd会单独运行的操作。
澳大利亚兄弟Daniel和Michael Han于2023年底启动该项目，并通过Colab笔记本传播，展示了一个70亿参数的LLaMA风格模型在免费T4 GPU上微调。Unsloth AI加入Y Combinator 2024年夏季批次，创始人通过发布旗舰开源模型的详细bug报告获得异常关注——Gemma中的8个问题、Llama 3中的分词缺陷、Phi-3中的滑动窗口注意力bug——修复被采纳回transformers和llama.cpp。
每当主要开源模型发布时，可见度循环就会重复：star-history记录74天GitHub Trending，最佳排名在2026-02-10达到第1名，并在2026-08-17再次成为Python第1名。到2026年，项目从笔记本扩展到Unsloth Studio的网页界面和原生桌面应用，用于运行和训练模型，GitHub star数超过约6.7万，并报告其预量化权重在Hugging Face Hub上的月下载量超过1000万。
这件事要成立，得有什么
- 瓶颈是真实且普遍的：微调和RL训练开源模型需要多GPU服务器，而大多数开发者和学生只有一张消费级显卡或免费的Colab会话。
- 手工推导的反向传播是持久的优势：每个融合的Triton内核都减少了通用autograd无法避免的内存流量，且数学上等同于标准微调运行。
- 发布Gemma、Llama 3和Phi-3的bug修复，使小团队成为开源权重生态系统中值得信赖的存在，因此每一次新模型发布都带来新用户。
- 在Apache-2.0下保持核心免费，同时销售Studio和桌面便利功能，让Unsloth在不破坏产生star的开源循环的情况下实现盈利。
可借鉴之处
在常数上获胜，而不是模型上：让免费路径大幅加速，你就会成为默认栈——每个旗舰开源模型的发布都会将Unsloth的基准测试推到GitHub首页。
后续进展
截至2026年9月，Unsloth仍活跃并不断扩张：仓库持有75.4k星，全球排名第234位，项目现在自称是第一个运行和训练模型的桌面应用，支持NVIDIA、AMD、Intel、CPU和Vulkan后端，并能连接Claude Code和Codex等编码代理。核心保持Apache-2.0，而Studio界面为AGPL-3.0，Hugging Face上预量化权重的下载量持续增长。其已知弱点是专注于单GPU，而非多节点框架如Axolotl，2025年12月的版本开始解决这个问题。
资料来源
- unslothai/unsloth - 75.4k Stars - Global Rank #234
- GitHub - unslothai/unsloth: Local UI to run and train LLMs and diffusion models
- Unsloth | AI Wiki
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡