档案库 · AI 与模型 · 产品决策 · 2025–2026
Forge：护栏使8B本地模型在代理任务上从53%提升到99%（HN 687分）
开源护栏层，可验证、挽救和重试LLM工具调用，使8B自托管模型接近前沿代理精度；Show HN 687分
Forge (antoinezambelli/forge)
做的是什么生意
An MIT-licensed open-source Python reliability layer that sits between a client and a self-hosted LLM backend, validating, rescuing and retrying malformed tool calls so local agents run dependable agentic loops.
起因
Antoine Zambelli created Forge (MIT, copyright line 2025–2026) as a reliability layer for self-hosted LLM tool-calling, working with Ollama, llama.cpp, llamafile, vLLM and Anthropic backends. On 2026-05-19 he showed it on Hacker News under the headline that guardrails take an 8B model from 53% to 99% on agentic tasks; the README reported the same 8B model going from single digits to 84% across a 26-scenario eval suite.
经过
The project grew three integration paths: a drop-in proxy server speaking OpenAI chat-completions and Anthropic Messages so existing harnesses (opencode, aider, Cline, Claude Code) gain guardrails without rewrites; a WorkflowRunner for structured agent loops with context compaction and priority-queued shared inference slots; and composable middleware for foreign orchestration loops. A v0.9.0 release made the proxy the flagship entry point, standalone installers bundle a private Python runtime, and the guardrail framework plus ablation study were published as Zambelli, Forge: Closing the Agentic Reliability Gap Between Self-Hosted and Frontier Language Models (DOI 10.1145/3786335.3813193).
结果
Still live as an open-source project as of 2026-09-04: 87 commits, 2.2k stars and 173 forks, with no company, funding round or commercial product disclosed in the material.
背景
Forge是用于自托管LLM工具调用的MIT许可开源可靠性层：给它一组工具和一个本地模型，它验证每个工具调用，救援格式错误的输出，并用纠正性反馈重试，可选的工作流结构（必需步骤、前置条件、终端工具）叠加在其上。它的赌注是模型周围的循环——而不是更大的模型——使代理可靠，因此8B本地模型可以代替前沿API。
机制是按顺序应用的堆栈：响应验证根据声明的工具检查每个调用；救援解析恢复以供应商格式（如代码围栏JSON、Mistral风格的[TOOL_CALLS]块或Qwen XML）发出的工具调用；重试循环将验证错误反馈给模型，而不是返回格式错误的响应。Forge的26场景评估套件报告称，8B本地模型从个位数上升到84%，而相同的护栏将Sonnet 4.6从85%提升到98%（v0.6.0测量）。
由此发展出三种集成路径——一个即插即用的代理服务器，支持OpenAI聊天完成和Anthropic消息；用于结构化循环的WorkflowRunner；以及用于外部循环的可组合中间件。2026-05-19的Show HN吸引了687分和252条评论，到2026-09-04获取时，仓库拥有2.2k星和173个分叉；框架和消融研究以DOI（10.1145/3786335.3813193）发布。
这件事要成立，得有什么
- 它攻击了本地代理的实际失败模式——格式错误和无效的工具调用输出——用工程而不是等待模型进步，使可靠性问题今天可解决。
- 护栏堆栈是可检查和可证伪的：响应验证、救援解析和重试提示是由26场景评估套件和带DOI的消融研究支持的具体机制。
- 即插即用的代理设计意味着现有框架如Claude Code、opencode或aider可以零重写获得护栏，通过开发者已经运行的工具分发。
- 头条数字是故意挑衅的——8B模型从53%到99%——它重新定义了本地模型能做什么，这就是为什么它赢得了687分、252条评论的HN发布。
可借鉴之处
修复循环，而不是模型：透明的验证、救援解析和纠正性重试将8B模型不稳定的工具调用变成了可解决的问题，并将前沿模型从85%提升到98%。
后续进展
截至2026-09-04获取，Forge仍然是一个活跃的MIT开源项目：GitHub上有87次提交、2.2k星和173个分叉，独立代理被描述为其最受欢迎的入口点，v0.9.0被定位为有意破坏性转向代理优先使用。26场景评估套件、模型和后端指南以及已发表的论文仍然是该项目的证据基础。材料中未披露公司、融资轮次或商业产品。
资料来源
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡