档案库 · 开发与企业工具 · 产品决策 · 2023
Hegel AI 的 PromptTools 豪赌：代码优先的 LLM 评估收获 211 个 HN 点、3.1k 星
Hegel AI 构建了开源 prompttools，用于在代码中评估 LLM 和向量数据库；其 2023-08-01 的 Show HN 获得 211 点，仓库后来超过 3.1k 星。
Hegel AI
做的是什么生意
Open-source, self-hostable Python tools (prompttools) for experimenting with, testing and evaluating LLMs, vector databases and prompts — the product wedge Hegel AI shipped into LLM evaluation.
起因
Kevin and Steve said in their Show HN that they had started a month earlier, in July 2023. Steve had worked at Google with HuggingFace and Lightning on running the newest open-source models on TPUs; he saw the community contributing powerful models that were still hard to discover and evaluate — it was not clear when Llama or Falcon could replace GPT-4. PromptTools was their attempt to simplify and scale that evaluation: write a short Python script that runs checks across models, parameters and prompts, then pass the results into an evaluation function for scores, all executed locally.
经过
The 2023-08-01 Show HN drew 211 points and 24 comments. Engineers called it exactly the tooling one realizes is needed when starting to build apps on LLMs; commenters compared it with promptfoo and ChainForge and pressed on whether LLM auto-evaluation can be trusted. The founders answered with their roadmap — structured-output validation, semantic-similarity checks, manual feedback, multiple-LLM judging, exports to CSV, JSON, MongoDB and Markdown — and invited PRs for function calling and Qdrant support. The repo kept moving: 3.1k stars, 256 forks and 638 commits by the 2026-09-05 crawl.
还没有结局，它还在跑。
背景
Kevin 和 Steve 于 2023 年 7 月，即 Show HN 前一个月，在 Hegel AI 名下开始了 PromptTools：开源、自托管的 Python 工具，用于试验、测试和评估 LLM、向量数据库和提示。README 的核心思想是通过熟悉的界面——代码、笔记本和本地游乐场——进行评估，集成了 OpenAI、Anthropic、Google、HuggingFace 和 LlamaCpp，以及 Chroma、Weaviate 和 Qdrant 等向量存储。
Steve 曾在 Google 与 HuggingFace 和 Lightning 合作，在 TPU 上运行开源模型。他看到社区提供了强大但难以发现和评估的模型：不清楚 Llama 或 Falcon 何时能替代 GPT-4。PromptTools 就是答案——一个简短的 Python 脚本跨模型、参数和提示运行检查，结果留在开发者的机器上，没有服务器转发，也不收集密钥或输出。
2023-08-01 的 Show HN 获得了 211 点和 24 条评论。工程师们称其为所需工具，与 promptfoo 和 ChainForge 比较，并质疑 LLM 作为评判者的可信度；创始人回应了关于结构化输出验证、语义相似性、人工反馈和多 LLM 评分的细节。到 2026-09-05 抓取时，仓库显示 3.1k 星、256 个分叉和 638 次提交。
这件事要成立，得有什么
- 具体且有时间戳的牵引力：2023-08-01 的 Show HN 获得了 211 点和 24 条评论，hegelai/prompttools 仓库在 2026-09-05 抓取时显示 3.1k 星、256 个分叉和 638 次提交。
- 构建者陈述的一个具体创始赌注：Steve 在 Google 看见了难以发现和评估的强大开放模型，PromptTools 是为了简化和扩展这一过程而构建的。
- 楔子是一种刻意的反转：评估在本地代码和笔记本中运行，而不是托管平台，没有服务器转发，也不收集密钥或输入。
- 发布线程显示了真实的拉动：工程师们称其为所需工具，并辩论了 LLM 作为评判者的循环论证，与 promptfoo 和 ChainForge 进行比较——这正是创始人所说的他们正在解决的问题。
可借鉴之处
创始人自身未解决的痛点是一个可信的楔子：Steve 无法判断开放模型何时能取代 GPT-4，因此 PromptTools 将'在代码中评估'变成了一种五行的习惯，并通过开源传播。
后续进展
截至 2026-09-05，hegelai/prompttools 仓库活跃，有 3.1k 星、256 个分叉和 638 次提交；README 仍将其定位为 Hegel AI 的开源、自托管评估工具，并链接了文档、托管 Streamlit 游乐场和 Discord。材料中没有记录 Hegel AI 的融资、收入或公司成果，因此除项目持续开发外，此处不做更多声称。
资料来源
- Show HN: PromptTools – open-source tools for evaluating LLMs and vector DBs
- hegelai/prompttools — GitHub repository (live as of 2026-09-05)
发现哪里写错了？告诉我们。
轮到你了
你刚读完一家。说说你在做什么，看看谁在赌同一件事。
免费账号 · 3 次免费提问 · 不用绑卡