您发现了 LibreChat,运行了 docker compose up,一个小时后,您的整个团队就能在一个简洁的界面里使用 Claude、GPT 和 Gemini。快进三个月:您成了一套生产系统的无薪运维。Mongo 需要备份。RAG API 在一次更新后崩溃了。有人把共享的 OpenAI 密钥粘贴到了某个 Slack 频道里。而财务部门则不停地追问,三月份到底是谁在 token 上花掉了 400 美元。

这些都不是 LibreChat 的错。运行任何一套多用户 AI 平台,本就要付出这样的代价。唯一的问题在于:这些工作是否理应由您来承担。

"docker compose up" 是最简单的部分

LibreChat 的口碑是实打实赢来的。它是现有最好的开源 AI 聊天工具:每一款主流模型、智能体、文件对话、图像生成,以及一个您的团队早已知道怎么用的界面,应有尽有。

但生产环境是另一回事。一套真正的 LibreChat 部署,本身就是一个小型平台:

  • 用于存储对话的 MongoDB,得有人负责备份并做恢复测试,
  • 用于搜索的 Meilisearch,
  • 如果您想要文件上传和文档对话,还得有一个独立的 RAG API 外加一个向量数据库,
  • 一个反向代理、TLS、一个域名,以及能赶在用户之前就告诉您系统已宕机的监控,
  • 一个 .env 文件和一个 librechat.yaml,您每启用一项功能,它们承载的分量就更重一分,
  • 以及您所接入的每一家提供商的 API 密钥:OpenAI、Anthropic、Google,还有那个推出您团队上线首日就想用的下一款模型的厂商。

接着,更新就开始了。LibreChat 迭代很快,作为用户这是好消息,作为运维却是一项周而复始的任务。每一个版本都意味着一份要读的更新日志、一次要测试的合并,以及一个要安排的维护窗口。跳过几个版本,之后的跨越就会变得吓人;全都跟进,那就是一份兼职工作。

我们对此深有体会,因为我们做的正是这件事。kral 每天都在生产环境中运营 LibreChat;上面这份清单是我们的运维手册,而不是危言耸听。

没有人会事先提醒您的那部分:用户、密钥和金钱

对于单个用户,自托管确实没什么问题。麻烦从第二个用户开始。

多用户意味着必须有人来回答三个问题。谁有权进入?他们可以使用什么?谁来为哪一项付费?如果只用原始的 API 密钥,您就只剩两个糟糕的选项:一个共享密钥(无法归因,而且一次泄露就烧光整个预算),或者每人一个密钥(入职时的摩擦、离职时的风险,以及一摞需要财务去核对的提供商发票)。

LibreChat 自带基础的 token 额度,但它是一个聊天应用,而不是一套计费系统。这里没有套餐、没有发票、没有税务处理,也没有用户可以自行购买的充值。对于一次全公司范围的推广而言,真正让人止步的通常是这道鸿沟,而不是服务器。

LibreChat 全托管服务应当涵盖什么

只有当托管服务能替您移除整份清单,而不只是那些容器时,它才有意义。无论您选择谁,包括我们在内,都请用这条标准来要求:

  • 始终最新的 LibreChat 底座。更新无需您参与就会到位,产品持续跟随开源项目,而不是慢慢沦为一个被冻结的私有克隆。
  • 模型已包含在内。所有主流模型通过一个入口即可使用,无需获取、分发或轮换任何 API 密钥。
  • 真正的成本管控。按用户设定的预算、可归因到个人的用量,以及一张发票而非五张。
  • 团队管理。邀请、移除,搞定。合同一到期,访问权限即终止。
  • 完整的功能集。文件对话、图像生成和网络搜索都应在第一天就能用;它们正是这套技术栈之所以复杂的一半原因。
  • 一条退出之路。您的对话可以导出,底层软件是开源的。如果离开很难,那您就不是客户,而是人质。

kral 是怎么运营它的

kral 就是 LibreChat,只不过是作为一个成品平台来运营的。您在 app.kral.ai 登录,就能得到那个您本打算自托管的界面,而运维层已经为您搭建完毕:

  • Claude、GPT、Gemini、DeepSeek、Perplexity 以及更多模型,尽在一个应用之中,任何地方都不需要 API 密钥,
  • 按 token 计费,配以月度套餐和充值额度,因此用量会归因到产生它的那个人身上,
  • 团队套餐:一份合同、一个共享预算、由您自己管理的成员,
  • 已经接好线的文件上传与文档搜索、图像生成和网络搜索,
  • 支持 29 种语言的界面,
  • 更新都替您处理好:每当 LibreChat 发布一个新版本,我们负责合并、测试并推出上线。

坦诚地说:kral 运行的是一个持续维护的 LibreChat 分支,那些补丁的存在,恰恰就是为了上面这些东西(网关、计费、团队)。我们有意地紧跟上游发布,因为一个不再是 LibreChat 的托管版 LibreChat,早就偏离了它的初衷。

而正因为它就是 LibreChat,退出的大门始终敞开。随时导出您的数据,自己去运行那套开源技术栈。我们宁愿做那个您一再主动选择的选项,而不是那个让您无从脱身的选项。

自托管还是托管?一次实事求是的对比

自托管 LibreChat全托管(kral)
首次聊天所需时间一个下午,如果一切顺利的话大约一分钟
更新由您来阅读、合并、测试、部署替您完成
模型访问您自己的 API 密钥,每家提供商一个账户已包含,一次登录
按用户的成本管控自己动手搭建内置预算与按 token 计费
文件对话 / RAG需要额外运行的服务已包含
数据位置完全归您,就在您自己的硬件上位于 kral 的基础设施上,可随时导出
成本几何服务器、提供商发票、您的工时套餐或额度,一张发票

自托管在一件事上胜出,而且是很重要的一件:数据永远不会离开您的大楼。如果您有一支基础设施团队,又有严格的数据驻留要求,那就自托管吧。这是正确的选择,而这个项目也值得您在 GitHub 上为它点亮一颗星。

其实还有第三条路。kral 所构建于其上的那个平台,可以在您公司内部运行,甚至原生地跑在 您自己的 Windows Server 上。本地部署的要求,并不会终结这场对话。

团队真正会问的问题

kral 和 LibreChat 是一回事吗?

聊天体验就是 LibreChat,并且尽量贴近上游。围绕它,kral 补上了一次全公司推广所需要的东西:模型网关、计费、预算和团队管理。

我们需要自己的 API 密钥吗?

不需要。平台上的每一款模型都已包含在内,并按 token 计费。没有人需要去开通一个 OpenAI 账户,也不会有任何密钥泄露,因为根本没有密钥可以发出去。

我们以后能改回自托管吗?

可以。您的对话可以导出,软件是开源的。这条退路真实存在,而这正是为什么我们不靠锁定来留住您。

它适合团队使用吗?

适合。一个团队套餐就是一份带有共享预算的合同:所有者邀请成员,每个人都从同一个额度池中支取,而一旦您移除某人,其访问权限立刻终止。

它的费用是多少?

月度套餐附带包含的用量,外加可以随用随充的额度。最新的具体数字都在 kral.ai 上;没有藏在某份 PDF 里的按席位加价。


LibreChat 值得您的团队投入时间。至于它是否也值得占用您的每一个夜晚,那就是另一个问题了。如果答案是否定的:

立即试用 kral

评论(0)

暂无评论,来抢沙发吧!

请先登录后再发表评论。

登录 注册