试点是在没有您的情况下发生的。公司里的某处,LibreChat 已经在运行:一位开发者在一个下午就把它搭了起来,两个团队发现了它,而如今它正静静地承担着真正的工作。然后,请求以一句话落到 IT 部门的桌上:“我们能把这个变成正式的吗?”正式就是难的部分开始的地方:单点登录、访问控制、一个归某人所有的预算,以及一张采购真正能入账的发票。

这篇文章就是那一步的地图。LibreChat 的企业级部署真正需要什么,LibreChat 开箱即用地提供哪些部分,以及哪些部分需要有人去搭建。先完全坦诚地说一句:kral 是一个专为这道缺口而构建的托管 LibreChat,我们会精确地说明开源项目在哪里结束、我们的层在哪里开始。

“正式”真正的含义

不论工具是什么,每家公司在说正式时都意味着同样的六件事:

  • 身份。一个登录,受管理的入职与离职,没有任何电子表格里的密码清单。
  • 访问控制。谁可以使用哪些模型,按角色决定,而不是按谁先找到网址来决定。
  • 归属。能追溯到某个人的使用量,否则财务会把它追溯到您头上。
  • 预算。按人或按团队设定的上限,在超支发生之前就阻止它,而不是之后。
  • 适合采购的计费。一张发票、正确的增值税、一个能融入采购流程的供应商。
  • 一个生命周期。按时间表更新、一份有人阅读的变更日志,以及一条有文档记录的退出路径。

这些都不是什么新奇事物。这和您公司对每一个其他记录系统的要求是同一张清单。区别在于,AI 是从侧门进来的,而这张清单现在已经逾期了。

LibreChat 开箱即用地提供什么

先给予肯定,因为这是它应得的。LibreChat 为企业提供了真正可供起步的实质内容:

  • OpenID Connect 支持。应用可以针对一个 identity provider 进行认证,而不是针对本地密码。
  • 您的用户已经选定的界面。智能体、文件对话、图像生成、搜索;接受度不是您的问题。
  • 一份 MIT 许可证。没有用户数量条款,没有品牌条件,自由地查阅和修改代码
  • 作为基本元素的 token 额度。存在一个用于计量用量的基本机制。

以及那道坦诚的界线,与我们在托管 LibreChat 主机服务一文中描述的同一道:LibreChat 是一个聊天应用,而不是一个计费系统,也不是采购的对口方。没有套餐,没有发票,没有税务处理,没有财务团队会认可的支出上限,而团队以一行行用户的形式存在,而不是以带共享预算的合同形式存在。这不是批评;这是范围。

kral 运营的企业层

kral 将 LibreChat 体验保持在贴近 upstream 的位置,并在其周围把正式的部分构建成一个套件:您用户看到的聊天、您内部工具调用的网关、IT 进行管控的管理控制台,以及财务能入账的计费。就连 LibreChat 本身也是从那个控制台配置的;打开一个模型、切换一项功能,聊天便随之而变,无需手动编辑的 YAML。在实践中,这意味着:

  • 一个登录。单一账户承载聊天、用量与计费。公司里任何地方都没有 API 密钥。
  • 作为合同的团队。一份协议、一份共享预算、由所有者邀请和移除的成员。席位一结束,访问权也随之结束。
  • 自动执行的预算。按人设定的每月上限;平台会对照它们衡量每一个请求,并在您划定的线上停下。
  • 您真正看得到的用量。每个请求都被计量:模型、输入 token、输出 token、成本。每个用户的 token 支出只需几秒就能查到,而不是月底的重建,而且每一笔支出都带着一个名字。
  • 模型治理。逐个开启或关闭模型;每个主要提供商都已包含,并按 token 计费。
  • 为采购准备好的计费。套餐加额度、处理好的欧盟增值税、一张发票而不是五张供应商对账单。
  • 一个无需您运营的生命周期。当 LibreChat 发布一个版本时,我们会合并、测试并部署它。

一分钟内托管,或在您自己的围墙之内

快速的道路是托管:登录 app.kral.ai,上面的层已经是活的。企业的道路走得更远:kral 所基于的平台可以在您公司内部运行,原生地运行在您自己的 Windows Server上。在那里,登录会接入您 IT 本来就在运行的 identity provider,数据保留在您拥有的硬件上,而您的内部工具通过一个带一把密钥的网关端点触及每一个模型。

两条道路都保留着同一个出口:底层是开源的,而您的数据是可导出的。一个正式的工具永远不应该需要一条人质条款来留住它的用户。

原始 LibreChat 对比 kral,以企业的眼光

原始 LibreChatkral
登录需您自行接线并运营的 OIDC 支持一个登录;自托管路径上的 IdP 集成
团队数据库里的用户带共享预算和所有者控制的合同
成本控制作为基本元素的 token 额度按人上限、按 token 归属
用量可见性日志,前提是您自己搭建报表每个请求都被计量;每个用户的支出一目了然
管理手动编辑的 YAML 和 env 文件一个控制台配置模型、功能与聊天
计费不是它的任务套餐、额度、欧盟增值税、一张发票
模型您的 API 密钥,每个提供商一个账户已包含,每个主要提供商
更新您阅读、合并、测试、部署为您完成
退出按定义即为开源随时可导出,底层保持开源

IT 真正会问的问题

kral 只是带额外功能的 LibreChat 吗?

有意如此,是的。kral 将聊天保持在贴近 upstream 的位置;围绕它的是网关、计费、预算、用量报表与团队管理,由一个控制台驱动,正是企业级部署所缺少的那部分。

我们能保留自己的 identity provider 吗?

在自托管平台上,能:登录针对您 IT 运行的 IdP 工作。app.kral.ai 上的托管服务使用 kral 账户,在聊天与计费之间使用单一登录。

我们该对数据保护官说什么?

问问提示词到哪里去了。在您自己的服务器上,它们在任何模型看到之前就去到了您拥有的硬件。在托管服务上,它们通过 kral 去到您选择的模型提供商,而您的数据随时保持可导出。这不是律师的回答;而是可供在其上构建回答的坦诚拓扑。

我们的人需要 API 密钥吗?

不需要。平台上的每个模型都已包含并按 token 计费。没有人需要开通提供商账户,也没有任何密钥会泄露,因为根本没有密钥可供分发。

它多少钱?

包含用量的月度套餐,再加上用于繁忙周的额度。当前的数字就在 kral.ai 上;没有藏在 PDF 里的按席位加价,而那位每月只问三个问题的同事几乎不会让您花什么钱。


LibreChat 已经赢得了您的用户;那部分已经完成。剩下的是把它变成正式的,而不把它变成一个六个月的项目。那就是 kral 运营的部分:

预约演示

立即试用 kral

评论(0)

暂无评论,来抢沙发吧!

请先登录后再发表评论。

登录 注册