您希望自己的对话在自己的硬件上,自己的密钥在自己手中,而且在您与模型之间没有任何订阅。好消息:LibreChat 正是为此而生的最佳开源基础,而自托管它是一个现实的周末项目。本指南就是那个周末的诚实版本。

在终端打开之前先作一个声明:本博客背后的平台 kral 是一个托管的 LibreChat。当自托管不再有趣时,我们靠此谋生,而这正是为什么我们没有理由美化本指南。下面的清单就是我们每天在生产环境中运行的内容。

开始之前您需要什么

  • 一台机器。 一台带 Docker 的普通 Linux VPS 是经典的家;您自己电脑上的 Docker Desktop 足以进行第一次测试,Windows 以这种方式运行得很好。
  • 一个域名和 TLS,就在您以外的某人登录的那一刻。
  • 提供商的 API 密钥,用于您想要的模型:OpenAI、Anthropic、Google,无论您直接支付给谁。
  • 一小时用于第一次对话,以及一个周末用于一个您不会感到难为情的安装。

不需要 GPU。您交谈的模型住在 API 后面;您的服务器只运行它们周围的平台。

活动部件

生产环境中的 LibreChat 是一支小舰队,而不是单一容器。在启航之前先认识一下船员:

部件作用需注意什么
LibreChat 应用界面和 API配置住在 .envlibrechat.yaml 中;它们会变得宝贵
MongoDB您的对话备份它,并在信任它之前测试一次恢复
Meilisearch跨对话搜索大多数情况下设置后即可忘记
RAG API + 向量数据库文件上传和关于文档的对话大多数人最先与之搟斗的部件
反向代理 + TLS前门证书会续期;请求头和 websocket 很重要
提供商密钥模型本身一个泄露的密钥会烧光整个预算;轮换它们并限制其范围

五个诚实步骤完成安装

  1. 获取并配置。 克隆仓库,复制示例环境文件,并将您的提供商密钥放入 .env。模型端点和功能住在 librechat.yaml 中。
  2. 启动堆栈。 docker compose up -d 会启动应用及其服务。一小时内完成第一次对话是一个现实的目标。
  3. 创建您的账户并关上门。 注册,然后决定注册是否还保持开放。
  4. 在前面放一个代理。 在第二个人收到链接之前,一个带 TLS 和您域名的反向代理。
  5. 规划无聊的部分。 定时的数据库备份、订阅发行说明,以及一个您真正遵守的维护窗口。

第五步是将演示与部署区分开的一步,也是大多数周末指南跳过的一步。

它真正的成本

三种货币,诚实入账:

  • 金钱。 软件采用 MIT 许可且免费。一个小型 VPS 能轻松承载个人安装;随着您的成长,RAG 堆栈会胃口大开。真正的变量是提供商的账单,因为现在每个 token 都在您的密钥上运行。
  • 时间。 LibreChat 发布频繁,这对功能而言很棒,对您而言则是重复性的:阅读 changelog、pull、测试、继续前行。备份在它们无价的那一天到来之前不花分文。
  • 注意力,从第二个用户开始。 在第二个人加入的那一刻,您会继承那些与服务器毫无关系的问题:谁可以用什么、那笔支出是谁的,以及谁来充实密钥。我们在托管的 LibreChat 托管中写下了完整的诚实清单。

何时自托管是正确选择,何时不再是

如果以下任一为真,请欣然自托管:您的数据不能离开建筑物、摸索摆弄是回报的一部分、只有您一人或少数可信任的人,或者您想要本地模型,因为一个指向 Ollama 或 vLLM 的自定义 OpenAI 兼容端点会将对话完全保留在您的 LAN 中。

当平台成为团队工具时,请重新考虑。负载不会随用户线性增长;它在第二个用户时跳升,并在第一个预算问题时再次跳升。而如果目的地是企业部署,kral 所基于的平台甚至可以在您自己的 Windows Server上原生运行:一套 LibreChat 从管理控制台配置、且每个用户的 token 支出按请求可见的套件,使得本地部署与低维护不再是对立面。

自托管者真正会问的问题

我需要 GPU 吗?

不需要。LibreChat 本身很轻量;模型从提供商的 API 响应。只有当您还想运行本地模型时才需要 GPU,而那时它属于 Ollama 或 vLLM,而不是 LibreChat。

它在 Windows 上运行吗?

通过 Docker Desktop,是的,而且对于个人安装很舒适。对于企业规模的 Windows Server 原生部署,kral 正是为此而构建。

更新如何运作?

新镜像定期发布。安全的节奏是:阅读发行说明、备份、pull、测试您所依赖的功能,然后让团队回来。跳过多个版本会使最终的跳跃更可怕,而不是更安全。

它真的免费吗?

软件,真的。部署,从不:您支付服务器、提供商的 token 和您的夜晚。这个方程的单一账单版本住在 kral.ai

我应该备份什么?

包含您对话的数据库,以及上传的文件。一个您从未恢复过的备份是一个希望,而不是备份。


自托管 LibreChat 是值得的,也值得好好去做:给项目一颗星,让您的备份保持诚实,享受拥有整个堆栈。而如果有一天您想要结果胜过爱好,托管之路大约一分钟之遥:

立即试用 kral

预约演示

评论(0)

暂无评论,来抢沙发吧!

请先登录后再发表评论。

登录 注册