您希望自己的对话在自己的硬件上,自己的密钥在自己手中,而且在您与模型之间没有任何订阅。好消息:LibreChat 正是为此而生的最佳开源基础,而自托管它是一个现实的周末项目。本指南就是那个周末的诚实版本。
在终端打开之前先作一个声明:本博客背后的平台 kral 是一个托管的 LibreChat。当自托管不再有趣时,我们靠此谋生,而这正是为什么我们没有理由美化本指南。下面的清单就是我们每天在生产环境中运行的内容。
开始之前您需要什么
- 一台机器。 一台带 Docker 的普通 Linux VPS 是经典的家;您自己电脑上的 Docker Desktop 足以进行第一次测试,Windows 以这种方式运行得很好。
- 一个域名和 TLS,就在您以外的某人登录的那一刻。
- 提供商的 API 密钥,用于您想要的模型:OpenAI、Anthropic、Google,无论您直接支付给谁。
- 一小时用于第一次对话,以及一个周末用于一个您不会感到难为情的安装。
不需要 GPU。您交谈的模型住在 API 后面;您的服务器只运行它们周围的平台。
活动部件
生产环境中的 LibreChat 是一支小舰队,而不是单一容器。在启航之前先认识一下船员:
| 部件 | 作用 | 需注意什么 |
|---|---|---|
| LibreChat 应用 | 界面和 API | 配置住在 .env 和 librechat.yaml 中;它们会变得宝贵 |
| MongoDB | 您的对话 | 备份它,并在信任它之前测试一次恢复 |
| Meilisearch | 跨对话搜索 | 大多数情况下设置后即可忘记 |
| RAG API + 向量数据库 | 文件上传和关于文档的对话 | 大多数人最先与之搟斗的部件 |
| 反向代理 + TLS | 前门 | 证书会续期;请求头和 websocket 很重要 |
| 提供商密钥 | 模型本身 | 一个泄露的密钥会烧光整个预算;轮换它们并限制其范围 |
五个诚实步骤完成安装
- 获取并配置。 克隆仓库,复制示例环境文件,并将您的提供商密钥放入 .env。模型端点和功能住在 librechat.yaml 中。
- 启动堆栈。 docker compose up -d 会启动应用及其服务。一小时内完成第一次对话是一个现实的目标。
- 创建您的账户并关上门。 注册,然后决定注册是否还保持开放。
- 在前面放一个代理。 在第二个人收到链接之前,一个带 TLS 和您域名的反向代理。
- 规划无聊的部分。 定时的数据库备份、订阅发行说明,以及一个您真正遵守的维护窗口。
第五步是将演示与部署区分开的一步,也是大多数周末指南跳过的一步。
它真正的成本
三种货币,诚实入账:
- 金钱。 软件采用 MIT 许可且免费。一个小型 VPS 能轻松承载个人安装;随着您的成长,RAG 堆栈会胃口大开。真正的变量是提供商的账单,因为现在每个 token 都在您的密钥上运行。
- 时间。 LibreChat 发布频繁,这对功能而言很棒,对您而言则是重复性的:阅读 changelog、pull、测试、继续前行。备份在它们无价的那一天到来之前不花分文。
- 注意力,从第二个用户开始。 在第二个人加入的那一刻,您会继承那些与服务器毫无关系的问题:谁可以用什么、那笔支出是谁的,以及谁来充实密钥。我们在托管的 LibreChat 托管中写下了完整的诚实清单。
何时自托管是正确选择,何时不再是
如果以下任一为真,请欣然自托管:您的数据不能离开建筑物、摸索摆弄是回报的一部分、只有您一人或少数可信任的人,或者您想要本地模型,因为一个指向 Ollama 或 vLLM 的自定义 OpenAI 兼容端点会将对话完全保留在您的 LAN 中。
当平台成为团队工具时,请重新考虑。负载不会随用户线性增长;它在第二个用户时跳升,并在第一个预算问题时再次跳升。而如果目的地是企业部署,kral 所基于的平台甚至可以在您自己的 Windows Server上原生运行:一套 LibreChat 从管理控制台配置、且每个用户的 token 支出按请求可见的套件,使得本地部署与低维护不再是对立面。
自托管者真正会问的问题
我需要 GPU 吗?
不需要。LibreChat 本身很轻量;模型从提供商的 API 响应。只有当您还想运行本地模型时才需要 GPU,而那时它属于 Ollama 或 vLLM,而不是 LibreChat。
它在 Windows 上运行吗?
通过 Docker Desktop,是的,而且对于个人安装很舒适。对于企业规模的 Windows Server 原生部署,kral 正是为此而构建。
更新如何运作?
新镜像定期发布。安全的节奏是:阅读发行说明、备份、pull、测试您所依赖的功能,然后让团队回来。跳过多个版本会使最终的跳跃更可怕,而不是更安全。
它真的免费吗?
软件,真的。部署,从不:您支付服务器、提供商的 token 和您的夜晚。这个方程的单一账单版本住在 kral.ai。
我应该备份什么?
包含您对话的数据库,以及上传的文件。一个您从未恢复过的备份是一个希望,而不是备份。
自托管 LibreChat 是值得的,也值得好好去做:给项目一颗星,让您的备份保持诚实,享受拥有整个堆栈。而如果有一天您想要结果胜过爱好,托管之路大约一分钟之遥:
评论(0)
暂无评论,来抢沙发吧!
请先登录后再发表评论。
登录 注册