Самостоятельный хостинг LibreChat: установка, затраты и честное руководство

Вы хотите свои разговоры на собственном оборудовании, свои ключи в собственных руках и никакой подписки между вами и моделями. Хорошая новость: LibreChat является лучшей основой с открытым исходным кодом именно для этого, а его самостоятельный хостинг это реалистичный проект на выходные. Это руководство представляет собой честную версию тех выходных.

Одно раскрытие, прежде чем откроется терминал: kral, платформа за этим блогом, это управляемый LibreChat. Мы зарабатываем на жизнь тогда, когда самостоятельный хостинг перестаёт быть весёлым, и именно поэтому у нас нет причин приукрашивать это руководство. Список ниже это то, что мы запускаем в продакшене каждый день.

Что нужно, прежде чем вы начнёте

• Машина. Скромный Linux-VPS с Docker это классический дом; Docker Desktop на вашем собственном компьютере достаточен для первого теста, и Windows этим путём работает отлично.
• Домен и TLS, в тот момент, когда входит кто-то, кроме вас.
• API-ключи провайдеров для нужных вам моделей: OpenAI, Anthropic, Google, кому бы вы ни платили напрямую.
• Час на первый разговор и выходные на установку, за которую вам не будет стыдно.

Никакого GPU не требуется. Модели, с которыми вы разговариваете, живут за API; ваш сервер запускает только платформу вокруг них.

Движущиеся части

LibreChat в продакшене это небольшой флот, а не единственный контейнер. Познакомьтесь с экипажем, прежде чем выйти в море:

Установка в пять честных шагов

1. Получите и настройте. Клонируйте репозиторий, скопируйте образец файла окружения и поместите свои ключи провайдеров в .env. Конечные точки моделей и функции живут в librechat.yaml.
2. Запустите стек. docker compose up -d поднимает приложение и его сервисы. Первый разговор менее чем за час это реалистичная цель.
3. Создайте свою учётную запись и закройте дверь. Зарегистрируйтесь, затем решите, остаётся ли регистрация вообще открытой.
4. Поставьте спереди прокси. Обратный прокси с TLS и вашим доменом, прежде чем второй человек получит ссылку.
5. Спланируйте скучные части. Запланированные резервные копии базы данных, подписка на примечания к выпуску и окно обслуживания, которое вы действительно соблюдаете.

Пятый шаг это тот, который отделяет демо от развёртывания, и это шаг, который большинство руководств на выходные пропускают.

Сколько это действительно стоит

Три валюты, честно учтённые:

• Деньги. Программное обеспечение лицензировано по MIT и бесплатно. Небольшой VPS легко несёт личную установку; стек RAG набирает аппетит по мере вашего роста. Настоящая переменная это счета провайдеров, потому что каждый токен теперь работает на ваших ключах.
• Время. LibreChat выпускается часто, что прекрасно для функций и повторяется для вас: прочитать changelog, сделать pull, протестировать, двигаться дальше. Резервные копии не стоят ничего до того дня, когда они бесценны.
• Внимание, начиная со второго пользователя. В тот момент, когда присоединяется второй человек, вы наследуете вопросы, не имеющие ничего общего с серверами: кто может использовать что, чьим был тот расход и кто пополняет ключ. Мы написали весь честный список в статье управляемый хостинг LibreChat.

Когда самостоятельный хостинг правильный выбор, и когда он перестаёт им быть

Хостите сами с радостью, если верно одно из этого: ваши данные не могут покинуть здание, возня с этим является частью награды, есть только вы или горстка доверенных людей, или вы хотите локальные модели, потому что пользовательская OpenAI-совместимая конечная точка, направленная на Ollama или vLLM, держит разговоры целиком в вашей сети LAN.

Пересмотрите, когда платформа становится командным инструментом. Нагрузка не растёт линейно с пользователями; она прыгает у пользователя два и снова у первого бюджетного вопроса. А если пункт назначения это корпоративное развёртывание, платформа, на которой построен kral, может даже работать нативно на вашем собственном Windows Server: набор, где LibreChat настраивается из административной консоли и где расход токенов каждого пользователя виден по запросу, так что on-premises и низкое обслуживание не являются противоположностями.

Вопросы, которые самостоятельные хостеры действительно задают

Нужен ли мне GPU?

Нет. Сам LibreChat лёгкий; модели отвечают из API провайдеров. GPU нужен вам только если вы также хотите запускать локальные модели, и тогда он принадлежит Ollama или vLLM, а не LibreChat.

Работает ли это на Windows?

Через Docker Desktop да, и удобно для личной установки. Для нативного развёртывания на Windows Server в корпоративном масштабе kral был построен именно для этого.

Как работают обновления?

Новые образы выходят регулярно. Безопасный темп таков: прочитать примечания к выпуску, сделать резервную копию, сделать pull, протестировать функции, от которых вы зависите, затем позволить команде вернуться. Пропуск нескольких версий делает возможный прыжок страшнее, а не безопаснее.

Это действительно бесплатно?

Программное обеспечение, действительно. Развёртывание, никогда: вы платите за сервер, токены провайдера и свои вечера. Версия этого уравнения с одним счётом живёт на kral.ai.

Что мне следует резервировать?

Базу данных, которая содержит ваши разговоры, и загруженные файлы. Резервная копия, которую вы никогда не восстанавливали, это надежда, а не резервная копия.

Самостоятельный хостинг LibreChat того стоит и стоит сделать хорошо: поставьте проекту звезду, держите свои резервные копии честными и наслаждайтесь владением всем стеком. А если придёт день, когда вы хотите результат больше, чем хобби, управляемый путь находится примерно в минуте:

Попробовать kral сейчас

Забронировать демо