Самостійний хостинг LibreChat: встановлення, витрати, посібник

Ви хочете свої розмови на власному обладнанні, свої ключі у власних руках і жодної підписки між вами та моделями. Гарна новина: LibreChat є найкращою основою з відкритим кодом саме для цього, а його самостійний хостинг це реалістичний проект на вихідні. Цей посібник є чесною версією тих вихідних.

Одне розкриття, перш ніж відкриється термінал: kral, платформа за цим блогом, це керований LibreChat. Ми заробляємо на життя тоді, коли самостійний хостинг перестає бути веселим, і саме тому у нас немає причин прикрашати цей посібник. Список нижче це те, що ми запускаємо у продакшені щодня.

Що потрібно, перш ніж ви почнете

Машина. Скромний Linux-VPS із Docker це класичний дім; Docker Desktop на вашому власному комп’ютері достатньо для першого тесту, і Windows цим шляхом працює чудово.
Домен та TLS, у той момент, коли входить хтось, крім вас.
API-ключі постачальників для моделей, які ви хочете: OpenAI, Anthropic, Google, кому б ви не платили напряму.
Година на першу розмову та вихідні на встановлення, за яке вам не буде соромно.

Жодного GPU не потрібно. Моделі, з якими ви розмовляєте, живуть за API; ваш сервер запускає лише платформу навколо них.

Рухомі частини

LibreChat у продакшені це невеликий флот, а не єдиний контейнер. Познайомтеся з командою, перш ніж виходити в море:

Частина	Що вона робить	За чим стежити
Додаток LibreChat	Інтерфейс та API	Конфігурація живе у .env та librechat.yaml; вони стають цінними
MongoDB	Ваші розмови	Зробіть резервну копію та перевірте відновлення один раз, перш ніж довіряти їй
Meilisearch	Пошук у розмовах	Переважно налаштувати та забути
RAG API + векторна БД	Завантаження файлів та розмова про документи	Частина, з якою більшість людей бореться першою
Зворотний проксі + TLS	Вхідні двері	Сертифікати поновлюються; заголовки та websocket-и мають значення
Ключі постачальників	Самі моделі	Виток ключа спалює весь бюджет; ротуйте їх та обмежуйте їхню область

Встановлення у п’ять чесних кроків

Отримайте та налаштуйте. Клонуйте репозиторій, скопіюйте приклад файлу середовища та помістіть свої ключі постачальників у .env. Кінцеві точки моделей та функції живуть у librechat.yaml.
Запустіть стек. docker compose up -d піднімає додаток та його сервіси. Перша розмова менш ніж за годину це реалістична мета.
Створіть свій обліковий запис та зачиніть двері. Зареєструйтеся, потім вирішіть, чи залишається реєстрація взагалі відкритою.
Поставте попереду проксі. Зворотний проксі з TLS та вашим доменом, перш ніж друга людина отримає посилання.
Сплануйте нудні частини. Заплановані резервні копії бази даних, підписка на примітки до випуску та вікно обслуговування, якого ви справді дотримуєтеся.

П’ятий крок це той, що відділяє демо від розгортання, і це крок, який більшість посібників на вихідні пропускають.

Скільки це справді коштує

Три валюти, чесно обліковані:

Гроші. Програмне забезпечення ліцензоване за MIT та безкоштовне. Невеликий VPS легко несе особисту установку; стек RAG набирає апетиту мірою вашого зростання. Справжня змінна це рахунки постачальників, бо кожен токен тепер працює на ваших ключах.
Час. LibreChat випускається часто, що чудово для функцій та повторюється для вас: прочитати changelog, зробити pull, протестувати, рухатися далі. Резервні копії не коштують нічого до того дня, коли вони безцінні.
Увага, починаючи з користувача номер два. У той момент, коли приєднується друга людина, ви успадковуєте питання, які не мають нічого спільного із серверами: хто може чим користуватися, чиїм був той витраток і хто поповнює ключ. Ми написали весь чесний список у статті керований хостинг LibreChat.

Коли самостійний хостинг правильний вибір, і коли він перестає ним бути

Хостіть самостійно з радістю, якщо вірне одне з цього: ваші дані не можуть покинути будівлю, порати з цим є частиною винагороди, є лише ви або жменя довірених людей, або ви хочете локальні моделі, бо власна OpenAI-сумісна кінцева точка, спрямована на Ollama або vLLM, тримає розмови повністю у вашій мережі LAN.

Перегляньте це знову, коли платформа стає командним інструментом. Навантаження не зростає лінійно з користувачами; воно стрибає на користувачеві два і знову на першому бюджетному питанні. А якщо пункт призначення це корпоративне розгортання, платформа, на якій побудований kral, може навіть працювати нативно на вашому власному Windows Server: набір, де LibreChat налаштовується з адміністративної консолі та де витрата токенів кожного користувача видна на запит, так що on-premises та низьке обслуговування не є протилежностями.

Питання, які самостійні хостери справді ставлять

Чи потрібен мені GPU?

Ні. Сам LibreChat легкий; моделі відповідають з API постачальників. GPU потрібен вам лише якщо ви також хочете запускати локальні моделі, і тоді він належить Ollama або vLLM, а не LibreChat.

Чи працює це на Windows?

Через Docker Desktop так, і зручно для особистої установки. Для нативного розгортання на Windows Server у корпоративному масштабі kral було побудовано саме для цього.

Як працюють оновлення?

Нові образи виходять регулярно. Безпечний темп такий: прочитати примітки до випуску, зробити резервну копію, зробити pull, протестувати функції, від яких ви залежите, потім дозволити команді повернутися. Пропуск кількох версій робить можливий стрибок страшнішим, а не безпечнішим.

Це справді безкоштовно?

Програмне забезпечення, справді. Розгортання, ніколи: ви платите за сервер, токени постачальника та свої вечори. Версія цього рівняння з одним рахунком живе на kral.ai.

Що мені слід резервувати?

Базу даних, яка містить ваші розмови, та завантажені файли. Резервна копія, яку ви ніколи не відновлювали, це надія, а не резервна копія.

Самостійний хостинг LibreChat вартий того та вартий того, щоб зробити його добре: поставте проекту зірку, тримайте свої резервні копії чесними та насолоджуйтеся володінням усім стеком. А якщо прийде день, коли ви хочете результат більше, ніж хобі, керований шлях знаходиться приблизно за хвилину:

Спробувати kral зараз

Забронювати демо

ai platform librechat self-hosted ai