Самостоятелно хостване на LibreChat: инсталация, разходи и честно ръководство

Искате разговорите си на собствен хардуер, ключовете си в собствени ръце и никакъв абонамент между вас и моделите. Добра новина: LibreChat е най-добрата основа с отворен код точно за това, а самостоятелното му хостване е реалистичен проект за уикенд. Това ръководство е честната версия на този уикенд.

Едно разкриване, преди да се отвори терминалът: kral, платформата зад този блог, е управляван LibreChat. Изкарваме си хляба тогава, когато самостоятелното хостване престане да е забавно, и точно затова нямаме причина да разваляваме това ръководство. Списъкът по-долу е това, което пускаме в продукция всеки ден.

Какво ви трябва, преди да започнете

• Машина. Скромен Linux VPS с Docker е класическият дом; Docker Desktop на собствения ви компютър е достатъчен за първи тест, и Windows работи прекрасно по този път.
• Домейн и TLS, в момента, в който влезе някой друг освен вас.
• API ключове на доставчици за моделите, които искате: OpenAI, Anthropic, Google, на когото и да плащате директно.
• Един час за първия разговор и един уикенд за инсталация, от която няма да се срамувате.

Не е необходим GPU. Моделите, с които говорите, живеят зад API; вашият сървър пуска само платформата около тях.

Движещите се части

LibreChat в продукция е малък флот, а не единствен контейнер. Запознайте се с екипажа, преди да отплавате:

Инсталацията в пет честни стъпки

1. Изтеглете и конфигурирайте. Клонирайте хранилището, копирайте примерния файл за среда и поставете ключовете на доставчиците си в .env. Крайните точки на моделите и функциите живеят в librechat.yaml.
2. Стартирайте стека. docker compose up -d повдига приложението и услугите му. Първият разговор за по-малко от час е реалистична цел.
3. Създайте акаунта си и затворете вратата. Регистрирайте се, след което решете дали регистрацията изобщо остава отворена.
4. Поставете прокси отпред. Обратен прокси с TLS и вашия домейн, преди вторият човек да получи връзката.
5. Планирайте скучните части. Планирани резервни копия на базата данни, абонамент за бележките по изданията и прозорец за поддръжка, който действително спазвате.

Петата стъпка е тази, която отделя демото от разгръщането, и това е стъпката, която повечето ръководства за уикенд пропускат.

Колко струва в действителност

Три валути, честно осчетоводени:

• Пари. Софтуерът е лицензиран под MIT и е безплатен. Малък VPS носи лична инсталация лесно; стекът RAG придобива апетит, докато растете. Истинската променлива са сметките на доставчиците, защото всеки токен сега работи на вашите ключове.
• Време. LibreChat издава често, което е чудесно за функциите и повтарящо се за вас: прочетете changelog, направете pull, тествайте, продължете нататък. Резервните копия не струват нищо до деня, в който са безценни.
• Внимание, почвайки от потребител номер две. В момента, в който се присъедини втори човек, наследявате въпросите, които нямат нищо общо със сървърите: кой може да използва какво, чий беше този разход и кой попълва ключа. Написахме целия честен списък в статията управлявано хостване на LibreChat.

Кога самостоятелното хостване е правилният избор и кога престава да бъде

Хоствайте сами с радост, ако едно от тези е вярно: вашите данни не могат да напуснат сградата, разнишкането е част от наградата, само вие сте или шепа доверени хора, или искате локални модели, защото персонализирана OpenAI-съвместима крайна точка, насочена към Ollama или vLLM, държи разговорите изцяло във вашата LAN мрежа.

Преосмислете, когато платформата стане екипен инструмент. Натоварването не расте линейно с потребителите; то скача при потребител две и отново при първия въпрос за бюджет. А ако целта е корпоративно разгръщане, платформата, върху която е изграден kral, може дори да работи нативно на вашия собствен Windows Server: пакет, при който LibreChat се конфигурира от административна конзола и при който разходът на токени на всеки потребител е видим на заявка, така че on-premises и ниската поддръжка не са противоположности.

Въпросите, които самостоятелните хостващи действително задават

Трябва ли ми GPU?

Не. Самият LibreChat е лек; моделите отговарят от API на доставчиците. Трябва ви GPU само ако искате също да пускате локални модели, и тогава той принадлежи на Ollama или vLLM, а не на LibreChat.

Работи ли на Windows?

През Docker Desktop, да, и удобно за лична инсталация. За нативно разгръщане на Windows Server в корпоративен мащаб kral е изграден точно за това.

Как работят актуализациите?

Нови образи излизат редовно. Безопасното темпо е: прочетете бележките по изданието, направете резервно копие, направете pull, тествайте функциите, от които зависите, след което позволете на екипа да се върне. Пропускането на няколко версии прави евентуалния скок по-страшен, а не по-безопасен.

Действително ли е безплатно?

Софтуерът, действително. Разгръщането, никога: плащате за сървъра, токените на доставчика и вечерите си. Версията с една фактура на това уравнение живее на kral.ai.

Какво трябва да архивирам?

Базата данни, която съдържа разговорите ви, и качените файлове. Резервно копие, което никога не сте възстановявали, е надежда, а не резервно копие.

Самостоятелното хостване на LibreChat си струва и си струва да се направи добре: дайте на проекта звезда, пазете резервните си копия честни и се насладете на това, че притежавате целия стек. А ако дойде денят, в който искате резултата повече от хобито, управляваният път е на около минута:

Опитайте kral сега

Запазете демо