Vlastné hostovanie LibreChat: inštalácia, náklady, sprievodca

Chcete svoje konverzácie na vlastnom hardvéri, svoje kľúče vo vlastných rukách a žiadne predplatné medzi vami a modelmi. Dobrá správa: LibreChat je najlepší open source základ presne na to a jeho vlastné hostovanie je realistický víkendový projekt. Tento sprievodca je úprimná verzia toho víkendu.

Jedno prezradenie predtým, než sa otvorí terminál: kral, platforma za týmto blogom, je spravovaný LibreChat. Živíme sa vtedy, keď vlastné hostovanie prestane byť zábavou, a presne preto nemáme dôvod tohto sprievodcu prikrášľovať. Zoznam nižšie je to, čo každý deň prevádzkujeme v produkcii.

Čo potrebujete pred začiatkom

Stroj. Skromný Linux VPS s Dockerom je klasický domov; Docker Desktop na vašom vlastnom počítači stačí na prvý test a Windows touto cestou funguje výborne.
Doména a TLS, vo chvíli, keď sa prihlási niekto okrem vás.
API kľúče poskytovateľov pre modely, ktoré chcete: OpenAI, Anthropic, Google, komukoľvek platíte priamo.
Jedna hodina na prvú konverzáciu a jeden víkend na inštaláciu, za ktorú sa nebudete hanbiť.

Žiadne GPU nie je potrebné. Modely, s ktorými hovoríte, žijú za API; váš server prevádzkuje len platformu okolo nich.

Pohyblivé časti

LibreChat v produkcii je malá flotila, nie jediný kontajner. Spoznajte posádku predtým, než vyplávate:

Časť	Čo robí	Na čo dávať pozor
Aplikácia LibreChat	Rozhranie a API	Konfigurácia žije v .env a librechat.yaml; stávajú sa vzácnymi
MongoDB	Vaše konverzácie	Zálohujte ju a raz otestujte obnovenie predtým, než jej budete dôverovať
Meilisearch	Vyhľadávanie naprieč konverzáciami	Väčšinou nastaviť a zabudnúť
RAG API + vektorová DB	Nahrávanie súborov a konverzácia o dokumentoch	Časť, s ktorou väčšina ľudí najprv zápasí
Revérzny proxy + TLS	Vstupné dvere	Certifikáty sa obnovujú; hlavičky a websockety majú význam
Kľúče poskytovateľov	Samotné modely	Uniknutý kľúč spáli celý rozpočet; rotujte ich a obmedzte ich rozsah

Inštalácia v piatich úprimných krokoch

Stiahnite a nakonfigurujte. Naklonujte repozitár, skopírujte ukážkový súbor prostredia a vložte svoje kľúče poskytovateľov do .env. Koncové body modelov a funkcie žijú v librechat.yaml.
Spustite zásobník. docker compose up -d zdvihne aplikáciu a jej služby. Prvá konverzácia do hodiny je realistický cieľ.
Vytvorte si účet a zatvorte dvere. Zaregistrujte sa, potom sa rozhodnite, či registrácia vôbec zostane otvorená.
Postavte pred to proxy. Revérzny proxy s TLS a vašou doménou, predtým než druhý človek dostane odkaz.
Naplánujte nudné časti. Naplánované zálohy databázy, odber poznámok k vydaniu a údržbové okno, ktoré naozaj dodržíte.

Piaty krok je ten, ktorý oddeľuje demo od nasadenia, a je to krok, ktorý väčšina víkendových sprievodcov preskočí.

Koľko to naozaj stojí

Tri meny, úprimne zaúčtované:

Peniaze. Softvér je pod licenciou MIT a zadarmo. Malý VPS unesie osobnú inštaláciu s prehľadom; zásobník RAG dostáva chuť do jedla, ako rastiete. Skutočnou premennou sú faktúry poskytovateľov, pretože každý token teraz beží na vašich kľúčoch.
Čas. LibreChat vydáva často, čo je skvelé pre funkcie a opakujúce sa pre vás: prečítať changelog, stiahnuť, otestovať, ísť ďalej. Zálohy nestoja nič až do dňa, keď sú na nezaplatenie.
Pozornosť, začínajúc od používateľa číslo dva. Vo chvíli, keď sa pridá druhý človek, zdedíte otázky, ktoré nemajú nič spoločné so servermi: kto môže čo používať, čí bol ten výdavok a kto dobíja kľúč. Celý úprimný zoznam sme napísali v článku spravované hostovanie LibreChat.

Kedy je vlastné hostovanie správna voľba a kedy prestane byť

Hostujte si sami s radosťou, ak platí jedno z tohto: vaše dáta nesmú opustiť budovu, bačkanie je súčasťou odmeny, ste len vy alebo hrstka dôveryhodných ľudí, alebo chcete lokálne modely, pretože vlastný OpenAI kompatibilný koncový bod mieriaci na Ollama alebo vLLM udrží konverzácie úplne vo vašej LAN sieti.

Zvážte to znova, keď sa platforma stane tímovým nástrojom. Záťaž nerastie lineárne s používateľmi; skočí pri používateľovi dva a znova pri prvej rozpočtovej otázke. A ak je cieľom podnikové nasadenie, platforma, na ktorej je postavený kral, môže dokonca bežať natívne na vašom vlastnom Windows Serveri: balík, kde sa LibreChat konfiguruje z administrátorskej konzoly a kde je výdavok tokenov každého používateľa viditeľný na požiadavku, takže on-premises a nízka údržba nie sú protiklady.

Otázky, ktoré si samostatní hostitelia naozaj kladú

Potrebujem GPU?

Nie. Samotný LibreChat je ľahký; modely odpovedajú z API poskytovateľov. GPU potrebujete len ak chcete prevádzkovať aj lokálne modely, a vtedy patrí Ollama alebo vLLM, nie LibreChat.

Beží to na Windowse?

Cez Docker Desktop áno, a pohodlne pre osobnú inštaláciu. Pre natívne nasadenie na Windows Server v podnikovej mierke bol kral postavený presne na to.

Ako fungujú aktualizácie?

Nové obrazy vychádzajú pravidelne. Bezpečné tempo je: prečítať poznámky k vydaniu, zálohovať, stiahnuť, otestovať funkcie, na ktorých závisíte, potom nechať tím vrátiť sa. Preskočenie viacerých verzií robí prípadný skok strašidelnejším, nie bezpečnejším.

Je to naozaj zadarmo?

Softvér naozaj. Nasadenie nikdy: platíte server, tokeny poskytovateľa a svoje večery. Verzia tejto rovnice s jednou faktúrou žije na kral.ai.

Čo by som mal zálohovať?

Databázu, ktorá obsahuje vaše konverzácie, a nahrané súbory. Záloha, ktorú ste nikdy neobnovili, je nádej, nie záloha.

Vlastné hostovanie LibreChat stojí za to a stojí za to urobiť ho dobre: dajte projektu hviezdu, udržujte svoje zálohy úprimné a vychutnajte si vlastníctvo celého zásobníka. A ak príde deň, keď chcete výsledok viac než koníček, spravovaná cesta je asi minútu ďaleko:

Vyskúšajte kral teraz

Rezervujte si demo

AI platforma librechat AI na vlastnom serveri