Găzduirea proprie a LibreChat: instalare, costuri și un ghid onest

Vă doriți conversațiile pe propriul hardware, cheile în propriile mâini și niciun abonament între dumneavoastră și modele. Vestea bună: LibreChat este cea mai bună bază open source pentru exact acest lucru, iar găzduirea sa proprie este un proiect de weekend realist. Acest ghid este versiunea onestă a acelui weekend.

O dezvăluire înainte ca terminalul să se deschidă: kral, platforma din spatele acestui blog, este un LibreChat gestionat. Ne câștigăm existența atunci când găzduirea proprie încetează să fie amuzantă, și tocmai de aceea nu avem niciun motiv să înfrumusețăm acest ghid. Lista de mai jos este ceea ce rulăm în producție în fiecare zi.

Ce vă trebuie înainte să începeți

• O mașină. Un VPS Linux modest cu Docker este casa clasică; Docker Desktop pe propriul calculator este suficient pentru un prim test, iar Windows funcționează foarte bine pe această cale.
• Un domeniu și TLS, în momentul în care se conectează altcineva în afară de dumneavoastră.
• Chei API de la furnizori pentru modelele pe care le doriți: OpenAI, Anthropic, Google, oricine plătiți direct.
• O oră pentru prima conversație și un weekend pentru o instalare de care nu vă veți rușina.

Niciun GPU necesar. Modelele cu care vorbiți trăiesc în spatele API-urilor; serverul dumneavoastră rulăză doar platforma din jurul lor.

Piesele în mișcare

LibreChat în producție este o mică flotă, nu un singur container. Cunoașteți echipajul înainte de a ridica pânzele:

Instalarea în cinci pași onești

1. Preluați și configurați. Clonați depozitul, copiați fișierul de mediu exemplu și puneți-vă cheile furnizorilor în .env. Punctele finale ale modelelor și funcțiile trăiesc în librechat.yaml.
2. Porniți stiva. docker compose up -d ridică aplicația și serviciile sale. Prima conversație în mai puțin de o oră este un obiectiv realist.
3. Creați-vă contul și închideți ușa. Înregistrați-vă, apoi decideți dacă înregistrarea rămâne deschisă în general.
4. Puneți un proxy în față. Un proxy invers cu TLS și domeniul dumneavoastră, înainte ca a doua persoană să primească linkul.
5. Planificați părțile plictisitoare. Copii de rezervă programate ale bazei de date, un abonament la notele de versiune și o fereastră de întreținere pe care chiar o respectați.

Pasul cinci este cel care separă o demonstrație de o implementare și este pasul pe care majoritatea ghidurilor de weekend îl sar.

Cât costă cu adevărat

Trei monede, contabilizate onest:

• Bani. Software-ul are licență MIT și este gratuit. Un VPS mic susține o instalare personală cu ușurință; stiva RAG capătă apetit pe măsură ce creșteți. Adevărata variabilă sunt facturile furnizorilor, deoarece fiecare token rulăză acum pe cheile dumneavoastră.
• Timp. LibreChat lansează des, ceea ce este minunat pentru funcții și recurent pentru dumneavoastră: citiți changelog-ul, faceți pull, testați, mergeți mai departe. Copiile de rezervă nu costă nimic până în ziua în care sunt de neprețuit.
• Atenție, începând de la utilizatorul numărul doi. În momentul în care o a doua persoană se alătură, moșteniți întrebările care nu au nimic de-a face cu serverele: cine poate folosi ce, a cui a fost acea cheltuială și cine reîncarcă cheia. Am scris întreaga listă onestă în găzduirea LibreChat gestionată.

Când găzduirea proprie este alegerea potrivită și când încetează să fie

Găzduiți singuri cu bucurie dacă una dintre acestea este adevărată: datele dumneavoastră nu pot părăsi clădirea, meșterealul face parte din recompensă, sunteți doar dumneavoastră sau un pumn de oameni de încredere, sau doriți modele locale, deoarece un punct final personalizat compatibil cu OpenAI orientat spre Ollama sau vLLM păstrează conversațiile complet în rețeaua dumneavoastră LAN.

Reconsiderați când platforma devine un instrument de echipă. Sarcina nu crește liniar cu utilizatorii; sare la utilizatorul doi și din nou la prima întrebare de buget. Iar dacă destinația este o implementare de întreprindere, platforma pe care este construit kral poate chiar să ruleze nativ pe propriul dumneavoastră Windows Server: o suită în care LibreChat este configurat dintr-o consolă de administrare și în care cheltuiala de tokenuri a fiecărui utilizator este vizibilă per cerere, astfel încât on-premises și întreținerea scăzută să nu fie contrarii.

Întrebările pe care le pun cu adevărat cei ce găzduiesc singuri

Am nevoie de un GPU?

Nu. LibreChat în sine este ușor; modelele răspund din API-urile furnizorilor. Aveți nevoie de un GPU doar dacă doriți de asemenea să rulați modele locale, și atunci acesta aparține lui Ollama sau vLLM, nu lui LibreChat.

Rulează pe Windows?

Prin Docker Desktop, da, și confortabil pentru o instalare personală. Pentru o implementare nativă pe Windows Server la scară de întreprindere, pentru asta a fost construit kral.

Cum funcționează actualizările?

Apar imagini noi în mod regulat. Ritmul sigur este: citiți notele de versiune, faceți copie de rezervă, faceți pull, testați funcțiile de care depindeți, apoi lăsați echipa să revină. Săritul peste mai multe versiuni face saltul eventual mai înfricoșător, nu mai sigur.

Chiar este gratuit?

Software-ul, cu adevărat. Implementarea, niciodată: plătiți serverul, tokenurile furnizorului și serile dumneavoastră. Versiunea cu o singură factură a acestei ecuații trăiește pe kral.ai.

Ce ar trebui să salvez?

Baza de date care conține conversațiile dumneavoastră și fișierele încărcate. O copie de rezervă pe care nu ați restaurat-o niciodată este o speranță, nu o copie de rezervă.

Găzduirea proprie a LibreChat merită și merită făcută bine: dați proiectului o stea, păstrați-vă copiile de rezervă oneste și bucurați-vă că dețineți întreaga stivă. Iar dacă vine ziua când doriți rezultatul mai mult decât hobby-ul, calea gestionată este la aproximativ un minut distanță:

Încercați kral acum

Rezervați o demonstrație