Selvhosting av LibreChat: installasjon, kostnader, guide

Du vil ha samtalene dine på din egen maskinvare, nøklene dine i dine egne hender og ingen abonnement mellom deg og modellene. Gode nyheter: LibreChat er den beste open source-basen for nettopp det, og å selvhoste den er et realistisk helgeprosjekt. Denne guiden er den ærlige versjonen av den helgen.

En opplysning før terminalen åpnes: kral, plattformen bak denne bloggen, er en managed LibreChat. Vi tjener til livets opphold når selvhosting slutter å være gøy, og nettopp derfor har vi ingen grunn til å pynte på denne guiden. Listen under er hva vi kjører i produksjon hver dag.

Hva du trenger før du begynner

En maskin. En beskjeden Linux-VPS med Docker er det klassiske hjemmet; Docker Desktop på din egen datamaskin holder for en første test, og Windows fungerer fint den veien.
Et domene og TLS, i det øyeblikket noen andre enn deg logger inn.
API-nøkler fra leverandører for modellene du vil ha: OpenAI, Anthropic, Google, hvem enn du betaler direkte.
En time for den første samtalen og en helg for en installasjon du ikke skammer deg over.

Ingen GPU nødvendig. Modellene du snakker med lever bak API-er; serveren din kjører bare plattformen rundt dem.

De bevegelige delene

LibreChat i produksjon er en liten flåte, ikke en enkelt container. Bli kjent med mannskapet før du seiler ut:

Del	Hva den gjør	Hva man skal følge med på
LibreChat-app	Grensesnittet og API-et	Konfigurasjonen lever i .env og librechat.yaml; de blir dyrebare
MongoDB	Samtalene dine	Ta sikkerhetskopi av den, og test en gjenoppretting én gang før du stoler på den
Meilisearch	Søk på tvers av samtaler	For det meste sett opp og glem
RAG-API + vektor-DB	Filopplastinger og chat om dokumenter	Delen de fleste sliter med først
Revers proxy + TLS	Inngangsdøren	Sertifikater fornyer seg; headere og websocketer betyr noe
Leverandørnøkler	Selve modellene	En lekket nøkkel brenner hele budsjettet; roter dem og begrens omfanget deres

Installasjonen i fem ærlige trinn

Hent og konfigurer. Klon repoet, kopier eksempel-miljøfilen og legg leverandørnøklene dine i .env. Modellenes endepunkter og funksjoner lever i librechat.yaml.
Start stacken. docker compose up -d løfter appen og tjenestene dens. Den første samtalen innen en time er et realistisk mål.
Opprett kontoen din og lukk døren. Registrer deg, og bestem deretter om registrering i det hele tatt forblir åpen.
Sett en proxy foran. En revers proxy med TLS og domenet ditt, før den andre personen får lenken.
Planlegg de kjedelige delene. Planlagte database-sikkerhetskopier, et abonnement på utgivelsesnotater og et vedlikeholdsvindu du faktisk holder.

Trinn fem er det som skiller en demo fra en utrulling, og det er trinnet de fleste helgeguider hopper over.

Hva det virkelig koster

Tre valutaer, ærlig bokført:

Penger. Programvaren er MIT-lisensiert og gratis. En liten VPS bærer en personlig installasjon med letthet; RAG-stacken får appetitt etter hvert som du vokser. Den virkelige variabelen er leverandørenes regninger, fordi hvert token nå kjører på dine nøkler.
Tid. LibreChat gir ut ofte, noe som er flott for funksjoner og tilbakevendende for deg: les changelog, pull, test, gå videre. Sikkerhetskopier koster ingenting frem til dagen da de er uvurderlige.
Oppmerksomhet, fra bruker nummer to. I det øyeblikket en andre person blir med, arver du spørsmålene som ikke har noe med servere å gjøre: hvem får bruke hva, hvem sin var den utgiften og hvem fyller på nøkkelen. Vi skrev hele den ærlige listen i managed LibreChat-hosting.

Når selvhosting er det riktige valget, og når det slutter å være det

Selvhost med glede hvis en av disse er sann: dataene dine kan ikke forlate bygningen, å fikle med det er en del av belønningen, det er bare deg eller en håndfull betrodde personer, eller du vil ha lokale modeller, fordi et tilpasset OpenAI-kompatibelt endepunkt rettet mot Ollama eller vLLM holder samtalene helt på ditt LAN.

Vurder på nytt når plattformen blir et teamverktøy. Belastningen vokser ikke lineært med brukerne; den hopper ved bruker to og igjen ved det første budsjettspørsmålet. Og hvis destinasjonen er en bedriftsutrulling, kan plattformen som kral er bygget på til og med kjøre nativt på din egen Windows Server: en pakke der LibreChat konfigureres fra en administrasjonskonsoll og der hver brukers tokenforbruk er synlig per forespørsel, slik at on-premises og lavt vedlikehold ikke er motsetninger.

Spørsmålene selvhostere faktisk stiller

Trenger jeg en GPU?

Nei. Selve LibreChat er lett; modellene svarer fra leverandørenes API-er. Du trenger bare en GPU hvis du også vil kjøre lokale modeller, og da tilhører den Ollama eller vLLM, ikke LibreChat.

Kjører det på Windows?

Gjennom Docker Desktop, ja, og komfortabelt for en personlig installasjon. For en nativ utrulling på Windows Server i bedriftsskala er kral bygget for nettopp det.

Hvordan fungerer oppdateringer?

Nye images kommer ut regelmessig. Det trygge tempoet er: les utgivelsesnotatene, ta sikkerhetskopi, pull, test funksjonene du er avhengig av, og la deretter teamet komme tilbake. Å hoppe over flere versjoner gjør det eventuelle hoppet skumlere, ikke tryggere.

Er det virkelig gratis?

Programvaren, virkelig. Utrullingen, aldri: du betaler for serveren, leverandørens tokens og kveldene dine. Versjonen av denne ligningen med én faktura lever på kral.ai.

Hva bør jeg sikkerhetskopiere?

Databasen som inneholder samtalene dine, og de opplastede filene. En sikkerhetskopi du aldri har gjenopprettet er et håp, ikke en sikkerhetskopi.

Å selvhoste LibreChat er verdt det og verdt å gjøre ordentlig: gi prosjektet en stjerne, hold sikkerhetskopiene dine ærlige og nyt å eie hele stacken. Og hvis dagen kommer da du vil ha resultatet mer enn hobbyen, er den managed veien omtrent ett minutt unna:

Prøv kral nå

Bestill en demo

KI-plattform librechat selvhostet KI