Du vil have dine samtaler på dit eget hardware, dine nøgler i dine egne hænder og intet abonnement mellem dig og modellerne. Godt nyt: LibreChat er den bedste open source-base til netop det, og at selv-hoste den er et realistisk weekendprojekt. Denne guide er den ærlige version af den weekend.
En oplysning, før terminalen åbner: kral, platformen bag denne blog, er en managed LibreChat. Vi tjener til føden, når selv-hostning holder op med at være sjovt, og netop derfor har vi ingen grund til at pynte på denne guide. Listen nedenfor er, hvad vi kører i produktion hver dag.
Hvad du skal bruge, før du begynder
- En maskine. En beskeden Linux-VPS med Docker er det klassiske hjem; Docker Desktop på din egen computer er nok til en første test, og Windows fungerer fint ad den vej.
- Et domæne og TLS, i det øjeblik en anden end dig logger ind.
- API-nøgler fra udbydere til de modeller, du vil have: OpenAI, Anthropic, Google, hvem end du betaler direkte.
- En time til den første samtale og en weekend til en installation, du ikke skammer dig over.
Ingen GPU nødvendig. De modeller, du taler med, lever bag API'er; din server kører kun platformen omkring dem.
De bevægelige dele
LibreChat i produktion er en lille flåde, ikke en enkelt container. Lær besætningen at kende, før du sætter sejl:
| Del | Hvad den gør | Hvad man skal holde øje med |
|---|---|---|
| LibreChat-app | Grænsefladen og API'et | Konfigurationen lever i .env og librechat.yaml; de bliver dyrebare |
| MongoDB | Dine samtaler | Tag backup af den, og test en gendannelse én gang, før du stoler på den |
| Meilisearch | Søgning på tværs af samtaler | For det meste sæt op og glem |
| RAG-API + vektor-DB | Filupload og chat om dokumenter | Den del, de fleste kæmper med først |
| Reverse proxy + TLS | Hoveddoren | Certifikater fornyer sig; headers og websockets betyder noget |
| Udbyder-nøgler | Selve modellerne | En lækket nøgle brænder hele budgettet; roter dem og begræns deres omfang |
Installationen i fem ærlige trin
- Hent og konfigurer. Klon repositoriet, kopier eksempel-miljøfilen og læg dine udbyder-nøgler i .env. Modellernes endpoints og funktioner lever i librechat.yaml.
- Start stakken. docker compose up -d løfter appen og dens tjenester. Den første samtale inden for en time er et realistisk mål.
- Opret din konto og luk døren. Tilmeld dig, og beslut derefter, om registrering overhovedet forbliver åben.
- Sæt en proxy foran. En reverse proxy med TLS og dit domæne, før den anden person får linket.
- Planlæg de kedelige dele. Planlagte database-backups, et abonnement på release-noter og et vedligeholdelsesvindue, du faktisk overholder.
Trin fem er det, der adskiller en demo fra en udrulning, og det er det trin, de fleste weekendguides springer over.
Hvad det virkelig koster
Tre valutaer, ærligt bogført:
- Penge. Softwaren er MIT-licenseret og gratis. En lille VPS bærer en personlig installation med lethed; RAG-stakken får appetit, efterhånden som du vokser. Den reelle variabel er udbydernes regninger, for hvert token kører nu på dine nøgler.
- Tid. LibreChat udgiver ofte, hvilket er fantastisk for funktioner og tilbagevendende for dig: læs changelog, pull, test, gå videre. Backups koster ingenting indtil den dag, hvor de er uvurderlige.
- Opmærksomhed, fra bruger nummer to. I det øjeblik en anden person kommer til, arver du spørgsmålene, der intet har med servere at gøre: hvem må bruge hvad, hvis var den udgift, og hvem fylder nøglen op. Vi skrev hele den ærlige liste i managed LibreChat-hosting.
Hvornår selv-hostning er det rigtige valg, og hvornår det holder op med at være det
Selv-host med glæde, hvis en af disse er sand: dine data må ikke forlade bygningen, at pille ved det er en del af belønningen, det er kun dig eller en håndfuld betroede mennesker, eller du vil have lokale modeller, for et brugerdefineret OpenAI-kompatibelt endpoint rettet mod Ollama eller vLLM holder samtalerne helt på dit LAN.
Genovervej, når platformen bliver et teamværktøj. Belastningen vokser ikke lineært med brugerne; den springer ved bruger to og igen ved det første budgetspørgsmål. Og hvis destinationen er en virksomhedsudrulning, kan platformen, som kral er bygget på, endda køre nativt på din egen Windows Server: en suite, hvor LibreChat konfigureres fra en administrationskonsol, og hvor hver brugers tokenforbrug er synligt per forespørgsel, så on-premises og lav vedligeholdelse ikke er modsætninger.
De spørgsmål, selv-hostere faktisk stiller
Har jeg brug for en GPU?
Nej. Selve LibreChat er let; modellerne svarer fra udbydernes API'er. Du har kun brug for en GPU, hvis du også vil køre lokale modeller, og så tilhører den Ollama eller vLLM, ikke LibreChat.
Kører det på Windows?
Gennem Docker Desktop, ja, og komfortabelt til en personlig installation. Til en nativ udrulning på Windows Server i virksomhedsskala er kral bygget til netop det.
Hvordan fungerer opdateringer?
Nye images udkommer regelmæssigt. Det sikre tempo er: læs release-noterne, tag backup, pull, test de funktioner, du afhænger af, og lad så teamet komme tilbage. At springe flere versioner over gør det eventuelle spring mere skræmmende, ikke mere sikkert.
Er det virkelig gratis?
Softwaren, virkelig. Udrulningen, aldrig: du betaler for serveren, udbyderens tokens og dine aftener. Versionen af denne ligning med én regning lever på kral.ai.
Hvad skal jeg tage backup af?
Databasen, der indeholder dine samtaler, og de uploadede filer. En backup, du aldrig har gendannet, er et håb, ikke en backup.
At selv-hoste LibreChat er det værd og værd at gøre rigtigt: giv projektet en stjerne, hold dine backups ærlige, og nyd at eje hele stakken. Og hvis dagen kommer, hvor du vil have resultatet mere end hobbyen, er den managed vej cirka et minut væk:
Kommentarer (0)
Ingen kommentarer endnu. Vær den første!
Log ind for at skrive en kommentar.
Log ind Registrer