U wilt uw gesprekken op uw eigen hardware, uw sleutels in uw eigen handen en geen abonnement tussen u en de modellen. Goed nieuws: LibreChat is de beste openbron-basis voor precies dat, en het zelf hosten is een realistisch weekendproject. Deze gids is de eerlijke versie van dat weekend.
Een openbaarmaking voordat de terminal opengaat: kral, het platform achter deze blog, is een beheerde LibreChat. Wij verdienen onze boterham wanneer zelf hosten ophoudt leuk te zijn, en juist daarom hebben wij geen reden om deze gids mooier voor te stellen dan hij is. De lijst hieronder is wat wij elke dag in productie draaien.
Wat u nodig hebt voordat u begint
- Een machine. Een bescheiden Linux-VPS met Docker is het klassieke thuis; Docker Desktop op uw eigen computer volstaat voor een eerste test, en Windows werkt prima langs deze weg.
- Een domein en TLS, op het moment dat iemand anders dan u inlogt.
- API-sleutels van providers voor de modellen die u wilt: OpenAI, Anthropic, Google, wie u ook rechtstreeks betaalt.
- Een uur voor het eerste gesprek, en een weekend voor een installatie waarvoor u zich niet schaamt.
Geen GPU nodig. De modellen waarmee u praat leven achter API's; uw server draait alleen het platform eromheen.
De bewegende delen
LibreChat in productie is een kleine vloot, geen enkele container. Ken de bemanning voordat u uitvaart:
| Deel | Wat het doet | Waarop te letten |
|---|---|---|
| LibreChat-app | De interface en de API | De configuratie leeft in .env en librechat.yaml; die worden kostbaar |
| MongoDB | Uw gesprekken | Maak er een back-up van, en test een herstel één keer voordat u erop vertrouwt |
| Meilisearch | Zoeken door gesprekken | Meestal instellen en vergeten |
| RAG-API + vector-DB | Bestandsuploads en chatten over documenten | Het deel waarmee de meeste mensen als eerste worstelen |
| Reverse proxy + TLS | De voordeur | Certificaten vernieuwen zich; headers en websockets doen ertoe |
| Providersleutels | De modellen zelf | Een gelekte sleutel verbrandt het hele budget; roteer ze en beperk hun bereik |
De installatie, in vijf eerlijke stappen
- Ophalen en configureren. Kloon de repository, kopieer het voorbeeld-omgevingsbestand en zet uw providersleutels in .env. De model-endpoints en functies leven in librechat.yaml.
- Start de stack. docker compose up -d tilt de app en zijn diensten op. Het eerste gesprek binnen een uur is een realistisch doel.
- Maak uw account aan en sluit de deur. Registreer u, en beslis daarna of registratie überhaupt open blijft.
- Zet er een proxy voor. Een reverse proxy met TLS en uw domein, voordat de tweede persoon de link krijgt.
- Plan de saaie delen. Geplande database-back-ups, een abonnement op de release-notes en een onderhoudsvenster dat u ook echt aanhoudt.
Stap vijf is wat een demo van een implementatie scheidt, en het is de stap die de meeste weekendgidsen overslaan.
Wat het echt kost
Drie valuta, eerlijk geboekt:
- Geld. De software is MIT-gelicentieerd en gratis. Een kleine VPS draagt een persoonlijke installatie met gemak; de RAG-stack krijgt honger naarmate u groeit. De echte variabele zijn de facturen van de providers, want elke token draait nu op uw sleutels.
- Tijd. LibreChat brengt vaak uit, wat geweldig is voor functies en terugkerend voor u: het changelog lezen, pullen, testen, doorgaan. Back-ups kosten niets tot de dag waarop ze onbetaalbaar zijn.
- Aandacht, vanaf gebruiker nummer twee. Op het moment dat een tweede persoon zich aansluit, erft u de vragen die niets met servers te maken hebben: wie mag wat gebruiken, van wie was die uitgave en wie laadt de sleutel op. Wij schreven de hele eerlijke lijst in de beheerde LibreChat-hosting.
Wanneer zelf hosten de juiste keuze is, en wanneer niet meer
Host met plezier zelf als een van deze waar is: uw gegevens mogen het gebouw niet verlaten, sleutelen hoort bij de beloning, het bent alleen u of een handvol vertrouwde mensen, of u wilt lokale modellen, want een aangepast OpenAI-compatibel endpoint gericht op Ollama of vLLM houdt de gesprekken volledig op uw LAN.
Heroverweeg wanneer het platform een teamvoorziening wordt. De belasting groeit niet lineair met gebruikers; ze springt bij gebruiker twee en opnieuw bij de eerste budgetvraag. En als de bestemming een bedrijfsimplementatie is, kan het platform waarop kral is gebouwd zelfs native draaien op uw eigen Windows Server: een suite waar LibreChat vanuit een beheerconsole wordt geconfigureerd en waar de tokenuitgave van elke gebruiker per verzoek zichtbaar is, zodat on-premises en laag onderhoud geen tegenpolen zijn.
De vragen die zelf-hosters echt stellen
Heb ik een GPU nodig?
Nee. LibreChat zelf is licht; de modellen antwoorden vanuit de API's van de providers. U hebt alleen een GPU nodig als u ook lokale modellen wilt draaien, en dan hoort die bij Ollama of vLLM, niet bij LibreChat.
Draait het op Windows?
Via Docker Desktop, ja, en met gemak voor een persoonlijke installatie. Voor een native implementatie op Windows Server op bedrijfsschaal is kral daarvoor gebouwd.
Hoe werken updates?
Er komen regelmatig nieuwe images uit. Het veilige tempo is: de release-notes lezen, back-uppen, pullen, de functies testen waarvan u afhankelijk bent, dan het team laten terugkeren. Meerdere versies overslaan maakt de uiteindelijke sprong enger, niet veiliger.
Is het echt gratis?
De software, echt. De implementatie, nooit: u betaalt de server, de tokens van de provider en uw avonden. De één-factuurversie van deze vergelijking leeft op kral.ai.
Wat moet ik back-uppen?
De database die uw gesprekken bevat, en de geüploade bestanden. Een back-up die u nooit hersteld hebt is een hoop, geen back-up.
LibreChat zelf hosten is de moeite waard en de moeite waard om goed te doen: geef het project een ster, houd uw back-ups eerlijk en geniet ervan de hele stack te bezitten. En als de dag komt dat u het resultaat meer wilt dan de hobby, is de beheerde weg ongeveer een minuut ver:
Reacties (0)
Nog geen reacties. Wees de eerste!
Meld u aan om een reactie te plaatsen.
Aanmelden Registreren