LibreChat selbst hosten: Einrichtung, Kosten und ein ehrlicher Leitfaden

Sie wollen Ihre Chats auf Ihrer eigenen Hardware, Ihre Schlüssel in Ihren eigenen Händen und kein Abo zwischen sich und den Modellen. Gute Nachricht: LibreChat ist die beste Open-Source-Basis für genau das, und es selbst zu hosten ist ein realistisches Wochenendprojekt. Dieser Leitfaden ist die ehrliche Version dieses Wochenendes.

Eine Offenlegung, bevor sich das Terminal öffnet: kral, die Plattform hinter diesem Blog, ist ein managed LibreChat. Wir verdienen unser Geld, wenn Self-Hosting aufhört, Spaß zu machen, und genau deshalb haben wir keinen Grund, diesen Leitfaden schönzureden. Die Liste unten ist das, was wir jeden Tag in Produktion betreiben.

Was Sie brauchen, bevor Sie beginnen

• Eine Maschine. Ein bescheidener Linux-VPS mit Docker ist das klassische Zuhause; Docker Desktop auf Ihrem eigenen Rechner reicht für einen ersten Test, und Windows geht darüber problemlos.
• Eine Domain und TLS, in dem Moment, in dem sich außer Ihnen jemand anmeldet.
• Anbieter-API-Schlüssel für die Modelle, die Sie wollen: OpenAI, Anthropic, Google, wen auch immer Sie direkt bezahlen.
• Eine Stunde für den ersten Chat und ein Wochenende für eine Einrichtung, für die Sie sich nicht schämen müssen.

Es wird keine GPU benötigt. Die Modelle, mit denen Sie sprechen, leben hinter APIs; Ihr Server betreibt nur die Plattform drumherum.

Die beweglichen Teile

LibreChat in Produktion ist eine kleine Flotte, kein einzelner Container. Kennen Sie die Crew, bevor Sie in See stechen:

Die Einrichtung in fünf ehrlichen Schritten

1. Holen und konfigurieren. Klonen Sie das Repository, kopieren Sie die Beispiel-Umgebungsdatei und tragen Sie Ihre Anbieter-Schlüssel in .env ein. Modell-Endpunkte und Funktionen leben in librechat.yaml.
2. Den Stack starten. docker compose up -d fährt die App und ihre Dienste hoch. Der erste Chat innerhalb der Stunde ist ein realistisches Ziel.
3. Konto anlegen und die Tür abschließen. Registrieren Sie sich selbst, dann entscheiden Sie, ob die Registrierung überhaupt offen bleibt.
4. Einen Proxy davorsetzen. Ein Reverse-Proxy mit TLS und Ihrer Domain, bevor die zweite Person den Link bekommt.
5. Die langweiligen Teile einplanen. Datenbank-Backups nach Zeitplan, ein Abonnement der Release-Notes und ein Wartungsfenster, das Sie wirklich einhalten.

Schritt fünf ist der, der eine Demo von einer Bereitstellung trennt, und es ist der Schritt, den die meisten Wochenend-Leitfäden überspringen.

Was es wirklich kostet

Drei Währungen, ehrlich verbucht:

• Geld. Die Software ist MIT-lizenziert und kostenlos. Ein kleiner VPS trägt eine persönliche Einrichtung bequem; der RAG-Stack bekommt Appetit, während Sie wachsen. Die eigentliche Variable sind die Anbieter-Rechnungen, denn jedes Token läuft jetzt auf Ihren Schlüsseln.
• Zeit. LibreChat veröffentlicht häufig, was großartig für Funktionen und wiederkehrend für Sie ist: Changelog lesen, ziehen, testen, weiterrollen. Backups kosten nichts, bis zu dem Tag, an dem sie unbezahlbar sind.
• Aufmerksamkeit, ab Nutzer Nummer zwei. In dem Moment, in dem eine zweite Person dazukommt, erben Sie die Fragen, die nichts mit Servern zu tun haben: wer was nutzen darf, wessen Ausgabe das war und wer den Schlüssel auflädt. Die ganze ehrliche Liste haben wir in managed LibreChat hosting geschrieben.

Wann Self-Hosting richtig ist, und wann es aufhört, es zu sein

Hosten Sie selbst mit Freude, wenn eines davon zutrifft: Ihre Daten dürfen das Gebäude nicht verlassen, Basteln ist Teil der Belohnung, es sind nur Sie oder eine Handvoll vertrauter Leute, oder Sie wollen lokale Modelle, denn ein eigener OpenAI-kompatibler Endpunkt, der auf Ollama oder vLLM zeigt, hält die Chats vollständig in Ihrem LAN.

Überdenken Sie es, wenn die Plattform zum Team-Werkzeug wird. Die Last wächst nicht linear mit den Nutzern; sie springt bei Nutzer zwei und wieder bei der ersten Budgetfrage. Und wenn das Ziel ein firmenweiter Rollout ist, kann die Plattform, auf der kral gebaut ist, sogar nativ auf Ihrem eigenen Windows Server laufen: eine Suite, in der LibreChat aus einer Admin-Konsole konfiguriert wird und der Token-Verbrauch jedes Nutzers pro Anfrage sichtbar ist, sodass On-Premises und wartungsarm keine Gegensätze sind.

Fragen, die Selbst-Hoster wirklich stellen

Brauche ich eine GPU?

Nein. LibreChat selbst ist leicht; die Modelle antworten aus Anbieter-APIs. Sie brauchen nur eine GPU, wenn Sie auch lokale Modelle betreiben wollen, und dann gehört sie zu Ollama oder vLLM, nicht zu LibreChat.

Läuft es unter Windows?

Über Docker Desktop, ja, und für eine persönliche Einrichtung bequem. Für eine native Windows-Server-Bereitstellung in Firmengröße: genau dafür wurde kral gebaut.

Wie funktionieren Updates?

Neue Images erscheinen regelmäßig. Der sichere Rhythmus ist: Release-Notes lesen, sichern, ziehen, die Funktionen testen, auf die Sie sich verlassen, dann das Team wieder hereinlassen. Mehrere Releases zu überspringen macht den irgendwannigen Sprung beängstigender, nicht sicherer.

Ist es wirklich kostenlos?

Die Software, wirklich. Die Bereitstellung, niemals: Sie zahlen den Server, die Anbieter-Tokens und Ihre Abende. Die Ein-Rechnung-Version dieser Gleichung lebt auf kral.ai.

Was muss ich sichern?

Die Datenbank, die Ihre Konversationen enthält, und die hochgeladenen Dateien. Ein Backup, das Sie nie wiederhergestellt haben, ist eine Hoffnung, kein Backup.

LibreChat selbst zu hosten lohnt sich und lohnt sich, es richtig zu tun: geben Sie dem Projekt einen Stern, halten Sie Ihre Backups ehrlich und genießen Sie es, den ganzen Stack zu besitzen. Und wenn der Tag kommt, an dem Sie das Ergebnis mehr wollen als das Hobby, ist der managed Weg etwa eine Minute entfernt:

kral jetzt testen

Demo buchen