Auto-ospitare LibreChat: installazione, costi e una guida onesta

Volete le vostre conversazioni sul vostro hardware, le vostre chiavi nelle vostre mani e nessun abbonamento tra voi e i modelli. Buone notizie: LibreChat è la migliore base open source per esattamente questo, e auto-ospitarlo è un progetto da fine settimana realistico. Questa guida è la versione onesta di quel fine settimana.

Una premessa prima che si apra il terminale: kral, la piattaforma dietro questo blog, è un LibreChat gestito. Ci guadagniamo da vivere quando l'auto-hosting smette di essere divertente, ed è esattamente per questo che non abbiamo alcun motivo per abbellire questa guida. L'elenco qui sotto è ciò che mandiamo in produzione ogni giorno.

Cosa serve prima di iniziare

• Una macchina. Un modesto VPS Linux con Docker è la casa classica; Docker Desktop sul vostro computer basta per una prima prova, e Windows funziona benissimo per questa strada.
• Un dominio e TLS, nel momento in cui accede qualcuno oltre a voi.
• Chiavi API dei provider per i modelli che volete: OpenAI, Anthropic, Google, chiunque paghiate direttamente.
• Un'ora per la prima conversazione, e un fine settimana per un'installazione di cui non vi vergognerete.

Nessuna GPU necessaria. I modelli con cui parlerete vivono dietro le API; il vostro server esegue solo la piattaforma intorno a loro.

I pezzi in movimento

LibreChat in produzione è una piccola flotta, non un singolo container. Conoscete l'equipaggio prima di salpare:

L'installazione, in cinque passi onesti

1. Scaricare e configurare. Clonate il repository, copiate il file di ambiente di esempio e mettete le vostre chiavi dei provider in .env. Gli endpoint dei modelli e le funzionalità vivono in librechat.yaml.
2. Avviare lo stack. docker compose up -d solleva l'app e i suoi servizi. La prima conversazione entro un'ora è un obiettivo realistico.
3. Create il vostro account e chiudete la porta. Registratevi, poi decidete se la registrazione resta aperta del tutto.
4. Mettete un proxy davanti. Un reverse proxy con TLS e il vostro dominio, prima che la seconda persona riceva il link.
5. Pianificate le parti noiose. Backup del database programmati, un abbonamento alle note di rilascio e una finestra di manutenzione che rispettate davvero.

Il passo cinque è quello che separa una demo da un deployment, ed è il passo che la maggior parte delle guide da fine settimana salta.

Cosa costa davvero

Tre valute, contabilizzate onestamente:

• Denaro. Il software è con licenza MIT e gratuito. Un piccolo VPS regge comodamente un'installazione personale; lo stack RAG mette su appetito man mano che crescete. La vera variabile sono le fatture dei provider, perché ogni token ora gira sulle vostre chiavi.
• Tempo. LibreChat rilascia spesso, il che è fantastico per le funzionalità e ricorrente per voi: leggere il changelog, fare il pull, testare, andare avanti. I backup non costano nulla fino al giorno in cui non hanno prezzo.
• Attenzione, a partire dall'utente numero due. Nel momento in cui una seconda persona si unisce, ereditate le domande che non hanno nulla a che fare con i server: chi può usare cosa, di chi era quella spesa e chi ricarica la chiave. Abbiamo scritto l'intero elenco onesto in l'hosting LibreChat gestito.

Quando l'auto-hosting è la scelta giusta, e quando smette di esserlo

Auto-ospitate con gioia se una di queste è vera: i vostri dati non devono lasciare l'edificio, smanettare fa parte della ricompensa, ci siete solo voi o una manciata di persone fidate, oppure volete modelli locali, perché un endpoint personalizzato compatibile con OpenAI puntato a Ollama o vLLM mantiene le conversazioni interamente sulla vostra LAN.

Riconsiderate quando la piattaforma diventa uno strumento di squadra. Il carico non cresce linearmente con gli utenti; balza all'utente due e di nuovo alla prima domanda di budget. E se la destinazione è un deployment aziendale, la piattaforma su cui è costruito kral può persino girare nativamente sul vostro Windows Server: una suite dove LibreChat è configurato da una console di amministrazione e dove la spesa di token di ogni utente è visibile per richiesta, così che on-premises e bassa manutenzione non siano opposti.

Le domande che gli auto-ospitanti pongono davvero

Serve una GPU?

No. LibreChat stesso è leggero; i modelli rispondono dalle API dei provider. Vi serve una GPU solo se volete anche eseguire modelli locali, e allora appartiene a Ollama o vLLM, non a LibreChat.

Funziona su Windows?

Tramite Docker Desktop, sì, e comodamente per un'installazione personale. Per un deployment nativo su Windows Server su scala aziendale, è per questo che kral è stato progettato.

Come funzionano gli aggiornamenti?

Nuove immagini escono regolarmente. Il ritmo sicuro è: leggere le note di rilascio, fare il backup, fare il pull, testare le funzionalità da cui dipendete, poi lasciare tornare la squadra. Saltare più versioni rende il salto eventuale più spaventoso, non più sicuro.

È davvero gratuito?

Il software, davvero. Il deployment, mai: pagate il server, i token del provider e le vostre serate. La versione a fattura unica di questa equazione vive su kral.ai.

Cosa devo salvare nel backup?

Il database che contiene le vostre conversazioni, e i file caricati. Un backup che non avete mai ripristinato è una speranza, non un backup.

Auto-ospitare LibreChat vale la pena e vale la pena farlo bene: mettete una stella al progetto, tenete i vostri backup onesti e godetevi il possesso dell'intero stack. E se arriva il giorno in cui volete il risultato più dell'hobby, la via gestita è a circa un minuto di distanza:

Prova kral ora

Prenota una demo