Želite svoje razgovore na vlastitom hardveru, svoje ključeve u vlastitim rukama i nikakvu pretplatu između vas i modela. Dobra vijest: LibreChat je najbolja osnova otvorenog koda upravo za to, a njegovo samostalno hostiranje realističan je vikend projekt. Ovaj vodič poštena je verzija tog vikenda.
Jedno otkrivanje prije nego se otvori terminal: kral, platforma iza ovog bloga, upravljani je LibreChat. Zarađujemo za život kad samostalno hostiranje prestane biti zabavno, i upravo zato nemamo razloga uljepšavati ovaj vodič. Popis ispod je ono što svaki dan pokrećemo u produkciji.
Što vam treba prije nego počnete
- Stroj. Skroman Linux VPS s Dockerom klasičan je dom; Docker Desktop na vašem vlastitom računalu dovoljan je za prvi test, a Windows ovim putem radi izvrsno.
- Domena i TLS, u trenutku kad se prijavi netko osim vas.
- API ključevi pružatelja za modele koje želite: OpenAI, Anthropic, Google, kome god plaćate izravno.
- Jedan sat za prvi razgovor i jedan vikend za instalaciju koje se nećete sramiti.
GPU nije potreban. Modeli s kojima razgovarate žive iza API-ja; vaš poslužitelj pokreće samo platformu oko njih.
Pokretni dijelovi
LibreChat u produkciji je mala flota, a ne jedan kontejner. Upoznajte posadu prije nego isplovite:
| Dio | Što radi | Na što paziti |
|---|---|---|
| LibreChat aplikacija | Sučelje i API | Konfiguracija živi u .env i librechat.yaml; postaju dragocjeni |
| MongoDB | Vaši razgovori | Napravite sigurnosnu kopiju i testirajte vraćanje jednom prije nego joj vjerujete |
| Meilisearch | Pretraga kroz razgovore | Najčešće postavi i zaboravi |
| RAG API + vektorska BP | Prijenos datoteka i razgovor o dokumentima | Dio s kojim se većina ljudi prvo bori |
| Obrnuti proxy + TLS | Ulazna vrata | Certifikati se obnavljaju; zaglavlja i websocketi su važni |
| Ključevi pružatelja | Sami modeli | Procurjeli ključ spaljuje cijeli proračun; rotirajte ih i ograničite im opseg |
Instalacija u pet poštenih koraka
- Preuzmite i konfigurirajte. Klonirajte repozitorij, kopirajte primjer datoteke okruženja i stavite svoje ključeve pružatelja u .env. Krajnje točke modela i značajke žive u librechat.yaml.
- Pokrenite stog. docker compose up -d podiže aplikaciju i njezine usluge. Prvi razgovor za manje od sat vremena realističan je cilj.
- Stvorite svoj račun i zatvorite vrata. Registrirajte se, zatim odlučite ostaje li registracija uopće otvorena.
- Stavite proxy ispred. Obrnuti proxy s TLS-om i vašom domenom, prije nego druga osoba dobije poveznicu.
- Isplanirajte dosadne dijelove. Zakazane sigurnosne kopije baze podataka, pretplata na bilješke izdanja i prozor održavanja kojeg se stvarno pridržavate.
Peti korak je onaj koji razdvaja demonstraciju od implementacije, i to je korak koji većina vikend vodiča preskoči.
Koliko stvarno košta
Tri valute, pošteno proknjižene:
- Novac. Softver je pod MIT licencom i besplatan. Mali VPS s lakoćom nosi osobnu instalaciju; RAG stog dobiva apetit kako rastete. Prava varijabla su računi pružatelja, jer svaki token sada radi na vašim ključevima.
- Vrijeme. LibreChat izdaje često, što je sjajno za značajke i ponavljajuće za vas: pročitajte changelog, napravite pull, testirajte, krenite dalje. Sigurnosne kopije ne koštaju ništa do dana kad su neprocjenjive.
- Pažnja, počevši od korisnika broj dva. U trenutku kad se pridruži druga osoba, nasljedujete pitanja koja nemaju nikakve veze s poslužiteljima: tko što smije koristiti, čiji je bio onaj trošak i tko dopunjuje ključ. Cijeli pošteni popis napisali smo u članku upravljano hostiranje LibreChata.
Kada je samostalno hostiranje pravi izbor, a kada prestaje biti
Hostirajte sami s radošću ako je jedno od ovoga istinito: vaši podaci ne smiju napustiti zgradu, petljanje je dio nagrade, samo ste vi ili šačica pouzdanih ljudi, ili želite lokalne modele, jer prilagođena OpenAI-kompatibilna krajnja točka usmjerena na Ollamu ili vLLM drži razgovore potpuno u vašem LAN-u.
Preispitajte kad platforma postane timski alat. Opterećenje ne raste linearno s korisnicima; skoči kod korisnika dva i ponovno kod prvog proračunskog pitanja. A ako je odredište implementacija u poduzeću, platforma na kojoj je izgrađen kral može čak raditi izvorno na vašem vlastitom Windows Serveru: paket u kojem se LibreChat konfigurira iz administratorske konzole i u kojem je potrošnja tokena svakog korisnika vidljiva po zahtjevu, tako da on-premises i nisko održavanje nisu suprotnosti.
Pitanja koja samostalni hosteri stvarno postavljaju
Trebam li GPU?
Ne. Sam LibreChat je lagan; modeli odgovaraju iz API-ja pružatelja. GPU trebate samo ako želite pokretati i lokalne modele, i tada on pripada Ollami ili vLLM-u, a ne LibreChatu.
Radi li na Windowsu?
Kroz Docker Desktop, da, i udobno za osobnu instalaciju. Za izvornu implementaciju na Windows Serveru u poduzetničkom mjerilu kral je izgrađen upravo za to.
Kako funkcioniraju ažuriranja?
Nove slike izlaze redovito. Siguran tempo je: pročitajte bilješke izdanja, napravite sigurnosnu kopiju, napravite pull, testirajte značajke o kojima ovisite, zatim pustite tim da se vrati. Preskočivanje više verzija čini eventualni skok strašnijim, a ne sigurnijim.
Je li stvarno besplatno?
Softver, stvarno. Implementacija, nikad: plaćate poslužitelj, tokene pružatelja i svoje večeri. Verzija ove jednadžbe s jednim računom živi na kral.ai.
Što bih trebao sigurnosno kopirati?
Bazu podataka koja sadrži vaše razgovore, i prenesene datoteke. Sigurnosna kopija koju nikad niste vratili je nada, a ne sigurnosna kopija.
Samostalno hostiranje LibreChata vrijedi truda i vrijedi napraviti dobro: dajte projektu zvjezdicu, držite svoje sigurnosne kopije poštenima i uživajte u posjedovanju cijelog stoga. A ako dođe dan kad želite rezultat više nego hobi, upravljani put je udaljen otprilike minutu:
Komentari (0)
Još nema komentara. Budite prvi!
Prijavite se kako biste ostavili komentar.
Prijava Registracija