Želite svoje pogovore na lastni strojni opremi, svoje ključe v lastnih rokah in nobene naročnine med vami in modeli. Dobra novica: LibreChat je najboljša odprtokodna osnova prav za to, njegovo samostojno gostovanje pa je realističen vikend projekt. Ta vodnik je poštena različica tistega vikenda.
Eno razkritje, preden se odpre terminal: kral, platforma za tem blogom, je upravljan LibreChat. Služimo si kruh takrat, ko samostojno gostovanje preneha biti zabavno, in prav zato nimamo razloga, da bi ta vodnik olepševali. Spodnji seznam je to, kar vsak dan poganjamo v produkciji.
Kaj potrebujete pred začetkom
- Stroj. Skromen Linux VPS z Dockerjem je klasičen dom; Docker Desktop na vašem lastnem računalniku zadošča za prvi test, Windows pa po tej poti deluje odlično.
- Domena in TLS, v trenutku, ko se prijavi nekdo drug razen vas.
- API ključi ponudnikov za modele, ki jih želite: OpenAI, Anthropic, Google, komur koli plačujete neposredno.
- Ena ura za prvi pogovor in en vikend za namestitev, ki je ne bo sram.
GPU ni potreben. Modeli, s katerimi se pogovarjate, živijo za API-ji; vaš strežnik poganja le platformo okoli njih.
Gibljivi deli
LibreChat v produkciji je majhna flota, ne en sam vsebnik. Spoznajte posadko, preden izplujete:
| Del | Kaj počne | Na kaj biti pozoren |
|---|---|---|
| Aplikacija LibreChat | Vmesnik in API | Konfiguracija živi v .env in librechat.yaml; postaneta dragocena |
| MongoDB | Vaši pogovori | Varnostno kopirajte jo in enkrat preizkusite obnovitev, preden ji zaupate |
| Meilisearch | Iskanje po pogovorih | Večinoma nastavi in pozabi |
| RAG API + vektorska PB | Nalaganja datotek in pogovor o dokumentih | Del, s katerim se večina ljudi najprej bori |
| Obratni proxy + TLS | Vhodna vrata | Certifikati se obnavljajo; glave in websocketi so pomembni |
| Ključi ponudnikov | Sami modeli | Puščen ključ zapravi celoten proračun; rotirajte jih in omejite njihov obseg |
Namestitev v petih poštenih korakih
- Pridobite in konfigurirajte. Klonirajte repozitorij, kopirajte vzorčno datoteko okolja in vstavite svoje ključe ponudnikov v .env. Končne točke modelov in funkcije živijo v librechat.yaml.
- Zaženite sklad. docker compose up -d dvigne aplikacijo in njene storitve. Prvi pogovor v manj kot uri je realističen cilj.
- Ustvarite svoj račun in zaprite vrata. Registrirajte se, nato se odločite, ali registracija sploh ostane odprta.
- Postavite proxy spredaj. Obratni proxy s TLS in vašo domeno, preden druga oseba prejme povezavo.
- Načrtujte dolgočasne dele. Načrtovane varnostne kopije baze podatkov, naročnina na opombe ob izdaji in vzdrževalno okno, ki se ga zares držite.
Peti korak je tisti, ki loči predstavitev od uvedbe, in to je korak, ki ga večina vikend vodnikov preskoči.
Koliko zares stane
Tri valute, pošteno knjižene:
- Denar. Programska oprema je z licenco MIT in brezplačna. Majhen VPS z lahkoto nosi osebno namestitev; sklad RAG dobi apetit, ko rastete. Prava spremenljivka so računi ponudnikov, ker vsak token zdaj teče na vaših ključih.
- Čas. LibreChat izdaja pogosto, kar je odlično za funkcije in ponavljajoče za vas: preberite changelog, naredite pull, testirajte, pojdite naprej. Varnostne kopije ne stanejo ničesar do dneva, ko so neprecenljive.
- Pozornost, začenši pri uporabniku številka dva. V trenutku, ko se pridruži druga oseba, podedujete vprašanja, ki nimajo nič skupnega s strežniki: kdo lahko kaj uporablja, čigav je bil tisti strošek in kdo napolni ključ. Celoten pošten seznam smo napisali v članku upravljano gostovanje LibreChat.
Kdaj je samostojno gostovanje prava izbira in kdaj preneha biti
Gostujte sami z veseljem, če je ena od teh resnična: vaši podatki ne smejo zapustiti stavbe, brskljanje je del nagrade, ste le vi ali peščica zaupanja vrednih ljudi, ali želite lokalne modele, ker po meri izdelana OpenAI združljiva končna točka, usmerjena na Ollama ali vLLM, ohranja pogovore v celoti v vašem LAN.
Ponovno premislite, ko platforma postane ekipno orodje. Obremenitev ne raste linearno z uporabniki; skoči pri uporabniku dva in znova pri prvem proračunskem vprašanju. In če je cilj podjetniška uvedba, platforma, na kateri je zgrajen kral, lahko celo teče izvorno na vašem lastnem Windows Serverju: paket, kjer se LibreChat konfigurira iz skrbniške konzole in kjer je poraba tokenov vsakega uporabnika vidna po zahtevi, tako da lokalna namestitev in nizko vzdrževanje nista nasprotji.
Vprašanja, ki jih samostojni gostitelji zares postavljajo
Ali potrebujem GPU?
Ne. Sam LibreChat je lahek; modeli odgovarjajo iz API-jev ponudnikov. GPU potrebujete le, če želite poganjati tudi lokalne modele, in takrat pripada Ollama ali vLLM, ne LibreChat.
Ali teče na Windows?
Prek Docker Desktop, da, in udobno za osebno namestitev. Za izvorno uvedbo na Windows Server v podjetniškem merilu je bil kral zgrajen prav za to.
Kako delujejo posodobitve?
Nove slike izhajajo redno. Varen tempo je: preberite opombe ob izdaji, varnostno kopirajte, naredite pull, testirajte funkcije, od katerih ste odvisni, nato pustite ekipo, da se vrne. Preskočitev več različic naredi morebitni skok bolj strašljiv, ne varnejši.
Je res brezplačno?
Programska oprema, res. Uvedba, nikoli: plačate strežnik, tokene ponudnika in svoje večere. Različica te enačbe z enim računom živi na kral.ai.
Kaj naj varnostno kopiram?
Bazo podatkov, ki vsebuje vaše pogovore, in naložene datoteke. Varnostna kopija, ki je nikoli niste obnovili, je upanje, ne varnostna kopija.
Samostojno gostovanje LibreChat se splača in se splača narediti dobro: dajte projektu zvezdico, ohranjajte svoje varnostne kopije poštene in uživajte v lastništvu celotnega sklada. In če pride dan, ko želite rezultat bolj kot hobi, je upravljana pot oddaljena približno minuto:
Komentarji (0)
Še ni komentarjev. Bodite prvi!
Prijavite se, da pustite komentar.
Prijava Registracija