LibreChatin itseisännöinti: asennus, kustannukset, opas

Haluat keskustelusi omalla laitteistollasi, avaimesi omissa käsissäsi etkä mitään tilausta sinun ja mallien välille. Hyvä uutinen: LibreChat on paras avoimen lähdekoodin perusta juuri siihen, ja sen itseisännöinti on realistinen viikonloppuprojekti. Tämä opas on sen viikonlopun rehellinen versio.

Yksi paljastus ennen kuin terminaali avautuu: kral, tämän blogin takana oleva alusta, on hallinnoitu LibreChat. Ansaitsemme elantomme silloin, kun itseisännöinti lakkaa olemasta hauskaa, ja juuri siksi meillä ei ole syytä kaunistella tätä opasta. Alla oleva lista on sitä, mitä ajamme tuotannossa joka päivä.

Mitä tarvitset ennen kuin aloitat

Kone. Vaatimaton Linux-VPS Dockerilla on klassinen koti; Docker Desktop omalla tietokoneellasi riittää ensimmäiseen testiin, ja Windows toimii tätä kautta hyvin.
Verkkotunnus ja TLS, siinä hetkessä kun joku muu kuin sinä kirjautuu sisään.
Palveluntarjoajien API-avaimet haluamillesi malleille: OpenAI, Anthropic, Google, kenelle tahansa maksatkin suoraan.
Tunti ensimmäiseen keskusteluun ja viikonloppu asennukseen, jota et häpeä.

GPU:ta ei tarvita. Mallit, joiden kanssa puhut, elävät API-rajapintojen takana; palvelimesi ajaa vain alustaa niiden ympärillä.

Liikkuvat osat

LibreChat tuotannossa on pieni laivasto, ei yksittäinen kontti. Tutustu miehistöön ennen kuin lähdet merelle:

Osa	Mitä se tekee	Mitä pitää tarkkailla
LibreChat-sovellus	Käyttöliittymä ja API	Konfiguraatio elää tiedostoissa .env ja librechat.yaml; niistä tulee arvokkaita
MongoDB	Keskustelusi	Varmuuskopioi se, ja testaa palautus kerran ennen kuin luotat siihen
Meilisearch	Haku keskustelujen halki	Useimmiten aseta ja unohda
RAG-API + vektoritietokanta	Tiedostojen lataus ja keskustelu asiakirjoista	Osa, jonka kanssa useimmat kamppailevat ensin
Käänteisproxy + TLS	Etuovi	Varmenteet uusiutuvat; otsakkeet ja websocketit ovat merkityksellisiä
Palveluntarjoajan avaimet	Mallit itse	Vuotanut avain polttaa koko budjetin; kierrätä niitä ja rajaa niiden laajuus

Asennus viidessä rehellisessä askeleessa

Hae ja konfiguroi. Kloonaa repositorio, kopioi esimerkkiympäristötiedosto ja laita palveluntarjoajan avaimesi tiedostoon .env. Mallien päätepisteet ja ominaisuudet elävät tiedostossa librechat.yaml.
Käynnistä pino. docker compose up -d nostaa sovelluksen ja sen palvelut. Ensimmäinen keskustelu alle tunnissa on realistinen tavoite.
Luo tilisi ja sulje ovi. Rekisteröidy, ja päätä sitten, pysyykö rekisteröityminen ylipäätään auki.
Aseta proxy eteen. Käänteisproxy TLS:llä ja verkkotunnuksellasi, ennen kuin toinen henkilö saa linkin.
Suunnittele tylsat osat. Ajoitetut tietokannan varmuuskopiot, julkaisutiedotteiden tilaus ja huoltoikkuna, jota oikeasti noudatat.

Askel viisi on se, joka erottaa demon käyttöönotosta, ja se on askel, jonka useimmat viikonloppuoppaat ohittavat.

Mitä se todella maksaa

Kolme valuuttaa, rehellisesti kirjattuna:

Raha. Ohjelmisto on MIT-lisensoitu ja ilmainen. Pieni VPS kantaa henkilökohtaisen asennuksen vaivatta; RAG-pino saa ruokahalua sitä mukaa kun kasvat. Todellinen muuttuja ovat palveluntarjoajien laskut, koska jokainen token ajaa nyt sinun avaimillasi.
Aika. LibreChat julkaisee usein, mikä on hienoa ominaisuuksien kannalta ja toistuvaa sinulle: lue changelog, pullaa, testaa, jatka eteenpäin. Varmuuskopiot eivät maksa mitään siihen päivään asti, jolloin ne ovat korvaamattomia.
Huomio, käyttäjästä numero kaksi alkaen. Siinä hetkessä kun toinen henkilö liittyy, perit kysymykset, joilla ei ole mitään tekemistä palvelinten kanssa: kuka saa käyttää mitä, kenen se kulu oli ja kuka lataa avaimen. Kirjoitimme koko rehellisen listan artikkeliin hallinnoitu LibreChat-isännöinti.

Milloin itseisännöinti on oikea valinta, ja milloin se lakkaa olemasta

Isännöi itse ilolla, jos jokin näistä pitää paikkansa: datasi ei saa poistua rakennuksesta, näpertely on osa palkkiota, olet vain sinä tai kädensijallinen luotettuja ihmisiä, tai haluat paikallisia malleja, koska mukautettu OpenAI-yhteensopiva päätepiste, joka osoittaa Ollamaan tai vLLM:ään, pitää keskustelut kokonaan omassa lähiverkossasi.

Harkitse uudelleen, kun alustasta tulee tiimin työkalu. Kuorma ei kasva lineaarisesti käyttäjien mukana; se hyppää käyttäjässä kaksi ja taas ensimmäisessä budjettikysymyksessä. Ja jos määränpää on yritykäyttöönotto, alusta, jonka päälle kral on rakennettu, voi jopa ajaa natiivisti omalla Windows Serverilläsi: paketti, jossa LibreChat konfiguroidaan hallintakonsolista ja jossa jokaisen käyttäjän token-kulutus näkyy pyynnöittäin, niin että on-premises ja alhainen ylläpito eivät ole vastakohtia.

Kysymykset, joita itseisännöijät oikeasti kysyvät

Tarvitsenko GPU:n?

En. LibreChat itse on kevyt; mallit vastaavat palveluntarjoajien API-rajapinnoista. Tarvitset GPU:n vain, jos haluat myös ajaa paikallisia malleja, ja silloin se kuuluu Ollamalle tai vLLM:lle, ei LibreChatille.

Toimiiko se Windowsilla?

Docker Desktopin kautta kyllä, ja mukavasti henkilökohtaiseen asennukseen. Natiiviin käyttöönottoon Windows Serverillä yritysmittakaavassa kral on rakennettu juuri sitä varten.

Miten päivitykset toimivat?

Uusia imageja tulee säännöllisesti. Turvallinen tahti on: lue julkaisutiedotteet, varmuuskopioi, pullaa, testaa ominaisuudet, joista riiput, ja anna sitten tiimin palata. Useiden versioiden ohittaminen tekee mahdollisesta hyppyästä pelottavamman, ei turvallisemman.

Onko se todella ilmaista?

Ohjelmisto, todella. Käyttöönotto, ei koskaan: maksat palvelimesta, palveluntarjoajan tokeneista ja illoistasi. Tämän yhtälön yhden laskun versio elää osoitteessa kral.ai.

Mitä minun pitäisi varmuuskopioida?

Tietokanta, joka sisältää keskustelusi, ja ladatut tiedostot. Varmuuskopio, jota et ole koskaan palauttanut, on toivo, ei varmuuskopio.

LibreChatin itseisännöinti on sen arvoista ja sen arvoista tehdä kunnolla: anna projektille tähti, pidä varmuuskopiosi rehellisinä ja nauti koko pinon omistamisesta. Ja jos tulee päivä, jolloin haluat tuloksen enemmän kuin harrastuksen, hallinnoitu reitti on noin minuutin päässä:

Kokeile kral nyt

Varaa esittely

tekoälyalusta librechat itse isännöity tekoäly