LibreChati ise-majutamine: paigaldus, kulud ja aus juhend

Soovite oma vestlusi oma riistvaral, oma võtmeid oma kätes ja mitte ühtegi tellimust teie ja mudelite vahel. Hea uudis: LibreChat on parim avatud lähtekoodiga alus täpselt selle jaoks ja selle ise-majutamine on realistlik nädalavahetuse projekt. See juhend on selle nädalavahetuse aus versioon.

Üks avaldus enne, kui terminal avaneb: kral, selle ajaveebi taga olev platvorm, on hallatav LibreChat. Me teenime elatist siis, kui ise-majutamine lakkab olemast lõbus, ja just seetõttu pole meil põhjust seda juhendit ilustada. Allolev nimekiri on see, mida me iga päev tootmises käitame.

Mida on vaja enne alustamist

• Masin. Tagasihoidlik Linuxi VPS koos Dockeriga on klassikaline kodu; Docker Desktop teie enda arvutis piisab esimeseks testiks ja Windows töötab seda teed pidi suurepäraselt.
• Domeen ja TLS, hetkel, mil keegi peale teie sisse logib.
• Pakkujate API-võtmed soovitud mudelite jaoks: OpenAI, Anthropic, Google, kellele iganes te otse maksate.
• Üks tund esimeseks vestluseks ja üks nädalavahetus paigalduseks, mille pärast te ei häbene.

GPU-d pole vaja. Mudelid, kellega te räägite, elavad API-de taga; teie server käitab ainult nende ümber olevat platvormi.

Liikuvad osad

LibreChat tootmises on väike laevastik, mitte üksik konteiner. Tundke meeskonda enne, kui purjetate välja:

Paigaldus viies ausas sammus

1. Hankige ja seadistage. Kloonige hoidla, kopeerige näidiskeskkonna fail ja pange oma pakkujate võtmed faili .env. Mudelite lõpp-punktid ja funktsioonid elavad failis librechat.yaml.
2. Käivitage pinu. docker compose up -d tõstab rakenduse ja selle teenused üles. Esimene vestlus vähem kui tunniga on realistlik eesmärk.
3. Looge oma konto ja sulgege uks. Registreeruge, seejärel otsustage, kas registreerimine üldse avatuks jääb.
4. Pange ette proksi. Pöördproksi koos TLS-i ja teie domeeniga, enne kui teine inimene lingi saab.
5. Planeerige igavad osad. Ajastatud andmebaasi varukoopiad, tellimus väljalaskemärkmetele ja hooldusaken, millest te tegelikult kinni peate.

Viies samm on see, mis eristab demot juurutusest, ja see on samm, mille enamik nädalavahetuse juhendeid vahele jätab.

Mida see tegelikult maksab

Kolm vääringut, ausalt kirjendatud:

• Raha. Tarkvara on MIT-litsentsiga ja tasuta. Väike VPS kannab isiklikku paigaldust hõlpsasti; RAG-i pinu saab isu, kui te kasvate. Tegelik muutuja on pakkujate arved, sest iga token käib nüüd teie võtmetel.
• Aeg. LibreChat annab välja sageli, mis on funktsioonide jaoks suurepärane ja teie jaoks korduv: lugege changelogi, tehke pull, testige, liikuge edasi. Varukoopiad ei maksa midagi kuni päevani, mil nad on hindamatud.
• Tähelepanu, alates kasutajast number kaks. Hetkel, mil teine inimene liitub, pärite küsimused, millel pole serveritega mingit pistmist: kes mida kasutada saab, kelle oma oli see kulu ja kes võtit täiendab. Kirjutasime kogu ausa nimekirja artiklisse hallatav LibreChati majutus.

Millal ise-majutamine on õige valik ja millal see lakkab olemast

Majutage ise rõõmuga, kui üks neist on tõsi: teie andmed ei tohi hoonest lahkuda, näperdamine on osa tasust, olete ainult teie või käestäis usaldusväärseid inimesi, või soovite kohalikke mudeleid, sest Ollamale või vLLM-ile suunatud kohandatud OpenAI-ühilduv lõpp-punkt hoiab vestlused täielikult teie LAN-is.

Kaaluge uuesti, kui platvorm muutub meeskonna tööriistaks. Koormus ei kasva kasutajatega lineaarselt; see hüppab kasutaja kaks juures ja taas esimese eelarveküsimuse juures. Ja kui sihtkoht on ettevõtte juurutus, siis platvorm, millele kral on ehitatud, saab isegi natiivselt töötada teie enda Windows Serveris: komplekt, kus LibreChat seadistatakse halduskonsoolist ja kus iga kasutaja token-kulu on nähtav päringu kaupa, nii et on-premises ja madal hooldus pole vastandid.

Küsimused, mida ise-majutajad tegelikult küsivad

Kas mul on GPU-d vaja?

Ei. LibreChat ise on kerge; mudelid vastavad pakkujate API-dest. GPU-d on teil vaja ainult siis, kui soovite käitada ka kohalikke mudeleid, ja siis kuulub see Ollamale või vLLM-ile, mitte LibreChatile.

Kas see töötab Windowsis?

Docker Desktopi kaudu jah, ja mugavalt isikliku paigalduse jaoks. Natiivseks juurutuseks Windows Serveris ettevõtte mõõtkavas on kral just selle jaoks ehitatud.

Kuidas uuendused toimivad?

Uued tõmmised tulevad välja regulaarselt. Turvaline tempo on: lugege väljalaskemärkmeid, varundage, tehke pull, testige funktsioone, millest sõltute, ja seejärel laske meeskonnal tagasi tulla. Mitme versiooni vahelejätmine muudab lõpliku hüppe hirmutavamaks, mitte turvalisemaks.

Kas see on tõesti tasuta?

Tarkvara, tõesti. Juurutus, mitte kunagi: te maksate serveri, pakkuja tokenite ja oma õhtute eest. Selle võrrandi ühe arve versioon elab aadressil kral.ai.

Mida ma peaksin varundama?

Andmebaasi, mis sisaldab teie vestlusi, ja üleslaaditud failid. Varukoopia, mida te pole kunagi taastanud, on lootus, mitte varukoopia.

LibreChati ise-majutamine on seda väärt ja seda väärt hästi teha: andke projektile täht, hoidke oma varukoopiad ausana ja nautige kogu pinu omamist. Ja kui saabub päev, mil soovite tulemust rohkem kui hobi, on hallatav tee umbes minuti kaugusel:

Proovige kral kohe

Broneerige demo