A LibreChat önként történő üzemeltetése: telepítés, költségek és egy őszinte útmutató

A beszélgetéseit a saját hardverén szeretné, a kulcsait a saját kezében, és semmilyen előfizetést Ön és a modellek között. Jó hír: a LibreChat a legjobb nyílt forrású alap pontosan ehhez, és önálló üzemeltetése reális hétvégi projekt. Ez az útmutató annak a hétvégének az őszinte változata.

Egy közlés, mielőtt a terminal megnyilna: a kral, a blog mögött álló platform, egy menedzselt LibreChat. Akkor keressük a kenyérünket, amikor az önálló üzemeltetés megszűnik szórakoztatónak lenni, és éppen ezért nincs okunk szépíteni ezen az útmutatón. Az alábbi lista az, amit minden nap éles üzemben futtatunk.

Mire van szüksége, mielőtt elkezdi

• Egy gép. Egy szerény Linux VPS Dockerrel a klasszikus otthon; a Docker Desktop a saját számítógépén elég egy első teszthez, és a Windows ezen az úton kiválóan működik.
• Egy domén és TLS, abban a pillanatban, amikor Önön kívül valaki más bejelentkezik.
• Szolgáltatói API-kulcsok a kívánt modellekhez: OpenAI, Anthropic, Google, bárkinek is fizet közvetlenül.
• Egy óra az első beszélgetéshez, és egy hétvége egy olyan telepítéshez, amelyet nem szégyell.

Nincs szükség GPU-ra. A modellek, amelyekkel beszél, API-k mögött élnek; az Ön szervere csak a körülöttük lévő platformot futtatja.

A mozgó alkatrészek

A LibreChat éles üzemben egy kis flotta, nem egyetlen konténer. Ismerje meg a legénységet, mielőtt kihajózik:

A telepítés öt őszinte lépésben

1. Letöltés és konfigurálás. Klónozza a tárolót, másolja át a példa környezeti fájlt, és tegye a szolgáltatói kulcsait a .env fájlba. A modellek végpontjai és a funkciók a librechat.yaml fájlban élnek.
2. Indítsa el a stacket. A docker compose up -d felemeli az alkalmazást és szolgáltatásait. Az első beszélgetés egy órán belül reális cél.
3. Hozza létre a fiókját és zárja be az ajtót. Regisztráljon, majd döntse el, hogy a regisztráció egyáltalán nyílva marad-e.
4. Tegyen elé egy proxyt. Egy reverz proxy TLS-sel és az Ön doménjével, mielőtt a második személy megkapja a linket.
5. Tervezze meg az unalmas részeket. Ütemezett adatbázis-mentések, a kiadási megjegyzések feliratkozása és egy karbantartási ablak, amelyet tényleg betart.

Az ötödik lépés az, ami elválasztja a demot a telepítéstől, és ez az a lépés, amelyet a legtöbb hétvégi útmutató kihagy.

Mibe kerül valójában

Három pénznem, őszintén elkönyvelve:

• Pénz. A szoftver MIT licenc alatt áll és ingyenes. Egy kis VPS könnyedén elbír egy személyes telepítést; a RAG stack étvágyat kap, ahogy nő. A valós változó a szolgáltatók számlái, mert minden token most az Ön kulcsain fut.
• Idő. A LibreChat gyakran ad ki, ami nagyszerű a funkciók szempontjából és ismétlődő Önnek: olvassa el a changelogot, húzza le, tesztelje, lépjen tovább. A biztonsági mentések semmibe sem kerülnek addig a napig, amikor felbecsülhetetlenek.
• Figyelem, a második felhasználótól kezdve. Abban a pillanatban, amikor egy második személy csatlakozik, megörökli a kérdéseket, amelyeknek semmi közük a szerverekhez: ki mit használhat, kié volt az a költség és ki tölti fel a kulcsot. A teljes őszinte listát megírtuk a menedzselt LibreChat-üzemeltetés című cikkben.

Mikor a helyes választás az önálló üzemeltetés, és mikor szűnik meg annak lenni

Üzemeltessen önállóan örömmel, ha ezek egyike igaz: az adatai nem hagyhatják el az épületet, a babácskolás a jutalom része, csak Ön van vagy egy maroknyi megbízható ember, vagy helyi modelleket szeretne, mert egy Ollamára vagy vLLM-re mutató egyedi, OpenAI-kompatibilis végpont teljesen az Ön LAN-ján tartja a beszélgetéseket.

Gondolja át újra, amikor a platform csapateszközzé válik. A terhelés nem lineárisan nő a felhasználókkal; a kettes felhasználónál ugrik, és újra az első költségvetési kérdésnél. És ha a cél egy vállalati telepítés, a platform, amelyre a kral épül, akr nativ módon is futhat a saját Windows Serverén: egy csomag, ahol a LibreChatet egy adminisztrációs konzolról konfigurálják, és ahol minden felhasználó token-költsése kérésenként látható, úgy hogy az on-premises és az alacsony karbantartás nem ellentétek.

A kérdések, amelyeket az önálló üzemeltetők valóban feltesznek

Szükségem van GPU-ra?

Nem. Maga a LibreChat könnyű; a modellek a szolgáltatók API-jaiból válaszolnak. Csak akkor van szüksége GPU-ra, ha helyi modelleket is szeretne futtatni, és akkor az az Ollamához vagy a vLLM-hez tartozik, nem a LibreChathez.

Fut Windowson?

A Docker Desktopon keresztül igen, és kényelmesen egy személyes telepítéshez. Egy nativ, vállalati méretű Windows Server-telepítéshez a kral pontosan ezért készült.

Hogyan működnek a frissítések?

Rendszeresen jelennek meg új imázsok. A biztonságos tempo: olvassa el a kiadási megjegyzéseket, készítsen mentést, húzza le, tesztelje a funkciókat, amelyektől függ, majd engedje vissza a csapatot. Több verzió kihagyása ijesztőbbé teszi az esetleges ugrást, nem biztonságosabbá.

Tényleg ingyenes?

A szoftver, valóban. A telepítés, soha: fizet a szerverért, a szolgáltató tokenjeiért és az estéiért. Ennek az egyenletnek az egyszámlás változata a kral.ai oldalon él.

Mit kell menteni?

Az adatbázist, amely a beszélgetéseit tartalmazza, és a feltöltött fájlokat. Egy biztonsági mentés, amelyet soha nem állított vissza, remény, nem mentés.

A LibreChat önálló üzemeltetése megéri, és megéri jól csinálni: adjon a projektnek egy csillagot, tartsa őszintén a biztonsági mentéseit, és élvezze a teljes stack birtoklását. És ha eljön a nap, amikor jobban akarja az eredményt, mint a hobbit, a menedzselt út körülbelül egy percnyire van:

Próbálja ki a kral programot most

Foglaljon egy bemutatót