Rátalált a LibreChatre, lefuttatta a docker compose up parancsot, és egy órával később az egész csapata egyetlen letisztult felületen használhatta a Claude-ot, a GPT-t és a Geminit. Ugorjunk három hónapot előre: Ön lett egy éles rendszer fizetetlen üzemeltetője. A Mongo biztonsági mentést igényel. A RAG API elromlott egy frissítés után. Valaki bemásolta a közös OpenAI-kulcsot egy Slack-csatornába. A pénzügy pedig folyton azt kérdezi, ki költött 400 dollárt tokenekre márciusban.
Ezekről nem a LibreChat tehet. Ennyibe kerül valójában bármely többfelhasználós AI-platform üzemeltetése. Az egyetlen kérdés az, hogy ez a munka az Ön asztalára tartozik-e.
A "docker compose up" a könnyű rész
A LibreChat megérdemelten szerezte a hírnevét. Ez a létező legjobb nyílt forráskódú AI-chat: minden jelentős modell, ügynökök, fájlalapú csevegés, képgenerálás, és egy olyan felület, amelyet a csapata már ismer.
Az éles üzem viszont más feladat. Egy valódi LibreChat-telepítés egy kisebb platform:
- MongoDB a beszélgetésekhez, amelyről valakinek biztonsági mentést kell készítenie és a visszaállítást tesztelnie kell,
- Meilisearch a kereséshez,
- egy különálló RAG API és egy vektoradatbázis, ha fájlfeltöltést és dokumentumalapú csevegést szeretne,
- egy fordított proxy, TLS, egy domain, és olyan felügyelet, amely előbb jelzi a leállást, mint a felhasználói,
- egy .env fájl és egy librechat.yaml, amelyek minden újabb bekapcsolt funkcióval egyre kritikusabbá válnak,
- és API-kulcsok minden csatlakoztatott szolgáltatóhoz: OpenAI, Anthropic, Google, és bárki, aki kiadja a következő modellt, amelyet a csapata már az első napon szeretne.
Aztán jönnek a frissítések. A LibreChat gyorsan fejlődik, ami felhasználóként remek hír, üzemeltetőként pedig visszatérő feladat. Minden kiadás egy elolvasandó changelog, egy tesztelendő merge és egy beütemezendő karbantartási ablak. Hagyjon ki néhányat, és ijesztővé válik az ugrás. Telepítse mindet, és részmunkaidős állás lesz belőle.
Tudjuk, mert pontosan ezt csináljuk. A kral minden nap éles üzemben működteti a LibreChatet; a fenti lista a mi üzemeltetési kézikönyvünk, nem ijesztgetés.
Amiről senki sem figyelmeztet: felhasználók, kulcsok és pénz
Egyetlen felhasználó számára a saját üzemeltetés valóban rendben van. A fájdalom a második felhasználónál kezdődik.
A többfelhasználós működés azt jelenti, hogy valakinek meg kell válaszolnia három kérdést. Ki léphet be? Mit használhat? Ki miért fizet? Nyers API-kulcsokkal két rossz lehetősége van: egyetlen közös kulcs (nincs hozzárendelés, és egyetlen szivárgás felemészti a teljes keretet) vagy személyenkénti kulcs (nehézkes onboarding, offboarding-kockázat, és egy halom szolgáltatói számla, amelyet a pénzügynek egyeztetnie kell).
A LibreChat alapszintű token-kreditekkel érkezik, de ez egy csevegőalkalmazás, nem számlázási rendszer. Nincsenek csomagok, nincsenek számlák, nincs adókezelés, nincsenek olyan feltöltések, amelyeket a felhasználói maguk megvásárolhatnak. Egy vállalati bevezetésnél általában ez a hiányosság a kerékkötő, nem a szerverek.
Mit kell lefednie egy menedzselt LibreChat-hostingnak
A menedzselt hosting csak akkor van értelme, ha az egész listát leveszi a válláról, nem csak a konténereket. Bárkit is választ, minket is beleértve, ezt kérje számon rajta:
- Naprakész LibreChat-alap. A frissítések az Ön közreműködése nélkül érkeznek, és a termék továbbra is követi a nyílt forráskódú projektet, ahelyett, hogy egy befagyasztott, privát klónná válna.
- Beleértett modellek. Minden jelentős modell egyetlen belépési ponton keresztül, nem kell API-kulcsokat beszerezni, szétosztani vagy cserélni.
- Valódi költségkontroll. Felhasználónkénti keretek, személyhez rendelhető felhasználás, és öt helyett egyetlen számla.
- Csapatkezelés. Meghívás, eltávolítás, kész. A hozzáférés a szerződéssel együtt ér véget.
- A teljes funkciókészlet. A fájlalapú csevegésnek, a képgenerálásnak és a webes keresésnek már az első napon működnie kell; félig ezek miatt bonyolult az egész rendszer.
- Kiút. A beszélgetései exportálhatók, a mögöttes szoftver pedig nyílt forráskódú. Ha nehéz távozni, akkor Ön nem ügyfél, hanem túsz.
Így üzemelteti a kral
A kral maga a LibreChat, kész platformként üzemeltetve. Bejelentkezik az app.kral.ai oldalon, és megkapja azt a felületet, amelyet éppen saját üzemeltetésbe akart venni, a működési réteggel együtt, amely már készen áll:
- Claude, GPT, Gemini, DeepSeek, Perplexity és még több, egyetlen alkalmazásban, sehol egyetlen API-kulcs sem,
- tokenalapú számlázás havi csomagokkal és feltölthető kreditekkel, így a felhasználás ahhoz a személyhez rendelődik, aki okozta,
- csapatcsomagok: egy szerződés, közös keret, tagok, akiket Ön maga kezel,
- fájlfeltöltés dokumentumkereséssel, képgenerálás és webes keresés, mind előre bekötve,
- felület 29 nyelven,
- a frissítéseket elintézzük Ön helyett: amikor a LibreChat kiad egy verziót, mi összefésüljük, teszteljük és kigördítjük.
Az őszinteség jegyében: a kral egy karbantartott LibreChat-forkot üzemeltet, és a patchek pontosan a fenti dolgok miatt léteznek (az átjáró, a számlázás, a csapatok). Szándékosan követjük az upstream kiadásokat, mert egy olyan hosztolt LibreChat, amely már nem LibreChat, elvétette a lényeget.
És mivel ez LibreChat, a kijárat nyitva marad. Exportálja az adatait, és futtassa a nyílt forráskódú rendszert saját maga, amikor csak akarja. Inkább szeretnénk az a lehetőség lenni, amelyet újra és újra választ, mint az, amelynél kénytelen kitartani.
Saját üzemeltetés vagy menedzselt? Az őszinte összehasonlítás
| Saját üzemeltetésű LibreChat | Menedzselt (kral) | |
|---|---|---|
| Idő az első csevegésig | Egy délután, ha minden jól megy | Körülbelül egy perc |
| Frissítések | Ön olvassa, összefésüli, teszteli, telepíti | Elintézve Ön helyett |
| Modell-hozzáférés | Az Ön API-kulcsai, szolgáltatónként egy fiók | Beleértve, egyetlen bejelentkezés |
| Felhasználónkénti költségkontroll | Építse meg saját maga | Beépített keretek és tokenalapú számlázás |
| Fájlalapú csevegés / RAG | További futtatandó szolgáltatások | Beleértve |
| Adatok helye | Teljesen az Öné, az Ön hardverén | A kral infrastruktúráján, bármikor exportálható |
| Mibe kerül | Szerver, szolgáltatói számlák, az Ön munkaórái | Csomag vagy kreditek, egyetlen számla |
A saját üzemeltetés egy dologban nyer, és ez egy fontos dolog: az adatok soha nem hagyják el az épületét. Ha van infrastruktúra-csapata és szigorú adatlokalizációs követelménye, üzemeltesse saját maga. Ez a helyes döntés, és a projekt megérdemli az Ön csillagát a GitHubon.
Van egy harmadik út is. Az a platform, amelyre a kral épül, futtatható a vállalatán belül is, akár natívan az Ön saját Windows Serverén. Egy helyszíni üzemeltetési követelmény nem zárja le a beszélgetést.
Kérdések, amelyeket a csapatok valóban feltesznek
A kral ugyanaz, mint a LibreChat?
A csevegési élmény a LibreChat, az upstreamhez közel tartva. E köré a kral hozzáadja azt, amire egy vállalati bevezetéshez szükség van: a modellátjárót, a számlázást, a kereteket és a csapatkezelést.
Szükségünk van saját API-kulcsokra?
Nem. A platformon minden modell benne van, és tokenalapon van számlázva. Senkinek sem kell OpenAI-fiókot nyitnia, és egyetlen kulcs sem szivároghat ki, mert nincs mit kiosztani.
Visszaválthatunk később a saját üzemeltetésre?
Igen. A beszélgetései exportálhatók, a szoftver pedig nyílt forráskódú. A kiút valódi, és épp ezért nem azzal tartjuk meg Önt, hogy bezárjuk.
Csapatok számára is működik?
Igen. Egy csapatcsomag egyetlen szerződés közös kerettel: a tulajdonos meghívja a tagokat, mindenki ugyanabból a keretből merít, és a hozzáférés abban a pillanatban megszűnik, amikor eltávolít valakit.
Mennyibe kerül?
Havi csomagok beleértett felhasználással, plusz kreditek, amelyeket menet közben feltölthet. Az aktuális számok a kral.ai oldalon találhatók; nincs férőhelyenkénti felár egy PDF-ben elrejtve.
A LibreChat megéri a csapata idejét. Hogy megéri-e az Ön estéit is, az már más kérdés. Ha a válasz nem:
Hozzászólások (0)
Még nincs hozzászólás. Legyen Ön az első!
Hozzászóláshoz be kell jelentkeznie.
Bejelentkezés Regisztráció