Upravljano gostovanje LibreChata: vsi modeli, brez vzdrževanja

Odkrili ste LibreChat, zagnali docker compose up in uro pozneje je vaša celotna ekipa lahko uporabljala Claude, GPT in Gemini v enem preglednem vmesniku. Prevrtimo tri mesece naprej: ste neplačani upravitelj produkcijskega sistema. Mongo zahteva varnostne kopije. RAG API se je po posodobitvi pokvaril. Nekdo je skupni ključ OpenAI prilepil v kanal Slack. Finance pa nenehno sprašujejo, kdo je marca porabil 400 dolarjev za žetone.

Nič od tega ni krivda LibreChata. To je dejanski strošek upravljanja katere koli večuporabniške platforme AI. Edino vprašanje je, ali to delo sodi na vašo mizo.

"docker compose up" je enostavni del

LibreChat si je svoj ugled pošteno prislužil. Je najboljši odprtokodni klepet AI, kar jih je: vsi pomembnejši modeli, agenti, klepet z datotekami, ustvarjanje slik in vmesnik, ki ga vaša ekipa že zna uporabljati.

Produkcija je povsem drugo delo. Prava namestitev LibreChata je majhna platforma:

• MongoDB za pogovore, ki jih mora nekdo varnostno kopirati in preizkušati obnovitev,
• Meilisearch za iskanje,
• ločen RAG API in vektorska podatkovna baza, če želite nalaganje datotek in klepet z dokumenti,
• povratni proxy, TLS, domena in nadzor, ki vas o izpadu obvesti, preden to storijo vaši uporabniki,
• datoteki .env in librechat.yaml, ki z vsako omogočeno funkcijo nosita vse večjo težo,
• in ključi API za vsakega ponudnika, ki ga povežete: OpenAI, Anthropic, Google in kdor koli izda naslednji model, ki ga bo vaša ekipa želela že prvi dan.

Nato se začnejo posodobitve. LibreChat se hitro razvija, kar je za uporabnika odlična novica, za upravitelja pa ponavljajoča se naloga. Vsaka izdaja je dnevnik sprememb, ki ga je treba prebrati, spojitev, ki jo je treba preizkusiti, in vzdrževalno okno, ki ga je treba načrtovati. Če nekaj izpustite, postane preskok zastrašujoč. Če jih uvedete vse, je to delo s krajšim delovnim časom.

To vemo, ker počnemo prav to. kral vsak dan upravlja LibreChat v produkciji; zgornji seznam je naš operativni priročnik, ne strašljiva zgodba.

Del, pred katerim vas nihče ne posvari: uporabniki, ključi in denar

Za enega samega uporabnika je samostojno gostovanje povsem v redu. Težave se začnejo pri drugem uporabniku.

Več uporabnikov pomeni, da mora nekdo odgovoriti na tri vprašanja. Kdo sme vstopiti? Kaj sme uporabljati? Kdo plača za kaj? Z golimi ključi API imate dve slabi možnosti: en skupni ključ (brez pripisovanja porabe, eno samo uhajanje pa izčrpa celoten proračun) ali ključ za vsako osebo (zapleti pri uvajanju, tveganje pri odjavi in kup računov ponudnikov, ki jih morajo finance uskladiti).

LibreChat ponuja osnovne žetonske dobropise, vendar je klepetalna aplikacija, ne obračunski sistem. Ni naročniških paketov, ni računov, ni obravnave davkov, ni dopolnitev dobroimetja, ki bi jih uporabniki lahko kupili sami. Pri uvedbi v podjetju je ta vrzel običajno tista, ki ustavi projekt, ne strežniki.

Kaj bi moralo upravljano gostovanje LibreChata pokrivati

Upravljano gostovanje ima smisel le, če odpravi celoten seznam, ne le vsebnikov. Kogar koli izberete, tudi nas, od njega zahtevajte tole:

• Aktualna osnova LibreChat. Posodobitve prihajajo brez vašega sodelovanja, izdelek pa še naprej sledi odprtokodnemu projektu, namesto da bi zdrsnil v zamrznjen zasebni klon.
• Vključeni modeli. Vsi pomembnejši modeli prek ene same vstopne točke, brez ključev API, ki bi jih bilo treba pridobivati, razdeljevati ali menjavati.
• Resničen nadzor stroškov. Proračuni za posameznega uporabnika, poraba, ki jo lahko pripišete osebi, in en račun namesto petih.
• Upravljanje ekipe. Povabite, odstranite, končano. Dostop se konča, ko se konča pogodba.
• Celoten nabor funkcij. Klepet z datotekami, ustvarjanje slik in spletno iskanje bi morali delovati že prvi dan; prav ti so polovica razloga za zapletenost sklada.
• Izhod. Vaše pogovore je mogoče izvoziti, osnovna programska oprema pa je odprtokodna. Če je odhod težaven, niste stranka, ste talec.

Kako kral to poganja

kral je LibreChat, upravljan kot dokončana platforma. Prijavite se na app.kral.ai in dobite vmesnik, ki ste ga nameravali gostovati sami, z že izdelano operativno plastjo:

• Claude, GPT, Gemini, DeepSeek, Perplexity in še več, v eni aplikaciji, brez ključev API kjer koli,
• obračun na žeton z mesečnimi naročninami in dobropisi za dopolnitev, tako da je poraba pripisana osebi, ki jo je povzročila,
• ekipni paketi: ena pogodba, skupni proračun, člani, ki jih upravljate sami,
• nalaganje datotek z iskanjem po dokumentih, ustvarjanje slik in spletno iskanje, vse že povezano,
• vmesnik v 29 jezikih,
• posodobitve, ki jih uredimo namesto vas: ko LibreChat izda novo različico, jo spojimo, preizkusimo in uvedemo.

Za pošteno bilanco: kral poganja vzdrževano vejo LibreChata, popravki pa obstajajo natanko za zgoraj naštete stvari (prehod, obračun, ekipe). Izdaje iz izvornega projekta spremljamo namerno, saj gostovani LibreChat, ki neha biti LibreChat, zgreši bistvo.

In ker gre za LibreChat, izhod ostaja odprt. Izvozite svoje podatke in odprtokodni sklad kadar koli poženite sami. Raje smo možnost, ki jo znova in znova izbirate, kot tista, pri kateri ste obtičali.

Samostojno ali upravljano gostovanje? Poštena primerjava

Samostojno gostovanje zmaga pri eni stvari, in ta je velika: podatki nikoli ne zapustijo vaše stavbe. Če imate ekipo za infrastrukturo in strogo zahtevo glede kraja hrambe podatkov, gostujte sami. To je prava odločitev in projekt si zasluži vašo zvezdico na GitHub.

Obstaja tudi tretja pot. Platforma, na kateri temelji kral, lahko deluje znotraj vašega podjetja, celo izvorno na vašem lastnem strežniku Windows Server. Zahteva po lokalni namestitvi ne konča pogovora.

Vprašanja, ki jih ekipe dejansko postavljajo

Ali je kral isto kot LibreChat?

Izkušnja klepeta je LibreChat, ohranjena blizu izvornega projekta. Okoli tega kral dodaja tisto, kar potrebuje uvedba v podjetju: prehod za modele, obračun, proračune in upravljanje ekip.

Ali potrebujemo lastne ključe API?

Ne. Vsak model na platformi je vključen in obračunan na žeton. Nikomur ni treba odpirati računa OpenAI in noben ključ ne more pricurljati, ker jih ni za razdeljevanje.

Ali se lahko pozneje vrnemo na samostojno gostovanje?

Da. Vaše pogovore je mogoče izvoziti, programska oprema pa je odprtokodna. Izhod je resničen, in prav zato vas ne zadržujemo z vezanostjo.

Ali deluje za ekipe?

Da. Ekipni paket je ena pogodba s skupnim proračunom: lastnik povabi člane, vsi črpajo iz istega vira, dostop pa se konča v trenutku, ko nekoga odstranite.

Koliko stane?

Mesečni paketi z vključeno porabo, poleg tega dobropisi, ki jih sproti dopolnjujete. Trenutne številke so na kral.ai; ni pribitka na sedež, skritega v datoteki PDF.

LibreChat je vreden časa vaše ekipe. Ali je vreden tudi vaših večerov, je drugo vprašanje. Če je odgovor ne:

Preizkusite kral zdaj