Hallatav LibreChati majutus: kõik mudelid, ilma hoolduseta

Leidsite LibreChati, käivitasite docker compose up ja tund hiljem sai kogu Teie meeskond kasutada Claude'i, GPT-d ja Geminit ühes puhtas liideses. Kerime kolm kuud edasi: nüüd olete Te tootmissüsteemi tasustamata käitaja. Mongo tahab varukoopiaid. RAG API läks pärast uuendust katki. Keegi kleepis jagatud OpenAI võtme Slacki kanalisse. Ja rahandusosakond pärib üha, kes kulutas märtsis tokenitele 400 dollarit.

Miski sellest pole LibreChati süü. Selline ongi iga mitme kasutajaga AI-platvormi käitamise tegelik hind. Ainus küsimus on, kas see töö peaks lasuma Teie õlgadel.

"docker compose up" on lihtne osa

LibreChat on oma maine ausalt välja teeninud. See on parim olemasolev avatud lähtekoodiga AI-vestlus: kõik olulisemad mudelid, agendid, failivestlus, pildigenereerimine ja liides, mida Teie meeskond juba oskab kasutada.

Tootmiskeskkond on hoopis teine töö. Päris LibreChati juurutus on väike platvorm:

• MongoDB vestluste jaoks, mida keegi peab varundama ja taastamist testima,
• Meilisearch otsingu jaoks,
• eraldi RAG API ja vektorandmebaas, kui soovite failide üleslaadimist ja dokumendivestlust,
• pöördproksi, TLS, domeen ja seire, mis annab seisakust teada enne, kui seda teevad Teie kasutajad,
• .env fail ja librechat.yaml, mis muutuvad iga sisselülitatud funktsiooniga üha kandvamaks,
• ja API-võtmed iga ühendatud teenusepakkuja jaoks: OpenAI, Anthropic, Google ja kes iganes toob välja järgmise mudeli, mida Teie meeskond soovib juba esimesel päeval.

Siis algavad uuendused. LibreChat areneb kiiresti, mis on kasutaja jaoks suurepärane uudis ja käitaja jaoks korduv ülesanne. Iga väljalase tähendab muudatuste logi, mida lugeda, liitmist, mida testida, ja hooldusakent, mida ajastada. Jätke mõni vahele ja hüpe muutub hirmutavaks. Rakendage kõik ja see on juba osalise tööajaga töö.

Me teame seda, sest teeme täpselt sama. kral käitab LibreChati tootmiskeskkonnas iga päev; ülaltoodud loend on meie tööjuhend, mitte hirmujutt.

Osa, mille eest keegi ei hoiata: kasutajad, võtmed ja raha

Ühe kasutaja jaoks on ise majutamine täiesti sobiv. Valu algab kasutajast number kaks.

Mitme kasutaja korral peab keegi vastama kolmele küsimusele. Kellel on lubatud siseneda? Mida nad tohivad kasutada? Kes maksab mille eest? Paljaste API-võtmetega saate kaks halba varianti: üks jagatud võti (jälgitavus puudub ja üksainus leke põletab kogu eelarve) või võti inimese kohta (liitumise hõõrdumine, lahkumise risk ja hunnik teenusepakkujate arveid, mida rahandusosakond peab kokku viima).

LibreChatiga on kaasas lihtsad tokenikrediidid, kuid tegu on vestlusrakendusega, mitte arveldussüsteemiga. Pole pakette, pole arveid, pole maksukäsitlust, pole täienduskrediite, mida Teie kasutajad saaksid ise osta. Ettevõtte kasutuselevõtu puhul peatab tavaliselt just see lünk kõik, mitte serverid.

Mida peaks hallatav LibreChati majutus katma

Hallatav majutus on mõttekas ainult siis, kui see võtab ära kogu selle loendi, mitte ainult konteinerid. Keda iganes Te valite, kaasa arvatud meie, nõudke neilt järgmist:

• Ajakohane LibreChati alus. Uuendused jõuavad kohale ilma Teie sekkumiseta ja toode jälgib jätkuvalt avatud lähtekoodiga projekti, selle asemel et triivida külmutatud privaatse klooni suunas.
• Mudelid sisalduvad. Kõik olulisemad mudelid ühe sisenemispunkti kaudu, pole vaja hankida, jagada ega vahetada API-võtmeid.
• Tõeline kulude kontroll. Kasutajapõhised eelarved, kasutus, mida saab omistada konkreetsele inimesele, ja üks arve viie asemel.
• Meeskonnahaldus. Kutsuge, eemaldage, valmis. Ligipääs lõpeb koos lepinguga.
• Kogu funktsioonivalik. Failivestlus, pildigenereerimine ja veebiotsing peaksid toimima esimesest päevast; just need on pool põhjust, miks kogu see süsteem keeruline on.
• Väljapääs. Teie vestlused on eksporditavad ja aluseks olev tarkvara on avatud lähtekoodiga. Kui lahkumine on raske, pole Te klient, vaid pantvang.

Kuidas kral seda käitab

kral on LibreChat, mida käitatakse valmis platvormina. Logite sisse aadressil app.kral.ai ja saate liidese, mille kavatsesite ise majutada, koos juba valmis ehitatud käituskihiga:

• Claude, GPT, Gemini, DeepSeek, Perplexity ja veel, ühes rakenduses, ilma API-võtmeteta kusagil,
• tokenipõhine arveldus kuupakettide ja täienduskrediitidega, nii et kasutus omistatakse selle põhjustanud inimesele,
• meeskonnapaketid: üks leping, jagatud eelarve, liikmed, keda ise haldate,
• failide üleslaadimine koos dokumendiotsinguga, pildigenereerimine ja veebiotsing on juba valmis ühendatud,
• liides 29 keeles,
• uuendused tehakse Teie eest ära: kui LibreChatilt tuleb uus väljalase, liidame selle, testime ja võtame kasutusele.

Aususe huvides: kral käitab hooldatavat LibreChati haru ja paigad on olemas täpselt ülalkirjeldatud asjade jaoks (lüüs, arveldus, meeskonnad). Jälgime algprojekti väljalaskeid teadlikult, sest majutatud LibreChat, mis lakkab olemast LibreChat, on mõtte kaotanud.

Ja kuna tegu on LibreChatiga, jääb väljapääs avatuks. Eksportige oma andmed ja käitage avatud lähtekoodiga tarkvara ise, millal iganes soovite. Oleme pigem valik, mille kasuks Te ikka ja jälle otsustate, kui see, mille külge Te olete kinni jäänud.

Ise majutatud või hallatav? Aus võrdlus

Ise majutamine võidab ühes asjas ja see on suur asi: andmed ei lahku kunagi Teie majast. Kui Teil on taristumeeskond ja range andmete asukoha nõue, majutage ise. See on õige otsus ja projekt väärib Teie tähte GitHubis.

On veel kolmas tee. Platvorm, millele kral on ehitatud, saab töötada Teie ettevõtte sees, isegi natiivselt Teie enda Windows Serveris. Kohapealse paigalduse nõue ei lõpeta vestlust.

Küsimused, mida meeskonnad tegelikult esitavad

Kas kral on sama mis LibreChat?

Vestluskogemus on LibreChat, mida hoitakse algprojekti lähedal. Selle ümber lisab kral kõik, mida ettevõttesisene kasutuselevõtt vajab: mudelilüüs, arveldus, eelarved ja meeskonnahaldus.

Kas vajame oma API-võtmeid?

Ei. Kõik platvormi mudelid sisalduvad ja neid arveldatakse tokenipõhiselt. Kellelgi pole vaja avada OpenAI kontot ja ükski võti ei saa lekkida, sest välja jagada pole midagi.

Kas saame hiljem ise majutamise juurde tagasi minna?

Jah. Teie vestlused on eksporditavad ja tarkvara on avatud lähtekoodiga. Väljapääs on tõeline ja just seepärast ei toetu me Teie hoidmisel lukustusele.

Kas see sobib meeskondadele?

Jah. Meeskonnapakett on üks leping jagatud eelarvega: omanik kutsub liikmeid, kõik ammutavad samast ühiskassast ja ligipääs lõpeb hetkel, mil Te kellegi eemaldate.

Mis see maksab?

Kuupaketid koos sisalduva kasutusega, pluss krediidid, mida saate jooksvalt täiendada. Praegused numbrid on aadressil kral.ai; ühtki kohapõhist juurdehindlust pole PDF-i peidetud.

LibreChat on Teie meeskonna aega väärt. Kas see on väärt ka Teie õhtuid, on iseküsimus. Kui vastus on ei:

Proovige krali kohe