Pārvaldīta LibreChat mitināšana: visi modeļi, nekādas apkopes

Jūs atradāt LibreChat, palaidāt docker compose up, un stundu vēlāk visa jūsu komanda varēja izmantot Claude, GPT un Gemini vienā pārskatāmā saskarnē. Pārtīsim trīs mēnešus uz priekšu: jūs esat neapmaksāts produkcijas sistēmas operators. Mongo pieprasa dublējumus. RAG API pārstāja darboties pēc atjauninājuma. Kāds ielīmēja koplietoto OpenAI atslēgu Slack kanālā. Un finanšu nodaļa nemitīgi jautā, kurš martā par tokeniem iztērēja 400 dolāru.

Nekas no tā nav LibreChat vaina. Tā ir patiesā cena par jebkuras daudzlietotāju MI platformas darbināšanu. Vienīgais jautājums ir, vai šis darbs ir jūsu ziņā.

"docker compose up" ir vieglā daļa

LibreChat savu reputāciju ir nopelnījis godīgi. Tas ir labākais atvērtā pirmkoda MI tērzēšanas rīks, kāds vien pastāv: visi nozīmīgākie modeļi, aģenti, tērzēšana ar failiem, attēlu ģenerēšana un saskarne, ko jūsu komanda jau prot lietot.

Darbs produkcijas vidē ir kas pavisam cits. Reāla LibreChat izvietošana ir maza platforma:

• MongoDB sarunām, ko kādam nākas dublēt un testēt to atjaunošanu,
• Meilisearch meklēšanai,
• atsevišķs RAG API un vektoru datubāze, ja vēlaties failu augšupielādi un tērzēšanu ar dokumentiem,
• reversais starpniekserveris, TLS, domēns un uzraudzība, kas jums par dīkstāvi paziņo ātrāk nekā jūsu lietotāji,
• fails .env un librechat.yaml, kas ar katru iespējoto funkciju kļūst arvien nozīmīgāki,
• un API atslēgas katram pakalpojumu sniedzējam, ko pieslēdzat: OpenAI, Anthropic, Google un ikvienam, kas izlaidīs nākamo modeli, kuru jūsu komanda vēlēsies jau pirmajā dienā.

Tad sākas atjauninājumi. LibreChat attīstās strauji, kas lietotājam ir lieliska ziņa un operatoram nozīmē atkārtotu uzdevumu. Katrs laidiens ir izmaiņu žurnāls, kas jāizlasa, sapludināšana, kas jāpārbauda, un apkopes logs, kas jāieplāno. Izlaidiet dažus, un lēciens kļūst biedējošs. Pielietojiet tos visus, un tas kļūst par darbu uz nepilnu slodzi.

Mēs to zinām, jo tieši to arī darām. kral katru dienu darbina LibreChat produkcijas vidē; iepriekš minētais saraksts ir mūsu ikdienas rokasgrāmata, nevis biedēšanas stāsts.

Tā daļa, par kuru neviens jūs nebrīdina: lietotāji, atslēgas un nauda

Vienam lietotājam pašmitināšana patiešām ir laba izvēle. Sāpes sākas ar otro lietotāju.

Daudzi lietotāji nozīmē, ka kādam ir jāatbild uz trim jautājumiem. Kam ir atļauta piekļuve? Ko viņi drīkst izmantot? Kurš par ko maksā? Strādājot tieši ar API atslēgām, jums ir divas sliktas izvēles: viena koplietota atslēga (nav skaidrs, kurš ko tērē, un viena noplūde notērē visu budžetu) vai atslēga katrai personai (sarežģīta pievienošana, atvienošanas risks un kaudze ar pakalpojumu sniedzēju rēķiniem, kas finanšu nodaļai jāsaskaņo).

LibreChat piedāvā vienkāršus tokenu kredītus, taču tā ir tērzēšanas lietotne, nevis norēķinu sistēma. Nav nedz plānu, nedz rēķinu, nedz nodokļu apstrādes, nedz papildinājumu, ko jūsu lietotāji varētu iegādāties paši. Uzņēmuma ieviešanai tieši šī nepilnība parasti ir izšķirošais šķērslis, nevis serveri.

Ko vajadzētu ietvert pārvaldītai LibreChat mitināšanai

Pārvaldīta mitināšana ir jēgpilna tikai tad, ja tā novērš visu sarakstu, ne tikai konteinerus. Lai kuru jūs izvēlētos, tostarp mūs, izvirziet tam šādas prasības:

• Aktuāls LibreChat pamats. Atjauninājumi tiek saņemti bez jūsu iesaistes, un produkts turpina sekot atvērtā pirmkoda projektam, nevis pakāpeniski pārvēršas par iesaldētu privātu klonu.
• Iekļauti modeļi. Visi nozīmīgākie modeļi caur vienu piekļuves punktu, bez API atslēgām, kas jāiegūst, jāizplata vai jārotē.
• Reāla izmaksu kontrole. Budžeti katram lietotājam, lietojums, ko var attiecināt uz konkrētu personu, un viens rēķins piecu vietā.
• Komandas pārvaldība. Uzaiciniet, noņemiet, gatavs. Piekļuve beidzas līdz ar līgumu.
• Pilns funkciju kopums. Tērzēšanai ar failiem, attēlu ģenerēšanai un tīmekļa meklēšanai jādarbojas jau pirmajā dienā; tie ir puse no iemesla, kāpēc viss kopums ir tik sarežģīts.
• Izeja. Jūsu sarunas ir eksportējamas, un pamatā esošā programmatūra ir ar atvērtu pirmkodu. Ja aiziešana ir sarežģīta, jūs neesat klients, jūs esat ķīlnieks.

Kā kral to darbina

kral ir LibreChat, kas tiek darbināts kā gatava platforma. Jūs piesakāties vietnē app.kral.ai un iegūstat saskarni, ko gatavojāties mitināt paši, ar jau izveidotu ekspluatācijas slāni:

• Claude, GPT, Gemini, DeepSeek, Perplexity un vēl vairāk, vienā lietotnē, turklāt nekur nav nevienas API atslēgas,
• norēķini par katru tokenu ar ikmēneša plāniem un papildināmiem kredītiem, tā ka lietojums tiek attiecināts uz personu, kas to radījusi,
• komandas plāni: viens līgums, koplietots budžets, dalībnieki, kurus pārvaldāt paši,
• failu augšupielāde ar dokumentu meklēšanu, attēlu ģenerēšana un tīmekļa meklēšana, kas jau ir iestatīta,
• saskarne 29 valodās,
• par atjauninājumiem parūpējamies mēs: kad LibreChat izlaiž jaunu versiju, mēs to sapludinām, pārbaudām un ieviešam.

Godīguma labad: kral darbina uzturētu LibreChat atzarojumu, un ielāpi pastāv tieši iepriekš minētajām lietām (vārtejai, norēķiniem, komandām). Mēs apzināti sekojam sākotnējā projekta laidieniem, jo mitināts LibreChat, kas vairs nav LibreChat, ir palaidis garām būtību.

Un tā kā tas ir LibreChat, izeja paliek atvērta. Eksportējiet savus datus un darbiniet atvērtā pirmkoda kopumu paši, kad vien vēlaties. Mēs labprātāk būtu izvēle, pie kuras jūs atgriežaties atkal un atkal, nevis tā, ar kuru esat iestrēguši.

Pašmitināts vai pārvaldīts? Godīgs salīdzinājums

Pašmitināšana uzvar vienā lietā, un tā ir nozīmīga: dati nekad neatstāj jūsu ēku. Ja jums ir infrastruktūras komanda un stingra prasība par datu atrašanās vietu, mitiniet paši. Tā ir pareizā izvēle, un projekts ir pelnījis jūsu zvaigzni vietnē GitHub.

Ir arī trešais ceļš. Platforma, uz kuras balstās kral, var darboties jūsu uzņēmuma iekšienē, pat natīvi uz jūsu paša Windows Server. Prasība pēc izvietošanas uz vietas neizbeidz sarunu.

Jautājumi, ko komandas patiešām uzdod

Vai kral ir tas pats, kas LibreChat?

Tērzēšanas pieredze ir LibreChat, kas tiek uzturēta tuvu sākotnējam projektam. Ap to kral pievieno to, kas nepieciešams uzņēmuma ieviešanai: modeļu vārteju, norēķinus, budžetus un komandas pārvaldību.

Vai mums ir vajadzīgas savas API atslēgas?

Nē. Katrs platformas modelis ir iekļauts, un norēķini notiek par katru tokenu. Nevienam nav jāatver OpenAI konts, un neviena atslēga nevar noplūst, jo nav nevienas, ko izsniegt.

Vai vēlāk varam atgriezties pie pašmitināšanas?

Jā. Jūsu sarunas ir eksportējamas, un programmatūra ir ar atvērtu pirmkodu. Izeja ir reāla, un tieši tāpēc mēs nepaļaujamies uz klientu piesaisti, lai jūs noturētu.

Vai tas darbojas komandām?

Jā. Komandas plāns ir viens līgums ar koplietotu budžetu: īpašnieks uzaicina dalībniekus, visi izmanto vienu un to pašu kopfondu, un piekļuve beidzas brīdī, kad kādu noņemat.

Cik tas maksā?

Ikmēneša plāni ar iekļautu lietojumu, kā arī kredīti, ko varat papildināt darba gaitā. Aktuālie skaitļi ir pieejami vietnē kral.ai; nav nekāda par katru lietotāja vietu aprēķināta uzcenojuma, kas būtu paslēpts kādā PDF failā.

LibreChat ir jūsu komandas laika vērts. Vai tas ir arī jūsu vakaru vērts, ir cits jautājums. Ja atbilde ir nē:

Izmēģiniet kral tagad