Valdomas LibreChat talpinimas: visi modeliai, jokios priežiūros

Radote LibreChat, paleidote docker compose up, ir po valandos visa jūsų komanda galėjo naudotis Claude, GPT ir Gemini vienoje tvarkingoje sąsajoje. Persukime tris mėnesius į priekį: esate neapmokamas gamybinės sistemos operatorius. Mongo reikia atsarginių kopijų. RAG API sugedo po atnaujinimo. Kažkas įklijavo bendrą OpenAI raktą į Slack kanalą. O finansų skyrius vis klausia, kas kovą tokenams išleido 400 dolerių.

Dėl nieko iš to nekalta LibreChat. Tokia yra tikroji bet kurios daugelio naudotojų DI platformos eksploatavimo kaina. Vienintelis klausimas, ar tas darbas turi gulti ant jūsų pečių.

"docker compose up" yra lengvoji dalis

LibreChat savo reputaciją užsitarnavo sąžiningai. Tai geriausias atviro kodo DI pokalbių įrankis: visi svarbiausi modeliai, agentai, pokalbiai su failais, vaizdų generavimas ir sąsaja, kuria jūsų komanda jau moka naudotis.

Eksploatavimas yra visai kitas darbas. Tikras LibreChat diegimas yra maža platforma:

• MongoDB pokalbiams, kurių atsargines kopijas kažkas turi kurti ir tikrinti jų atkūrimą,
• Meilisearch paieškai,
• atskira RAG API ir vektorinė duomenų bazė, jei norite failų įkėlimo ir pokalbių su dokumentais,
• atvirkštinis tarpinis serveris, TLS, domenas ir stebėsena, kuri apie gedimą praneša anksčiau nei jūsų naudotojai,
• failas .env ir librechat.yaml, kurie su kiekviena įjungta funkcija tampa vis svarbesni,
• ir API raktai kiekvienam prijungtam tiekėjui: OpenAI, Anthropic, Google ir bet kam, kas išleis kitą modelį, kurio jūsų komanda panorės jau pirmą dieną.

Tada prasideda atnaujinimai. LibreChat sparčiai tobulėja, o tai puiki žinia naudotojui ir nuolatinė užduotis operatoriui. Kiekviena laida yra pakeitimų sąrašas, kurį reikia perskaityti, sujungimas, kurį reikia išbandyti, ir techninės priežiūros langas, kurį reikia suplanuoti. Praleiskite kelias, ir šuolis tampa bauginantis. Įdiekite visas, ir tai jau darbas ne visą darbo dieną.

Žinome, nes patys taip darome. kral kasdien eksploatuoja LibreChat gamybinėje aplinkoje; pirmiau pateiktas sąrašas yra mūsų veiksmų planas, o ne gąsdinimo istorija.

Dalis, apie kurią niekas neįspėja: naudotojai, raktai ir pinigai

Vienam naudotojui savarankiškas talpinimas tikrai tinka. Vargai prasideda nuo antro naudotojo.

Daug naudotojų reiškia, kad kažkas turi atsakyti į tris klausimus. Kam leidžiama prisijungti? Ką jie gali naudoti? Kas už ką moka? Su grynais API raktais turite du prastus variantus: vieną bendrą raktą (jokio priskyrimo, ir vienas nutekėjimas sudegina visą biudžetą) arba raktą kiekvienam asmeniui (sudėtingesnis įtraukimas, pašalinimo rizika ir krūva tiekėjų sąskaitų, kurias finansų skyriui reikia suderinti).

LibreChat turi bazinius tokenų kreditus, tačiau tai pokalbių programa, o ne atsiskaitymų sistema. Nėra jokių planų, jokių sąskaitų, jokio mokesčių tvarkymo, jokių papildymų, kuriuos naudotojai galėtų nusipirkti patys. Diegiant įmonėje būtent ši spraga paprastai tampa kliūtimi, o ne serveriai.

Ką turėtų apimti valdomas LibreChat talpinimas

Valdomas talpinimas prasmingas tik tada, jei pašalina visą sąrašą, o ne vien konteinerius. Ką bepasirinktumėte, įskaitant mus, reikalaukite iš jų štai ko:

• Aktuali LibreChat bazė. Atnaujinimai atkeliauja jums nedalyvaujant, o produktas ir toliau seka atviro kodo projektą, užuot virtęs įšaldytu privačiu klonu.
• Įskaičiuoti modeliai. Visi svarbiausi modeliai per vieną prieigos tašką, nereikia gauti, dalinti ar keisti API raktų.
• Tikra išlaidų kontrolė. Biudžetai kiekvienam naudotojui, sunaudojimas, kurį galima priskirti asmeniui, ir viena sąskaita vietoj penkių.
• Komandos valdymas. Pakvieskite, pašalinkite, ir viskas. Prieiga baigiasi kartu su sutartimi.
• Visas funkcijų rinkinys. Pokalbiai su failais, vaizdų generavimas ir paieška internete turi veikti nuo pirmos dienos; jie sudaro pusę priežasčių, kodėl ši sistema tokia sudėtinga.
• Išėjimo kelias. Jūsų pokalbius galima eksportuoti, o pagrindinė programinė įranga yra atviro kodo. Jei išeiti sunku, jūs ne klientas, o įkaitas.

Kaip kral tai valdo

kral yra LibreChat, eksploatuojama kaip užbaigta platforma. Prisijungiate adresu app.kral.ai ir gaunate sąsają, kurią ketinote talpinti patys, su jau sukurtu operaciniu sluoksniu:

• Claude, GPT, Gemini, DeepSeek, Perplexity ir daugiau, vienoje programoje, be jokių API raktų,
• atsiskaitymas už tokenus su mėnesiniais planais ir papildomais kreditais, todėl sunaudojimas priskiriamas jį sukėlusiam asmeniui,
• komandų planai: viena sutartis, bendras biudžetas, nariai, kuriuos valdote patys,
• failų įkėlimas su dokumentų paieška, vaizdų generavimas ir paieška internete jau sujungti,
• sąsaja 29 kalbomis,
• atnaujinimais pasirūpiname mes: kai LibreChat išleidžia laidą, ją sujungiame, išbandome ir įdiegiame.

Sąžiningumo dėlei: kral eksploatuoja prižiūrimą LibreChat atšaką, o pataisos skirtos būtent pirmiau minėtiems dalykams (sietuvui, atsiskaitymams, komandoms). Sąmoningai sekame pirminio projekto laidas, nes talpinama LibreChat, kuri nustoja būti LibreChat, praranda visą prasmę.

Ir kadangi tai LibreChat, išėjimas lieka atviras. Eksportuokite savo duomenis ir bet kada patys paleiskite atviro kodo sistemą. Verčiau būsime pasirinkimas, kurį renkatės vėl ir vėl, nei tas, prie kurio esate pririšti.

Savarankiškai talpinama ar valdoma? Sąžiningas palyginimas

Savarankiškas talpinimas laimi vienoje srityje, ir ji svarbi: duomenys niekada nepalieka jūsų pastato. Jei turite infrastruktūros komandą ir griežtą duomenų saugojimo vietos reikalavimą, talpinkite patys. Tai teisingas sprendimas, ir projektas nusipelno jūsų žvaigždutės GitHub platformoje.

Yra ir trečias kelias. Platforma, ant kurios sukurta kral, gali veikti jūsų įmonės viduje, netgi tiesiogiai jūsų pačių Windows Server aplinkoje. Vietinio diegimo reikalavimas nenutraukia pokalbio.

Klausimai, kuriuos komandos iš tiesų užduoda

Ar kral yra tas pats kaip LibreChat?

Pokalbių patirtis yra LibreChat, laikoma arti pirminio projekto. Aplink ją kral prideda tai, ko reikia diegiant įmonėje: modelių sietuvą, atsiskaitymus, biudžetus ir komandos valdymą.

Ar mums reikia nuosavų API raktų?

Ne. Kiekvienas platformos modelis yra įskaičiuotas ir apmokestinamas už tokenus. Niekam nereikia kurti OpenAI paskyros, ir joks raktas negali nutekėti, nes nėra ką dalinti.

Ar vėliau galime grįžti prie savarankiško talpinimo?

Taip. Jūsų pokalbius galima eksportuoti, o programinė įranga yra atviro kodo. Išėjimo kelias tikras, ir kaip tik dėl to jūsų neišlaikome technologiniu pririšimu.

Ar tai tinka komandoms?

Taip. Komandos planas yra viena sutartis su bendru biudžetu: savininkas kviečia narius, visi naudoja tą patį fondą, o prieiga baigiasi tą pačią akimirką, kai ką nors pašalinate.

Kiek tai kainuoja?

Mėnesiniai planai su įskaičiuotu naudojimu ir kreditai, kuriuos galite papildyti pagal poreikį. Aktualūs skaičiai pateikti kral.ai; nėra jokio antkainio už vietą, paslėpto PDF faile.

LibreChat verta jūsų komandos laiko. Ar ji verta ir jūsų vakarų, jau kitas klausimas. Jei atsakymas neigiamas:

Išbandykite kral dabar