Managed LibreChat-hosting: alle modeller, ingen vedligeholdelse

Du fandt LibreChat, kørte docker compose up, og en time senere kunne hele dit team bruge Claude, GPT og Gemini i én ren grænseflade. Spol tre måneder frem: du er nu den ubetalte operatør af et produktionssystem. Mongo vil have backups. RAG API'et gik i stykker efter en opdatering. Nogen kom til at indsætte den delte OpenAI-nøgle i en Slack-kanal. Og økonomiafdelingen bliver ved med at spørge, hvem der brugte 400 dollars på tokens i marts.

Intet af det er LibreChats skyld. Det er, hvad det faktisk koster at drive enhver AI-platform med flere brugere. Det eneste spørgsmål er, om det arbejde hører til på dit bord.

"docker compose up" er den nemme del

LibreChat har fortjent sit ry ærligt. Det er den bedste open source AI-chat, der findes: alle de store modeller, agenter, filchat, billedgenerering og en grænseflade, dit team allerede ved, hvordan man bruger.

Produktion er en anden opgave. En rigtig LibreChat-installation er en lille platform:

• MongoDB til samtaler, som nogen skal tage backup af og teste gendannelse af,
• Meilisearch til søgning,
• et separat RAG API plus en vektordatabase, hvis du vil have filupload og dokumentchat,
• en reverse proxy, TLS, et domæne og overvågning, der fortæller dig, at det er nede, før dine brugere gør,
• en .env-fil og en librechat.yaml, der bliver mere bærende for hver funktion, du aktiverer,
• og API-nøgler til hver udbyder, du forbinder: OpenAI, Anthropic, Google og hvem der end lancerer den næste model, dit team vil have fra dag ét.

Så begynder opdateringerne. LibreChat bevæger sig hurtigt, hvilket er en god nyhed som bruger og en tilbagevendende opgave som operatør. Hver udgivelse er en changelog, der skal læses, en merge, der skal testes, og et vedligeholdelsesvindue, der skal planlægges. Spring nogle over, og springet bliver skræmmende. Anvend dem alle, og det er et deltidsjob.

Det ved vi, fordi vi gør præcis dette. kral driver LibreChat i produktion hver dag; listen ovenfor er vores runbook, ikke en skrækhistorie.

Den del, ingen advarer dig om: brugere, nøgler og penge

For en enkelt bruger er selv-hosting helt fint. Smerten starter ved bruger nummer to.

Flere brugere betyder, at nogen skal besvare tre spørgsmål. Hvem må komme ind? Hvad må de bruge? Hvem betaler for hvad? Med rå API-nøgler får du to dårlige muligheder: én delt nøgle (ingen sporing, og ét læk brænder hele budgettet af) eller en nøgle pr. person (besvær ved onboarding, risiko ved offboarding og en stak udbyderfakturaer, som økonomiafdelingen skal afstemme).

LibreChat leveres med grundlæggende token-kreditter, men det er en chat-app, ikke et faktureringssystem. Der er ingen abonnementer, ingen fakturaer, ingen momshåndtering, ingen optankninger, som dine brugere selv kan købe. Ved en virksomhedsudrulning er det hul som regel showstopperen, ikke serverne.

Hvad managed LibreChat-hosting bør dække

Managed hosting giver kun mening, hvis det fjerner hele listen, ikke bare containerne. Uanset hvem du vælger, os inklusive, så hold dem op på dette:

• Et aktuelt LibreChat-fundament. Opdateringer kommer uden din indblanding, og produktet følger fortsat open source-projektet i stedet for at drive over i en frossen privat klon.
• Modeller inkluderet. Alle de store modeller gennem ét indgangspunkt, ingen API-nøgler at skaffe, fordele eller rotere.
• Reel omkostningskontrol. Budgetter pr. bruger, forbrug du kan henføre til en person, og én faktura i stedet for fem.
• Teamadministration. Inviter, fjern, færdig. Adgangen slutter, når kontrakten gør.
• Hele funktionssættet. Filchat, billedgenerering og websøgning bør virke fra dag ét; de er halvdelen af grunden til, at stakken er kompleks.
• En vej ud. Dine samtaler kan eksporteres, og den underliggende software er open source. Hvis det er svært at forlade, er du ikke en kunde, du er et gidsel.

Sådan driver kral det

kral er LibreChat, drevet som en færdig platform. Du logger ind på app.kral.ai og får den grænseflade, du var ved at selv-hoste, hvor det driftsmæssige lag allerede er på plads:

• Claude, GPT, Gemini, DeepSeek, Perplexity og flere, i én app, uden API-nøgler nogen steder,
• fakturering pr. token med månedlige abonnementer og optankningskreditter, så forbrug henføres til den person, der forårsagede det,
• teamabonnementer: én kontrakt, et fælles budget, medlemmer du selv administrerer,
• filupload med dokumentsøgning, billedgenerering og websøgning allerede sat op,
• en grænseflade på 29 sprog,
• opdateringer klaret for dig: når LibreChat udgiver en version, merger vi den, tester den og ruller den ud.

For ærlighedens skyld: kral kører en vedligeholdt LibreChat-fork, og patches findes for præcis de ting ovenfor (gatewayen, faktureringen, teamadministrationen). Vi følger bevidst upstream-udgivelser, fordi en hostet LibreChat, der holder op med at være LibreChat, har misset pointen.

Og fordi det er LibreChat, forbliver udgangen åben. Eksportér dine data og kør open source-stakken selv, når du vil. Vi vil hellere være den mulighed, du bliver ved med at vælge, end den, du sidder fast med.

Selv-hostet eller managed? Den ærlige sammenligning

Selv-hosting vinder på én ting, og det er en stor en: dataene forlader aldrig din bygning. Hvis du har et infrastrukturteam og et hårdt krav om dataplacering, så selv-host. Det er den rigtige beslutning, og projektet fortjener din stjerne på GitHub.

Der findes også en tredje vej. Platformen, som kral er bygget på, kan køre inde i din virksomhed, endda direkte på din egen Windows Server. Et krav om on-premises afslutter ikke samtalen.

Spørgsmål teams faktisk stiller

Er kral det samme som LibreChat?

Chat-oplevelsen er LibreChat, holdt tæt på upstream. Rundt om den tilføjer kral det, en virksomhedsudrulning har brug for: modelgatewayen, fakturering, budgetter og teamadministration.

Har vi brug for vores egne API-nøgler?

Nej. Hver model på platformen er inkluderet og faktureres pr. token. Ingen behøver at oprette en OpenAI-konto, og ingen nøgle kan lække, fordi der ikke er nogen at dele ud.

Kan vi flytte tilbage til selv-hosting senere?

Ja. Dine samtaler kan eksporteres, og softwaren er open source. Vejen ud er reel, hvilket er præcis derfor, vi ikke er afhængige af lock-in for at beholde dig.

Virker det for teams?

Ja. Et teamabonnement er én kontrakt med et fælles budget: ejeren inviterer medlemmer, alle trækker på den samme pulje, og adgangen slutter i det øjeblik, du fjerner nogen.

Hvad koster det?

Månedlige abonnementer med inkluderet forbrug, plus kreditter du kan tanke op undervejs. Aktuelle tal findes på kral.ai; der er intet tillæg pr. plads skjult i en PDF.

LibreChat er dit teams tid værd. Om det også er dine aftener værd, er et andet spørgsmål. Hvis svaret er nej:

Prøv kral nu