Yönetilen LibreChat barındırma: tüm modeller, sıfır bakım

LibreChat'i buldunuz, docker compose up komutunu çalıştırdınız ve bir saat sonra tüm ekibiniz Claude, GPT ve Gemini'yi tek, temiz bir arayüzde kullanabiliyordu. Üç ay sonrasına gidelim: artık bir üretim sisteminin maaşsız operatörüsünüz. Mongo yedekleme istiyor. RAG API bir güncellemeden sonra bozuldu. Birileri paylaşılan OpenAI anahtarını bir Slack kanalına yapıştırdı. Ve finans ekibi mart ayında token'lara 400 dolar harcayanın kim olduğunu sorup duruyor.

Bunların hiçbiri LibreChat'in suçu değil. Çok kullanıcılı herhangi bir yapay zeka platformunu işletmenin gerçek maliyeti bu. Tek soru, bu işin sizin masanıza ait olup olmadığı.

"docker compose up" işin kolay kısmı

LibreChat itibarını dürüstçe kazandı. Mevcut en iyi açık kaynaklı yapay zeka sohbet uygulaması: tüm önemli modeller, ajanlar, dosya sohbeti, görsel oluşturma ve ekibinizin nasıl kullanılacağını zaten bildiği bir arayüz.

Üretim farklı bir iştir. Gerçek bir LibreChat kurulumu küçük bir platformdur:

• Sohbetler için, birinin yedekleyip geri yükleme testi yapması gereken MongoDB,
• Arama için Meilisearch,
• Dosya yüklemeleri ve belge sohbeti istiyorsanız ayrı bir RAG API ve bir vektör veritabanı,
• Bir ters proxy, TLS, bir alan adı ve sistemin çöktüğünü kullanıcılarınızdan önce size haber veren bir izleme sistemi,
• Etkinleştirdiğiniz her özellikle birlikte daha kritik hale gelen bir .env dosyası ve bir librechat.yaml,
• ve bağladığınız her sağlayıcı için API anahtarları: OpenAI, Anthropic, Google ve ekibinizin ilk günden itibaren isteyeceği bir sonraki modeli piyasaya süren her kim olursa.

Sonra güncellemeler başlar. LibreChat hızlı ilerler, bu bir kullanıcı olarak harika bir haber, bir operatör olarak ise tekrar eden bir görevdir. Her sürüm, okunacak bir değişiklik günlüğü, test edilecek bir birleştirme ve planlanacak bir bakım penceresidir. Birkaçını atlarsanız geçiş korkutucu hale gelir. Hepsini uygularsanız yarı zamanlı bir iş olur.

Bunu biliyoruz çünkü tam olarak bunu yapıyoruz. kral her gün LibreChat'i üretimde işletiyor; yukarıdaki liste bir korku hikayesi değil, bizim işletim kılavuzumuz.

Kimsenin sizi uyarmadığı kısım: kullanıcılar, anahtarlar ve para

Tek bir kullanıcı için kendi sunucunuzda barındırmak gerçekten gayet iyidir. Sıkıntı, ikinci kullanıcıyla başlar.

Çok kullanıcılı olmak, birinin üç soruyu yanıtlaması gerektiği anlamına gelir. Kimin girmesine izin var? Neyi kullanabilirler? Kim neyin parasını ödüyor? Ham API anahtarlarıyla iki kötü seçeneğiniz olur: tek bir paylaşılan anahtar (atıf yok ve tek bir sızıntı tüm bütçeyi yakar) veya kişi başına bir anahtar (yeni kişileri dahil etme zahmeti, ayrılanları çıkarma riski ve finans ekibinin mutabakatını yapması gereken bir yığın sağlayıcı faturası).

LibreChat temel token kredileriyle gelir, ancak bir sohbet uygulamasıdır, bir faturalandırma sistemi değil. Planlar, faturalar, vergi işlemleri, kullanıcılarınızın kendilerinin satın alabileceği bakiye yüklemeleri yoktur. Bir şirket genelinde yaygınlaştırma için bu boşluk genellikle sunucular değil, asıl engeldir.

Yönetilen LibreChat barındırma neleri kapsamalı

Yönetilen barındırma yalnızca tüm listeyi ortadan kaldırıyorsa mantıklıdır, yalnızca kapsayıcıları değil. Biz de dahil olmak üzere kimi seçerseniz seçin, bunları onlardan isteyin:

• Güncel bir LibreChat tabanı. Güncellemeler siz dahil olmadan gelir ve ürün, donmuş, özel bir klona dönüşmek yerine açık kaynak projesini takip etmeye devam eder.
• Modeller dahil. Tek bir giriş noktası üzerinden tüm önemli modeller, edinilecek, dağıtılacak veya değiştirilecek API anahtarı yok.
• Gerçek maliyet kontrolü. Kullanıcı başına bütçeler, bir kişiye atfedebileceğiniz kullanım ve beş fatura yerine bir fatura.
• Ekip yönetimi. Davet edin, çıkarın, tamam. Erişim, sözleşme bittiğinde sona erer.
• Tüm özellik seti. Dosya sohbeti, görsel oluşturma ve web araması ilk günden çalışmalı; bu yığının karmaşık olmasının yarısı bunlar yüzünden.
• Bir çıkış yolu. Sohbetleriniz dışa aktarılabilir ve temeldeki yazılım açık kaynaklıdır. Ayrılmak zorsa, siz bir müşteri değil, bir rehinesiniz.

kral bunu nasıl işletiyor

kral, tamamlanmış bir platform olarak işletilen LibreChat'tir. app.kral.ai adresinde oturum açarsınız ve kendi sunucunuzda barındırmak üzere olduğunuz arayüzü, operasyonel katmanı zaten kurulmuş halde elde edersiniz:

• Claude, GPT, Gemini, DeepSeek, Perplexity ve tek bir uygulamada daha fazlası, hiçbir yerde API anahtarı olmadan,
• aylık planlar ve yükleme kredileriyle token başına faturalandırma, böylece kullanım, ona neden olan kişiye atfedilir,
• ekip planları: tek bir sözleşme, paylaşılan bir bütçe, kendiniz yönettiğiniz üyeler,
• belge aramalı dosya yüklemeleri, görsel oluşturma ve web araması, hepsi zaten kurulu,
• 29 dilde bir arayüz,
• sizin için halledilen güncellemeler: LibreChat bir sürüm yayınladığında, onu birleştirir, test eder ve dağıtırız.

Dürüstlük hanesine yazalım: kral, bakımı yapılan bir LibreChat fork'u işletir ve yamalar tam olarak yukarıdaki şeyler için vardır (ağ geçidi, faturalandırma, ekipler). Ana projenin sürümlerini bilinçli olarak takip ederiz, çünkü LibreChat olmaktan çıkan barındırılan bir LibreChat, asıl amacı kaçırmıştır.

Ve LibreChat olduğu için çıkış açık kalır. Verilerinizi dışa aktarın ve açık kaynak yığınını istediğiniz zaman kendiniz çalıştırın. Mecbur kaldığınız seçenek olmaktansa, seçmeye devam ettiğiniz seçenek olmayı tercih ederiz.

Kendi sunucunuzda mı yönetilen mi? Dürüst karşılaştırma

Kendi sunucunuzda barındırmak bir konuda kazanır ve bu büyük bir konudur: veriler binanızdan hiç çıkmaz. Bir altyapı ekibiniz ve katı bir veri ikameti gereksiniminiz varsa, kendi sunucunuzda barındırın. Bu doğru karardır ve proje, GitHub'da yıldızınızı hak ediyor.

Üçüncü bir yol daha var. kral'ın üzerine kurulduğu platform, şirketinizin içinde, hatta doğrudan kendi Windows Server'ınızda çalışabilir. Şirket içi (on-premises) bir gereksinim, konuşmanın sonu değildir.

Ekiplerin gerçekten sorduğu sorular

kral, LibreChat ile aynı şey mi?

Sohbet deneyimi, ana sürüme yakın tutulan LibreChat'tir. Bunun etrafına kral, bir şirket genelinde yaygınlaştırmanın ihtiyaç duyduğu şeyleri ekler: model ağ geçidi, faturalandırma, bütçeler ve ekip yönetimi.

Kendi API anahtarlarımıza ihtiyacımız var mı?

Hayır. Platformdaki her model dahildir ve token başına faturalandırılır. Kimsenin bir OpenAI hesabı açması gerekmez ve hiçbir anahtar sızdırılamaz, çünkü dağıtılacak anahtar yoktur.

Daha sonra kendi sunucumuzda barındırmaya geri dönebilir miyiz?

Evet. Sohbetleriniz dışa aktarılabilir ve yazılım açık kaynaklıdır. Çıkış yolu gerçektir, sizi yanımızda tutmak için bağımlılığa (lock-in) güvenmememizin sebebi tam da budur.

Ekipler için çalışıyor mu?

Evet. Bir ekip planı, paylaşılan bir bütçeye sahip tek bir sözleşmedir: plan sahibi üyeleri davet eder, herkes aynı havuzdan yararlanır ve birini çıkardığınız anda erişim sona erer.

Maliyeti nedir?

Dahil kullanımlı aylık planlar, ayrıca ilerledikçe yükleyebileceğiniz krediler. Güncel rakamlar kral.ai adresinde; bir PDF'te gizlenmiş koltuk başına ek ücret yoktur.

LibreChat, ekibinizin zamanına değer. Ayrıca akşamlarınıza da değip değmediği ise başka bir sorudur. Eğer cevap hayırsa:

kral'ı şimdi deneyin