LibreChat'i kendiniz barındırma: kurulum, maliyetler ve dürüst bir rehber

Konuşmalarınızı kendi donanımınızda, anahtarlarınızı kendi elinizde ve sizinle modeller arasında hiçbir abonelik olmadan istiyorsunuz. İyi haber: LibreChat tam da bunun için en iyi açık kaynak temelidir ve onu kendiniz barındırmak gerçekçi bir hafta sonu projesidir. Bu rehber, o hafta sonunun dürüst sürümüdür.

Terminal açılmadan önce bir açıklama: bu blogun arkasındaki platform olan kral, yönetilen bir LibreChat'tir. Kendiniz barındırmak eğlenceli olmaktan çıktığında geçimimizi sağlıyoruz ve tam da bu yüzden bu rehberi süslemek için hiçbir nedenimiz yok. Aşağıdaki liste, her gün üretimde çalıştırdığımız şeydir.

Başlamadan önce neye ihtiyacınız var

• Bir makine. Docker'lı mütevazı bir Linux VPS klasik evdir; kendi bilgisayarınızdaki Docker Desktop ilk test için yeterlidir ve Windows bu yolla gayet iyi çalışır.
• Bir alan adı ve TLS, sizden başka biri giriş yaptığı anda.
• Sağlayıcı API anahtarları istediğiniz modeller için: OpenAI, Anthropic, Google, doğrudan kime ödüyorsanız.
• Bir saat ilk konuşma için ve bir hafta sonu utanmayacağınız bir kurulum için.

GPU gerekmez. Konuştuğunuz modeller API'lerin arkasında yaşar; sunucunuz yalnızca onların etrafındaki platformu çalıştırır.

Hareketli parçalar

Üretimdeki LibreChat, tek bir konteyner değil, küçük bir filodur. Yelken açmadan önce mürettebatı tanıyın:

Kurulum, beş dürüst adımda

1. Alın ve yapılandırın. Depoyu klonlayın, örnek ortam dosyasını kopyalayın ve sağlayıcı anahtarlarınızı .env içine koyun. Model uç noktaları ve özellikler librechat.yaml içinde yaşar.
2. Yığını başlatın. docker compose up -d uygulamayı ve hizmetlerini kaldırır. Bir saatten kısa sürede ilk konuşma gerçekçi bir hedeftir.
3. Hesabınızı oluşturun ve kapıyı kapatın. Kaydolun, ardından kaydın hiç açık kalıp kalmayacağına karar verin.
4. Önüne bir proxy koyun. İkinci kişi bağlantıyı almadan önce, TLS ve alan adınızla bir ters proxy.
5. Sıkıcı kısımları planlayın. Zamanlanmış veritabanı yedekleri, sürüm notlarına bir abonelik ve gerçekten uyduğunuz bir bakım penceresi.

Beşinci adım, bir demoyu bir dağıtımdan ayıran adımdır ve çoğu hafta sonu rehberinin atladığı adımdır.

Gerçekte ne kadara mal olur

Üç para birimi, dürüstçe defterlenmiş:

• Para. Yazılım MIT lisanslı ve ücretsizdir. Küçük bir VPS kişisel bir kurulumu rahatça taşır; RAG yığını büyüdükçe iştah kazanır. Gerçek değişken, sağlayıcı faturalarıdır, çünkü her token artık sizin anahtarlarınızda çalışır.
• Zaman. LibreChat sık sık sürüm yayınlar, ki bu özellikler için harika ve sizin için yinelenen bir şeydir: changelog'u okuyun, pull yapın, test edin, devam edin. Yedekler, paha biçilmez oldukları güne kadar hiçbir şeye mal olmaz.
• Dikkat, iki numaralı kullanıcıdan itibaren. İkinci bir kişi katıldığı anda, sunucularla hiçbir ilgisi olmayan soruları miras alırsınız: kim neyi kullanabilir, o harcama kimindi ve anahtarı kim dolduruyor. Tüm dürüst listeyi yönetilen LibreChat barındırma yazısında yazdık.

Kendiniz barındırmanın doğru seçim olduğu ve olmaktan çıktığı zaman

Şunlardan biri doğruysa keyifle kendiniz barındırın: verileriniz binadan çıkamaz, kurcalamak ödülun bir parçasıdır, yalnızca siz veya bir avuç güvenilir insan vardır ya da yerel modeller istiyorsunuz, çünkü Ollama veya vLLM'e yöneltilmiş özel bir OpenAI uyumlu uç nokta konuşmaları tamamen kendi LAN'ınızda tutar.

Platform bir ekip aracı haline geldiğinde yeniden düşünün. Yük kullanıcılarla doğrusal olarak büyümez; iki numaralı kullanıcıda ve tekrar ilk bütçe sorusunda zıplar. Ve varoş bir kurumsal dağıtımsa, kral'ın üzerine kurulduğu platform kendi Windows Server'ınızda yerel olarak bile çalışabilir: LibreChat'in bir yönetim konsolundan yapılandırıldığı ve her kullanıcının token harcamasının istek başına görünür olduğu bir paket, böylece on-premises ve düşük bakım zıt şeyler olmaz.

Kendiniz barındıranların gerçekten sorduğu sorular

Bir GPU'ya ihtiyacım var mı?

Hayır. LibreChat'in kendisi hafiftir; modeller sağlayıcıların API'lerinden yanıt verir. Yalnızca yerel modeller de çalıştırmak istiyorsanız bir GPU'ya ihtiyacınız olur ve o zaman o, LibreChat'e değil, Ollama veya vLLM'e aittir.

Windows'ta çalışır mı?

Docker Desktop aracılığıyla, evet ve kişisel bir kurulum için rahatça. Kurumsal ölçekte Windows Server üzerinde yerel bir dağıtım için kral tam da bunun için inşa edildi.

Güncellemeler nasıl çalışır?

Düzenli olarak yeni image'lar çıkar. Güvenli tempo şudur: sürüm notlarını okuyun, yedek alın, pull yapın, bağımlı olduğunuz özellikleri test edin, sonra ekibin geri dönmesine izin verin. Birden fazla sürümü atlamak olası sıçrayışı daha korkutucu yapar, daha güvenli değil.

Gerçekten ücretsiz mi?

Yazılım, gerçekten. Dağıtım, asla: sunucuyu, sağlayıcının token'larını ve akşamlarınızı ödersiniz. Bu denklemin tek faturalı sürümü kral.ai üzerinde yaşar.

Neyi yedeklemeliyim?

Konuşmalarınızı içeren veritabanını ve yüklenen dosyaları. Asla geri yüklemediğiniz bir yedek bir umuttur, bir yedek değil.

LibreChat'i kendiniz barındırmak değer ve iyi yapmaya değer: projeye bir yıldız verin, yedeklerinizi dürüst tutun ve tüm yığına sahip olmanın tadını çıkarın. Ve sonucu hobiden daha çok istediğiniz gün gelirse, yönetilen yol yaklaşık bir dakika ötededir:

Şimdi kral'ı deneyin

Bir demo ayırtın