会話を自分のハードウェアに、キーを自分の手に、そしてあなたとモデルの間にサブスクリプションが一切ない状態を望んでいます。良い知らせ:LibreChatはまさにそのための最高のオープンソースの土台であり、そのセルフホスティングは現実的な週末プロジェクトです。このガイドは、その週末の正直なバージョンです。

ターミナルが開く前に一つ開示を:このブログの背後にあるプラットフォームであるkralは、マネージドなLibreChatです。セルフホスティングが楽しくなくなったときに私たちは生計を立てており、まさにそのため、このガイドを飾る理由がありません。下のリストは、私たちが毎日本番環境で稼働させているものです。

始める前に必要なもの

  • マシン。 Dockerを備えた控えめなLinux VPSが古典的な住まいです。自分のコンピュータのDocker Desktopは最初のテストには十分で、Windowsもこの道で問題なく動作します。
  • ドメインとTLS。 あなた以外の誰かがログインする瞬間に。
  • プロバイダーのAPIキー。 お望みのモデル用に:OpenAI、Anthropic、Google、直接支払う相手が誰であれ。
  • 1時間を最初の会話に、そして1つの週末を恥ずかしくないインストールに。

GPUは不要です。あなたが話すモデルはAPIの背後に存在し、あなたのサーバーはその周りのプラットフォームだけを稼働させます。

可動部分

本番環境のLibreChatは、単一のコンテナではなく小さな艦隊です。出帆する前に乗組を知っておきましょう:

部分何をするか注意すべきこと
LibreChatアプリインターフェースとAPI設定は.envlibrechat.yamlに存在し、貴重なものになります
MongoDBあなたの会話バックアップし、信頼する前に一度復元をテストしてください
Meilisearch会話全体の検索ほとんどの場合、設定して忘れる
RAG API + ベクトルDBファイルのアップロードと文書についての会話ほとんどの人が最初に苦戦する部分
リバースプロキシ + TLS珄関証明書は更新されます。ヘッダーとwebsocketが重要です
プロバイダーキーモデルそのもの漏洩したキーは予算全体を焼き尽くします。ローテーションし、スコープを制限してください

5つの正直なステップでのインストール

  1. 取得して設定する。 リポジトリをクローンし、サンプルの環境ファイルをコピーし、プロバイダーキーを.envに入れます。モデルのエンドポイントと機能はlibrechat.yamlに存在します。
  2. スタックを起動する。 docker compose up -dがアプリとそのサービスを立ち上げます。1時間以内の最初の会話は現実的な目標です。
  3. アカウントを作成し、ドアを閉める。 登録し、その後登録がそもそも開いたままになるかを決めます。
  4. 前にプロキシを置く。 2人目がリンクを受け取る前に、TLSとあなたのドメインを備えたリバースプロキシを。
  5. 退屈な部分を計画する。 スケジュールされたデータベースバックアップ、リリースノートへの購読、そして実際に守るメンテナンスウィンドウ。

ステップ5は、デモをデプロイメントから分けるものであり、ほとんどの週末ガイドが飛ばすステップです。

実際のコスト

3つの通貨、正直に記帳されています:

  • お金。 ソフトウェアはMITライセンスで無料です。小さなVPSは個人のインストールを楽々と支えますが、RAGスタックは成長につれて食欲を増します。真の変数はプロバイダーの請求書です。なぜなら、すべてのトークンが今やあなたのキーで動いているからです。
  • 時間。 LibreChatは頻繁にリリースします。これは機能にとっては素晴らしく、あなたにとっては繰り返されるものです:changelogを読み、pullし、テストし、前に進む。バックアップは、それがかけがえのない日までは何のコストもかかりません。
  • 注意、ユーザー番号2人目から。 2人目が参加した瞬間、サーバーとは何の関係もない問いを引き継ぎます:誰が何を使えるのか、あの支出は誰のものだったのか、そして誰がキーを補充するのか。完全な正直なリストをマネージドLibreChatホスティングに書きました。

セルフホスティングが正しい選択であるとき、そしてそうでなくなるとき

次のいずれかが当てはまるなら、喜んでセルフホストしてください:データが建物を離れてはならない、いじることが報酬の一部である、あなた一人か信頼できる一握りの人だけである、またはローカルモデルが欲しい。なぜなら、OllamaやvLLMを指すカスタムのOpenAI互換エンドポイントは、会話を完全にあなたのLAN内に保つからです。

プラットフォームがチームのツールになるときは再検討してください。負荷はユーザーとともに線形には増えません。ユーザー2人目で跳ね上がり、最初の予算の問いで再び跳ね上がります。そして目的地が企業デプロイメントであれば、kralが構築されているプラットフォームはあなた自身のWindows Server上でネイティブに動作することさえできます。LibreChatが管理コンソールから設定され、各ユーザーのトークン支出がリクエストごとに可視化されるスイートであり、オンプレミスと低メンテナンスが正反対でなくなります。

セルフホスターが実際に尋ねる質問

GPUは必要ですか?

いいえ。LibreChat自体は軽量です。モデルはプロバイダーのAPIから応答します。ローカルモデルも実行したい場合にのみGPUが必要で、その場合もそれはLibreChatではなくOllamaやvLLMに属します。

Windowsで動きますか?

Docker Desktopを介して、はい、個人のインストールには快適に。企業規模のWindows Serverでのネイティブデプロイメントのために、kralはまさにそのために構築されました。

アップデートはどう機能しますか?

新しいイメージが定期的に公開されます。安全なペースは:リリースノートを読み、バックアップし、pullし、依存している機能をテストし、その後チームを戻らせる。複数のバージョンを飛ばすと、最終的な飛躍がより恐ろしくなり、より安全にはなりません。

本当に無料ですか?

ソフトウェアは、本当に。デプロイメントは、決して:サーバー、プロバイダーのトークン、そしてあなたの夜を支払います。この方程式の単一請求バージョンはkral.aiに存在します。

何をバックアップすべきですか?

あなたの会話を含むデータベースと、アップロードされたファイルです。一度も復元したことのないバックアップは希望であって、バックアップではありません。


LibreChatのセルフホスティングは価値があり、うまくやる価値があります:プロジェクトにスターを付け、バックアップを正直に保ち、スタック全体を所有することを味わってください。そして、趣味よりも結果を望む日が来たら、マネージドな道は約1分の距離です:

今すぐkralを試す

デモを予約する

コメント (0)

まだコメントはありません。最初のコメントを投稿しましょう!

コメントを投稿するにはサインインしてください。

サインイン 登録