LibreChat 셀프 호스팅: 설치, 비용 그리고 솔직한 가이드

대화를 자신의 하드웨어에, 키를 자신의 손에, 그리고 사용자와 모델 사이에 어떤 구독도 없기를 원합니다. 좋은 소식: LibreChat는 바로 그것을 위한 최고의 오픈 소스 기반이며, 그것을 셀프 호스팅하는 것은 현실적인 주말 프로젝트입니다. 이 가이드는 그 주말의 솔직한 버전입니다.

터미널이 열리기 전에 한 가지 공개: 이 블로그 뒤에 있는 플랫폼인 kral은 관리형 LibreChat입니다. 셀프 호스팅이 재미없어질 때 저희는 생계를 유지하며, 바로 그렇기 때문에 이 가이드를 미화할 이유가 없습니다. 아래 목록은 저희가 매일 프로덕션에서 운영하는 것입니다.

시작하기 전에 필요한 것

• 머신. Docker가 있는 소박한 Linux VPS가 고전적인 보금자리입니다. 자신의 컴퓨터에 있는 Docker Desktop은 첫 테스트에 충분하며, Windows도 이 경로로 잘 작동합니다.
• 도메인과 TLS, 사용자 외의 누군가가 로그인하는 순간에.
• 공급자 API 키, 원하는 모델용으로: OpenAI, Anthropic, Google, 직접 결제하는 누구든지.
• 한 시간은 첫 대화에, 그리고 한 주말은 부끄럽지 않을 설치에.

GPU는 필요 없습니다. 대화하는 모델은 API 뒤에 살며, 서버는 그 주위의 플랫폼만 실행합니다.

움직이는 부분들

프로덕션의 LibreChat는 단일 컨테이너가 아니라 작은 함대입니다. 출항하기 전에 선원을 알아 두십시오:

다섯 개의 솔직한 단계로 하는 설치

1. 가져와서 구성하기. 리포지토리를 클론하고, 샘플 환경 파일을 복사하고, 공급자 키를 .env에 넣으십시오. 모델 엔드포인트와 기능은 librechat.yaml에 삽니다.
2. 스택 시작하기. docker compose up -d가 앱과 그 서비스를 띄웁니다. 한 시간 이내의 첫 대화는 현실적인 목표입니다.
3. 계정을 만들고 문을 닫기. 가입한 다음, 등록이 아예 열려 있는 채로 남을지 결정하십시오.
4. 앞에 프록시 두기. 두 번째 사람이 링크를 받기 전에, TLS와 도메인을 갖춘 리버스 프록시를.
5. 지루한 부분 계획하기. 예약된 데이터베이스 백업, 릴리스 노트 구독, 그리고 실제로 지키는 유지 보수 창.

다섯 번째 단계는 데모를 배포에서 분리하는 단계이며, 대부분의 주말 가이드가 건너뛰는 단계입니다.

실제로 드는 비용

세 가지 통화, 솔직하게 계상하면:

• 돈. 소프트웨어는 MIT 라이선스이며 무료입니다. 작은 VPS는 개인 설치를 가뿐히 감당하지만, RAG 스택은 성장함에 따라 식욕이 생깁니다. 진짜 변수는 공급자 청구서인데, 이제 모든 토큰이 귀하의 키로 실행되기 때문입니다.
• 시간. LibreChat는 자주 릴리스하며, 이는 기능에는 훌륭하고 귀하에게는 반복되는 일입니다: changelog를 읽고, pull하고, 테스트하고, 나아가기. 백업은 값을 매길 수 없는 날이 오기 전까지는 아무 비용도 들지 않습니다.
• 주의, 사용자 2번부터. 두 번째 사람이 합류하는 순간, 서버와는 아무 관련 없는 질문을 물려받습니다: 누가 무엇을 사용할 수 있는지, 그 지출은 누구의 것이었는지, 그리고 누가 키를 충전하는지. 저희는 전체 솔직한 목록을 관리형 LibreChat 호스팅에 적었습니다.

셀프 호스팅이 올바른 선택일 때, 그리고 그렇지 않게 될 때

다음 중 하나가 참이라면 기쁘게 셀프 호스팅하십시오: 데이터가 건물을 떠날 수 없다, 만지작거리는 것이 보상의 일부다, 오직 귀하 또는 신뢰하는 소수의 사람뿐이다, 또는 로컬 모델을 원한다. 왜냐하면 Ollama나 vLLM을 가리키는 맞춤 OpenAI 호환 엔드포인트는 대화를 전적으로 귀하의 LAN 안에 두기 때문입니다.

플랫폼이 팀 도구가 될 때 다시 고려하십시오. 부하는 사용자 수에 따라 선형으로 늘지 않습니다. 사용자 2번에서 뛰어오르고 첫 예산 질문에서 다시 뛰어오릅니다. 그리고 목적지가 기업 배포라면, kral이 구축된 플랫폼은 귀하 자신의 Windows Server에서 네이티브로 실행될 수도 있습니다: LibreChat가 관리 콘솔에서 구성되고 각 사용자의 토큰 지출이 요청별로 보이는 스위트로, 온프레미스와 낮은 유지 보수가 반대가 아니게 됩니다.

셀프 호스터가 실제로 묻는 질문

GPU가 필요한가요?

아니요. LibreChat 자체는 가볍습니다. 모델은 공급자의 API에서 응답합니다. 로컬 모델도 실행하려는 경우에만 GPU가 필요하며, 그럴 때도 그것은 LibreChat가 아니라 Ollama나 vLLM에 속합니다.

Windows에서 실행되나요?

Docker Desktop을 통해서, 예, 개인 설치에는 편안하게. 기업 규모의 Windows Server에서의 네이티브 배포를 위해 kral이 바로 그것을 위해 구축되었습니다.

업데이트는 어떻게 작동하나요?

새 이미지가 정기적으로 나옵니다. 안전한 속도는: 릴리스 노트를 읽고, 백업하고, pull하고, 의존하는 기능을 테스트한 다음, 팀을 돌아오게 하는 것입니다. 여러 버전을 건너뛰면 결국의 도약이 더 무서워지지, 더 안전해지지 않습니다.

정말 무료인가요?

소프트웨어는, 정말로. 배포는, 결코: 서버, 공급자의 토큰, 그리고 귀하의 저녁을 지불합니다. 이 방정식의 단일 청구서 버전은 kral.ai에 삽니다.

무엇을 백업해야 하나요?

대화를 담고 있는 데이터베이스와 업로드된 파일. 한 번도 복원해 본 적 없는 백업은 희망이지, 백업이 아닙니다.

LibreChat를 셀프 호스팅하는 것은 그럴 가치가 있고 잘할 가치가 있습니다: 프로젝트에 별을 주고, 백업을 솔직하게 유지하고, 스택 전체를 소유하는 것을 음미하십시오. 그리고 취미보다 결과를 더 원하는 날이 온다면, 관리형 경로는 약 1분 거리에 있습니다:

지금 kral 사용해 보기

데모 예약하기