관리형 LibreChat 호스팅: 모든 모델, 유지 보수는 제로

LibreChat를 발견하고 docker compose up을 실행하자, 한 시간 뒤 팀 전체가 Claude, GPT, Gemini를 하나의 깔끔한 인터페이스에서 사용할 수 있게 되었습니다. 그로부터 석 달 뒤: 여러분은 프로덕션 시스템의 무급 운영자가 되어 있습니다. Mongo는 백업을 원합니다. RAG API는 업데이트 후 고장 났습니다. 누군가는 공유된 OpenAI 키를 Slack 채널에 붙여 넣었습니다. 그리고 재무팀은 3월에 누가 토큰에 400달러를 썼는지 계속 묻습니다.

그 어느 것도 LibreChat의 잘못이 아닙니다. 그것은 다중 사용자 AI 플랫폼을 운영하는 데 실제로 드는 비용입니다. 유일한 질문은 그 일이 여러분의 몫인가 하는 것입니다.

"docker compose up"은 쉬운 부분입니다

LibreChat는 그 명성을 정직하게 얻었습니다. 현존하는 최고의 오픈 소스 AI 채팅입니다: 모든 주요 모델, 에이전트, 파일 채팅, 이미지 생성, 그리고 팀이 이미 사용법을 알고 있는 인터페이스까지 갖추고 있습니다.

프로덕션은 다른 일입니다. 실제 LibreChat 배포는 하나의 작은 플랫폼입니다:

• 대화를 저장하는 MongoDB, 누군가는 이것을 백업하고 복원 테스트를 해야 합니다,
• 검색을 위한 Meilisearch,
• 파일 업로드와 문서 채팅을 원한다면 별도의 RAG API와 벡터 데이터베이스,
• 리버스 프록시, TLS, 도메인, 그리고 사용자가 알아차리기 전에 장애를 알려 주는 모니터링,
• 활성화하는 기능이 하나씩 늘어날 때마다 점점 더 중요한 역할을 하게 되는 .env 파일과 librechat.yaml,
• 그리고 연결하는 모든 제공업체를 위한 API 키: OpenAI, Anthropic, Google, 그리고 여러분의 팀이 첫날부터 쓰고 싶어 할 다음 모델을 출시하는 그 누구든 말입니다.

그다음에는 업데이트가 시작됩니다. LibreChat는 빠르게 움직이는데, 이는 사용자로서는 반가운 소식이고 운영자로서는 반복되는 작업입니다. 모든 릴리스는 읽어야 할 변경 로그이고, 테스트해야 할 병합이며, 예정해야 할 유지 보수 시간입니다. 몇 개를 건너뛰면 그 간극이 두려워집니다. 전부 적용하면 그것은 시간제 업무가 됩니다.

저희가 이를 아는 이유는 바로 이 일을 직접 하기 때문입니다. kral은 매일 프로덕션에서 LibreChat를 운영합니다; 위 목록은 겁을 주려는 이야기가 아니라 저희의 운영 지침서입니다.

아무도 경고해 주지 않는 부분: 사용자, 키, 그리고 돈

단일 사용자에게는 셀프 호스팅이 정말로 괜찮습니다. 고통은 두 번째 사용자부터 시작됩니다.

다중 사용자란 누군가가 세 가지 질문에 답해야 한다는 뜻입니다. 누구를 들여보낼 것인가? 그들은 무엇을 사용할 수 있는가? 무엇에 대해 누가 지불하는가? 원시 API 키로는 두 가지 나쁜 선택지가 생깁니다: 하나의 공유 키(귀속이 불가능하고, 한 번의 유출로 예산 전체가 날아갑니다) 또는 사람마다 하나의 키(온보딩 마찰, 오프보딩 위험, 그리고 재무팀이 대조해야 할 제공업체 청구서 더미)입니다.

LibreChat는 기본적인 토큰 크레딧을 제공하지만, 이것은 청구 시스템이 아니라 채팅 앱입니다. 요금제도, 청구서도, 세금 처리도, 사용자가 직접 구매할 수 있는 충전도 없습니다. 회사 차원의 도입에서는 대개 서버가 아니라 바로 이 간극이 걸림돌이 됩니다.

관리형 LibreChat 호스팅이 다뤄야 할 것

관리형 호스팅은 컨테이너만이 아니라 이 목록 전체를 없애 줄 때에만 의미가 있습니다. 저희를 포함해 누구를 선택하든, 이 기준을 요구하십시오:

• 최신 LibreChat 기반. 업데이트는 여러분의 개입 없이 도착하고, 제품은 얼어붙은 비공개 복제본으로 흘러가는 대신 오픈 소스 프로젝트를 계속 따라갑니다.
• 모델 포함. 모든 주요 모델을 하나의 진입점으로, 획득하거나 배포하거나 교체할 API 키가 없습니다.
• 실질적인 비용 통제. 사용자별 예산, 개인에게 귀속할 수 있는 사용량, 그리고 다섯 장이 아닌 한 장의 청구서.
• 팀 관리. 초대하고, 제거하면, 끝입니다. 접근 권한은 계약이 끝날 때 함께 끝납니다.
• 완전한 기능 세트. 파일 채팅, 이미지 생성, 웹 검색은 첫날부터 작동해야 합니다; 이것들이 스택이 복잡한 이유의 절반입니다.
• 빠져나갈 길. 여러분의 대화는 내보낼 수 있고 그 기반 소프트웨어는 오픈 소스입니다. 떠나기가 어렵다면, 여러분은 고객이 아니라 인질입니다.

kral이 운영하는 방식

kral은 완성된 플랫폼으로 운영되는 LibreChat입니다. app.kral.ai에서 로그인하면 막 셀프 호스팅하려던 바로 그 인터페이스를 얻되, 운영 계층은 이미 구축되어 있습니다:

• Claude, GPT, Gemini, DeepSeek, Perplexity, 그리고 더 많은 모델을 하나의 앱에서, 어디에도 API 키가 없습니다,
• 월간 요금제와 충전 크레딧을 갖춘 토큰별 청구로, 사용량은 그것을 발생시킨 사람에게 귀속됩니다,
• 팀 요금제: 하나의 계약, 공유 예산, 여러분이 직접 관리하는 멤버,
• 문서 검색을 갖춘 파일 업로드, 이미지 생성, 웹 검색이 이미 연결되어 있습니다,
• 29개 언어로 된 인터페이스,
• 여러분을 위해 처리되는 업데이트: LibreChat가 릴리스를 출시하면, 저희가 병합하고, 테스트하고, 배포합니다.

솔직하게 말하자면: kral은 유지 관리되는 LibreChat 포크를 운영하며, 그 패치들은 정확히 위의 것들(게이트웨이, 청구, 팀)을 위해 존재합니다. 저희는 업스트림 릴리스를 의도적으로 따라가는데, LibreChat이기를 그만둔 호스팅형 LibreChat는 핵심을 놓친 것이기 때문입니다.

그리고 이것은 LibreChat이기 때문에, 출구는 열려 있습니다. 원할 때 언제든 데이터를 내보내고 오픈 소스 스택을 직접 운영하십시오. 저희는 여러분이 어쩔 수 없이 붙잡혀 있는 선택지가 아니라, 계속해서 선택하게 되는 선택지가 되고 싶습니다.

셀프 호스팅이냐 관리형이냐? 솔직한 비교

셀프 호스팅은 한 가지에서 이기며, 그것은 큰 것입니다: 데이터가 결코 여러분의 건물을 벗어나지 않습니다. 인프라 팀이 있고 엄격한 데이터 상주 요건이 있다면, 셀프 호스팅하십시오. 그것이 올바른 결정이며, 이 프로젝트는 GitHub에서 여러분의 별을 받을 자격이 있습니다.

세 번째 길도 있습니다. kral이 기반으로 삼는 플랫폼은 여러분의 회사 내부에서, 심지어 여러분 자신의 Windows Server에서 네이티브로 실행될 수 있습니다. 온프레미스 요건이 대화를 끝내지는 않습니다.

팀이 실제로 묻는 질문들

kral은 LibreChat와 같은 것인가요?

채팅 경험은 업스트림에 가깝게 유지된 LibreChat입니다. 그 주위에 kral은 회사 차원의 도입에 필요한 것을 더합니다: 모델 게이트웨이, 청구, 예산, 그리고 팀 관리.

자체 API 키가 필요한가요?

아니요. 플랫폼의 모든 모델은 포함되어 있고 토큰별로 청구됩니다. 누구도 OpenAI 계정을 개설할 필요가 없으며, 나눠 줄 키 자체가 없기 때문에 어떤 키도 유출될 수 없습니다.

나중에 다시 셀프 호스팅으로 돌아갈 수 있나요?

네. 여러분의 대화는 내보낼 수 있고 소프트웨어는 오픈 소스입니다. 빠져나갈 길은 실제로 존재하며, 바로 그렇기 때문에 저희는 여러분을 붙잡아 두기 위해 종속에 의존하지 않습니다.

팀에서도 작동하나요?

네. 팀 요금제는 공유 예산을 갖춘 하나의 계약입니다: 소유자가 멤버를 초대하고, 모두가 같은 풀에서 사용하며, 누군가를 제거하는 순간 그 사람의 접근 권한은 끝납니다.

비용은 얼마인가요?

사용량이 포함된 월간 요금제에, 필요에 따라 충전할 수 있는 크레딧이 더해집니다. 현재 가격은 kral.ai에 있습니다; PDF에 숨겨진 좌석당 추가 요금은 없습니다.

LibreChat는 여러분의 팀이 시간을 들일 가치가 있습니다. 그것이 여러분의 저녁 시간까지 들일 가치가 있는지는 다른 문제입니다. 만약 대답이 아니오라면:

지금 kral 사용해 보기