기업용 LibreChat: SSO, 팀, 토큰 단위 과금

파일럿은 귀하 없이 진행되었습니다. 회사 어딘가에서 LibreChat는 이미 가동 중입니다. 개발자가 어느 오후에 설치했고, 두 팀이 발견했으며, 이제 조용히 진짜 업무를 감당하고 있습니다. 그러다 요청이 한 문장으로 IT 부서의 책상에 도착합니다. "이것을 공식화할 수 있을까요?" 공식이란 어려운 부분이 시작되는 곳입니다. 싱글 사인온, 접근 제어, 누군가에게 속한 예산, 그리고 구매 부서가 실제로 처리할 수 있는 청구서.

이 글은 그 단계를 위한 지도입니다. LibreChat의 엔터프라이즈 배포가 실제로 무엇을 요구하는지, LibreChat가 기본으로 제공하는 부분은 무엇이며, 누군가가 구축해야 하는 부분은 무엇인지. 먼저 완전한 공개부터. kral은 바로 이 공백을 위해 만들어진 매니지드 LibreChat이며, 오픈 소스 프로젝트가 어디서 끝나고 저희 계층이 어디서 시작되는지 정확히 말씀드리겠습니다.

"공식"이 진짜 의미하는 것

도구가 무엇이든, 모든 회사는 공식이라고 말할 때 같은 여섯 가지를 의미합니다.

• 신원. 하나의 로그인, 관리되는 입사와 퇴사, 스프레드시트에 담긴 비밀번호 목록 없음.
• 접근 제어. 누가 어떤 모델을 쓸 수 있는지, URL을 먼저 찾은 사람이 아니라 역할에 따라 결정됩니다.
• 귀속. 개인까지 추적 가능한 사용량. 그렇지 않으면 재무가 그것을 귀하에게로 추적합니다.
• 예산. 과다 지출이 일어난 뒤가 아니라 일어나기 전에 멈추는, 사람별 또는 팀별 상한.
• 구매에 적합한 청구. 하나의 청구서, 올바른 부가가치세, 구매 프로세스에 들어맞는 공급업체.
• 수명 주기. 일정에 따른 업데이트, 누군가 읽는 변경 이력, 그리고 문서화된 출구.

이 중 어느 것도 이색적이지 않습니다. 귀사가 다른 모든 기록 시스템에 요구하는 것과 같은 목록입니다. 차이는 AI가 옆문으로 들어왔다는 것, 그리고 그 목록이 이제 기한을 넘겼다는 것입니다.

LibreChat가 기본으로 제공하는 것

먼저 인정부터. 그럴 자격이 있기 때문입니다. LibreChat는 기업에 출발점이 되는 진짜 내실을 줍니다.

• OpenID Connect 지원. 앱은 로컬 비밀번호 대신 identity provider에 대해 인증할 수 있습니다.
• 사용자가 이미 선택한 인터페이스. 에이전트, 파일 채팅, 이미지 생성, 검색. 채택은 귀하의 문제가 아닙니다.
• MIT 라이선스. 사용자 수 조항도, 브랜딩 조건도 없이 코드를 자유롭게 검토하고 수정하세요.
• 기본 요소로서의 토큰 크레딧. 사용량을 측정하는 기본 메커니즘이 존재합니다.

그리고 솔직한 경계, 매니지드 LibreChat 호스팅에서 설명한 것과 같은 경계입니다. LibreChat는 채팅 애플리케이션이지 청구 시스템도, 구매의 상대도 아닙니다. 요금제도, 청구서도, 세금 처리도, 재무 팀이 인정할 지출 상한도 없으며, 팀은 공유 예산을 가진 계약이 아니라 사용자의 행으로 존재합니다. 이것은 비판이 아니라 범위입니다.

kral가 운영하는 엔터프라이즈 계층

kral은 LibreChat 경험을 upstream에 가깝게 유지하고, 그 주위에 공식적인 부분을 하나의 스위트로 구축합니다. 사용자가 보는 채팅, 내부 도구가 호출하는 게이트웨이, IT가 통제하는 관리 콘솔, 그리고 재무가 처리할 수 있는 과금입니다. LibreChat 자체도 그 콘솔에서 설정됩니다. 모델을 켜고 기능을 전환하면 채팅이 그것을 따르며, 손으로 편집하는 YAML은 없습니다. 실제로 이것은 다음을 의미합니다.

• 하나의 로그인. 단일 계정이 채팅, 사용량, 과금을 담당합니다. 회사 어디에도 API 키가 없습니다.
• 계약으로서의 팀. 하나의 합의, 하나의 공유 예산, 소유자가 초대하고 제거하는 구성원. 접근은 좌석이 끝나는 순간 끝납니다.
• 스스로 적용되는 예산. 사람별 월 상한. 플랫폼은 모든 요청을 그에 비추어 측정하고 귀하가 그은 선에서 멈춥니다.
• 실제로 보이는 사용량. 모든 요청이 측정됩니다. 모델, 입력 토큰, 출력 토큰, 비용. 사용자별 토큰 지출은 월말의 재구성이 아니라 몇 초 만의 조회이며, 지출의 모든 단위에 이름이 붙어 있습니다.
• 모델 거버넌스. 개별 모델을 켜거나 끄세요. 모든 주요 제공업체가 포함되어 토큰 단위로 과금됩니다.
• 구매 준비가 된 과금. 요금제와 크레딧, 처리된 EU 부가가치세, 다섯 개의 공급업체 명세서 대신 하나의 청구서.
• 귀하가 운영하지 않는 수명 주기. LibreChat가 릴리스를 내놓으면 저희가 병합하고, 테스트하고, 배포합니다.

1분 만에 호스팅되거나, 귀사의 벽 안에서

빠른 길은 호스팅입니다. app.kral.ai에 로그인하면 그 위의 계층은 이미 살아 있습니다. 엔터프라이즈 길은 더 나아갑니다. kral이 구축된 플랫폼은 귀사 내부에서, 귀사의 Windows Server 위에서 네이티브로 실행될 수 있습니다. 그곳에서 사인온은 IT가 이미 운영하는 identity provider에 연결되고, 데이터는 귀하가 소유한 하드웨어에 머물며, 내부 도구는 하나의 키로 하나의 게이트웨이 엔드포인트를 통해 모든 모델에 도달합니다.

두 길 모두 같은 출구를 유지합니다. 기반은 오픈 소스이고 귀하의 데이터는 내보낼 수 있습니다. 공식 도구가 사용자를 붙잡아 두기 위해 인질 조항을 필요로 해서는 결코 안 됩니다.

순수한 LibreChat 대 kral, 엔터프라이즈의 눈으로

IT가 실제로 던지는 질문

kral는 그저 기능이 추가된 LibreChat인가요?

의도적으로, 그렇습니다. kral은 채팅을 upstream에 가깝게 유지합니다. 그 주위에 게이트웨이, 과금, 예산, 사용량 리포팅, 팀 관리가 자리하며 하나의 콘솔에서 구동됩니다. 바로 엔터프라이즈 배포에 빠져 있던 부분입니다.

저희 identity provider를 유지할 수 있나요?

셀프 호스팅 플랫폼에서는 예. 사인온은 IT가 운영하는 IdP에 대해 작동합니다. app.kral.ai의 호스팅 서비스는 채팅과 과금에 걸친 단일 로그인으로 kral 계정을 사용합니다.

데이터 보호 책임자에게 무엇이라고 말해야 하나요?

프롬프트가 어디로 가는지 물어보세요. 귀사의 서버에서는 어떤 모델이 보기 전에 귀하가 소유한 하드웨어로 갑니다. 호스팅 서비스에서는 귀하가 선택한 모델 제공업체로 kral를 통해 가며, 데이터는 언제든 내보낼 수 있는 상태로 유지됩니다. 이것은 변호사의 답변이 아니라, 그 위에 답변을 세울 수 있는 정직한 토폴로지입니다.

저희 인력에게 API 키가 필요한가요?

아니요. 플랫폼의 모든 모델은 포함되어 토큰 단위로 과금됩니다. 누구도 제공업체 계정을 열지 않으며, 나눠 줄 키가 없으므로 유출될 키도 없습니다.

비용은 얼마인가요?

사용량이 포함된 월 요금제에, 바쁜 주를 위한 크레딧이 더해집니다. 현재 수치는 kral.ai에 있습니다. PDF에 숨겨진 좌석당 추가 요금은 없으며, 한 달에 세 가지 질문을 하는 동료는 귀하에게 거의 비용이 들지 않습니다.

LibreChat는 이미 귀하의 사용자를 얻었습니다. 그 부분은 끝났습니다. 남은 것은 그것을 6개월짜리 프로젝트로 만들지 않으면서 공식화하는 일입니다. 그것이 kral이 운영하는 부분입니다.

데모 예약

지금 kral 사용해 보기