LibreChat dla przedsiębiorstwa: SSO, zespoły i rozliczanie za tokeny

Pilotaż odbył się bez Państwa. Gdzieś w firmie LibreChat już działa: programista skonfigurował go w jedno popołudnie, dwa zespoły go znalazły, i teraz cicho dźwiga prawdziwą pracę. Potem prośba ląduje na biurku działu IT jako jedno zdanie: "czy możemy to sformalizować?" Oficjalne zaczyna się tam, gdzie zaczyna się trudna część: single sign-on, kontrola dostępu, budżet, który do kogoś należy, i faktura, którą dział zakupów naprawdę może zaksięgować.

Ten artykuł to mapa tego kroku. Czego naprawdę wymaga wdrożenie LibreChat w przedsiębiorstwie, które części LibreChat zapewnia od razu, a które części ktoś musi zbudować. Pełna jawność na wstępie: kral to zarządzany LibreChat zbudowany właśnie dla tej luki, i precyzyjnie wskażemy, gdzie kończy się projekt open source, a zaczyna nasza warstwa.

Co naprawdę oznacza "oficjalne"

Każda firma ma na myśli te same sześć rzeczy, gdy mówi oficjalne, niezależnie od narzędzia:

• Tożsamość. Jedno logowanie, zarządzane przyjęcia i odejścia, żadnych list haseł w arkuszu kalkulacyjnym.
• Kontrola dostępu. Kto może używać których modeli, ustalone według roli, a nie według tego, kto pierwszy znalazł URL.
• Przypisanie. Użycie, które można prześledzić do osoby, inaczej finanse prześledzą je do Państwa.
• Budżety. Limit na osobę lub zespół, który zatrzymuje nadmierne wydatki, zanim się wydarzą, a nie po.
• Rozliczanie odpowiednie dla zakupów. Jedna faktura, prawidłowy VAT, dostawca, który pasuje do procesu zakupowego.
• Cykl życia. Aktualizacje według harmonogramu, dziennik zmian, który ktoś czyta, i udokumentowane wyjście.

Nic z tego nie jest egzotyczne. To ta sama lista, której Państwa firma wymaga od każdego innego systemu ewidencji. Różnica polega na tym, że AI weszło bocznymi drzwiami, a lista jest teraz spóźniona.

Co LibreChat zapewnia od razu

Najpierw uznanie, bo jest zasłużone. LibreChat daje przedsiębiorstwu prawdziwą podstawę, od której można zacząć:

• Obsługa OpenID Connect. Aplikacja może uwierzytelniać się wobec identity provider zamiast wobec lokalnych haseł.
• Interfejs, który Państwa użytkownicy już wybrali. Agenci, czat z plikami, generowanie obrazów, wyszukiwanie; adopcja nie jest Państwa problemem.
• Licencja MIT. Żadnych klauzul o liczbie użytkowników, żadnych warunków dotyczących marki, swobodnie sprawdzają i dostosowują Państwo kod.
• Kredyty tokenów jako element podstawowy. Istnieje podstawowy mechanizm pomiaru użycia.

I uczciwa granica, ta sama, którą opisaliśmy w artykule zarządzany hosting LibreChat: LibreChat to aplikacja do czatu, a nie system rozliczeń ani partner dla zakupów. Nie ma planów, nie ma faktur, nie ma obsługi podatków, nie ma limitów wydatków, które dział finansowy by uznał, a zespoły istnieją jako wiersze użytkowników, a nie jako umowy ze wspólnymi budżetami. To nie krytyka; to zakres.

Warstwa dla przedsiębiorstw, którą prowadzi kral

kral trzyma doświadczenie LibreChat blisko upstream i buduje wokół niego oficjalną część jako jeden pakiet: czat, który widzą Państwa użytkownicy, gateway, który wywołują Państwa narzędzia wewnętrzne, konsolę administracyjną, w której rządzi IT, i rozliczanie, które finanse mogą zaksięgować. Nawet sam LibreChat jest konfigurowany z tej konsoli; włączają Państwo model, przełączają funkcję, a czat podąża za tym, bez ręcznie edytowanego YAML. W praktyce oznacza to:

• Jedno logowanie. Pojedyncze konto dźwiga czat, użycie i rozliczanie. Nigdzie w firmie nie ma kluczy API.
• Zespoły jako umowy. Jedna umowa, jeden wspólny budżet, członkowie, których właściciel zaprasza i usuwa. Dostęp kończy się w chwili, gdy kończy się miejsce.
• Budżety, które same się egzekwują. Miesięczne limity na osobę; platforma mierzy każde żądanie względem nich i zatrzymuje się na linii, którą Państwo wyznaczyli.
• Użycie, które naprawdę widać. Każde żądanie jest mierzone: model, tokeny wejściowe, tokeny wyjściowe, koszt. Wydatek na tokeny na użytkownika to wyszukanie w kilka sekund, a nie rekonstrukcja na koniec miesiąca, i każda jednostka wydatku ma przypisaną nazwę.
• Zarządzanie modelami. Włączają lub wyłączają Państwo poszczególne modele; każdy duży dostawca jest włączony i rozliczany za token.
• Rozliczanie gotowe dla zakupów. Plany plus kredyty, obsłużony VAT UE, jedna faktura zamiast pięciu wyciągów od dostawców.
• Cykl życia, którego Państwo nie prowadzą. Gdy LibreChat wydaje wersję, my ją scalamy, testujemy i wdrażamy.

Hostowany w minutę albo w Państwa własnych murach

Szybka droga jest hostowana: logowanie na app.kral.ai i warstwa powyżej już żyje. Droga dla przedsiębiorstwa idzie dalej: platforma, na której zbudowany jest kral, może działać wewnątrz Państwa firmy, natywnie na Państwa własnym Windows Server. Tam logowanie podłącza się do identity provider, który Państwa IT i tak prowadzi, dane pozostają na sprzęcie, który Państwo posiadają, a Państwa narzędzia wewnętrzne docierają do każdego modelu przez jeden punkt końcowy gateway z jednym kluczem.

Obie drogi zachowują to samo wyjście: podstawa jest open source, a Państwa dane są możliwe do wyeksportowania. Oficjalne narzędzie nigdy nie powinno potrzebować klauzuli zakładnika, aby zatrzymać swoich użytkowników.

Surowy LibreChat vs kral, oczami przedsiębiorstwa

Pytania, które IT naprawdę zadaje

Czy kral to tylko LibreChat z dodatkami?

Celowo, tak. kral trzyma czat blisko upstream; wokół niego znajdują się gateway, rozliczanie, budżety, raportowanie użycia i zarządzanie zespołami, sterowane z jednej konsoli, właśnie ta część, której brakowało wdrożeniu w przedsiębiorstwie.

Czy możemy zachować nasz identity provider?

Na platformie samodzielnie hostowanej tak: logowanie działa wobec IdP, który prowadzi Państwa IT. Hostowana usługa pod adresem app.kral.ai używa kont kral z jednym logowaniem obejmującym czat i rozliczanie.

Co powiemy inspektorowi ochrony danych?

Proszę zapytać, dokąd trafiają zapytania. Na Państwa własnym serwerze trafiają na sprzęt, który Państwo posiadają, zanim jakikolwiek model je zobaczy. W usłudze hostowanej trafiają przez kral do wybranych przez Państwa dostawców modeli, a Państwa dane pozostają możliwe do wyeksportowania w każdej chwili. To nie odpowiedź prawnika; to uczciwa topologia, na której można ją zbudować.

Czy nasi ludzie potrzebują kluczy API?

Nie. Każdy model na platformie jest włączony i rozliczany za token. Nikt nie zakłada kont u dostawców, i żaden klucz nie może wyciec, bo nie ma żadnych do rozdania.

Ile to kosztuje?

Miesięczne plany z włączonym użyciem, plus kredyty na intensywne tygodnie. Aktualne liczby są na kral.ai; nie ma narzutu za miejsce ukrytego w PDF, a kolega, który zadaje trzy pytania miesięcznie, kosztuje Państwa prawie nic.

LibreChat już zdobył Państwa użytkowników; ta część jest zrobiona. Pozostaje sformalizować go bez zamieniania w sześciomiesięczny projekt. To część, którą prowadzi kral:

Zarezerwuj demo

Wypróbuj kral teraz