LibreChat vállalati környezetben: SSO, csapatok és tokenalapú számlázás

A pilot Ön nélkül történt. Valahol a cégnél a LibreChat már fut: egy fejlesztő egy délután alatt beállította, két csapat rátalált, és most csendben valódi munkát visz. Aztán a kérés egyetlen mondatként landol az IT asztalán, "hivatalosá tehetjük ezt?" A hivatalos ott kezdődik, ahol a nehéz rész: single sign-on, hozzáférés-vezérlés, egy keret, amely valakihez tartozik, és egy számla, amelyet a beszerzés valóban iktatni tud.

Ez a cikk ennek a lépésnek a térképe. Mit igényel valójában a LibreChat vállalati bevezetése, mely részeket ad a LibreChat alapból, és mely részeket kell valakinek felépítenie. Teljes nyíltság az elején: a kral egy felügyelt LibreChat, pontosan erre a hézagra építve, és pontosak leszünk abban, hol ér véget a nyílt forráskódú projekt és hol kezdődik a mi rétegünk.

Mit jelent valójában a "hivatalos"

Minden cég ugyanarra a hat dologra gondol, amikor azt mondja, hivatalos, bármi is az eszköz:

• Identitás. Egy bejelentkezés, kezelt belépők és kilépők, semmilyen jelszólista egy táblázatban.
• Hozzáférés-vezérlés. Ki milyen modelleket használhat, szerepkör szerint eldöntve, nem az alapján, ki találta meg először az URL-t.
• Hozzárendelés. Olyan használat, amely visszavezethető egy személyhez, különben a pénzügy Önhöz vezeti vissza.
• Keretek. Egy felső korlát személyenként vagy csapatonként, amely megállítja a túlköltést, mielőtt megtörténne, nem utána.
• Beszerzésre alkalmas számlázás. Egy számla, helyes áfa, egy szállító, amely beleillik a beszerzési folyamatba.
• Egy életciklus. Frissítések ütemezés szerint, egy változásnapló, amelyet valaki olvas, és egy dokumentált kiút.

Ezek egyike sem egzotikus. Ugyanaz a lista, amelyet a cége minden más nyilvántartási rendszertől megkövetel. A különbség az, hogy a mesterséges intelligencia az oldalajtón érkezett, és a lista most már késésben van.

Mit ad a LibreChat alapból

Először az elismerés, mert kiérdemelte. A LibreChat valódi alapot ad egy vállalatnak a kezdéshez:

• OpenID Connect támogatás. Az alkalmazás egy identity provider ellen tud hitelesíteni a helyi jelszavak helyett.
• A felület, amelyet a felhasználói már kiválasztottak. Ügynökök, fájl-csevegés, képgenerálás, keresés; az elfogadás nem az Ön gondja.
• MIT licenc. Semmilyen felhasználószám-kikötés, semmilyen márkázási feltétel, vizsgálja és igazítsa a kódot szabadon.
• Tokenkreditek mint alapelem. Létezik egy alapvető mechanizmus a használat mérésére.

És az őszinte határ, ugyanaz, amelyet a felügyelt LibreChat hosting cikkben leírtunk: a LibreChat egy csevegő alkalmazás, nem számlázási rendszer és nem beszerzési partner. Nincsenek csomagok, nincsenek számlák, nincs adókezelés, nincsenek költési korlátok, amelyeket egy pénzügyi csapat elismerne, és a csapatok felhasználók soraiként léteznek, nem megosztott keretű szerződéseként. Ez nem kritika; ez a hatókör.

A vállalati réteg, amelyet a kral üzemeltet

A kral a LibreChat élményt közel tartja az upstreamhez, és a hivatalos részt egyetlen csomagként építi köré: a csevegést, amelyet a felhasználói látnak, a gateway-t, amelyet a belső eszközei hívnak, az admin konzolt, ahol az IT irányít, és a számlázást, amelyet a pénzügy iktatni tud. Még magát a LibreChatet is ebből a konzolból konfigurálják; kapcsoljon be egy modellt, kapcsoljon be egy funkciót, és a csevegés követi, kézzel szerkesztett YAML nélkül. A gyakorlatban ez azt jelenti:

• Egy bejelentkezés. Egyetlen fiók viszi a csevegést, a használatot és a számlázást. Sehol a cégnél nincs API-kulcs.
• Csapatok mint szerződések. Egy megállapodás, egy megosztott keret, tagok, akiket a tulajdonos meghív és eltávolít. A hozzáférés abban a pillanatban véget ér, amikor a hely.
• Keretek, amelyek maguktól érvényesülnek. Havi korlátok személyenként; a platform minden kérést ezekhez mér, és megáll a vonalnál, amelyet Ön húzott.
• Használat, amelyet valóban lát. Minden kérést mérnek: modell, bemeneti tokenek, kimeneti tokenek, költség. A tokenköltés felhasználónként másodpercek alatt lekérdezhető, nem hónap végi rekonstrukció, és minden költési egységhez név tartozik.
• Modellirányítás. Kapcsoljon be vagy ki egyes modelleket; minden nagyobb szolgáltató benne van, és tokenenként számlázódik.
• Beszerzésre kész számlázás. Csomagok plusz kreditek, kezelt EU-áfa, egy számla öt szolgáltatói kimutatás helyett.
• Egy életciklus, amelyet nem Ön üzemeltet. Amikor a LibreChat kiad egy verziót, mi beolvasztjuk, teszteljük és kigördítjük.

Üzemeltetve egy perc alatt, vagy a saját falai között

A gyors út az üzemeltetett: jelentkezzen be az app.kral.ai oldalon, és a felette lévő réteg már él. A vállalati út tovább megy: a platform, amelyre a kral épül, futhat a cégén belül, natívan a saját Windows Serverén. Ott a bejelentkezés ahhoz az identity providerhez csatlakozik, amelyet az IT-ja úgyis üzemeltet, az adatok az Ön tulajdonában lévő hardveren maradnak, és a belső eszközei minden modellt egyetlen gateway végponton keresztül érnek el egyetlen kulccsal.

Mindkét út ugyanazt a kijáratot tartja: az alap nyílt forráskódú és az adatai exportálhatók. Egy hivatalos eszköznek sosem szabadna túszejtő záradékra szüksége lennie ahhoz, hogy megtartsa a felhasználóit.

Nyers LibreChat vs kral, vállalati szemmel

Kérdések, amelyeket az IT valóban feltesz

A kral csak LibreChat extrákkal?

Szándékosan, igen. A kral a csevegést közel tartja az upstreamhez; körülötte ül a gateway, a számlázás, a keretek, a használati jelentéskészítés és a csapatkezelés, egy konzolból vezérelve, pontosan az a rész, amely egy vállalati bevezetésből hiányzott.

Megtarthatjuk a saját identity providerünket?

Az önállóan üzemeltetett platformon igen: a bejelentkezés az IdP ellen működik, amelyet az IT-ja üzemeltet. Az app.kral.ai üzemeltetett szolgáltatása kral fiókokat használ egyetlen bejelentkezéssel a csevegésen és a számlázáson át.

Mit mondjunk az adatvédelmi tisztviselőnek?

Kérdezze meg, hova mennek a promptok. A saját szerverén az Ön tulajdonában lévő hardverre mennek, mielőtt bármely modell látná őket. Az üzemeltetett szolgáltatásban a kralon keresztül mennek az Ön által választott modellszolgáltatókhoz, és az adatai bármikor exportálhatók maradnak. Ez nem ügyvédi válasz; ez az őszinte topológia, amelyre építeni lehet egyet.

Szükségük van az embereinknek API-kulcsokra?

Nem. A platform minden modellje benne van és tokenenként számlázódik. Senki nem nyit szolgáltatói fiókokat, és egyetlen kulcs sem szivároghat ki, mert nincs mit szétosztani.

Mennyibe kerül?

Havi csomagok tartalmazott használattal, plusz kreditek a terhelt hetekre. Az aktuális számok a kral.ai oldalon vannak; nincs PDF-be rejtett helyenkénti felár, és a kolléga, aki havonta három kérdést tesz fel, szinte semmibe sem kerül Önnek.

A LibreChat már megnyerte a felhasználóit; ez a rész kész. Ami marad, az az, hogy hivatalossá tegyük anélkül, hogy hathónapos projektté válna. Ez az a rész, amelyet a kral üzemeltet:

Foglaljon demót

Próbálja ki a kralt most