LibreChat για επιχειρήσεις: SSO, ομάδες και χρέωση ανά token

Το πιλοτικό έγινε χωρίς εσάς. Κάπου μέσα στην εταιρεία, το LibreChat έχει ήδη ξεκινήσει: ένας προγραμματιστής το έστησε ένα απόγευμα, δύο ομάδες το βρήκαν και τώρα σηκώνει σιωπηλά πραγματική δουλειά. Έπειτα το αίτημα φτάνει στο γραφείο του IT ως μία πρόταση, "μπορούμε να το κάνουμε επίσημο;" Επίσημο είναι εκεί που ξεκινά το δύσκολο μέρος: single sign-on, έλεγχος πρόσβασης, ένας προϋπολογισμός που ανήκει σε κάποιον και ένα τιμολόγιο που μπορεί πραγματικά να καταχωρήσει το τμήμα προμηθειών.

Αυτό το άρθρο είναι ο χάρτης για αυτό το βήμα. Τι απαιτεί πραγματικά μια enterprise ανάπτυξη του LibreChat, ποια μέρη προσφέρει το LibreChat έτοιμα και ποια μέρη πρέπει να χτίσει κάποιος. Πλήρης διαφάνεια εξαρχής: το kral είναι ένα managed LibreChat φτιαγμένο ακριβώς για αυτό το κενό, και θα είμαστε ακριβείς για το πού τελειώνει το έργο ανοιχτού κώδικα και πού αρχίζει το δικό μας επίπεδο.

Τι σημαίνει πραγματικά "επίσημο"

Κάθε εταιρεία εννοεί τα ίδια έξι πράγματα όταν λέει επίσημο, όποιο και αν είναι το εργαλείο:

• Ταυτότητα. Μία σύνδεση, διαχειριζόμενες είσοδοι και αποχωρήσεις, χωρίς λίστες κωδικών σε ένα υπολογιστικό φύλλο.
• Έλεγχος πρόσβασης. Ποιος μπορεί να χρησιμοποιεί ποια μοντέλα, αποφασισμένο ανά ρόλο, όχι από το ποιος βρήκε πρώτος το URL.
• Απόδοση. Χρήση που μπορεί να εντοπιστεί σε ένα άτομο, αλλιώς το οικονομικό τμήμα θα την εντοπίσει σε εσάς.
• Προϋπολογισμοί. Ένα όριο ανά άτομο ή ομάδα που σταματά την υπερβολική δαπάνη πριν συμβεί, όχι μετά.
• Χρέωση κατάλληλη για προμήθειες. Ένα τιμολόγιο, σωστός ΦΠΑ, ένας προμηθευτής που ταιριάζει στη διαδικασία αγορών.
• Ένας κύκλος ζωής. Ενημερώσεις σε πρόγραμμα, ένα changelog που κάποιος διαβάζει και ένας τεκμηριωμένος δρόμος εξόδου.

Τίποτα από αυτά δεν είναι εξωτικό. Είναι η ίδια λίστα που η εταιρεία σας απαιτεί από κάθε άλλο σύστημα καταγραφής. Η διαφορά είναι ότι η AI ήρθε από την πλαγιά πόρτα και η λίστα είναι πλέον εκπρόθεσμη.

Τι προσφέρει το LibreChat έτοιμα

Πρώτα η αναγνώριση, γιατί την αξίζει. Το LibreChat δίνει σε μια επιχείρηση πραγματική ουσία για να ξεκινήσει:

• Υποστήριξη OpenID Connect. Η εφαρμογή μπορεί να ταυτοποιείται με έναν identity provider αντί για τοπικούς κωδικούς.
• Το περιβάλλον που οι χρήστες σας έχουν ήδη διαλέξει. Πράκτορες, συνομιλία με αρχεία, δημιουργία εικόνων, αναζήτηση· η υιοθέτηση δεν είναι δικό σας πρόβλημα.
• Άδεια MIT. Χωρίς ρήτρες αριθμού χρηστών, χωρίς όρους branding, επιθεωρήστε και προσαρμόστε τον κώδικα ελεύθερα.
• Token credits ως πρωταρχικό στοιχείο. Υπάρχει ένας βασικός μηχανισμός μέτρησης της χρήσης.

Και το ειλικρινές όριο, το ίδιο που περιγράψαμε στο managed LibreChat hosting: το LibreChat είναι μια εφαρμογή συνομιλίας, όχι σύστημα χρέωσης και όχι συνομιλητής για τις προμήθειες. Δεν υπάρχουν πλάνα, τιμολόγια, φορολογική διαχείριση, όρια δαπανών που θα αναγνώριζε ένα οικονομικό τμήμα, και οι ομάδες υπάρχουν ως γραμμές χρηστών, όχι ως συμβόλαια με κοινούς προϋπολογισμούς. Αυτό δεν είναι κριτική· είναι το εύρος.

Το enterprise επίπεδο που λειτουργεί το kral

Το kral κρατά την εμπειρία LibreChat κοντά στο upstream και χτίζει το επίσημο μέρος γύρω του ως μία σουίτα: το chat που βλέπουν οι χρήστες σας, το gateway που καλούν τα εσωτερικά σας εργαλεία, την κονσόλα διαχείρισης όπου διακυβερνά το IT και τη χρέωση που μπορεί να καταχωρήσει το οικονομικό τμήμα. Ακόμα και το ίδιο το LibreChat ρυθμίζεται από αυτήν την κονσόλα· ενεργοποιήστε ένα μοντέλο, αλλάξτε μια λειτουργία και το chat ακολουθεί, χωρίς χειροκίνητα επεξεργασμένο YAML. Στην πράξη αυτό σημαίνει:

• Μία σύνδεση. Ένας μόνο λογαριασμός κρατά chat, χρήση και χρέωση. Χωρίς κλειδιά API πουθενά στην εταιρεία.
• Ομάδες ως συμβόλαια. Μία συμφωνία, ένας κοινός προϋπολογισμός, μέλη που ο ιδιοκτήτης προσκαλεί και αφαιρεί. Η πρόσβαση τελειώνει τη στιγμή που τελειώνει η θέση.
• Προϋπολογισμοί που επιβάλλονται μόνοι τους. Μηνιαία όρια ανά άτομο· η πλατφόρμα μετρά κάθε αίτημα απέναντί τους και σταματά στη γραμμή που χαράξατε.
• Χρήση που μπορείτε πραγματικά να δείτε. Κάθε αίτημα μετριέται: μοντέλο, tokens εισόδου, tokens εξόδου, κόστος. Η δαπάνη token ανά χρήστη είναι μια αναζήτηση δευτερολέπτων, όχι μια ανασύνθεση στο τέλος του μήνα, και κάθε μονάδα δαπάνης έχει ένα όνομα.
• Διακυβέρνηση μοντέλων. Ενεργοποιήστε ή απενεργοποιήστε μεμονωμένα μοντέλα· κάθε μεγάλος πάροχος περιλαμβάνεται και χρεώνεται ανά token.
• Χρέωση έτοιμη για προμήθειες. Πλάνα συν πιστώσεις, διαχείριση ΦΠΑ ΕΕ, ένα τιμολόγιο αντί για πέντε καταστάσεις παρόχων.
• Ένας κύκλος ζωής που δεν λειτουργείτε εσείς. Όταν το LibreChat βγάζει μια έκδοση, εμείς την συγχωνεύουμε, δοκιμάζουμε και αναπτύσσουμε.

Φιλοξενούμενο σε ένα λεπτό, ή μέσα στα δικά σας τείχη

Η γρήγορη διαδρομή είναι φιλοξενούμενη: συνδεθείτε στο app.kral.ai και το επίπεδο από πάνω είναι ήδη ζωντανό. Η enterprise διαδρομή πάει πιο μακριά: η πλατφόρμα στην οποία είναι χτισμένο το kral μπορεί να τρέξει μέσα στην εταιρεία σας, εγγενώς σε δικό σας Windows Server. Εκεί, το sign-on συνδέεται με τον identity provider που το IT σας ήδη λειτουργεί, τα δεδομένα μένουν σε υλικό που σας ανήκει και τα εσωτερικά σας εργαλεία φτάνουν κάθε μοντέλο μέσω ενός gateway endpoint με ένα κλειδί.

Και οι δύο διαδρομές κρατούν την ίδια έξοδο: η βάση είναι ανοιχτού κώδικα και τα δεδομένα σας μπορούν να εξαχθούν. Ένα επίσημο εργαλείο δεν θα έπρεπε ποτέ να χρειάζεται μια ρήτρα ομήρου για να κρατάει τους χρήστες του.

Ολόγυμνο LibreChat vs kral, με enterprise μάτια

Ερωτήσεις που κάνει πραγματικά το IT

Είναι το kral απλώς το LibreChat με έξτρα;

Εσκεμμένα, ναι. Το kral κρατά το chat κοντά στο upstream· γύρω του κάθονται το gateway, η χρέωση, οι προϋπολογισμοί, η αναφορά χρήσης και η διαχείριση ομάδων, που οδηγούνται από μία κονσόλα, ακριβώς το μέρος που έλειπε από μια enterprise ανάπτυξη.

Μπορούμε να κρατήσουμε τον identity provider μας;

Στην self-hosted πλατφόρμα, ναι: το sign-on λειτουργεί με τον IdP που λειτουργεί το IT σας. Η φιλοξενούμενη υπηρεσία στο app.kral.ai χρησιμοποιεί λογαριασμούς kral με μία σύνδεση σε chat και χρέωση.

Τι λέμε στον υπεύθυνο προστασίας δεδομένων;

Ρωτήστε πού πάνε τα prompts. Στον δικό σας διακομιστή, πάνε σε υλικό που σας ανήκει πριν τα δει οποιοδήποτε μοντέλο. Στη φιλοξενούμενη υπηρεσία, πάνε μέσω του kral στους παρόχους μοντέλων που επιλέγετε, και τα δεδομένα σας παραμένουν εξαγώγιμα ανά πάσα στιγμή. Αυτό δεν είναι απάντηση δικηγόρου· είναι η ειλικρινής τοπολογία πάνω στην οποία χτίζεται μία.

Χρειάζονται οι άνθρωποί μας κλειδιά API;

Όχι. Κάθε μοντέλο στην πλατφόρμα περιλαμβάνεται και χρεώνεται ανά token. Κανείς δεν ανοίγει λογαριασμούς παρόχων και κανένα κλειδί δεν μπορεί να διαρρεύσει, γιατί δεν υπάρχουν για να μοιραστούν.

Πόσο κοστίζει;

Μηνιαία πλάνα με συμπεριλαμβανόμενη χρήση, συν πιστώσεις για τις φορτωμένες εβδομάδες. Οι τρέχοντες αριθμοί είναι στο kral.ai· δεν υπάρχει χρέωση ανά θέση κρυμμένη σε ένα PDF, και ο συνάδελφος που κάνει τρεις ερωτήσεις τον μήνα σας κοστίζει σχεδόν τίποτα.

Το LibreChat έχει ήδη κερδίσει τους χρήστες σας· αυτό το μέρος έχει τελειώσει. Αυτό που απομένει είναι να το κάνετε επίσημο χωρίς να το κάνετε έργο έξι μηνών. Αυτό είναι το μέρος που λειτουργεί το kral:

Κλείστε demo

Δοκιμάστε το kral τώρα