Διαχειριζόμενη φιλοξενία LibreChat: όλα τα μοντέλα, καμία συντήρηση

Ανακαλύψατε το LibreChat, εκτελέσατε docker compose up και μία ώρα αργότερα ολόκληρη η ομάδα σας μπορούσε να χρησιμοποιεί τα Claude, GPT και Gemini σε ένα καθαρό περιβάλλον. Προχωρήστε τρεις μήνες μπροστά: είστε ο άμισθος διαχειριστής ενός συστήματος σε παραγωγή. Η Mongo θέλει αντίγραφα ασφαλείας. Το RAG API έσπασε μετά από μια ενημέρωση. Κάποιος επικόλλησε το κοινόχρηστο κλειδί OpenAI σε ένα κανάλι του Slack. Και το λογιστήριο ρωτάει συνεχώς ποιος ξόδεψε 400 δολάρια σε tokens τον Μάρτιο.

Τίποτα από αυτά δεν είναι σφάλμα του LibreChat. Είναι το πραγματικό κόστος λειτουργίας οποιασδήποτε πλατφόρμας AI πολλών χρηστών. Το μόνο ερώτημα είναι αν αυτή η δουλειά ανήκει στο δικό σας γραφείο.

Το "docker compose up" είναι το εύκολο μέρος

Το LibreChat κέρδισε τη φήμη του δίκαια. Είναι το καλύτερο AI chat ανοιχτού κώδικα που υπάρχει: κάθε σημαντικό μοντέλο, agents, συνομιλία με αρχεία, δημιουργία εικόνων και ένα περιβάλλον που η ομάδα σας ήδη ξέρει να χρησιμοποιεί.

Η παραγωγή είναι διαφορετική δουλειά. Μια πραγματική ανάπτυξη του LibreChat είναι μια μικρή πλατφόρμα:

• MongoDB για τις συνομιλίες, το οποίο κάποιος πρέπει να αντιγράφει και να δοκιμάζει την επαναφορά του,
• Meilisearch για την αναζήτηση,
• ένα ξεχωριστό RAG API συν μια βάση δεδομένων διανυσμάτων αν θέλετε μεταφόρτωση αρχείων και συνομιλία με έγγραφα,
• έναν reverse proxy, TLS, ένα domain και παρακολούθηση που σας ειδοποιεί ότι έπεσε πριν σας το πουν οι χρήστες σας,
• ένα αρχείο .env και ένα librechat.yaml που γίνονται όλο και πιο κρίσιμα με κάθε λειτουργία που ενεργοποιείτε,
• και κλειδιά API για κάθε πάροχο που συνδέετε: OpenAI, Anthropic, Google και όποιον κυκλοφορήσει το επόμενο μοντέλο που θα θέλει η ομάδα σας από την πρώτη μέρα.

Μετά ξεκινούν οι ενημερώσεις. Το LibreChat εξελίσσεται γρήγορα, κάτι που είναι υπέροχο νέο ως χρήστης και επαναλαμβανόμενη εργασία ως διαχειριστής. Κάθε έκδοση είναι ένα changelog προς ανάγνωση, ένα merge προς δοκιμή και ένα παράθυρο συντήρησης προς προγραμματισμό. Παραλείψτε μερικές και το άλμα γίνεται τρομακτικό. Εφαρμόστε τες όλες και γίνεται μια δουλειά μερικής απασχόλησης.

Το ξέρουμε γιατί κάνουμε ακριβώς αυτό. Η kral λειτουργεί το LibreChat σε παραγωγή κάθε μέρα, η παραπάνω λίστα είναι το εγχειρίδιο λειτουργίας μας, όχι ένα σενάριο εκφοβισμού.

Το κομμάτι για το οποίο κανείς δεν σας προειδοποιεί: χρήστες, κλειδιά και χρήματα

Για έναν μόνο χρήστη, η αυτοφιλοξενία είναι πραγματικά μια χαρά. Ο πόνος ξεκινά από τον δεύτερο χρήστη.

Οι πολλαπλοί χρήστες σημαίνουν ότι κάποιος πρέπει να απαντήσει σε τρία ερωτήματα. Ποιος επιτρέπεται να μπει; Τι μπορεί να χρησιμοποιήσει; Ποιος πληρώνει για τι; Με σκέτα κλειδιά API έχετε δύο κακές επιλογές: ένα κοινόχρηστο κλειδί (καμία απόδοση χρήσης, και μία διαρροή κατακαίει όλο τον προϋπολογισμό) ή ένα κλειδί ανά άτομο (τριβή κατά την ένταξη, ρίσκο κατά την αποχώρηση και ένας σωρός από τιμολόγια παρόχων που πρέπει να συμφωνήσει το λογιστήριο).

Το LibreChat προσφέρει βασικές πιστώσεις token, αλλά είναι μια εφαρμογή συνομιλίας, όχι ένα σύστημα χρέωσης. Δεν υπάρχουν προγράμματα, ούτε τιμολόγια, ούτε διαχείριση φόρων, ούτε ανανεώσεις που μπορούν να αγοράσουν μόνοι τους οι χρήστες σας. Για την ανάπτυξη σε μια εταιρεία, αυτό το κενό είναι συνήθως ο ανασταλτικός παράγοντας, όχι οι servers.

Τι πρέπει να καλύπτει η διαχειριζόμενη φιλοξενία του LibreChat

Η διαχειριζόμενη φιλοξενία έχει νόημα μόνο αν αφαιρεί ολόκληρη τη λίστα, όχι μόνο τα containers. Όποιον κι αν επιλέξετε, ακόμη κι εμάς, απαιτήστε τα εξής:

• Μια ενημερωμένη βάση LibreChat. Οι ενημερώσεις φτάνουν χωρίς τη δική σας εμπλοκή, και το προϊόν συνεχίζει να ακολουθεί το έργο ανοιχτού κώδικα αντί να ξεφεύγει σε έναν παγωμένο ιδιωτικό κλώνο.
• Μοντέλα συμπεριλαμβανόμενα. Όλα τα σημαντικά μοντέλα μέσα από ένα σημείο εισόδου, χωρίς κλειδιά API προς απόκτηση, διανομή ή εναλλαγή.
• Πραγματικός έλεγχος κόστους. Προϋπολογισμοί ανά χρήστη, χρήση που μπορείτε να αποδώσετε σε ένα άτομο, και ένα τιμολόγιο αντί για πέντε.
• Διαχείριση ομάδας. Πρόσκληση, αφαίρεση, τέλος. Η πρόσβαση λήγει όταν λήγει το συμβόλαιο.
• Το πλήρες σύνολο λειτουργιών. Η συνομιλία με αρχεία, η δημιουργία εικόνων και η αναζήτηση στο web θα πρέπει να δουλεύουν από την πρώτη μέρα, αποτελούν τον μισό λόγο για τον οποίο η στοίβα είναι τόσο περίπλοκη.
• Μια έξοδος διαφυγής. Οι συνομιλίες σας μπορούν να εξαχθούν και το υποκείμενο λογισμικό είναι ανοιχτού κώδικα. Αν η αποχώρηση είναι δύσκολη, δεν είστε πελάτης, είστε όμηρος.

Πώς το λειτουργεί η kral

Η kral είναι το LibreChat, σε λειτουργία ως ολοκληρωμένη πλατφόρμα. Συνδέεστε στο app.kral.ai και αποκτάτε το περιβάλλον που ετοιμαζόσασταν να φιλοξενήσετε μόνοι σας, με το κομμάτι της λειτουργίας ήδη έτοιμο:

• Claude, GPT, Gemini, DeepSeek, Perplexity και περισσότερα, σε μία εφαρμογή, χωρίς κλειδιά API πουθενά,
• χρέωση ανά token με μηνιαία προγράμματα και πιστώσεις ανανέωσης, ώστε η χρήση να αποδίδεται στο άτομο που την προκάλεσε,
• προγράμματα ομάδας: ένα συμβόλαιο, κοινός προϋπολογισμός, μέλη που διαχειρίζεστε οι ίδιοι,
• μεταφόρτωση αρχείων με αναζήτηση εγγράφων, δημιουργία εικόνων και αναζήτηση στο web ήδη έτοιμα,
• ένα περιβάλλον σε 29 γλώσσες,
• ενημερώσεις που τις αναλαμβάνουμε εμείς για εσάς: όταν το LibreChat κυκλοφορεί μια έκδοση, την ενσωματώνουμε, τη δοκιμάζουμε και τη διαθέτουμε.

Για λόγους ειλικρίνειας: η kral λειτουργεί ένα συντηρούμενο fork του LibreChat, και τα patches υπάρχουν ακριβώς για τα παραπάνω (το gateway, η χρέωση, οι ομάδες). Παρακολουθούμε σκόπιμα τις εκδόσεις του upstream, γιατί ένα φιλοξενούμενο LibreChat που παύει να είναι LibreChat έχει χάσει το νόημα.

Και επειδή είναι LibreChat, η έξοδος παραμένει ανοιχτή. Εξάγετε τα δεδομένα σας και τρέξτε τη στοίβα ανοιχτού κώδικα μόνοι σας όποτε θέλετε. Θα προτιμούσαμε να είμαστε η επιλογή που συνεχίζετε να διαλέγετε, παρά αυτή στην οποία είστε εγκλωβισμένοι.

Αυτοφιλοξενία ή διαχείριση; Η ειλικρινής σύγκριση

Η αυτοφιλοξενία υπερτερεί σε ένα πράγμα, και είναι σημαντικό: τα δεδομένα δεν φεύγουν ποτέ από το κτίριό σας. Αν έχετε ομάδα υποδομών και μια αυστηρή απαίτηση παραμονής δεδομένων, κάντε αυτοφιλοξενία. Είναι η σωστή απόφαση, και το έργο αξίζει το αστέρι σας στο GitHub.

Υπάρχει και ένας τρίτος δρόμος. Η πλατφόρμα πάνω στην οποία είναι χτισμένη η kral μπορεί να τρέξει μέσα στην εταιρεία σας, ακόμη και εγγενώς στον δικό σας Windows Server. Μια απαίτηση on-premises δεν τερματίζει τη συζήτηση.

Ερωτήσεις που κάνουν πραγματικά οι ομάδες

Είναι η kral το ίδιο με το LibreChat;

Η εμπειρία συνομιλίας είναι το LibreChat, διατηρημένο κοντά στο upstream. Γύρω από αυτό, η kral προσθέτει ό,τι χρειάζεται η ανάπτυξη σε μια εταιρεία: το gateway μοντέλων, τη χρέωση, τους προϋπολογισμούς και τη διαχείριση ομάδας.

Χρειαζόμαστε τα δικά μας κλειδιά API;

Όχι. Κάθε μοντέλο στην πλατφόρμα συμπεριλαμβάνεται και χρεώνεται ανά token. Κανείς δεν χρειάζεται να ανοίξει λογαριασμό OpenAI, και κανένα κλειδί δεν μπορεί να διαρρεύσει, γιατί δεν υπάρχουν καθόλου προς διανομή.

Μπορούμε να επιστρέψουμε στην αυτοφιλοξενία αργότερα;

Ναι. Οι συνομιλίες σας μπορούν να εξαχθούν και το λογισμικό είναι ανοιχτού κώδικα. Η έξοδος διαφυγής είναι πραγματική, και ακριβώς γι' αυτό δεν βασιζόμαστε στον εγκλωβισμό για να σας κρατήσουμε.

Λειτουργεί για ομάδες;

Ναι. Ένα πρόγραμμα ομάδας είναι ένα συμβόλαιο με κοινό προϋπολογισμό: ο κάτοχος προσκαλεί μέλη, όλοι αντλούν από την ίδια δεξαμενή, και η πρόσβαση λήγει τη στιγμή που αφαιρείτε κάποιον.

Πόσο κοστίζει;

Μηνιαία προγράμματα με συμπεριλαμβανόμενη χρήση, συν πιστώσεις που μπορείτε να ανανεώνετε καθώς προχωράτε. Οι τρέχουσες τιμές βρίσκονται στο kral.ai, δεν υπάρχει επιπλέον χρέωση ανά θέση κρυμμένη σε κάποιο PDF.

Το LibreChat αξίζει τον χρόνο της ομάδας σας. Το αν αξίζει και τα βράδια σας είναι διαφορετικό ερώτημα. Αν η απάντηση είναι όχι:

Δοκιμάστε την kral τώρα