Ιδιοφιλοξενία του LibreChat: εγκατάσταση, κόστη και ένας ειλικρινής οδηγός

Θέλετε τις συνομιλίες σας στο δικό σας υλικό, τα κλειδιά σας στα δικά σας χέρια και καμία συνδρομή ανάμεσα σε εσάς και τα μοντέλα. Καλά νέα: το LibreChat είναι η καλύτερη βάση ανοιχτού κώδικα ακριβώς για αυτό, και η ιδιοφιλοξενία του είναι ένα ρεαλιστικό σαββατοκύριακο έργο. Αυτός ο οδηγός είναι η ειλικρινής εκδοχή εκείνου του σαββατοκύριακου.

Μια αποκάλυψη πριν ανοίξει το τερματικό: το kral, η πλατφόρμα πίσω από αυτό το ιστολόγιο, είναι ένα διαχειριζόμενο LibreChat. Βγάζουμε το ψωμί μας όταν η ιδιοφιλοξενία παύει να είναι διασκεδαστική, και ακριβώς για αυτό δεν έχουμε κανένα λόγο να ωραιοποιήσουμε αυτόν τον οδηγό. Η λίστα παρακάτω είναι αυτό που τρέχουμε στην παραγωγή κάθε μέρα.

Τι χρειάζεστε πριν ξεκινήσετε

• Μια μηχανή. Ένα μέτριο Linux VPS με Docker είναι το κλασικό σπίτι· το Docker Desktop στον δικό σας υπολογιστή αρκεί για μια πρώτη δοκιμή, και τα Windows λειτουργούν μια χαρά με αυτόν τον τρόπο.
• Ένα τομέα και TLS, τη στιγμή που συνδέεται κάποιος άλλος εκτός από εσάς.
• Κλειδιά API παρόχων για τα μοντέλα που θέλετε: OpenAI, Anthropic, Google, όποιον και αν πληρώνετε απευθείας.
• Μία ώρα για την πρώτη συνομιλία και ένα σαββατοκύριακο για μια εγκατάσταση για την οποία δεν θα ντρέπεστε.

Δεν χρειάζεται GPU. Τα μοντέλα με τα οποία μιλάτε ζουν πίσω από API· ο δικός σας διακομιστής τρέχει μόνο την πλατφόρμα γύρω τους.

Τα κινούμενα μέρη

Το LibreChat στην παραγωγή είναι ένας μικρός στόλος, όχι ένα μοναδικό container. Γνωρίστε το πλήρωμα πριν ανοίξετε πανιά:

Η εγκατάσταση σε πέντε ειλικρινή βήματα

1. Λάβετε και διαμορφώστε. Κλωνοποιήστε το αποθετήριο, αντιγράψτε το δείγμα αρχείου περιβάλλοντος και βάλτε τα κλειδιά παρόχων σας στο .env. Τα τελικά σημεία των μοντέλων και οι λειτουργίες ζουν στο librechat.yaml.
2. Ξεκινήστε τη στοίβα. Το docker compose up -d σηκώνει την εφαρμογή και τις υπηρεσίες της. Η πρώτη συνομιλία σε λιγότερο από μία ώρα είναι ένας ρεαλιστικός στόχος.
3. Δημιουργήστε τον λογαριασμό σας και κλείστε την πόρτα. Εγγραφείτε, και μετά αποφασίστε αν η εγγραφή παραμένει καθόλου ανοιχτή.
4. Βάλτε ένα proxy μπροστά. Ένα αντίστροφο proxy με TLS και τον τομέα σας, πριν ο δεύτερος άνθρωπος λάβει τον σύνδεσμο.
5. Σχεδιάστε τα βαρετά μέρη. Προγραμματισμένα αντίγραφα ασφαλείας βάσης δεδομένων, μια συνδρομή στις σημειώσεις έκδοσης και ένα παράθυρο συντήρησης που πραγματικά τηρείτε.

Το πέμπτο βήμα είναι αυτό που χωρίζει μια επίδειξη από μια ανάπτυξη, και είναι το βήμα που οι περισσότεροι οδηγοί σαββατοκύριακου παραλείπουν.

Πόσο κοστίζει στην πραγματικότητα

Τρία νομίσματα, ειλικρινά καταχωρημένα:

• Χρήμα. Το λογισμικό έχει άδεια MIT και είναι δωρεάν. Ένα μικρό VPS αντέχει μια προσωπική εγκατάσταση με άνεση· η στοίβα RAG αποκτά όρεξη καθώς μεγαλώνετε. Η πραγματική μεταβλητή είναι οι λογαριασμοί των παρόχων, επειδή κάθε token τώρα τρέχει στα δικά σας κλειδιά.
• Χρόνος. Το LibreChat κυκλοφορεί συχνά, που είναι υπέροχο για τις λειτουργίες και επαναλαμβανόμενο για εσάς: διαβάστε το changelog, κάντε pull, δοκιμάστε, προχωρήστε. Τα αντίγραφα ασφαλείας δεν κοστίζουν τίποτα μέχρι την ημέρα που είναι ανεκτίμητα.
• Προσοχή, ξεκινώντας από τον χρήστη νούμερο δύο. Τη στιγμή που μπαίνει ένα δεύτερο άτομο, κληρονομείτε τα ερωτήματα που δεν έχουν καμία σχέση με διακομιστές: ποιος μπορεί να χρησιμοποιήσει τι, τίνος ήταν εκείνη η δαπάνη και ποιος γεμίζει ξανά το κλειδί. Γράψαμε ολόκληρη την ειλικρινή λίστα στο άρθρο διαχειριζόμενη φιλοξενία LibreChat.

Πότε η ιδιοφιλοξενία είναι η σωστή επιλογή και πότε παύει να είναι

Φιλοξενήστε μόνοι σας με χαρά αν ισχύει ένα από αυτά: τα δεδομένα σας δεν μπορούν να φύγουν από το κτίριο, το πειραματισμός είναι μέρος της αμοιβής, είστε μόνο εσείς ή μια χούφτα έμπιστων ανθρώπων, ή θέλετε τοπικά μοντέλα, επειδή ένα προσαρμοσμένο σημείο OpenAI που δείχνει στο Ollama ή το vLLM κρατά τις συνομιλίες εξ ολοκλήρου στο δικό σας LAN.

Επανεξετάστε όταν η πλατφόρμα γίνεται εργαλείο ομάδας. Το φορτίο δεν αυξάνεται γραμμικά με τους χρήστες· πηδά στον χρήστη δύο και ξανά στην πρώτη ερώτηση προϋπολογισμού. Και αν ο προορισμός είναι μια εταιρική ανάπτυξη, η πλατφόρμα στην οποία είναι χτισμένο το kral μπορεί ακόμα και να τρέχει native στον δικό σας Windows Server: μια σουίτα όπου το LibreChat διαμορφώνεται από μια κονσόλα διαχείρισης και όπου η δαπάνη token κάθε χρήστη είναι ορατή ανά αίτημα, ώστε το on-premises και η χαμηλή συντήρηση να μην είναι αντίθετα.

Οι ερωτήσεις που πραγματικά κάνουν αυτοί που φιλοξενούν μόνοι τους

Χρειάζομαι GPU;

Όχι. Το ίδιο το LibreChat είναι ελαφρύ· τα μοντέλα απαντούν από τα API των παρόχων. Χρειάζεστε GPU μόνο αν θέλετε επίσης να τρέξετε τοπικά μοντέλα, και τότε ανήκει στο Ollama ή το vLLM, όχι στο LibreChat.

Τρέχει στα Windows;

Μέσω του Docker Desktop, ναι, και άνετα για μια προσωπική εγκατάσταση. Για μια native ανάπτυξη σε Windows Server σε εταιρική κλίμακα, για αυτό χτίστηκε το kral.

Πώς λειτουργούν οι ενημερώσεις;

Νέες εικόνες βγαίνουν τακτικά. Ο ασφαλής ρυθμός είναι: διαβάστε τις σημειώσεις έκδοσης, κάντε αντίγραφο ασφαλείας, κάντε pull, δοκιμάστε τις λειτουργίες από τις οποίες εξαρτάστε, και μετά αφήστε την ομάδα να επιστρέψει. Η παράλειψη πολλών εκδόσεων κάνει το ενδεχόμενο άλμα πιο τρομακτικό, όχι πιο ασφαλές.

Είναι πραγματικά δωρεάν;

Το λογισμικό, πραγματικά. Η ανάπτυξη, ποτέ: πληρώνετε τον διακομιστή, τα token του παρόχου και τα βράδια σας. Η έκδοση μιας ενιαίας χρέωσης αυτής της εξίσωσης ζει στο kral.ai.

Τι πρέπει να κρατώ ως αντίγραφο ασφαλείας;

Τη βάση δεδομένων που περιέχει τις συνομιλίες σας, και τα μεταφορτωμένα αρχεία. Ένα αντίγραφο ασφαλείας που δεν αποκαταστήσατε ποτέ είναι μια ελπίδα, όχι ένα αντίγραφο ασφαλείας.

Η ιδιοφιλοξενία του LibreChat αξίζει και αξίζει να γίνει σωστά: δώστε στο έργο ένα αστέρι, κρατήστε τα αντίγραφα ασφαλείας σας ειλικρινά και απολαύστε την κυριότητα ολόκληρης της στοίβας. Και αν έρθει η μέρα που θέλετε το αποτέλεσμα περισσότερο από το χόμπι, ο διαχειριζόμενος δρόμος απέχει περίπου ένα λεπτό:

Δοκιμάστε το kral τώρα

Κλείστε μια επίδειξη