Jūs vēlaties savas sarunas uz savas aparatūras, savas atslēgas savās rokās un nekādu abonementu starp jums un modeļiem. Labas ziņas: LibreChat ir labākais atvērtā koda pamats tieši tam, un tā pašizvietošana ir reālistisks nedēļas nogales projekts. Šis ceļvedis ir tās nedēļas nogales godīgā versija.
Viens atklājums, pirms atveras terminālis: kral, platforma aiz šī emuāra, ir pārvaldīts LibreChat. Mēs pelnām iztiku tad, kad pašizvietošana pārstāj būt jautra, un tieši tāpēc mums nav iemesla izskaistināt šo ceļvedi. Zemāk esošais saraksts ir tas, ko mēs katru dienu darbinām ražošanā.
Kas jums nepieciešams pirms sākšanas
- Mašīna. Pieticīgs Linux VPS ar Docker ir klasiskās mājas; Docker Desktop uz jūsu pašu datora pietiek pirmajam testam, un Windows šādā ceļā darbojas lieliski.
- Domēns un TLS, tajā brīdī, kad pieteicas kāds cits, izņemot jūs.
- Nodrošinātāju API atslēgas vēlamajiem modeļiem: OpenAI, Anthropic, Google, lai kam jūs maksātu tieši.
- Viena stunda pirmajai sarunai un viena nedēļas nogale instalācijai, par kuru jums nebūs kauns.
GPU nav nepieciešams. Modeļi, ar kuriem jūs runājat, dzīvo aiz API; jūsu serveris darbina tikai platformu ap tiem.
Kustīgās daļas
LibreChat ražošanā ir maza flote, nevis viens konteiners. Iepazīstiet komandu, pirms izbraucat jūrā:
| Daļa | Ko tā dara | Kam pievērst uzmanību |
|---|---|---|
| LibreChat lietotne | Saskarne un API | Konfigurācija dzīvo .env un librechat.yaml; tās kļūst vērtīgas |
| MongoDB | Jūsu sarunas | Izveidojiet dublējumu un pārbaudiet atjaunošanu vienreiz, pirms tai uzticaties |
| Meilisearch | Meklēšana pa sarunām | Visbiežāk iestati un aizmirsti |
| RAG API + vektoru DB | Failu augšupielādes un saruna par dokumentiem | Daļa, ar kuru vairums cilvēku vispirms cīnās |
| Apgrieztais starpniekserveris + TLS | Priekšdurvis | Sertifikāti atjaunojas; galvenes un websocket ir svarīgi |
| Nodrošinātāju atslēgas | Paši modeļi | Noplūdusi atslēga sadedzina visu budžetu; rotējiet tās un ierobežojiet to tvērumu |
Instalācija piecos godīgos soļos
- Iegūstiet un konfigurējiet. Klonējiet repozitoriju, kopējiet parauga vides failu un ievietojiet savas nodrošinātāju atslēgas .env. Modeļu galapunkti un funkcijas dzīvo librechat.yaml.
- Palaidiet steku. docker compose up -d paceļ lietotni un tās pakalpojumus. Pirmā saruna mazāk nekā stundā ir reālistisks mērķis.
- Izveidojiet savu kontu un aizveriet durvis. Reģistrējieties, pēc tam izlemiet, vai reģistrācija vispār paliek atvērta.
- Novietojiet priekšā starpniekserveri. Apgrieztais starpniekserveris ar TLS un jūsu domēnu, pirms otrā persona saņem saiti.
- Ieplānojiet garlaicīgās daļas. Ieplānoti datubāzes dublējumi, abonements laidiena piezīmēm un uzturēšanas logs, kuru jūs patiešām ievērojat.
Piektais solis ir tas, kas atdala demonstrāciju no izvietošanas, un tas ir solis, kuru vairums nedēļas nogales ceļvežu izlaiž.
Cik tas patiešām maksā
Trīs valūtas, godīgi iegrāmatotas:
- Nauda. Programmatūra ir ar MIT licenci un bezmaksas. Mazs VPS viegli nes personisku instalāciju; RAG steks iegūst apetīti, jums augot. Patiesais mainīgais ir nodrošinātāju rēķini, jo katrs token tagad darbojas uz jūsu atslēgām.
- Laiks. LibreChat izlaiž bieži, kas ir lieliski funkcijām un atkārtojoši jums: izlasiet changelog, veiciet pull, testējiet, virzieties tālāk. Dublējumi neko nemaksā līdz dienai, kad tie ir nenovērtējami.
- Uzmanība, sākot no lietotāja numur divi. Tajā brīdī, kad pievienojas otra persona, jūs mantojat jautājumus, kuriem nav nekāda sakara ar serveriem: kurš ko drīkst lietot, kura bija tā izmaksa un kurš papildina atslēgu. Visu godīgo sarakstu uzrakstījām rakstā pārvaldīta LibreChat izvietošana.
Kad pašizvietošana ir pareizā izvēle un kad tā pārstāj būt
Izvietojiet paši ar prieku, ja viena no šīm ir patiesa: jūsu dati nedrīkst atstāt ēku, ķimerēšanās ir daļa no atlīdzības, esat tikai jūs vai sauja uzticamu cilvēku, vai vēlaties vietējos modeļus, jo pielāgots OpenAI saderīgs galapunkts, kas vērsts uz Ollama vai vLLM, tur sarunas pilnībā jūsu LAN.
Pārdomājiet, kad platforma kļūst par komandas rīku. Slodze neaug lineāri ar lietotājiem; tā palecas pie lietotāja divi un atkal pie pirmā budžeta jautājuma. Un ja galamērķis ir uzņēmuma izvietošana, platforma, uz kuras ir uzbūvēts kral, var pat darboties natīvi uz jūsu pašu Windows Server: komplekts, kurā LibreChat tiek konfigurēts no administrēšanas konsoles un kurā katra lietotāja token izdevumi ir redzami pēc pieprasījuma, tā ka on-premises un zema uzturēšana nav pretstati.
Jautājumi, ko pašizvietotāji patiešām uzdod
Vai man ir vajadzīgs GPU?
Nē. Pats LibreChat ir viegls; modeļi atbild no nodrošinātāju API. GPU jums vajadzīgs tikai tad, ja vēlaties darbināt arī vietējos modeļus, un tad tas pieder Ollama vai vLLM, nevis LibreChat.
Vai tas darbojas uz Windows?
Caur Docker Desktop, jā, un ērti personiskai instalācijai. Natīvai izvietošanai uz Windows Server uzņēmuma mērogā kral ir uzbūvēts tieši tam.
Kā darbojas atjauninājumi?
Jauni attēli iznāk regulāri. Drošais temps ir: izlasiet laidiena piezīmes, izveidojiet dublējumu, veiciet pull, testējiet funkcijas, no kurām esat atkarīgs, pēc tam ļaujiet komandai atgriezties. Vairāku versiju izlaišana padara iespējamo lēcienu biedējošāku, nevis drošāku.
Vai tas patiešām ir bezmaksas?
Programmatūra, patiešām. Izvietošana, nekad: jūs maksājat par serveri, nodrošinātāja token un saviem vakariem. Šī vienādojuma viena rēķina versija dzīvo kral.ai.
Kas man būtu jādublē?
Datubāzi, kurā ir jūsu sarunas, un augšupielādētos failus. Dublējums, kuru nekad neesat atjaunojis, ir cerība, nevis dublējums.
LibreChat pašizvietošana ir tā vērta un vērta darīt labi: dodiet projektam zvaigzni, turiet savus dublējumus godīgus un baudiet visa steka īpašumtiesības. Un ja pienāk diena, kad vēlaties rezultātu vairāk nekā vaļasprieku, pārvaldītais ceļš ir aptuveni minūtes attālumā:
Komentāri (0)
Komentāru vēl nav. Esiet pirmais!
Pierakstieties, lai atstātu komentāru.
Pierakstīties Reģistrēties