Norite savo pokalbių savo įrangoje, savo raktų savo rankose ir jokios prenumeratos tarp jūsų ir modelų. Gera žinia: LibreChat yra geriausias atvirojo kodo pagrindas būtent tam, o jo savarankiškas prieglobstis yra realistinis savaitgalio projektas. Šis vadovas yra sąžininga to savaitgalio versija.
Vienas atskleidimas prieš atveriant terminalą: kral, platforma už šio tinklaraščio, yra valdomas LibreChat. Mes užsidirbame pragyvenimui tada, kai savarankiškas prieglobstis nustoja būti smagus, ir būtent todėl neturime priežasties gražinti šį vadovą. Žemiau esantis sąrašas yra tai, ką kasdien leidžiame gamyboje.
Ko reikia prieš pradėdant
- Mašina. Kuklus Linux VPS su Docker yra klasikiniai namai; Docker Desktop jūsų pačių kompiuteryje pakanka pirmajam bandymui, o Windows šiuo keliu veikia puikiai.
- Domenas ir TLS, tą akimirką, kai prisijungia kas nors kitas be jūsų.
- Tiekėjų API raktai norimiems modeliams: OpenAI, Anthropic, Google, kad ir kam mokėtumėte tiesiogiai.
- Viena valanda pirmajam pokalbiui ir vienas savaitgalis diegimui, kurio nesigėdysite.
GPU nereikia. Modeliai, su kuriais kalbate, gyvena už API; jūsų serveris leidžia tik platformą aplink juos.
Judančios dalys
LibreChat gamyboje yra mažas laivynas, o ne vienas konteineris. Susipažinkite su įgula prieš išplaukdami:
| Dalis | Ką daro | Į ką atkreipti dėmesį |
|---|---|---|
| LibreChat programa | Sąsaja ir API | Konfigūracija gyvena .env ir librechat.yaml; jos tampa brangios |
| MongoDB | Jūsų pokalbiai | Sukurkite atsarginę kopiją ir kartą išbandykite atkūrimą prieš ja pasitikėdami |
| Meilisearch | Paieška po pokalbius | Dažniausiai nustatyk ir pamiršk |
| RAG API + vektorinė DB | Failų įkėlimai ir pokalbis apie dokumentus | Dalis, su kuria dauguma žmonių pirmiausia grumiasi |
| Atvirkštinis prox + TLS | Priekinės durys | Sertifikatai atsinaujina; antraštės ir websocketų turi reikšmę |
| Tiekėjų raktai | Patys modeliai | Nutekėjęs raktas sudegina visą biudžetą; keiskite juos ir apribokite jų apimtį |
Diegimas penkiais sąžiningais žingsniais
- Gaukite ir sukonfigūruokite. Klonuokite saugyklą, nukopijuokite pavyzdinį aplinkos failą ir įdėkite savo tiekėjų raktus į .env. Modelų galutiniai taškai ir funkcijos gyvena librechat.yaml.
- Paleiskite steke. docker compose up -d pakelia programą ir jos paslaugas. Pirmasis pokalbis per mažiau nei valandą yra realistinis tikslas.
- Sukurkite savo paskyrą ir uždarykite duris. Užsiregistruokite, tada nuspręskite, ar registracija apskritai lieka atvira.
- Priekyje pastatykite prox. Atvirkštinis prox su TLS ir jūsų domenu, prieš antram žmogui gaunant nuorodą.
- Suplanuokite nuobodžias dalis. Suplanuotos duomenų bazės atsarginės kopijos, prenumerata leidimo pastaboms ir priežiūros langas, kurio iš tikrųjų laikotės.
Penktas žingsnis yra tas, kuris atskiria demonstraciją nuo diegimo, ir tai žingsnis, kurį dauguma savaitgalio vadovų praleidžia.
Kiek iš tikrųjų kainuoja
Trys valiutos, sąžiningai apskaitytos:
- Pinigai. Programinė įranga turi MIT licenciją ir yra nemokama. Mažas VPS lengvai išlaižo asmeninį diegimą; RAG stekas įgauna apetitą jums augant. Tikras kintamasis yra tiekėjų sąskaitos, nes kiekvienas token dabar veikia ant jūsų raktų.
- Laikas. LibreChat išleidžia dažnai, kas puiku funkcijoms ir pasikartojanti jums: perskaitykite changelog, padarykite pull, išbandykite, judėkite pirmyn. Atsarginės kopijos nekainuoja nieko iki tos dienos, kai jos yra neįkainojamos.
- Dėmesys, pradedant nuo vartotojo numeris du. Tą akimirką, kai prisijungia antras žmogus, paveldite klausimus, kurie neturi nieko bendra su serveriais: kas ką gali naudoti, kieno buvo tos išlaidos ir kas papildo raktą. Visą sąžiningą sąrašą parašėme straipsnyje valdomas LibreChat prieglobstis.
Kada savarankiškas prieglobstis yra teisingas pasirinkimas, o kada nustoja būti
Prieglaudkite patys su džiaugsmu, jei viena iš šitų yra tiesa: jūsų duomenys negali palikti pastato, krapsčiojimas yra atlygio dalis, esate tik jūs arba saujelė patikimų žmonių, arba norite vietinių modelų, nes pritaikytas OpenAI suderinamas galutinis taškas, nukreiptas į Ollama arba vLLM, išlaiko pokalbius visiškai jūsų LAN.
Persvarstykite, kai platforma tampa komandos įrankiu. Apkrova nešauga tiesiškai su vartotojais; ji šokteli ties vartotoju du ir vėl ties pirmuoju biudžeto klausimu. O jei tikslas yra įmonės diegimas, platforma, ant kurios pastatytas kral, gali net veikti savajiže jūsų pačių Windows Server: rinkinys, kuriame LibreChat konfigūruojamas iš administravimo konsolės ir kuriame kiekvieno vartotojo token išlaidos matomos pagal užklausą, taip kad on-premises ir maža priežiūra nėra priešingybės.
Klausimai, kuriuos savarankiški prieglobos teikėjai iš tikrųjų užduoda
Ar man reikia GPU?
Ne. Pats LibreChat yra lengvas; modeliai atsako iš tiekėjų API. GPU jums reikia tik jei taip pat norite paleisti vietinius modelius, ir tada jis priklauso Ollama arba vLLM, o ne LibreChat.
Ar veikia Windows sistemoje?
Per Docker Desktop, taip, ir patogiai asmeniniam diegimui. Vietiniam diegimui Windows Server įmonės mastu kral buvo sukurtas būtent tam.
Kaip veikia atnaujinimai?
Naujos atvaizdžiai išeina reguliariai. Saugus tempas yra: perskaitykite leidimo pastabas, sukurkite atsarginę kopiją, padarykite pull, išbandykite funkcijas, nuo kurių priklausote, tada leiskite komandai grįžti. Kelių versijų praleidimas daro galimą šuolį baisesnį, o ne saugesnį.
Ar tikrai nemokama?
Programinė įranga, tikrai. Diegimas, niekada: mokate už serverį, tiekėjo token ir savo vakarus. Šios lygties vienos sąskaitos versija gyvena kral.ai.
Ką turėčiau atsargiai kopijuoti?
Duomenų bazę, kurioje yra jūsų pokalbiai, ir įkeltus failus. Atsarginė kopija, kurios niekada neatkūrėte, yra viltis, o ne atsarginė kopija.
LibreChat savarankiškas prieglobstis vertas ir vertas padaryti gerai: duokite projektui žvaigždę, išlaikykite savo atsargines kopijas sąžiningas ir mėgaukitės viso steko nuosavybe. O jei ateis diena, kai norite rezultato labiau nei pomėgio, valdomas kelias yra maždaug už minutės:
Komentarai (0)
Komentarų dar nėra. Būkite pirmas!
Prisijunkite, kad galėtumėte komentuoti.
Prisijungti Registruotis