Auto-hospedar o LibreChat: instalação, custos e um guia honesto

Quer as suas conversas no seu próprio hardware, as suas chaves nas suas próprias mãos e nenhuma subscrição entre si e os modelos. Boa notícia: o LibreChat é a melhor base de código aberto para exatamente isso, e auto-hospedá-lo é um projeto de fim de semana realista. Este guia é a versão honesta desse fim de semana.

Uma divulgação antes de o terminal se abrir: o kral, a plataforma por trás deste blogue, é um LibreChat gerido. Ganhamos a vida quando o auto-hospedar deixa de ser divertido, e é exatamente por isso que não temos razão para embelezar este guia. A lista abaixo é o que pomos em produção todos os dias.

O que precisa antes de começar

• Uma máquina. Um VPS Linux modesto com Docker é o lar clássico; o Docker Desktop no seu próprio computador chega para um primeiro teste, e o Windows funciona muito bem por esta via.
• Um domínio e TLS, no momento em que alguém além de si inicia sessão.
• Chaves de API dos fornecedores para os modelos que quer: OpenAI, Anthropic, Google, quem quer que pague diretamente.
• Uma hora para a primeira conversa, e um fim de semana para uma instalação de que não se envergonhará.

Nenhuma GPU necessária. Os modelos com que falará vivem por trás de APIs; o seu servidor só executa a plataforma à volta deles.

As peças móveis

O LibreChat em produção é uma pequena frota, não um único contêdor. Conheça a tripulação antes de zarpar:

A instalação, em cinco passos honestos

1. Obter e configurar. Clone o repositório, copie o ficheiro de ambiente de exemplo e coloque as suas chaves dos fornecedores em .env. Os endpoints dos modelos e as funcionalidades vivem em librechat.yaml.
2. Arrancar a pilha. docker compose up -d levanta a app e os seus serviços. A primeira conversa em menos de uma hora é um objetivo realista.
3. Crie a sua conta e feche a porta. Registe-se, depois decida se o registo fica sequer aberto.
4. Ponha um proxy à frente. Um proxy inverso com TLS e o seu domínio, antes de a segunda pessoa receber a ligação.
5. Planeie as partes aborrecidas. Cópias de segurança agendadas da base de dados, uma subscrição das notas de versão e uma janela de manutenção que cumpre mesmo.

O passo cinco é o que separa uma demonstração de uma implantação, e é o passo que a maioria dos guias de fim de semana salta.

O que custa de verdade

Três moedas, contabilizadas com honestidade:

• Dinheiro. O software tem licença MIT e é gratuito. Um VPS pequeno aguenta confortavelmente uma instalação pessoal; a pilha RAG ganha apetite à medida que cresce. A verdadeira variável são as faturas dos fornecedores, porque cada token corre agora nas suas chaves.
• Tempo. O LibreChat lança com frequência, o que é ótimo para funcionalidades e recorrente para si: ler o changelog, puxar, testar, seguir em frente. As cópias de segurança não custam nada até ao dia em que não têm preço.
• Atenção, a partir do utilizador número dois. No momento em que uma segunda pessoa se junta, herda as perguntas que nada têm a ver com servidores: quem pode usar o quê, de quem foi aquela despesa e quem recarrega a chave. Escrevemos a lista honesta completa em o alojamento LibreChat gerido.

Quando o auto-hospedar é a escolha certa, e quando deixa de ser

Auto-hospede com alegria se uma destas for verdade: os seus dados não podem sair do edifício, mexer nos bastidores faz parte da recompensa, só está você ou um punhado de pessoas de confiança, ou quer modelos locais, porque um endpoint personalizado compatível com OpenAI apontado para o Ollama ou o vLLM mantém as conversas inteiramente na sua LAN.

Reconsidere quando a plataforma se torna um utilitário de equipa. A carga não cresce linearmente com os utilizadores; salta no utilizador dois e de novo na primeira pergunta de orçamento. E se o destino for uma implantação empresarial, a plataforma sobre a qual o kral é construído pode até correr nativamente no seu próprio Windows Server: uma suíte onde o LibreChat é configurado a partir de uma consola de administração e onde a despesa de tokens de cada utilizador é visível por pedido, para que on-premises e baixa manutenção não sejam opostos.

As perguntas que os auto-hospedeiros fazem mesmo

Preciso de uma GPU?

Não. O próprio LibreChat é leve; os modelos respondem a partir das APIs dos fornecedores. Só precisa de uma GPU se também quiser executar modelos locais, e aí pertence ao Ollama ou vLLM, não ao LibreChat.

Funciona no Windows?

Através do Docker Desktop, sim, e confortavelmente para uma instalação pessoal. Para uma implantação nativa em Windows Server à escala empresarial, foi para isso que o kral foi concebido.

Como funcionam as atualizações?

Saem novas imagens regularmente. O ritmo seguro é: ler as notas de versão, fazer cópia de segurança, puxar, testar as funcionalidades de que depende, depois deixar a equipa regressar. Saltar várias versões torna o salto eventual mais assustador, não mais seguro.

É mesmo gratuito?

O software, mesmo. A implantação, nunca: paga o servidor, os tokens do fornecedor e as suas noites. A versão de fatura única desta equação vive em kral.ai.

O que devo salvaguardar?

A base de dados que contém as suas conversas, e os ficheiros carregados. Uma cópia de segurança que nunca restaurou é uma esperança, não uma cópia de segurança.

Auto-hospedar o LibreChat vale a pena e vale a pena fazê-lo bem: dê uma estrela ao projeto, mantenha as suas cópias de segurança honestas e saboreie possuir toda a pilha. E se chegar o dia em que quer o resultado mais do que o passatempo, a via gerida está a cerca de um minuto de distância:

Experimentar o kral agora

Reservar uma demonstração