aviso

Este tutorial é uma contribuição da comunidade e não é suportado pela equipe Nullcore. Serve apenas como uma demonstração sobre como personalizar o Nullcore para o seu caso de uso específico. Quer contribuir? Confira oTutorial contribuindo

Executando o Nullcore no modo offline 🔌

Se você deseja executar o Nullcore no modo offline, você deve considerar sua abordagem de instalação e ajustar os recursos desejados de acordo. Neste guia, examinaremos as diferentes maneiras de alcançar uma configuração principalmente semelhante à versão online.

O que significa modo offline?

O modo offline de Nullcore permite executar o aplicativo sem a necessidade de uma conexão ativa na Internet. Isso permite que você crie um ambiente de 'ar-areado' para o seu LLMS e ferramentas (um ambiente totalmente 'com-gappedia aéreo' requer isolamento da instância da Internet).

informações

Funcionalidade desativada quando o modo offline está ativado:

Verificações de atualização de versão automática
Downloads de modelos de incorporação do HUGGING FACE HUB
- Se você não baixou um modelo de incorporação antes de ativarOFFLINE_MODEQualquer pano, pesquisa da web e funcionalidade de análise de documentos pode não funcionar corretamente
Atualizar notificações na interface do usuário

Ainda funcional:

Conexões API externas LLM (OpenAI, etc.)
Provedores de autenticação OAuth
Pesquisa na Web e RAG com APIs externas

Como ativar o modo offline?

O modo offline deve ser ativado através dovariável de ambiente OFFLINE_MODE. Aplique a variável de ambiente, dependendo da sua maneira de implantar o Nullcore.

dica

Considere se você precisar iniciar o aplicativo offline desde o início da sua implantação. Se o seu caso de uso não exigir capacidade offline imediata, sigaAbordagem iiPara uma configuração mais fácil.

Abordagem i

I: Spean-to-text

O localwhisperA instalação não inclui o modelo por padrão. Nesse sentido, você pode seguir oguiaSomente parcialmente se você deseja usar um modelo/provedor externo. Para usar o localwhisperAplicativo, você deve primeiro baixar o modelo de sua escolha (por exemplo,Huggingface - Systran

demais rápido_whisperimportarWhisperModel

FASTER_WHISPER_KWARGS {
    "Model_size_or_path" "Systran/mais rápido que largo-v3", Assim,
    "dispositivo" "Cuda", Assim, # Defina isso para baixar o modelo ajustado CUDA
    "Compute_type" "Int8", Assim,
    "Download_root" "/PATH/OF/Your/Choice"


WhisperModelFASTER_WHISPER_KWARGS

O conteúdo do diretório de download deve ser copiado para/app/backend/data/cache/whisper/models/dentro da sua implantação aberta da Webui. Faz sentido declarar diretamente o seuwhispermodelo viavariável de ambiente, assim:WHISPER_MODEL=Systran/faster-whisper-large-v3

I: Text-to-fala

O transformador local padrão já pode lidar com a função de texto em fala. Se você preferir uma abordagem diferente, siga um dosguias

I: Modelo de incorporação

Para vários propósitos, você precisará de um modelo de incorporação (por exemplo,Pano). Você primeiro terá que baixar esse modelo de sua escolha (por exemplo,Huggingface - Transformadores de frases

dehuggingface_hubimportarSnapshot_download

Snapshot_downloadrepo_id"Sentença-transformadores/minilm-l6-v2", Assim,cache_dir"/PATH/OF/Your/Choice"

O conteúdo do diretório de download deve ser copiado para/app/backend/data/cache/embedding/models/dentro da sua implantação aberta da Webui. Faz sentido declarar diretamente seu modelo de incorporação através dovariável de ambiente, assim:RAG_EMBEDDING_MODEL=sentence-transformers/all-MiniLM-L6-v2

Abordagem ii

Executando o Nullcore com conexão à Internet durante a configuração

Esta é a abordagem mais fácil de alcançar a configuração offline com quase todos os recursos disponíveis na versão online. Aplique apenas os recursos que você deseja usar para sua implantação.

II: fala para texto

Siga oguia

II: Texto-fala

Siga um dosguias

II: Modelo de incorporação

Na sua instalação aberta da webui, navegue paraAdmin SettingsSettingsDocumentse selecione o modelo de incorporação que você gostaria de usar (por exemploSentença-Transformer/Minilm-L6-V2). Após a seleção, clique no botão de download ao lado.

Depois de instalar todos os recursos desejados, defina a variável de ambienteOFFLINE_MODE=TrueDependendo do seu tipo de implantação aberta da Webui.

Sidenote

Como mencionado anteriormente, para obter uma experiência totalmente offline com o Nullcore, você deve desconectar sua instância da Internet. O modo offline impede apenas erros no Webui aberto quando não há conexão com a Internet.

Como você desconecta sua instância é sua escolha. Aqui está um exemplo viadocker-compose

serviços
  # requer um proxy reverso
  Open-Webui
    imagemghcr.io/openwebui/abertowebuiprincipal
    reiniciara menos queparou
    ambiente
      Offline_mode = true
      Rag_embedding_model = sentençatransformadores/tudoMinilmL6v2
      Sussurro_model = systran/mais rápidosussurrargrandev3
    volume
      ./abrirwebuidados/app/back -end/dados
      ./models/sentencetransformadores/tudoMinilmL6v2/app/backend/data/cache/incorporação/modelos/
      ./models/systran/fastersussurrargrandev3/app/backend/data/cache/sussurro/modelos/
    redes
      abrirwebuiinterno

redes
  Open-Webui-Internal
    nomeabrirwebuiinternorede
    motoristaponte
    interno verdadeiro