🔎 Generação aumentada de recuperação (RAG)

aviso

Se você está usandoOllama, observe que issoPadrões para um comprimento de contexto de 2048-token. Isso significa que os dados recuperados podemnão ser usadoPorque não se encaixa na janela de contexto disponível. Para melhorarDesempenho de geração de recuperação para recuperação (RAG), você deveAumente o comprimento do contextopara8192+ tokensem suas configurações de modelo Ollama.

A geração aumentada de recuperação (RAG) é uma tecnologia de ponta que aprimora os recursos de conversação dos chatbots, incorporando o contexto de diversas fontes. Ele funciona recuperando informações relevantes de uma ampla gama de fontes, como documentos locais e remotos, conteúdo da Web e até fontes multimídia como vídeos do YouTube. O texto recuperado é então combinado com um modelo de pano predefinido e prefixo para o prompt do usuário, fornecendo uma resposta mais informada e contextualmente relevante.

Uma das principais vantagens do RAG é sua capacidade de acessar e integrar informações de várias fontes, tornando -a uma solução ideal para cenários de conversação complexos. Por exemplo, quando um usuário faz uma pergunta relacionada a um documento ou página da web específica, o RAG pode recuperar e incorporar as informações relevantes dessa fonte na resposta do bate -papo. O RAG também pode recuperar e incorporar informações de fontes multimídia, como os vídeos do YouTube. Ao analisar as transcrições ou legendas desses vídeos, o RAG pode extrair informações relevantes e incorporá -las na resposta do bate -papo.

Integração local e remota de trapos

Os documentos locais devem primeiro ser enviados pela seção de documentos da área de espaço de trabalho para acessá -los usando o#símbolo antes de uma consulta. Clique no URL formatado na que aparece acima da caixa de bate -papo. Uma vez selecionado, um ícone de documento aparece acimaSend a message, indicando recuperação bem -sucedida.

Você também pode carregar documentos na área da área de trabalho com o acesso deles iniciando um prompt com#, seguido por um URL. Isso pode ajudar a incorporar o conteúdo da Web diretamente em suas conversas.

Pesquisa na web por trapo

Para integração de conteúdo da web, inicie uma consulta em um bate -papo com#, seguido pelo URL alvo. Clique no URL formatado na caixa que aparece acima da caixa de bate -papo. Uma vez selecionado, um ícone de documento aparece acimaSend a message, indicando recuperação bem -sucedida. Abra o webui busca e analisa informações do URL, se puder.

dica

As páginas da web geralmente contêm informações estranhas, como navegação e rodapé. Para obter melhores resultados, vincule-se a uma versão bruta ou amiga do leitor da página.

Personalização do modelo de pano

Personalize o modelo de pano doAdmin PanelSettingsDocumentsmenu.

Suporte de incorporação de pano

Altere o modelo de incorporação de pano diretamente noAdmin PanelSettingsDocumentsmenu. Esse recurso suporta modelos Ollama e Openai, permitindo aprimorar o processamento de documentos de acordo com seus requisitos.

Citações no recurso RAG

O recurso RAG permite que os usuários rastreem facilmente o contexto de documentos alimentados com LLMs com citações adicionais para pontos de referência. Isso garante transparência e responsabilidade no uso de fontes externas em seus bate -papos.

Oleoduto RAG aprimorado

A sub-traços de pesquisa híbrida TOGLABLE para o nosso recurso de incorporação de pano aprimora a funcionalidade do RAG viaBM25, com renomeamento movido porCrossEncodere limiares de pontuação de relevância configuráveis. Isso fornece uma experiência de pano mais precisa e personalizada para o seu caso de uso específico.

Pipeline do YouTube Rag

O pipeline RAG dedicado para resumir vídeos do YouTube via URLs de vídeo permite uma interação suave com as transcrições de vídeo diretamente. Esse recurso inovador permite que você incorpore o conteúdo de vídeo em seus bate -papos, enriquecendo ainda mais sua experiência de conversa.

Documentar a análise

Uma variedade de analisadores extrai conteúdo de documentos locais e remotos. Para mais, veja oget_loaderfunção.

Integração do Google Drive

Quando emparelhado com um projeto do Google Cloud que possui a API do Google Picker e a API do Google Drive, esse recurso permite que os usuários acessem diretamente seus arquivos de unidade da interface de bate -papo e enviem documentos, slides, folhas e mais e enviem como contexto para o seu bate -papo. Pode ser ativadoAdmin PanelSettingsDocumentsmenu. Deve definirGOOGLE_DRIVE_API_KEY and GOOGLE_DRIVE_CLIENT_IDvariáveis de ambiente a serem usadas.

Instruções detalhadas

Crie um cliente OAuth 2.0 e configure as origens JavaScript autorizadas e o URI de redirecionamento autorizado para ser o URL (inclua a porta, se houver) que você usa para acessar sua instância de webui.
Anote o ID do cliente associado a esse cliente OAuth.
Certifique -se de ativar a API do Google Drive e a API do Google Picker para o seu projeto.
Defina também seu aplicativo (projeto) como teste e adicione seu e -mail do Google Drive à lista de usuários
Defina o escopo da permissão para incluir tudo o que essas APIs têm a oferecer. E como o aplicativo estaria no modo de teste, nenhuma verificação é necessária pelo Google para permitir que o aplicativo acesse os dados dos usuários limitados de teste.
Vá para a página API do Google Picker e clique no botão Criar credenciais.
Crie uma chave da API e em restrições de aplicativos e escolha sites. Em seguida, adicione o URL da sua instância de webui, o mesmo que as origens JavaScript autorizadas e as configurações de URIs de redirecionamento autorizado na Etapa 1.
Configurar restrições de API na chave da API para ter acesso apenas à API do Google Drive e API do Google Picker
Configure a variável de ambiente,GOOGLE_DRIVE_CLIENT_IDPara o ID do cliente do cliente OAuth da Etapa 2.
Configure a variável de ambienteGOOGLE_DRIVE_API_KEYPara o valor da chave da API, configure -se na etapa 7 (não no segredo do cliente OAuth da etapa 2).
Configure oGOOGLE_REDIRECT_URIPara o URL da minha instância de webui (inclua a porta, se houver).
Em seguida, relança sua instância de webui com essas três variáveis de ambiente.
Depois disso, verifique se o Google Drive foi ativado sobAdmin Panel < Settings < Documents < Google Drive