🧠 Solução de problemas de trapo (geração de recuperação upmentada)

A geração de recuperação de recuperação (RAG) permite que os modelos de linguagem raciocinem sobre conteúdo externo-documentos, bases de conhecimento e muito mais-recuperando informações relevantes e alimentando-as no modelo. Mas quando as coisas não funcionam conforme o esperado (por exemplo, o modelo "alucina" ou erra informações relevantes), muitas vezes não é culpa do modelo - é uma questão de contexto.

Vamos quebrar as causas e soluções comuns para que você possa sobrecarregar sua precisão de pano! 🚀

Problemas comuns de pano e como corrigi -los 🛠️

1. O modelo "não pode ver" seu conteúdo 👁️❌

Esse é o problema mais comum - e geralmente é causado por problemas durante o processo de ingestão de conteúdo. O modelo não alucina porque está errado, alucina porque nunca recebeu o conteúdo certo em primeiro lugar.

✅ Solução: verifique suas configurações de extração de conteúdo

Navegar para:Configurações do administrador> Documentos
Verifique se você está usando um mecanismo robusto de extração de conteúdo, como:
- Apache Tika
- Documentos
- Extratores personalizados (dependendo dos tipos de documentos)

📌 Dica: tente fazer upload de um documento e visualize o conteúdo extraído. Se estiver em branco ou ausente seções de chave, você precisará ajustar as configurações do extrator ou usar um mecanismo diferente.

2. Apenas uma pequena parte do documento está sendo usada 📄➡️✂️

O Nullcore foi projetado para funcionar com modelos que possuem janelas de contexto limitadas por padrão. Por exemplo, muitos modelos locais (por exemplo, modelos padrão de Ollama) são limitados a 2048 tokens. Por esse motivo, o Nullcore reduz agressivamente o conteúdo recuperado para se encaixar no espaço disponível.

✅ Soluções:

Vá paraConfigurações do administrador> Documentos
Qualquer:
- 💡 Habilite “Incorporação e recuperação de desvio” - isso envia conteúdo completo diretamente sem aplicar filtros de recuperação estritos.
- 🔍 ALTEGEN ON “Modo de contexto completo” - isso injeta conteúdo mais abrangente no prompt do modelo.

📌 Aviso: esteja atento aos limites de contexto - se seu modelo não conseguir lidar com mais tokens, ele ainda será cortado.

3. O limite de token é muito curto ⏳

Mesmo que a recuperação funcione, seu modelo ainda não pode processar todo o conteúdo que recebe - porque simplesmente não pode.

Por padrão, muitos modelos (especialmente LLMs hospedados em Ollama) são limitados a uma janela de contexto de 2048-token. Isso significa que apenas uma fração dos seus dados recuperados será realmente usada.

✅ Soluções:

🛠️ Estenda a duração do contexto do modelo:
- Navegue até oEditor de modelos ou controles de bate -papo
- Modifique o comprimento do contexto (por exemplo, aumente para 8192 mais de tokens se suportado)

ℹ️ Nota: O padrão de 2048-Token é um grande limitador. Para melhores resultados de pano, recomendamos o uso de modelos que suportam contextos mais longos.

✅ Alternativa: use um LLM externo com maior capacidade de contexto

Experimente GPT-4, GPT-4O, Claude 3, Gemini 1.5 ou Mixtral com 8K+ Contexto
Compare o desempenho com o ollama - não a diferença de precisão quando mais conteúdo pode ser injetado!

📌 Dica: fique com modelos externos para um melhor desempenho de pano nos casos de uso da produção.

4. O modelo de incorporação é de baixa qualidade ou incompatível 📉🧠

Incorporações ruins = recuperação ruim. Se a representação vetorial do seu conteúdo for ruim, o retriever não puxará o conteúdo certo - não importa o quão poderoso seja o seu LLM.

✅ Solução:

Mudar para um modelo de incorporação de alta qualidade (por exemplo, minilm-l6-v2, instrutor X ou incorporação de Openai)
Vá para:Configurações do administrador> Documentos
Depois de alterar o modelo, não se esqueça de:
- ⏳ Reindex Todos os documentos existentes para que as novas incorporações entrem em vigor.

📌 Lembre -se: a incorporação da qualidade afeta diretamente o conteúdo recuperado.

5. ❌ 400: 'NonType' Objeto não tem atributo 'Encode'

Este erro indica um modelo de incorporação equivocado ou ausente. Quando o Nullcore tenta criar incorporação, mas não possui um modelo válido carregado, ele não pode processar o texto - e o resultado é esse erro enigmático.

💥 Causa:

Seu modelo de incorporação não está configurado corretamente.
Pode não ter baixado completamente.
Ou se você estiver usando um modelo de incorporação externo, ele pode não estar acessível.

✅ Solução:

Vá para:Configurações do administrador> Documentos> Modelo de incorporação
Salve o modelo de incorporação novamente - mesmo que ele já esteja selecionado. Isso obriga uma receita/download.
Se você estiver usando uma ferramenta de incorporação remota/externa, verifique se está em execução e acessível para abrir o WebUI.

📌 Dica: Após a fixação da configuração, tente novamente um documento e verifique se nenhum erro é mostrado nos logs.

🧪 Dica profissional: teste com GPT-4O ou GPT-4

Se você não tem certeza se o problema está com a recuperação, os limites de token ou a incorporação-use o GPT-4O temporariamente (por exemplo, via API OpenAI). Se os resultados se tornarem repentinamente mais precisos, é um forte sinal de que o limite de contexto do modelo local (2048 por padrão em Ollama) é o gargalo.

O GPT-4O lida com entradas maiores (128k tokens!)
Fornece uma ótima referência para avaliar a confiabilidade do seu sistema

Lista de verificação de resumo ✅

Problema	Consertar
🤔 O modelo não pode "ver" o conteúdo	Verifique as configurações do extrator de documentos
🧹 Apenas parte do conteúdo usado	Ativar modo de contexto completo ou desvio de incorporação
⏱ Limitado até 2048 Token Cap	Aumentar o comprimento do contexto do modelo ou usar LLM de grande contexto
📉 Recuperação imprecisa	Mude para um modelo de incorporação melhor, depois o reindex
Ainda confuso?	Teste com GPT-4O e compare saídas

Ao otimizar essas áreas - extração, incorporação, recuperação e contexto de modelo - você pode melhorar drasticamente com que precisão seu LLM funciona com seus documentos. Não deixe que uma janela de 2048 toques ou o oleoduto de recuperação fraca retire o poder da sua IA.