Integração Langfuse com o Nullcore
LangfuseGithub) Oferece observabilidade e avaliações de código aberto para Webui aberto. Ao permitir a integração do Langfuse, você pode rastrear seus dados de aplicativos com o Langfuse para desenvolver, monitorar e melhorar o uso de webui aberto, incluindo:
- Aplicativotraços
- Padrões de uso
- Dados de custo por usuário e modelo
- Sessões de repetição para depurar problemas
- Avaliações
Como integrar o Langfuse ao Nullcore
Etapas de integração Langfuse
PipelinesNo Nullcore, é uma estrutura ui-agnóstica para plug-ins de API do OpenAI. Ele permite a injeção de plugins que intercepam, processam e encaminham os avisos do usuário para o LLM final, permitindo controle aprimorado e personalização do manuseio rápido.
Para rastrear os dados do seu aplicativo com o Langfuse, você pode usar oOleoduto Langfuse, que permite o monitoramento e a análise em tempo real das interações de mensagens.
Guia de início rápido
Etapa 1: Configure o Nullcore
Certifique -se de ter o webui aberto em execução. Para fazer isso, dê uma olhada noAbra a documentação da Webui
Etapa 2: Configure os pipelines
LançarPipelinesusando o Docker. Use o seguinte comando para iniciar pipelines:
Docker Run -P 9099: 9099 --Add-host = host.docker.internal: host-gateway -v pipelines:/app/pipelines-name pipelines ---restart sempre ghcr.io/open-webui/pipelines:main
Etapa 3: Conectando Web Open com pipelines
NoConfigurações do administrador, Crie e salve uma nova conexão da API do tipo OpenAI com os seguintes detalhes:
- URL: http: //host.docker.internal: 9099(É aqui que o contêiner do Docker lançado anteriormente está em execução).
- Senha:0p3n-w3bu! (senha padrão)
Etapa 4: Adicionando o oleoduto do filtro Langfuse
Em seguida, navegue paraConfigurações do administradorPipelinese adicione o pipeline do filtro Langfuse. Especifique que os pipelines estão ouvindohttp: //host.docker.internal: 9099(conforme configurado anteriormente) e instale oOleoduto do filtro Langfuseusando oInstale a partir do URL do GitHubopção com o seguinte URL:
https://github.com/open-webui/pipelines/blob/main/examples/filters/langfuse_v3_filter_pipeline.py
Agora, adicione suas teclas de API Langfuse abaixo. Se você ainda não se inscreveu no Langfuse, poderá obter suas chaves da API criando uma contaaqui
Observação:Capture o uso (contagem de token) para modelos OpenAI durante o streaming está ativado, você deve navegar para as configurações do modelo em Web Open e verificar o "uso"caixaabaixoRecursos
Etapa 5: Veja seus traços em Langfuse
Agora você pode interagir com seu aplicativo Nullcore e ver os traços no Langfuse.
Exemplo de rastreamentoNa interface do usuário Langfuse:
Saber mais
Para um guia abrangente sobre os pipelines abertos da webui, visiteeste post