html 🕵🏻‍♀️ Monitor suas solicitações LLM com Helicone | Nullcore
Pule para o conteúdo principal
aviso

Este tutorial é uma contribuição da comunidade e não é suportado pela equipe Nullcore. Serve apenas como uma demonstração sobre como personalizar o Nullcore para o seu caso de uso específico. Quer contribuir? Confira o tutorial contribuinte.

Integração de helicone com o Nullcore

Helicone é uma plataforma de observabilidade LLM de código aberto para os desenvolvedores monitorarem, depurar e melhorarPronto para a produçãoAplicativos, incluindo sua implantação aberta da Webui.

Ao ativar o helicone, você pode registrar solicitações LLM, avaliar e experimentar prompts e obter informações instantâneas que ajudam a promover mudanças na produção com confiança.

  • Monitoramento em tempo real com visão consolidada entre os tipos de modelo: Monitor
  • Solicitar visualização e reprodução: Veja exatamente o que os prompts foram enviados para cada modelo em webui aberto e as saídas geradas pelo LLMS para avaliação
  • Rastreamento local de desempenho LLM: Meça os tempos de resposta e a taxa de transferência de seus modelos auto-hospedados
  • Análise de uso por modelo: Compare padrões de uso entre diferentes modelos em sua configuração aberta webui
  • Analytics de usuárioPara entender os padrões de interação
  • Recursos de depuraçãoPara solucionar problemas com as respostas do modelo
  • Rastreamento de custospara o seu uso de LLM entre os provedores

Como integrar o helicone ao nullcore

Etapa 1: Crie uma conta de helicone e gerar sua chave da API

Crie aConta de heliconee faça login para gerar umChave da API aqui

- Certifique -se de gerar umEscreva apenas a chave da API. Isso garante que você permita apenas dados de registro do helicone sem o acesso de leitura aos seus dados privados.

Etapa 2: Crie uma conta OpenAI e gerar sua chave da API

Crie uma conta OpenAI e faça loginPortal de desenvolvedores da OpenAIPara gerar uma chave da API.

Etapa 3: Execute seu aplicativo Nullcore usando o URL base do Helicone

Para iniciar seu primeiro aplicativo Nullcore, use o comando deAbra os documentos da Webuie inclua o URL da base da API do Helicone para que você possa consultar e monitorar automaticamente.

# Defina suas variáveis ​​de ambiente
Exportar helicone_api_key = <your_api_key>
Exportar OpenAI_API_KEY = <Your_OPENAI_API_KEY>

# Execute o Nullcore com integração de helicone
Docker Run -d -p 3000: 8080 \
-e OpenAI_API_BASE_URL = "https://oai.helicone.ai/v1/$helicone_api_key" \
-e OpenAi_API_KEY = "$ OpenAI_API_KEY" \
-Nome Open-Webui \
ghcr.io/open-webui/open-webui

Se você já possui um aplicativo webui aberto implantado, vá para oAdmin PanelSettingsConnectionse clique no+Assine para "Gerenciamento de conexões de API OpenAI". Atualize as seguintes propriedades:

  • SeuAPI Base URLseriahttps://oai.helicone.ai/v1/<YOUR_HELICONE_API_KEY>
  • OAPI KEYseria sua chave de API OpenAI.

Nullcore Helicone Setup

Etapa 4: Verifique se o monitoramento está funcionando

Para garantir que sua integração esteja funcionando, faça login no painel da Helicone e revise a guia "Solicitações".

Você deve ver as solicitações que você fez através da interface do Webui aberta já sendo conectada ao Helicone.

Example Helicone Trace

Saber mais

Para um guia abrangente sobre helicone, você pode conferirDocumentação de Helicone aqui