Filtros

Os filtros são usados para executar ações contra mensagens de usuário recebidas e mensagens de assistente de saída (LLM). As ações potenciais que podem ser tomadas em um filtro incluem o envio de mensagens para plataformas de monitoramento (como Langfuse ou Datadog), modificando o conteúdo da mensagem, bloqueando mensagens tóxicas, traduzindo mensagens para outro idioma ou avaliar mensagens limitando de determinados usuários. Uma lista de exemplos é mantida noPipelines repo. Os filtros podem ser executados como uma função ou em um servidor de pipelines. O fluxo de trabalho geral pode ser visto na imagem abaixo.

Quando um pipeline de filtro é ativado em um modelo ou tubo, a mensagem recebida do usuário (ou "entrada") é passada para o filtro para processamento. O filtro executa a ação desejada contra a mensagem antes de solicitar a conclusão do bate -papo do modelo LLM. Finalmente, o filtro executa o pós-processamento na mensagem LLM de saída (ou "outlet") antes de ser enviado ao usuário.