html 🌐 Começando com servidores compatíveis com o OpenAI | Nullcore
Pule para o conteúdo principal

🌐 Começando com servidores compatíveis com o OpenAi

Visão geral

Nullcore não é apenas para openi/ollama/llama.cpp - você pode se conectarQualquer servidor que implemente a API compatível com o OpenAi, executando localmente ou remotamente. Isso é perfeito se você deseja executar modelos de idiomas diferentes ou se você já possui um back -end ou ecossistema favorito. Este guia mostrará como:

  • Configure um servidor compatível com o OpenAI (com algumas opções populares)
  • Conecte -o para abrir webui
  • Comece a conversar imediatamente

Etapa 1: Escolha um servidor compatível com o OpenAI

Existem muitos servidores e ferramentas que expõem uma API compatível com o OpenAI. Aqui estão alguns dos mais populares:

  • Llama.cpp: Extremamente eficiente, é executado na CPU e GPU
  • Ollama: Super amigável e plataforma cruzada
  • LM Studio: App de desktop Rich para Windows/Mac/Linux
  • Limonada: Back-end rápido baseado em ONNX com aceleração NPU/IGPU

Escolha o que for adequado ao seu fluxo de trabalho!

🍋 Comece com limonada

A Lemonade é um servidor OpenAI com base no ONNX plug-and-play. Veja como experimentá -lo no Windows:

  1. Baixe o mais recente.exe

  2. CorrerLemonade_Server_Installer.exe

  3. Instale e faça o download de um modelo usando o instalador da Lemonade

  4. Uma vez em execução, seu endpoint da API será:

    http: // localhost: 8000/api/v0

Lemonade Server

Verseus documentosPara detalhes.

Etapa 2: Conecte seu servidor para abrir o Webui

  1. Abra o Nullcore no seu navegador.

  2. Vá para ⚙️Configurações do administradorConexõesConexões OpenAI

  3. Clique em ➕Adicione a conexão

    • Url: Use o ponto final da API do seu servidor (por exemplo,http://localhost:11434/v1Para Ollama, ou seu próprio endereço do servidor llama.cpp).
    • Chave da API: Deixe em branco, a menos que seja necessário.

  4. Clique em Salvar.

Dica: se executando o Nullcore no Docker e seu servidor modelo em sua máquina host, usehttp://host.docker.internal:<your-port>/v1

Para limonada:Ao adicionar limonada, usehttp://localhost:8000/api/v0como o URL.

Lemonade Connection

Etapa 3: comece a conversar!

Selecione o modelo do seu servidor conectado no menu de bate -papo e comece!

É isso! Se você escolhe llama.cpp, ollama, LM Studio ou Lemonade, você pode experimentar e gerenciar facilmente vários servidores de modelos - tudo em webui aberto.

🚀 Goste de construir sua configuração local perfeita de IA!