🛌 Integrar -se à Amazon Bedrock
Este tutorial é uma contribuição da comunidade e não é suportado pela equipe Nullcore. Serve apenas como uma demonstração sobre como personalizar o Nullcore para o seu caso de uso específico. Quer contribuir? Confira o tutorial contribuinte.
Integração de webui aberto com a Amazon Bedrock
Neste tutorial, exploraremos uma das abordagens mais comuns e populares para integrar o Webui aberto à Amazon Bedrock.
Pré -requisitos
Para seguir este tutorial, você deve ter o seguinte:
- Uma conta AWS ativa
- Uma chave de acesso AWS ativa e chave secreta
- Permissões Iam na AWS para ativar modelos de rock ou modelos já habilitados
- Docker instalado em seu sistema
O que é Amazon Bedrock
Diretor do site da AWS:
"A Amazon Bedrock é um serviço totalmente gerenciado que oferece uma opção de modelos de base de alto desempenho (SFMs) das principais empresas de IA, como laboratórios AI21, antrópicos, coere, luma, meta, Mistral AI, Poolside, em breve), a estabilidade da AI e a Amazon através de um único API, além de um amplo conjunto de capacidade, que você precisa de sorda para gerar AI e a Amazon por meio de um único API, além de um amplo conjunto de capacidade, que você precisa de sorda. Bedrock, you can easily experiment with and evaluate top FMs for your use case, privately customize them with your data using techniques such as fine-tuning and Retrieval Augmented Generation (RAG), and build agents that execute tasks using your enterprise systems and data sources. Since Amazon Bedrock is serverless, you don't have to manage any infrastructure, and you can securely integrate and deploy generative AI capabilities into your applications using the Serviços da AWS que você já está familiarizado. "
Para saber mais sobre o Bedrock, visite:Página oficial da Amazon Bedrock
Etapas de integração
Etapa 1: Verifique o acesso aos modelos de base da Amazon Bedrock
Antes que possamos nos integrar ao Bedrock, você primeiro deve verificar se tem acesso a pelo menos um, mas de preferência muitos, dos modelos básicos disponíveis. No momento da redação deste artigo (fevereiro de 2025), havia 47 modelos básicos disponíveis. Você pode ver na captura de tela abaixo que tenho acesso a vários modelos. Você saberá se tiver acesso a um modelo se ele disser "✅ Acesso concedido" ao lado do modelo. Se você não tiver acesso a nenhum modelo, receberá um erro na próxima etapa.
A AWS fornece uma boa documentação para solicitação de acesso / ativação desses modelos aqui:Documentos de acesso ao modelo da Amazon Bedrock
Etapa 2: Configure o gateway de acesso à base
Agora que temos acesso a pelo menos um modelo base de rocha, precisamos configurar o gateway de acesso à rocha ou bolsa. Você pode pensar na bolsa como uma espécie de proxy ou middleware desenvolvido pela AWS que envolve os pontos de extremidade nativos da AWS/SDK para Bedrock e, por sua vez, expõe pontos de extremidade compatíveis com o esquema do OpenAI, que é o que o Webui aberto exige.
Para referência, aqui está um mapeamento simples entre os pontos de extremidade:
| Endpoint OpenAi | Método da rocha |
|---|---|
/models | list_inference_profiles |
/models/{model_id} | list_inference_profiles |
/chat/completions | Converse ou converse_stream |
/embeddings | Invoke_model |
O repositório da bolsa pode ser encontrado aqui:Bedrock Access Gateway Repo
Para configurar a bolsa, siga as etapas abaixo:
- Clone the Bag repo
- Remova o padrão
dockerfile - Mudar o nome do
Dockerfile_ecsparaDockerfile
Agora estamos prontos para construir e lançar o contêiner do Docker usando:
Docker Build. -f Dockerfile -t Bedrock -gateway
Docker Run -e AWS_ACCESS_KEY_ID = $ AWS_ACCESS_KEY_ID -E AWS_SECRET_ACCESS_KEY = $ AWS_SECRET_ACCESS_KEY -E -AWS_SESSH_TOKEN = $ AWS_Session_Token -E AWS_GION = US -EAST -1 -D -P 8000: 80 Bedr.
Agora você deve poder acessar a página de arrogância da bolsa em:http: // localhost: 8000/docs
Etapa 3: Adicione conexão no Webui Open
Agora que você a bolsa em ascensão, é hora de adicioná-la como uma nova conexão no Webui Open.
- No painel de administração, vá para Configurações -> Conexões.
- Use o botão "+" (mais) para adicionar uma nova conexão no OpenAI
- Para o URL, use "http: //host.docker.internal: 8000/API/V1
- Para a senha, a senha padrão definida na bolsa é "Bedrock". Você sempre pode alterar esta senha nas configurações da bolsa (consulte Default_API_Keys)
- Clique no botão "Verificar conexão" e você deverá ver o alerta verificado da conexão do servidor "no canto superior direito
Etapa 4: comece a usar modelos de base de rock
Agora você deve ver todos os seus modelos de rocha disponíveis!
Outros tutoriais úteis
Estes são alguns outros tutoriais muito úteis ao trabalhar para integrar a Webui Nullcore à Amazon Bedrock.