O desafio: soberania de dados
A OneAdvanced, fornecedora britânica de software que atende mais de 10 mil clientes em setores regulados como saúde e jurídico, precisava entregar IA sem que nenhum dado saísse do Reino Unido. Os modelos desejados — Llama 4 Maverick e Llama Guard 4 — ainda não estavam disponíveis em serviços gerenciados na região. A saída foi auto-hospedar LLMs de peso aberto em infraestrutura AWS totalmente controlada, na região de Londres (eu-west-2).
A arquitetura da solução
A solução combina quatro componentes principais:
- vLLM no Amazon SageMaker AI servindo o Llama 4 Maverick (FP8) e o Llama Guard 4 em instâncias p5.48xlarge — migradas de p4d.24xlarge para suportar janelas de contexto de 120K–128K tokens.
- Mais de 50 agentes especializados rodando no Amazon ECS com o Strands Agents SDK, cada um com seu próprio system prompt, configuração de ferramentas e formulário de entrada, com configuração armazenada no DynamoDB.
- Pipeline de RAG com pgvector no Amazon Aurora PostgreSQL: documentos enviados ao S3 são convertidos em markdown, divididos em blocos de 2.048 tokens e incorporados para busca vetorial, com embeddings do modelo
intfloat/multilingual-e5-large-instruct. - Llama Guard 4 como camada de moderação, filtrando entradas nocivas antes que cheguem ao modelo principal.
De zero a 50 agentes em três semanas
O ponto mais notável do caso é a velocidade: a OneAdvanced passou do primeiro agente para mais de 50 em apenas três semanas, com a maioria construída em menos de um dia. A empresa avaliou LangChain, LangGraph e outros frameworks antes de escolher o Strands Agents SDK, pela abordagem model-first, sem definições rígidas de workflow, e pelo suporte a interações no estilo entrevista. Também foi criado um construtor de agentes no-code, permitindo que gerentes de produto, clínicos e analistas criem e configurem agentes por interface visual, sem escrever código.
Um padrão de design interessante é o agente estilo entrevista: em vez de esperar o usuário fornecer tudo de uma vez, ele faz perguntas estruturadas (“Pergunta 1 de 3: quais pontos de dor sua solução de IA pretende resolver?”), construindo contexto por turnos e produzindo resultados melhores do que prompts abertos.
Segurança e resultados
A solução roda em produção desde julho de 2025, sem que nenhum dado do usuário saia do Reino Unido e sem retenção de consultas para treinamento. A OneAdvanced é uma das primeiras organizações do Reino Unido e da Europa a obter a certificação ISO 42001 de governança de IA e é signatária do EU AI Pact. O engajamento com a AWS recebeu nota máxima (5/5) de satisfação do cliente.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
