Padrões de resiliência com Amazon Bedrock e LLM Gateway: circuit breaker, retry e fallback

Quando sua aplicação depende de chamadas a APIs de LLMs, falhas são inevitáveis — timeouts, rate limiting, erros transientos e indisponibilidade de modelos. O tutorial da AWS mostra como implementar padrões de resiliência usando o Amazon Bedrock em conjunto com um LLM Gateway, aplicando técnicas como circuit breaker, retry com backoff exponencial e fallback entre modelos.

Circuit breaker: protegendo o sistema

O padrão circuit breaker evita que falhas em cascata derrubem sua aplicação. Quando um modelo do Bedrock começa a falhar consistentemente (timeouts ou erros 5xx), o circuito “abre” e as chamadas subsequentes são rejeitadas rapidamente — em vez de acumular timeouts que consomem recursos e degradam a experiência do usuário. Após um período de espera configurável, o circuito entra em estado “half-open” e permite algumas chamadas de teste antes de fechar completamente.

O tutorial mostra como configurar thresholds de falha (ex: 50% de erro em 10 requisições consecutivas) e janelas de recuperação adaptadas ao comportamento de cada modelo.

Retry com backoff exponencial

Para erros transient — rate limiting (429) ou falhas de rede — o padrão de retry com backoff exponencial é essencial. Em vez de tentar imediatamente, a aplicação espera intervalos crescentes (1s, 2s, 4s, 8s…) antes de cada nova tentativa, reduzindo a pressão sobre o serviço e aumentando a chance de sucesso.

O LLM Gateway gerencia essa lógica de forma transparente para o código da aplicação, permitindo configurar número máximo de tentativas, intervalo base e jitter (variação aleatória para evitar thundering herd).

Fallback entre modelos

O padrão mais poderoso é o fallback automático: se o Claude Opus estiver indisponível ou acima do orçamento de latência, a requisição é redirecionada para o Claude Sonnet (ou até para um modelo de outro provedor). O Gateway permite configurar cadeias de fallback com critérios de elegibilidade — latência máxima, custo por token e qualidade mínima aceitável.

Combinando os três padrões, times de engenharia criam aplicações de IA que resistem a falhas de infraestrutura sem sacrificar a experiência do usuário final.