Autoscaling em três gerações: por que o tráfego de agentes de IA quebra tudo

O problema: tráfego de agentes não se comporta como tráfego humano

Por décadas, toda a infraestrutura de escalonamento foi construída sobre uma premissa silenciosa: o tráfego se parece com o que as pessoas geram. Picos previsíveis, rampas graduais, usuários independentes. O tráfego de agentes de IA quebrou essa premissa — e os dois modelos dominantes de escalonamento (sob demanda e serverless) falham sob ele.

Tráfego agêntico chega em rajadas imprevisíveis, se repete, e tenta de novo incansavelmente. Ele drena os custos de escalonamento de um jeito que o tráfego humano nunca fez. A comparação abaixo, adaptada do artigo original, resume a diferença:

As três gerações do autoscaling

Geração 1 — Antecipação (instâncias sob demanda)

No começo, escalar era um exercício humano. Em eventos ao vivo, a equipe pré-aquecia frotas de EC2 dias antes, definia limites de autoscaling e montava um “war room”. A premissa central: o pico é previsível, então provisione antes dele. Funcionava porque o tráfego tinha curva, pico e cauda.

Geração 2 — Confiança reativa (serverless)

Depois veio o serverless — API Gateway, Lambda, Step Functions — e a conversa sobre provisionamento praticamente sumiu. A premissa virou: você não precisa antecipar, porque a plataforma reage mais rápido que a demanda. Continuava funcionando porque o tráfego ainda era majoritariamente humano.

O pivô: por que a orquestração de máquinas quebra as duas

Agentes autônomos, cadeias de tool-calling em múltiplas etapas e loops de recuperação quebram os dois modelos ao mesmo tempo. Derrotam a Geração 1 porque não há agenda a antecipar; derrotam a Geração 2 porque escalonamento reativo é um sinal atrasado — quando o autoscaling baseado em CPU dispara, você já está degradado. Pior: o serverless executa fielmente cada chamada redundante de um loop descontrolado — e cobra por essa disfunção.

A resposta em quatro camadas

Camada 1 — Escalonamento por comportamento

Pare de escalonar por uso de CPU. É um sinal atrasado. O que você quer monitorar é velocidade e formato das requisições. Requisições quase idênticas vindas de um mesmo chamador são indício de loop de agente. O padrão original sugere um detector que combina velocidade de requisição com diversidade de payload para colocar um chamador em quarentena antes que ele queime ciclos de CPU.

Camada 2 — O gateway de IA como amortecedor

Um gateway tradicional conta tráfego HTTP. Um gateway de IA precifica cada chamada em tokens ou computação e estrangula conexões que excedem o orçamento antes de chegar ao núcleo de inferência. Dois recursos importam: throttling de custo por conexão e cache semântico — cachear por similaridade de prompt, para que consultas repetitivas de agentes nunca cheguem ao modelo. O cuidado: cache semântico pode devolver respostas obsoletas ou, pior, vazar a resposta privada de um usuário para outro se as chaves não forem bem escopadas.

Camada 3 — Filas assíncronas

Humanos esperam resposta em menos de um segundo. Agentes autônomos, em geral, não. Os SLAs são fundamentalmente diferentes — e mudar para padrões assíncronos ajuda a achatar picos. Quando a fila atinge o limite, rejeite com HTTP 429 e sinalize Retry-After: é um pedido para o cliente desacelerar com backoff, não para enfileirar infinitamente.

Camada 4 — Controle de admissão por tokens

Em vez de contar requisições, mude a unidade de admissão de “contagem de chamadas” para “custo de recurso”. Um token bucket por sessão — debitado por tokens ou computação realmente usados — permite cortar uma cadeia de raciocínio pesada que consome computação desproporcional, enquanto chamadores leves passam livremente.

A resposta real: mover a inteligência para a origem

As quatro camadas são necessárias, mas repare no que têm em comum: são todas válvulas na entrada do cano. Absorver carga não determinística na camada de infraestrutura é um jogo que você só perde lentamente. Por isso a inteligência precisa subir na cadeia: o cliente tem de saber quando parar de pedir. Um cliente-agente bem-comportado carrega orçamento de retries, respeita 429 e Retry-After, e roda um circuit breaker que abre sob falha sustentada.

A lição para quem projeta arquiteturas de agentes hoje: construa o orçamento de retries, o circuit breaker e o backpressure cooperativo no cliente desde o primeiro dia — não como um pensamento tardio que aparece quando começa a custar dinheiro.