GPT-6 ganha cache de prompts mais eficiente: até 90% de desconto em tokens reutilizados

Agentes persistentes mais rápidos e baratos

A OpenAI lançou um sistema de cache de prompts aprimorado para a família GPT-6, com taxas de acerto mais altas por padrão e novas ferramentas para desenvolvedores monitorarem e otimizarem o uso de cache. A mudança beneficia principalmente agentes de IA que trabalham por horas em tarefas complexas — como refatorar bases de código ou produzir documentos e apresentações bem fundamentadas.

Esses agentes fazem uma sequência de chamadas de API que se apoiam umas nas outras, carregando as mesmas instruções, definições de ferramentas e contexto de turnos anteriores. A OpenAI agora reutiliza esse contexto compartilhado entre as requisições, reduzindo o tempo de resposta e oferecendo descontos de até 90% em tokens de entrada cacheados.

O que mudou na prática

• Janela de 30 minutos: descontos de cache passam a valer para prefixos compartilhados reutilizados nesse intervalo.
• Painel de cache de prompts: mostra quanto da entrada da aplicação é servida do cache, com gráfico de composição comparando tokens cacheados e não cacheados.
• Controle de profundidade: o desenvolvedor pode escolher quanto do prompt quer manter em cache.

Impacto medido em escala

Mario Rodriguez, diretor de produto do GitHub, afirmou que o cache de prompts da OpenAI teve papel crítico para o GitHub Copilot entregar experiências rápidas em escala. Segundo ele, nos últimos meses a equipe reduziu em mais de 50% a fatia de tokens de prompt que exigiam processamento novo, em bilhões de requisições — resultando em pilha de inferência mais eficiente e primeiro tempo de resposta mais rápido.

Por que isso importa agora

Com o crescimento dos agentes autônomos, o custo de reprocessar contexto repetido virou gargalo real de orçamento e latência. Um cache mais inteligente transforma o perfil de custo de aplicações que conversam por longos períodos, permitindo que agentes persistentes operem de forma contínua sem estourar a conta. Para quem desenvolve com GPT-6, entender e monitorar o cache deixa de ser detalhe técnico e passa a ser vantagem competitiva.