DiDi eleva precisão de QA de 38% para 86% com IA da Amazon Bedrock

De caixa-preta a sistema transparente

O departamento de experiência do cliente (CX) do grupo internacional da DiDi — braço global da gigante chinesa de mobilidade, presente em 14 países com três linhas de negócio (carona, delivery e serviços financeiros) — processa um volume enorme de tickets em espanhol e português todos os meses. A qualidade do atendimento afeta diretamente retenção e confiança da marca, e a solução de garantia de qualidade (QA) que a empresa usava era uma caixa-preta de terceiros: sem transparência, sem rastreabilidade e lenta para se adaptar a novas regras.

A DiDi se uniu à AWS para reconstruir o sistema sobre o Amazon Bedrock. O resultado é uma arquitetura própria e auditável, com três pipelines — verificação de intenção, avaliação de conformidade e análise de Voz do Cliente (VOC) — e um salto de precisão que chama atenção: de 38% para 86% na verificação de intenção.

Quatro desafios de escala

O time enfrentou quatro problemas centrais. Primeiro, julgamentos sem rastreabilidade: o sistema antigo era opaco, sem cadeia de raciocínio visível, o que impedia auditoria. Segundo, a complexidade combinatória de idiomas (espanhol e português) e linhas de negócio, cada combinação com suas próprias regras de conformidade. Terceiro, a resposta lenta a mudanças de padrão — cada ajuste exigia retreinar analistas, criando períodos em que regras velhas e novas coexistiam. Quarto, a falta de detecção proativa de tendências: identificar um surto de um tipo específico de reclamação exigia ler tickets um a um.

O princípio que mudou tudo: gestão de contexto

A descoberta mais valiosa do projeto não foi sobre prompts, e sim sobre controle de contexto — controlar exatamente que informação o modelo vê em cada chamada. Na pipeline de intenção, a abordagem ingênua de passar a árvore completa de categorias mais a conversa ao modelo falhou: o LLM, ao ver todas as opções, comparava uma a uma e “corrigia” rótulos que estavam perfeitamente razoáveis.

A solução foi um design em dois níveis. Na fase de verificação, o modelo recebe apenas o rótulo atual e julga se ele é razoável com base na conversa. Só quando a verificação falha é que entra a fase de classificação, na qual o modelo recebe a árvore completa e recomenda uma alternativa com pontuação de confiança. Esse isolamento de informação elevou a precisão de 38% para 86% na validação em produção.

Conformidade com montagem dinâmica

Na pipeline de avaliação, a DiDi usa um template único de prompt com injeção dinâmica de variáveis: idioma, linha de negócio e critérios de avaliação vivem como configuração externa, montados em tempo de execução. Adicionar um novo item, idioma ou linha exige apenas atualizar configuração — não código. A precisão média da pontuação de conformidade superou 90%.

O sistema também usa a capacidade de Tool Use do Bedrock para forçar o modelo a devolver JSON com schema validado, garantindo que cada nota carregue sua própria cadeia de raciocínio. Para critérios determinísticos, uma camada de pós-validação programática recalibra os julgamentos semânticos do modelo — por exemplo, erros de ortografia são verificados apenas contra as mensagens do próprio agente.

VOC: de horas para minutos

A pipeline de Voz do Cliente usa três estágios — extração paralela, agrupamento de problemas e geração de relatório — para transformar milhares de conversas em insights estruturados. Quando as reclamações sobre taxa de cancelamento dispararam na América Latina, o time acionou uma análise VOC e identificou as causas-raiz em minutos, trabalho que antes consumia horas de leitura manual.

O que isso ensina para quem constrói LLM apps

A conclusão do próprio time da DiDi resume o aprendizado central: o gargalo de desempenho de aplicações com LLM geralmente não está na redação do prompt, mas na gestão de contexto e na definição de dados. Essa capacidade não pode ser terceirizada — é o ativo mais valioso do projeto. Para equipes brasileiras que estão construindo sistemas de atendimento com IA generativa, a lição é direta: invista em controlar o que o modelo vê antes de investir em engenharia de prompt.