Imagine um cenário comum em qualquer empresa que opera business intelligence em escala: um usuário abre um dashboard minutos antes de uma reunião importante e encontra um gráfico em branco. Todos os monitores de infraestrutura estão saudáveis — servidores no ar, APIs respondendo, pipeline de dados concluído. Ainda assim, o conteúdo na tela está quebrado, e nenhum sistema de monitoramento sinalizou nada. Essa classe de falha é, por natureza, silenciosa: ela existe apenas no que o usuário vê.
Foi para atacar esse problema que uma equipe da AWS construiu uma solução de validação automatizada de conteúdo de última milha, que monitora centenas de dashboards e usa LLMs no Amazon Bedrock para detectar elementos ausentes ou incorretos antes que os usuários os vejam.
Onde o monitoramento tradicional falha
O monitoramento de infraestrutura confirma que serviços estão rodando, mas não garante que o conteúdo exibido está correto. A equipe identificou dois problemas distintos: falhas visuais silenciosas (seções em branco, dados desatualizados, estados de erro sem nenhum alerta) e inconsistências numéricas não detectadas (um gráfico renderiza perfeitamente, mas mostra o número errado por causa de filtros mal configurados ou erros de agregação). O risco cresce quando esses dados alimentam sistemas de IA que geram narrativas para líderes de negócio — um erro numérico se propaga diretamente para as decisões executivas.
Uma arquitetura em cinco estágios
A solução é serverless e escala a zero entre os ciclos, mantendo o custo proporcional ao uso real. No estágio 1, o Amazon EventBridge aciona ciclos horários de validação visual e ciclos semanais de validação numérica. No estágio 2, funções Lambda renderizam cada seção do dashboard em navegador headless e capturam screenshots — que passam por uma etapa de redação com Amazon Rekognition para mascarar textos e números antes do armazenamento no S3.
No estágio 3, dois mecanismos de validação rodam em paralelo. A validação visual usa modelos Anthropic Claude para detectar anomalias estruturais e — o ponto mais difícil — distinguir um estado legitimamente vazio de uma falha real. A validação numérica usa um padrão híbrido: o LLM localiza cada métrica e lê seu valor, mas a comparação final é feita por código determinístico, responsável por normalizar unidades e precisão decimal. Nos estágios 4 e 5, alertas são roteados aos donos de cada seção via Slack e os resultados persistem no Redshift para análise de tendências.
Lições de produção e resultados
Duas lições se destacam. Primeiro, projete contra falsos positivos: alarmes falsos matam a adoção, então a precisão vale mais que a velocidade em ciclos horários. Segundo, mantenha os LLMs longe da aritmética: a comparação numérica inicialmente usava dois LLMs, mas inconsistências de arredondamento e tolerância minavam a confiança — substituir essa etapa por código determinístico transformou a precisão em garantia de design.
Em 30 dias de operação, o sistema realizou 153.000 verificações e detectou 802 falhas de conteúdo (0,52% do total), reduzindo o tempo médio de detecção de até 72 horas para menos de 1 hora. Menos de 1% das falhas tinha um relato de usuário correspondente — o que confirma o valor da detecção proativa.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
