O conjunto de dados Fable 5 Traces, disponível no Hugging Face, reúne milhares de rastros reais de agentes de IA em sessões de codificação. Este tutorial prático mostra como criar um fluxo de trabalho completo em Google Colab para analisar esses dados, extrair chamadas de ferramentas, auditar a estrutura, detectar padrões suspeitos (como segredos vazados) e treinar classificadores baseline — tudo sem depender de bibliotecas que quebram com frequência no ambiente Colab.
Por que isso importa
Agentes de IA que interagem com código — editando arquivos, executando comandos, chamando APIs — geram enormes volumes de telemetria. Entender esses rastros é essencial para melhorar a segurança, confiabilidade e desempenho dos agentes. O dataset Fable 5 Traces captura exatamente isso: sessões reais onde modelos como Claude interagiram com repositórios de código.
O problema prático é que ferramentas tradicionais de análise como scikit-learn, scipy e a biblioteca datasets do Hugging Face frequentemente apresentam conflitos de dependência no Colab, quebrando notebooks no meio da execução. A abordagem deste tutorial contorna isso usando Python puro e apenas três bibliotecas leves: huggingface_hub, rich e tqdm.
Configuração do ambiente
O primeiro passo é instalar apenas os pacotes essenciais: huggingface_hub para baixar os arquivos, rich para visualizações no terminal e tqdm para barras de progresso. O notebook define diretórios de saída, sementes aleatórias para reprodutibilidade e padrões de regex para detectar possíveis segredos vazados nos rastros — como tokens da OpenAI (sk-…), tokens do Hugging Face (hf_…) e chaves AWS.
Parsing de chamadas de ferramentas
O coração do pipeline são as funções de parsing. Os rastros armazenam as saídas dos agentes em formatos heterogêneos: algumas como JSON, outras como strings. O tutorial implementa funções como extract_tool_name() e extract_tool_args() que normalizam esses formatos, buscando campos como “name”, “tool_name”, “function”, “command_name”, “toolCall” e “recipient_name” nos dicionários de saída.
Auditoria e visualização
Após carregar o JSONL mesclado em um DataFrame do pandas, o código audita a estrutura: total de linhas, sessões únicas, modelos presentes, valores ausentes, duplicatas e possíveis padrões de segredo. A distribuição de tipos de saída (texto vs. chamada de ferramenta), modelos, origens, diretórios raiz e nomes de ferramentas é visualizada para entender a forma dos dados.
Projeção TF-IDF com NumPy puro
Um dos trechos mais interessantes implementa uma projeção TF-IDF do zero usando apenas NumPy, sem depender de scikit-learn ou scipy. O código constrói uma matriz documento-termo, calcula IDF, normaliza com L2 e aplica SVD para projetar os contextos em 2D. O resultado permite visualizar como diferentes tipos de saída se agrupam no espaço vetorial.
Exportação segura sem Chain-of-Thought
O tutorial exporta os rastros no formato chat (system/user/assistant) removendo intencionalmente a cadeia de raciocínio (CoT) e redigindo padrões suspeitos. Isso permite usar os dados para fine-tuning supervisionado sem expor o raciocínio intermediário do agente, que muitas vezes contém informações sensíveis ou comandos que não devem ser reproduzidos.
Classificadores Naive Bayes em Python puro
O trecho final implementa do zero um classificador Naive Bayes multinomial — incluindo split estratificado, treinamento, predição, precisão, recall, F1 e matriz de confusão. Dois baselines são treinados: um para prever se a saída do agente será texto ou chamada de ferramenta com base no contexto, e outro para prever qual ferramenta específica será usada.
Limitações e cuidados
O tutorial enfatiza práticas de segurança essenciais: nunca executar comandos extraídos dos rastros, redigir padrões que se pareçam com segredos e manter o CoT fora dos dados de exportação. O Naive Bayes implementado é um baseline simples — modelos mais sofisticados como transformers produziriam resultados superiores, mas o objetivo aqui é demonstrar que até abordagens leves conseguem extrair sinal preditivo dos rastros.
O código completo está disponível no GitHub da MarkTechPost e o dataset Fable 5 Traces pode ser acessado no Hugging Face.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
