Um passo rumo à “avaliação embutida”
A Anthropic anunciou uma parceria com a Accenture para a avaliação independente de IA de fronteira — um passo concreto na direção do compromisso assumido no ensaio “We Must Pace the Frontier”, do CEO Dario Amodei, de incorporar avaliadores dentro da própria empresa.
A parceria será liderada pela Faculty, o negócio de IA especializado da Accenture, e incluirá avaliação e red-teaming de modelos, avaliações de alinhamento e testes das salvaguardas. A Anthropic e a Accenture esperam investir, cada uma, pelo menos US$ 1 bilhão em capacidade nessa área nos próximos cinco anos.
O que muda em relação aos avaliadores de hoje
Diferentemente dos avaliadores externos atuais, os avaliadores embutidos trabalharão dentro das empresas de IA, com acesso comparável ao de um funcionário. Isso lhes permite acompanhar os modelos ainda em treinamento, seguir as decisões que governam como são construídos e implantados, e falar diretamente com funcionários. Desse posto de observação, podem avaliar como a empresa opera, verificar se ela mantém seus compromissos de segurança, identificar pontos cegos e até reportar incidentes ao público.
A Anthropic faz uma ressalva importante: avaliadores embutidos independentes não reduzem a responsabilidade da empresa — apenas a tornam mais verificável. “A segurança dos nossos modelos continua sendo nossa responsabilidade.”
O que ainda falta definir
Ainda não existem padrões sobre quais informações os avaliadores embutidos devem acessar nem como devem reportar o que encontram. Também não há um sistema estabelecido de financiamento da avaliação independente — a Anthropic defende, no longo prazo, recursos de fontes governamentais ou compartilhadas, como propôs no seu Advanced AI Framework em junho. Como nada disso existe hoje, a empresa financiará diretamente o trabalho da Accenture e mantém diálogo com a METR e outros avaliadores sem fins lucrativos.
A parceria é não exclusiva: a Anthropic trabalhará com outros avaliadores nas próximas semanas, e a Accenture fará o mesmo com outros desenvolvedores de IA.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
