Um “SOC 2” para agentes de IA
Um dia depois de o pesquisador da Anthropic Jacob Coxon pedir demissão alegando que a IA poderia exterminar a humanidade ainda nesta década, uma dupla de fundadores apresentou uma resposta concreta ao problema. Rune Kvist, um dos primeiros funcionários da Anthropic, e Rajiv Dattani, ex-diretor de operações da organização de segurança METR, lançaram a Artificial Intelligence Underwriting Company (AIUC) — uma startup que quer aplicar o modelo de auditoria da cibersegurança aos riscos da IA.
“A IA está ficando mais inteligente em um ritmo cada vez mais rápido. O surpreendente é que ela fica mais difícil de adotar e mais difícil de controlar conforme fica mais inteligente — não mais fácil”, disse Kvist ao TechCrunch. Entre os clientes iniciais da empresa estão Cursor, Lovable, Harvey e ElevenLabs.
US$ 55 milhões e um padrão próprio de segurança
Na terça-feira (15), a AIUC anunciou uma Série A de US$ 40 milhões liderada pela Ribbit Capital, com participação da First Harmonic. Antes, a startup já havia levantado uma rodada seed de US$ 15 milhões com Nat Friedman (NFDG), Emergence, Terrain e o cofundador da Anthropic Ben Mann — totalizando US$ 55 milhões.
O que chamou a atenção dos investidores foi a tese central da empresa: criar uma camada independente de auditoria e certificação para agentes de IA, inspirada no padrão SOC 2, amplamente usado na segurança da informação corporativa. O resultado é o padrão AIUC-1, construído a partir de um consórcio de cerca de 250 líderes de segurança e risco — os compradores dos agentes.
“Bancos, hospitais, governos e forças armadas não deixam mais de adotar IA porque o modelo não é inteligente o suficiente. Eles deixam porque fizeram compromissos com seus clientes sobre o que um sistema vai ou não fazer, e ninguém consegue garantir isso hoje”, explicou Kvist.
5 mil testes, relatório de 100 páginas
Na prática, a AIUC submete cada agente a uma bateria de cerca de 5 mil testes que simulam cenários de jailbreak, alucinações e vazamento de dados. O resultado é um relatório de aproximadamente 100 páginas mostrando onde o agente opera com segurança e onde apresenta riscos. Curiosamente, a própria startup usa agentes de IA para rodar os testes e analisar os dados — mas humanos verificam a auditoria final.
O movimento ecoa um apelo recente do CEO da Anthropic, Dario Amodei, que pediu ao setor que desacelere o desenvolvimento de modelos de fronteira e sugeriu a adoção de avaliadores independentes embutidos nos laboratórios para observar e verificar segurança.
Embora a AIUC não proponha se instalar dentro das empresas clientes, a lógica é semelhante: dar às organizações uma avaliação independente de quão seguros são seus agentes antes da compra. “Aqui está onde ele passa e onde você pode confiar. E aqui estão as preocupações. Você deve estar ciente delas antes de tomar a decisão de compra”, resumiu Dattani.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
