San Francisco exige que Apple e Google removam aplicativos de deepfake pornográfico de suas lojas
O procurador da cidade de San Francisco, David Chiu, enviou notificações legais à Apple e ao Google exigindo a remoção de 13 aplicativos de “troca de rosto” que permitem criar imagens íntimas não consensuais com inteligência artificial. As cartas afirmam que as gigantes do Vale do Silício devem parar de “colaborar e incentivar” a venda de imagens deepfake explícitas e “romper” relações comerciais com os desenvolvedores desses apps.
“Gerar imagens íntimas não consensuais é ilegal, prejudicial e completamente inaceitável”, disse Chiu à Wired. O procurador, cujo escritório já havia processado 16 sites populares de deepfake, afirma que Apple e Google provavelmente “lucraram milhões de dólares em taxas” com aplicativos que oferecem nudeificação e que deveriam melhorar seus processos de moderação para impedir que esses apps apareçam em suas lojas.
Como a nudeificação por IA funciona e por que é tão perigosa
Os aplicativos usam sistemas de pagamento dentro do app, dos quais as empresas de tecnologia recebem uma porcentagem — tipicamente 15% a 30%. As leis da Califórnia proíbem apoiar serviços que criam pornografia deepfake. “O fato de algumas das maiores e mais estabelecidas empresas de tecnologia do mundo estarem facilitando isso precisa parar”, disse Chiu.
Pesquisadores encontraram repetidamente nas lojas da Apple e do Google aplicativos que permitem gerar imagens sexuais com IA — alguns deles classificados como adequados para crianças. Embora ambas as empresas tenham políticas que proíbem pornografia, abuso e assédio em suas plataformas, muitos desses apps continuam disponíveis por meses antes de serem removidos.
O que as big techs já fazem — e o que ainda falha
A Apple afirma usar uma combinação de revisão humana e automação para detectar aplicativos que violam suas diretrizes. O Google diz que proíbe apps que geram conteúdo íntimo não consensual e usa sistemas automáticos e revisores humanos para identificá-los. No entanto, a carta de Chiu cita evidências de que os apps listados continuam operando com anúncios pagos nas plataformas das duas empresas.
O Google afirmou à Wired que revisaria as preocupações de Chiu e que “não permite apps que promovam deepfakes sexuais”. A Apple não respondeu ao pedido de comentário antes da publicação.
Contexto global: regulação avança, mas apps persistem
O movimento de San Francisco se soma a uma onda de ações regulatórias contra deepfakes sexuais. Em 2024, o Reino Unido aprovou leis criminalizando a criação de imagens íntimas deepfake. A União Europeia incluiu deepfakes no EU AI Act, exigindo transparência sobre conteúdo gerado por IA. No Brasil, o Marco Civil da Internet e o Código Penal já preveem punições para difamação e violação de intimidade, mas não há legislação específica sobre deepfakes íntimos.
O problema está longe de ser resolvido: um estudo da Deeptrace Labs em 2019 já mostrava que 96% dos deepfakes online eram pornografia não consensual tendo mulheres como alvo. Cinco anos depois, a tecnologia está mais acessível, mais barata e mais difícil de detectar.
Por que isso importa
A ação de San Francisco é significativa porque mira não apenas os desenvolvedores de apps nocivos, mas as plataformas de distribuição que lucram com eles. Se a Apple e o Google forem responsabilizados legalmente por hospedar esse conteúdo, o cálculo de risco para as lojas de aplicativos muda radicalmente — e com ele, a velocidade com que esses apps são removidos. Para o Brasil, onde o WhatsApp é o principal vetor de disseminação de deepfakes, a discussão sobre responsabilidade das plataformas é especialmente relevante.
Descubra mais sobre noticiAI
Assine para receber nossas notícias mais recentes por e-mail.
