Meta processa criador de app que gera nudes falsos com IA

A Meta está processando o desenvolvedor do aplicativo CrushAI, com sede em Hong Kong, uma plataforma capaz de fabricar deepfakes sexualmente explícitos, alegando que a empresa repetidamente burlou as regras da rede social para comprar anúncios.

O processo faz segmento do que a Meta descreveu uma vez que um esforço mais vasto para combater os chamados aplicativos de “nudificação” — que permitem aos usuários fabricar imagens nuas ou sexualizadas a partir de uma foto do rosto de alguém, mesmo sem consentimento — depois acusações de que o gigante das redes sociais não estava lidando adequadamente com anúncios desses serviços em suas plataformas.

Até fevereiro, o instituidor do CrushAI, também sabido uma vez que Crushmate e por vários outros nomes, havia veiculado mais de 87.000 anúncios nas plataformas da Meta que violavam suas regras, segundo a denúncia apresentada pela Meta no tribunal distrital de Hong Kong na quinta-feira (12).

A Meta alega que o desenvolvedor do aplicativo, Joy Timeline HK Limited, violou suas regras ao fabricar uma rede de pelo menos 170 contas comerciais no Facebook ou Instagram para comprar os anúncios. O desenvolvedor do aplicativo também teria mais de 55 usuários ativos gerenciando mais de 135 páginas do Facebook onde os anúncios eram exibidos. Os anúncios visavam principalmente usuários nos Estados Unidos, Canadá, Austrália, Alemanha e Reino Unificado.

“Todos que criam uma conta no Facebook ou usam o Facebook devem concordar com os Termos de Serviço da Meta”, afirma a denúncia.

Alguns desses anúncios incluíam imagens sexualizadas ou nuas geradas por perceptibilidade sintético e eram legendados com frases uma vez que “faça upload de uma foto para despir por um minuto” e “apague qualquer roupa das garotas”, segundo o processo.

As plataformas de tecnologia enfrentam pressão crescente para fazer mais no combate aos deepfakes explícitos não consensuais, já que a IA torna mais fácil do que nunca fabricar tais imagens. Alvos desses deepfakes incluíram figuras proeminentes uma vez que Taylor Swift e a deputada Alexandria Ocasio-Cortez, além de estudantes do ensino médio dos Estados Unidos. O Take It Down Act, que torna ilícito o compartilhamento de deepfakes explícitos não consensuais online e exige que as plataformas de tecnologia os removam rapidamente, foi transformado em lei no mês pretérito.

Mas uma série de reportagens nos últimos meses sugere que esses serviços de IA para nudificação encontraram público anunciando nas plataformas da Meta.

Em janeiro, reportagens do boletim tecnológico Faked Up e do veículo 404Media descobriram que o CrushAI havia publicado milhares de anúncios no Instagram e Facebook e que 90% do tráfico do aplicativo vinha das plataformas da Meta. Isso apesar do traje de que a Meta proíbe anúncios que contenham nudez adulta e atividade sexual, e proíbe o compartilhamento de imagens íntimas não consensuais e teor que promova exploração sexual, bullying e assédio.

Depois essas reportagens, o senador Dick Durbin, democrata e membro do Comitê Judiciário do Senado, escreveu ao CEO da Meta, Mark Zuckerberg, questionando “uma vez que a Meta permitiu que isso acontecesse e o que a Meta está fazendo para abordar essa tendência perigosa.”

No início deste mês, a CBS News relatou que identificou centenas de anúncios promovendo aplicativos de nudificação nas plataformas da Meta, incluindo anúncios que apresentavam imagens sexualizadas de celebridades.

Outros anúncios nas plataformas direcionavam para sites que alegavam animar imagens deepfake de pessoas reais para fazê-las parecer realizar atos sexuais, segundo o relatório. Em resposta a essa reportagem, a Meta disse que “removeu esses anúncios, excluiu as páginas responsáveis por veiculá-los e bloqueou permanentemente as URLs associadas a esses aplicativos.”

Os esforços da Meta para combater deepfakes sexuais

A Meta afirma que revisa os anúncios antes de serem veiculados em suas plataformas, mas sua denúncia indica que tem lutado para fazer satisfazer suas regras. De conciliação com a denúncia, alguns dos anúncios do CrushAI anunciavam claramente suas capacidades de nudificação com legendas uma vez que “Já desejou poder extinguir as roupas de alguém? Apresentando nossa tecnologia revolucionária” e “Incrível! Leste software pode extinguir qualquer roupa.”

Agora, a Meta disse que seu processo contra o instituidor do CrushAI visa impedi-lo de continuar burlando suas regras para veicular anúncios em suas plataformas. A Meta alega ter perdido US$ 289.000 (muro de R$ 1,6 milhão) devido aos custos da investigação, resposta aos reguladores e emprego de suas regras contra o desenvolvedor do aplicativo.

Ao anunciar o processo na quinta-feira, a empresa também disse que desenvolveu novidade tecnologia para identificar esses tipos de anúncios, mesmo que os próprios anúncios não contivessem nudez. As “equipes especializadas” da Meta se associaram a especialistas externos para treinar seus sistemas automatizados de moderação de teor para detectar os termos, frases e emojis frequentemente presentes nesses anúncios.

“Leste é um espaço oponente no qual as pessoas por trás dele — que são principalmente motivadas financeiramente — continuam a evoluir suas táticas para evitar detecção”, disse a empresa em um enviado.

“Alguns usam imagens aparentemente inofensivas em seus anúncios para evitar serem detectados por nossa tecnologia de identificação de nudez, enquanto outros criam rapidamente novos domínios para substituir os sites que bloqueamos”, fala o enviado.

A Meta informou que começou a compartilhar informações sobre aplicativos de nudificação que tentam anunciar em suas plataformas com outras empresas de tecnologia através de um programa chamado Lantern, dirigido pelo grupo setorial Tech Coalition. As gigantes da tecnologia criaram o Lantern em 2023 para compartilhar dados que possam ajudá-las a combater a exploração sexual infantil online.

O esforço para reprimir aplicativos de deepfake ocorre depois a Meta reduzir alguns de seus sistemas automatizados de remoção de teor — provocando algumas críticas de especialistas em segurança online. Zuckerberg anunciou no início deste ano que esses sistemas seriam focados exclusivamente na verificação de violações ilegais e de “subida seriedade”, uma vez que aquelas relacionadas a terrorismo, exploração sexual infantil, drogas, fraudes e golpes. Outras preocupações precisam ser relatadas pelos usuários antes que a empresa as avalie.