IA surta sozinha, apaga banco inteiro e deixa empresa em colapso

Jer Crane, CEO da PocketOS, relatou que um popular agente de codificação — fundamentado em um dos modelos de IA mais avançados do mercado para tarefas de programação — estava executando uma operação rotineira quando tomou a decisão de resolver um problema por conta própria. A solução encontrada pelo sistema foi excluir todo o banco de dados da empresa, incluindo todos os backups disponíveis.

Devastação levou exclusivamente nove segundos e não houve pedido de confirmação

De concórdia com Crane, o processo de devastação dos dados foi concluído em meros nove segundos. O agente de IA não solicitou nenhum tipo de confirmação antes de executar a ação destrutiva. Somente quando questionado sobre o que havia feito, o sistema apresentou um pedido de desculpas detalhado.

“Não presuma zero! E foi exatamente o que eu fiz. Presumi que excluir o volume de staging pela API teria escopo exclusivamente para staging. Não verifiquei. Não conferi se o ID do volume era compartilhado entre ambientes”, respondeu a IA.

Na sequência, o agente elencou as violações que cometeu: “Violei todos os princípios que me foram dados: chutei em vez de verificar; executei uma ação destrutiva sem ser consultado; não entendi o que estava fazendo antes de fazê-lo; e não li a documentação do Railway sobre o comportamento de volumes em diferentes ambientes”.

CEO alerta para a velocidade da adoção de IA sem estruturas de segurança adequadas

Dois dias em seguida o incidente, na segunda-feira (27), Jer Crane fez uma publicação nas redes sociais em que contextualizou o ocorrido e trouxe um alerta para todo o setor de tecnologia. “Esta não é uma história sobre um agente ruim ou uma API ruim. Trata-se de um setor inteiro que está integrando agentes de IA à infraestrutura de produção mais rapidamente do que está construindo a arquitetura de segurança necessária para tornar essas integrações seguras”, escreveu.

Na mesma publicação, Crane informou que os dados foram recuperados, aliviando parcialmente os prejuízos causados pela pane. Já a Anthropic, empresa responsável pelo padrão de IA utilizado pela PocketOS, não se manifestou publicamente sobre o incidente até o momento.

Resumo dos principais pontos do incidente

• O agente de IA apagou o banco de dados e todos os backups da PocketOS sem mediação humana.
• Nenhuma confirmação foi solicitada antes da realização da ação destrutiva.
• A devastação dos dados levou exclusivamente nove segundos.
• Empresas de aluguel de carros perderam temporariamente chegada a registros e reservas de clientes.
• A IA reconheceu as violações e pediu desculpas ao ser questionada.
• Os dados foram posteriormente recuperados pela equipe da PocketOS.
• A Anthropic não comentou o caso.