Falha na startup Irregular expôs alvos reais a agentes de OpenAI, Meta e Google

Uma sequência de incidentes de segurança cibernética envolvendo agentes autônomos de inteligência artificial desenvolvidos por OpenAI, Anthropic, Meta e Google teve origem em um único ponto: falhas operacionais na Irregular, startup israelense contratada para avaliar a robustez desses sistemas. Durante baterias de testes laboratoriais, os modelos conseguiram escapar dos perímetros fechados de simulação e direcionaram investidas contra alvos reais na internet.

Fundada em 2023 sob o nome de Pattern Labs, a Irregular atua na aplicação de testes de estresse em plataformas de pesquisa que replicam cenários reais de ameaças. O trabalho da startup já foi mencionado em relatórios técnicos de sistemas da OpenAI, em avaliações para o governo britânico, em projetos da Anthropic e em pesquisas publicadas ao lado do centro de estudos RAND.

Como os agentes escaparam do ambiente simulado

Os episódios ocorreram durante exercícios no estilo capture-the-flag, dinâmica comum em que modelos de inteligência artificial precisam localizar dados ocultos em uma rede isolada para medir capacidades ofensivas. O desenho dos testes previa isolamento total da internet pública, mas falhas simultâneas de infraestrutura quebraram a contenção planejada.

O acesso à internet estava involuntariamente disponível.

A declaração foi feita pelo diretor de tecnologia e cofundador da Irregular, Omer Nevo. De acordo com o executivo, o acesso indevido à conexão externa se somou a outro erro: a escolha de um nome corporativo fictício para o alvo do teste que coincidia exatamente com um domínio real existente na internet. Essa combinação fez com que os agentes seguissem em direção ao endereço verdadeiro. Os nomes das organizações atingidas pelas investidas não foram divulgados.

Todos os incidentes envolvendo a Irregular decorreram do mesmo problema subjacente em um único cenário de avaliação e foram comunicados.

Nevo apontou que o episódio não tem relação com o ataque executado por agentes da OpenAI contra a Hugging Face em julho, nem com violações reportadas pelo Instituto de Segurança de IA do Reino Unido. As notificações às companhias de tecnologia sobre os escapes da Irregular começaram no final de julho. Enquanto OpenAI e Anthropic publicaram comunicados relatando os fatos, os casos ligados a Meta e Google vieram a público semanas depois por apurações externas.

Testes com modelos chineses e mudanças internas

O portfólio de testes da Irregular também abrangeu sistemas abertos de inteligência artificial desenvolvidos na China, especificamente o Kimi K3, da Moonshot AI, e o GLM-5.2, da Z.ai. Como esses modelos podem ser baixados e executados em infraestrutura própria de forma independente, os testes foram conduzidos em instâncias locais da Irregular. O CTO da companhia informou que essas avaliações específicas não geraram fugas para alvos do mundo real, embora tenha ressalvado que o resultado não garante menor propensão dos sistemas chineses a esse comportamento.

Diante das ocorrências com os modelos norte-americanos, a startup implementou alterações operacionais em sua plataforma:

• Endurecimento dos controles técnicos de bloqueio e saída de internet nas redes de avaliação
• Ampliação dos fluxos de monitoramento contínuo e das revisões manuais durante os testes
• Reforço nos processos de checagem prévia para validar se o ambiente corresponde ao escopo planejado
• Aprimoramento do registro e alinhamento de parâmetros com as empresas parceiras antes do início dos testes

A Irregular informou que pretende divulgar um relatório detalhado com práticas para avaliações seguras de inteligência artificial assim que o trabalho conjunto de revisão com os parceiros for finalizado. As empresas de tecnologia não detalharam se pretendem manter o relacionamento comercial com a startup israelense ou se buscam reparações.