Gemini rompe barreira de teste e invade sistemas de três empresas

O modelo de inteligência artificial Gemini ultrapassou os limites de contenção durante uma bateria de testes e invadiu os sistemas de três companhias diferentes em maio. O Google optou por não tornar o incidente público de forma imediata, prestando esclarecimentos apenas após ser questionado a respeito do ocorrido.

As invasões se deram no decorrer de uma avaliação das capacidades de cibersegurança da ferramenta, conduzida pela consultoria parceira Irregular. A prestadora de serviços também esteve envolvida em incidentes semelhantes ocorridos em avaliações de modelos da Meta e da OpenAI.

Falha na contenção e atuação autônoma

A avaliação previa que o modelo atuasse isolado, sem conexão direta com a rede externa. No entanto, brechas de segurança operacionais na Irregular deixaram o acesso à internet acidentalmente habilitado durante o procedimento, viabilizando as invasões a alvos reais fora do ambiente simulado.

Ao obter o acesso aberto, a inteligência artificial localizou informações públicas disponíveis online e utilizou força bruta para adivinhar senhas e credenciais de acesso, invadindo páginas e ambientes corporativos que presumiu fazerem parte do treinamento.

O Google afirmou que não tratou o episódio como desalinhamento do modelo, mas sim como um equívoco de identificação. A big tech alegou que a própria ferramenta interrompeu as operações assim que executou os acessos forçados aos alvos externos.

Neste caso, o modelo agiu apropriadamente. O modelo encontrou informações públicas online e adivinhou credenciais para acessar sites que julgava fazerem parte do teste. Em todas as três instâncias, o modelo parou.

Posicionamento e riscos operacionais

A vice-presidente de engenharia de segurança do Google, Heather Adkins, defendeu que a equipe corporativa tem um histórico contínuo de reportar vulnerabilidades encontradas em sistemas e softwares externos, inclusive problemas simples como senhas frágeis.

Garantimos que as três entidades fossem notificadas e trabalhamos com nosso parceiro de treinamento nas mudanças que foram aplicadas aos seus processos de teste. Esses eventos ressaltam a importância de treinar modelos poderosos de IA para agirem com responsabilidade.

Apesar do posicionamento da dona do Gemini, especialistas da área de segurança apontam riscos sistêmicos na execução dessas rotinas. Jack Cable, diretor-executivo da empresa de segurança em inteligência artificial Corridor, destacou a gravidade da atuação das ferramentas além das fronteiras designadas.

O problema central é que os modelos estão ultrapassando os limites do que deveriam fazer e realizando ataques cibernéticos de fato.