OpenAI, Google, Microsoft e Anthropic adotam padrão único para bloquear raspagem de IA

OpenAI, Google, Microsoft e Anthropic confirmaram que vão adotar um padrão unificado para permitir que publishers impeçam a raspagem de seus conteúdos por sistemas de inteligência artificial. Com a iniciativa, administradores de sites poderão aplicar suas preferências de treinamento de modelos de forma simultânea para múltiplos fornecedores, abandonando a necessidade de cadastrar bloqueios individuais para cada rastreador da web.

A proposta introduz um sinal compartilhado chamado "token de política", estruturado por Kevin Kelley, líder técnico de padrões na Anthropic, no âmbito da Internet Engineering Task Force (IETF). O comando será inserido no arquivo robots.txt das páginas, formato tradicionalmente utilizado para orientar robôs de indexação de busca, arquivamento e, mais recentemente, captura de conteúdo para alimentar modelos de linguagem.

Centralização no robots.txt substitui regras individuais

Atualmente, os veículos e donos de sites precisam definir regras específicas para o crawler de cada desenvolvedora de inteligência artificial. O novo protocolo busca resolver esse atrito técnico ao reunir as permissões sob um único comando. Ao identificar o token compartilhado, as ferramentas de raspagem de OpenAI, Google, Microsoft e Anthropic restringirão o acesso às páginas demarcadas.

A movimentação surge em um período de forte contestação dos produtores de conteúdo contra a extração de dados não autorizada. O ecossistema já registrou outras respostas técnicas ao avanço das coletas automáticas, a exemplo do padrão Really Simple Licensing (RSL), voltado à cobrança de taxas de raspagem, e de medidas de infraestrutura como a da Cloudflare, que bloqueia robôs de inteligência artificial de forma padrão.

Cronograma de adoção e posição das gigantes de tecnologia

O ritmo de implementação do novo padrão varia entre as participantes. A Anthropic já adotou o sinal em sua infraestrutura. A OpenAI prevê a aplicação técnica nos próximos meses. Já Google e Microsoft planejam disponibilizar suporte total ao token de política ao longo do próximo ano.

A Microsoft informou que disponibilizará controles detalhados para os produtores de conteúdo, permitindo desligar tanto o uso em treinamento quanto na ancoragem (AI grounding) — mecanismo que conecta modelos a fontes verificadas para reduzir falhas e respostas incorretas. A companhia destacou que a opção por restringir a inteligência artificial não afetará a exibição e o ranqueamento das páginas nos resultados de busca do Bing. O Google já conta com política similar para desvincular recursos de inteligência artificial da visibilidade nas pesquisas tradicionais.

A Meta também manifestou concordância com a iniciativa por meio de seu chefe de comunicação, Andy Stone, embora não tenha confirmado se passará a respeitar o padrão.

Acreditamos que criar um sinal comum que transmita tais preferências para múltiplos provedores de uma só vez é um passo importante. E esperamos trabalhar com outras empresas de IA nos padrões e em sua implementação em todo o setor.