Sites que não querem seu conteúdo usado para treinar modelos de inteligência artificial podem comemorar: Google, Microsoft e OpenAI anunciaram, na sexta-feira, planos de reconhecer uma única linha compartilhada no arquivo robots.txt como sinal de preferência sobre treinamento de IA. Na prática, isso significa que um site poderia declarar sua escolha uma única vez, valendo para todas as empresas que aderirem ao padrão, em vez de precisar escrever regras separadas para o crawler de cada uma.
A proposta desse opt-out de treinamento de IA parte de um Internet Draft submetido por Kevin Kelley, da Anthropic, ao grupo de trabalho AI Preferences, dentro da IETF. Vale destacar que o documento está catalogado como um draft individual no sistema de rastreamento da própria IETF, ou seja, ele não representa, por enquanto, uma padronização oficial. Em mensagem à lista de e-mails do grupo, Kelley contou que a Anthropic já começou a desenvolver suporte para esse recurso.
Nenhuma das três empresas ainda aplica o recurso
Pelos prazos divulgados, nem Google, nem Microsoft, nem OpenAI oferecem suporte ao recurso no momento. Além disso, cada companhia pretende tratar o sinal de um jeito diferente. O Google afirma que, se um site ativar a linha compartilhada de opt-out sem especificar separadamente o Google-Extended, a gigante das buscas vai interpretar isso como se o Google-Extended também estivesse bloqueado — e esse controle vale tanto para treinamento quanto para o chamado “grounding” dentro dos aplicativos Gemini. Já a Microsoft quer que sites que hoje usam as tags NoArchive e NoCache migrem para as novas preferências até 1º de março de 2027.
Como funciona a linha compartilhada
O draft de Kelley não cria uma diretiva nova dentro do robots.txt. Na verdade, trata-se de um grupo de regras comum, escrito sob o que o documento chama de “policy token” — no caso, __usage_ai-training —, usando normalmente os comandos Allow e Disallow, como sempre se fez. O próprio draft traz um exemplo de como um site poderia bloquear o treinamento de IA em todo o domínio, exceto na pasta /press-kit/:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
O significado desse token vem de outro documento do grupo de trabalho, o chamado vocabulary draft, que define “AI Training” como o uso de conteúdo para alterar os parâmetros aprendidos de um modelo generativo. Por outro lado, modelos usados apenas para tarefas não generativas, como classificação ou ranqueamento, ficam de fora dessa definição.
Um detalhe importante: regras que já estão hoje nos arquivos robots.txt não contam automaticamente como parte dessa preferência compartilhada. De acordo com o draft, um grupo com wildcard (User-Agent: *) nunca corresponde ao token, e um robots.txt sem o grupo __usage_ai-training indica simplesmente que não há preferência declarada — o que, segundo Kelley, é o caso de praticamente todo arquivo publicado atualmente. Vale reforçar ainda que esse token não interfere na permissão de rastreamento em si.
Em cobertura anterior, de 22 de outubro, foi mostrado outro draft do mesmo grupo de trabalho, co-escrito por Gary Illyes, do Google, que propunha adicionar uma regra chamada Content-Usage ao robots.txt. Segundo Kelley, esse draft foi deixado de lado para que o grupo pudesse avançar primeiro no vocabulário comum.
Google conecta o sinal ao Google-Extended
Em publicação assinada por John Mueller, o Google explica que, quando um site opta por sair do treinamento via linha compartilhada sem especificar o Google-Extended, a empresa vai tratar isso “como se o publisher tivesse bloqueado o Google-Extended”. A expectativa é dar suporte ao controle em 2027, segundo o post — a documentação de crawlers do Google fala especificamente em início de 2027.
De acordo com essa documentação, o Google-Extended controla se o conteúdo pode ser usado para treinar futuros modelos Gemini e também se pode ser usado para grounding dentro dos aplicativos Gemini e na Vertex AI. Grounding, segundo a definição do Google, é o processo de fornecer conteúdo do índice de busca para o modelo responder perguntas. O post reforça ainda que sites que permitirem explicitamente o Google-Extended se tornam elegíveis a aparecer em respostas do Gemini Apps via grounding.
A documentação também deixa claro que o Google-Extended não afeta a presença do site na Busca Google. Para o AI Overviews e o AI Mode, existe um opt-out separado — o controle de Search generative AI no Search Console, lançado mundialmente em agosto.
Microsoft separa treinamento de grounding
A Microsoft, por meio de post assinado por Krishna Madhavan, gerente de produto principal do Bing, também adota a linha compartilhada para treinamento, mas cria uma preferência própria chamada AI Grounding. Essa configuração funciona só no nível de página e determina se o conteúdo pode alimentar respostas geradas por IA. Além disso, a empresa permite definir essa preferência por página usando uma meta tag ou um cabeçalho HTTP, o que sobrepõe o que estiver no robots.txt para aquela página específica.
Por padrão, o grounding vem habilitado (Allow); usar Disallow é o que mantém a página de fora. Já a nova opção DisallowExtended permite o grounding em ferramentas da própria Microsoft, como Copilot e o AI Mode do Bing, mas bloqueia o uso via serviços de grounding da Microsoft oferecidos a terceiros (Web IQ). A empresa avisa que qualquer uma das duas restrições reduz a visibilidade da marca em respostas geradas por IA, mas não afeta a presença nos resultados tradicionais de busca do Bing.
- As novas opções substituem as antigas tags NoArchive e NoCache para fins de treinamento e grounding;
- A Microsoft passa a reconhecer as novas opções a partir de 1º de fevereiro de 2027;
- As tags antigas deixam de valer para treinamento ou grounding a partir de 1º de março de 2027;
- Sites que ainda usam as tags antigas e querem continuar fora do grounding precisam registrar uma preferência temporária no Bing Webmaster Tools, com inscrições abertas a partir de 15 de dezembro, exclusivas para quem ainda usa essas tags naquela data.
Segundo o FAQ da Microsoft, páginas sem nenhuma preferência registrada até 1º de março passam a permitir grounding por padrão, até que a empresa as rastreie novamente. A Microsoft ainda esclarece que, assim que detectar qualquer uma das novas preferências em um site, vai ignorar completamente eventuais tags NoArchive ou NoCache remanescentes.
E o que dizem OpenAI e Anthropic?
A OpenAI planeja passar a honrar o sinal nos próximos meses, mas, até lá, sua política atual de robots.txt continua valendo normalmente. Nem o post oficial da empresa nem sua documentação de crawlers (checada em 30 de outubro) explicam o que acontece quando um site tem, ao mesmo tempo, uma regra na linha compartilhada e uma regra para o GPTBot que entram em conflito.
Até 30 de outubro, a Anthropic ainda não havia publicado nada sobre o assunto em sua sala de imprensa. Segundo a mensagem de Kelley na lista de e-mails, implementar suporte ao recurso em todos os serviços da empresa deve levar um tempo. A página de ajuda para crawlers da Anthropic (checada em 30 de outubro) ainda lista apenas três opções de controle de rastreamento disponíveis: ClaudeBot, Claude-User e Claude-SearchBot.
Por que isso importa para quem tem site
Um único grupo de regras no robots.txt pode, no futuro, substituir uma pilha de regras específicas para cada empresa — desde que todas passem a reconhecer o sinal. No entanto, esse opt-out compartilhado não terá exatamente o mesmo efeito prático em cada plataforma. Na Microsoft, por exemplo, treinamento e grounding são tratados como configurações independentes. Já no Google, os dois ficam sob o mesmo guarda-chuva do Google-Extended, e a documentação de crawlers não apresenta nenhuma forma de bloquear o conteúdo do treinamento do Gemini mantendo, ao mesmo tempo, a permissão de uso para grounding nos aplicativos Gemini.
Além disso, a Microsoft é a única das três empresas cujo anúncio efetivamente substitui controles que os sites já usam hoje. Segundo o Google, a OpenAI e Kelley, da Anthropic, as configurações existentes continuam funcionando normalmente — por isso, sites que usam NoArchive ou NoCache para limitar o uso de conteúdo pelo Copilot precisam ficar atentos e agir antes dos prazos estipulados.
O que vem pela frente
No post da OpenAI, a empresa incentiva outros provedores de IA a também passarem a respeitar o sinal, e Kelley disse esperar que mais companhias se juntem à iniciativa. Tanto Google quanto OpenAI prometem divulgar mais detalhes conforme o suporte for sendo implementado. Vale lembrar que o draft de Kelley expira em 3 de maio de 2027, a menos que uma nova versão o substitua antes disso — e ele já planeja propor seu modelo como uma mudança dentro do draft do Content-Usage, unificando de vez os dois esforços dentro do grupo de trabalho da IETF.
Com informações de searchenginejournal.com.
