Quem pensa que basta colocar uma linha mágica no robots.txt para impedir que uma inteligência artificial use o conteúdo do site para treinar seus modelos precisa rever esse conceito. Segundo Gary Illyes, da equipe de Search Relations do Google, o robots.txt e a IA cumprem papéis bem diferentes do que muita gente imagina: o arquivo serve apenas para dizer quais URLs um rastreador pode ou não acessar, e não para controlar o que acontece com os dados depois que já foram coletados. A explicação foi dada em um vídeo do Search Central publicado na quarta-feira.
De acordo com Illyes, se o objetivo é barrar um crawler específico de IA enquanto se libera o acesso para outros, é preciso apontar diretamente o user-agent token daquele rastreador dentro do arquivo. Ou seja, não existe um comando genérico que sirva para “proibir treinamento de IA” de forma universal — cada bot precisa ser tratado individualmente, pelo seu próprio identificador.
O que Illyes disse sobre treinamento de IA
O vídeo faz parte da segunda edição do quadro The Non-Canonical Cabinet, em que Illyes e Cherry Prommawin, também do Search Relations do Google, respondem perguntas da comunidade sobre casos limites de SEO. A dúvida da vez era direta: dá para usar o robots.txt e a IA de forma que o rastreamento seja permitido, mas o conteúdo fique de fora do treinamento de modelos generativos?
A resposta de Illyes foi categórica:
“Como definido pela RFC 9309, o robots.txt é um protocolo de preferência de acesso.”
Ele completou dizendo que o arquivo “não determina o que um sistema faz com os dados depois que eles já foram rastreados”. Por isso, para bloquear totalmente um crawler de IA específico em todo o site, é necessário “direcionar explicitamente os tokens de user agent daquele sistema no arquivo”.
Durante a explicação, foi exibida uma diretiva fictícia (algo como No-AI-Chicken-Training) só para ilustrar que esse tipo de linha inventada simplesmente seria ignorada por qualquer parser. Afinal, a própria documentação do Google deixa claro que o robots.txt reconhece apenas quatro elementos: User-Agent, Allow, Disallow e Sitemap. Qualquer linha fora desse padrão é descartada pelo Google.
Vale lembrar que a RFC 9309, especificamente na seção 2.2.4, permite que cada rastreador decida por conta própria como vai lidar com instruções que estão fora do escopo oficial do protocolo. Na prática, isso significa que o efeito de uma linha extra no arquivo depende exclusivamente de como aquele crawler específico resolve interpretá-la.
O papel do Google-Extended
Outro ponto esclarecido no vídeo é o funcionamento do Google-Extended, um token de robots.txt que não possui user agent próprio — o rastreamento em si acontece pelos user agents já existentes do Google. Segundo a lista de crawlers comuns do Google, esse token é “usado em caráter de controle”, definindo se o conteúdo rastreado pode alimentar o treinamento de futuros modelos Gemini, além do uso em respostas do Gemini Apps e no Grounding with Google Search dentro do Vertex AI.
É importante destacar que essa configuração não interfere na presença do site nos resultados de busca e não funciona como fator de ranqueamento. Esse significado do Google-Extended como controle de uso vem da documentação própria do Google para seus produtos, e não da RFC 9309. Apesar de não ter sido comentado ao vivo pelos apresentadores, o link para essa lista aparece na descrição do vídeo.
Um rascunho que pode mudar o jogo do robots.txt e IA
Illyes também é coautor, junto com Martin Thomson, da Mozilla, de um Internet-Draft do IETF que propõe atualizar a RFC 9309. A ideia é criar uma regra chamada Content-Usage, acompanhada de um cabeçalho HTTP correspondente, justamente para que sites possam expressar preferências sobre como o conteúdo rastreado deve (ou não) ser usado.
Pelo rascunho, datado de 19 de agosto, as regras Allow e Disallow continuariam cuidando exclusivamente de quais URLs podem ser rastreadas. Já o Content-Usage entraria para definir o que pode ser feito com aquele conteúdo depois — mas só nos caminhos em que o crawler já tem permissão de acesso. No exemplo de arquivo robots.txt incluído no documento, aparece o campo “train-ai=n”, permitindo o rastreamento mas sinalizando a restrição ao treinamento.
No entanto, o texto ainda é apenas um Working Group Document, ou seja, está em fase de discussão interna. De acordo com o IETF Datatracker, o grupo de trabalho ainda não enviou o documento para avaliação do Steering Group (IESG), com previsão de envio para agosto de 2026. O rótulo “train-ai” citado acima vem de um rascunho separado, de vocabulário, datado de 14 de setembro — e esse documento é claro ao afirmar que ainda não existe consenso sobre o tema dentro do grupo de trabalho.
Caminhos com caracteres não ingleses: use codificação percentual
Cherry Prommawin aproveitou o quadro para dar uma dica prática sobre caminhos com caracteres fora do inglês, como acentos ou até emojis: “você deve usar a versão codificada nas regras do seu robots.txt”. Segundo ela, o parser do Google consegue lidar bem com caracteres brutos, fazendo a codificação automaticamente, mas “outros rastreadores, ou crawlers mais antigos, podem se confundir”.
No exemplo mostrado na tela, um caminho com emoji sem codificação foi descrito como algo que “funciona para o Google, mas pode quebrar em outros”, enquanto a versão com codificação percentual foi chamada de “o jeito seguro e padrão”. A documentação técnica do Google confirma que seu parser trata da mesma forma caminhos em UTF-8 bruto e em formato percentual, e a gramática da RFC 9309 também permite caracteres UTF-8 nesses caminhos.
Por que isso importa na prática
No fim das contas, a estratégia certa para limitar o uso de IA sobre o conteúdo de um site, sem perder visibilidade no Google, depende totalmente de qual bot ou produto está em jogo. Linhas de Disallow podem impedir que crawlers específicos de IA acessem páginas determinadas. Já no caso do Gemini, o mecanismo oficial do Google é o Google-Extended, que cobre tanto treinamento quanto grounding.
Até o momento, não existe um padrão único e independente para expressar preferências de treinamento separado da permissão de rastreamento — essa possibilidade existe apenas como rascunho em discussão. Por isso, sites que usam URLs em idiomas diferentes do inglês fazem bem em adotar a codificação percentual nos caminhos do robots.txt: embora o Google trate igualmente as versões brutas e codificadas da mesma regra, outros rastreadores podem interpretar caracteres brutos de formas distintas, criando inconsistências indesejadas.
Segundo a descrição do vídeo, o próximo episódio do Non-Canonical Cabinet vai tratar do código de status 404. Já o rascunho atual do Content-Usage tem validade prevista até 20 de fevereiro de 2027, a menos que uma nova revisão o substitua antes disso.
Com informações de searchenginejournal.com.
