Uma dúvida surgida no Reddit sobre verificação de idade acabou rendendo uma resposta bem esclarecedora de John Mueller, da Google, sobre os limites do robots.txt no Google. O questionamento girava em torno de um cenário bastante comum: é permitido impedir que o Googlebot enxergue um pop-up que, por obrigação legal, precisa aparecer para qualquer visitante humano? A resposta de Mueller traz um respiro para quem lida com esse tipo de exigência e, de quebra, explica na prática como fazer isso sem levar um tombo no ranqueamento.
O que motivou a pergunta sobre robots.txt no Google
Vale lembrar que o Google sempre insistiu para que os sites liberem o rastreamento de tudo aquilo que um usuário normal consegue ver na página. Nem sempre foi assim, no entanto. Lá no início da era do SEO, era comum profissionais bloquearem arquivos JavaScript e CSS justamente para economizar o chamado orçamento de rastreamento e, supostamente, melhorar a indexação.
Com o tempo, o Google passou a renderizar as páginas de forma mais completa e, a partir daí, exigiu que os donos de sites liberassem todos os recursos visíveis ao usuário. Quem insistia em esconder elementos essenciais do Googlebot já viu suas posições despencarem temporariamente nos resultados de busca.
Foi exatamente por causa desse histórico que a pergunta feita no Reddit fez tanto sentido. Um usuário descreveu uma situação hipotética: um site chamado websiteA.com, que por exigência legal precisa exibir um pop-up de verificação de idade hospedado em outro domínio, carregado via API. Ele quis saber se bloquear esse domínio externo pelo robots.txt impediria o Googlebot de renderizar o pop-up. Em suas palavras:
“Digamos que eu tenha um site websiteA.com – por motivos legais ele tem um pop-up de verificação de idade que fica em um domínio separado e é inserido na página via API. Vamos chamá-lo de verificationpopup.com. Digamos que eu quisesse impedir o Google de ver isso – se eu adicionasse um disallow no robots.txt de verificationpopup.com, isso impediria o Google de renderizar o pop-up? (isso é puramente hipotético e peço desculpas pela pergunta boba, eu não entendo muito de tecnologia)”
Mueller confirma: dá para bloquear esse tipo de pop-up
Mueller foi direto ao confirmar que, de modo geral, essa estratégia funciona. Além disso, ele apontou um caminho alternativo: bloquear especificamente o arquivo JavaScript responsável por carregar o pop-up. Segundo ele:
“Isso geralmente funcionaria. Se você está usando um arquivo de script JS específico para fazer isso, também poderia bloquear esse arquivo javascript específico via robots.txt. (Se você tiver apenas um arquivo JS que faz um monte de coisas, eu não faria isso)”
Essa fala mostra que o Google parece ter adotado uma postura mais flexível em relação a casos pontuais, como esse de verificação de idade. Ou seja, a orientação deixa claro que é possível usar o robots.txt no Google para impedir a renderização do pop-up, mesmo que ele seja obrigatório para os visitantes reais. Horas depois, Mueller voltou ao tópico para detalhar melhor as duas formas de colocar isso em prática.
Duas formas de impedir a renderização do pop-up
A primeira abordagem consiste em bloquear o rastreamento do domínio externo que fornece o pop-up. Nesse caso, basta que o próprio robots.txt desse domínio externo proíba o rastreamento — assim, o Googlebot simplesmente não vai buscar aquele conteúdo e, por consequência, não conseguirá usá-lo na renderização da página. Mueller citou que essa prática já é bem comum no universo da publicidade, onde scripts responsáveis por exibir anúncios costumam ser bloqueados dessa maneira. Ele explicou:
“Para elaborar as duas opções: o conteúdo do site incorporado é bloqueado pelo robots.txt. Se você incorpora conteúdo de verificationpopup-com no seu site (seja via iframe ou chamando um script em verificationpopup-com, etc.) e verificationpopup-com proíbe todo o rastreamento, então rastreadores que seguem o robots.txt (como o Googlebot) não buscariam esse conteúdo e não o usariam na renderização. É assim que muitos serviços de anúncios funcionam. O Googlebot não rastrearia essas URLs como uma página separada, mas tentaria buscá-las durante a renderização, e se o robots.txt bloquear isso, ele não busca o conteúdo e não pode usá-lo. Você precisa garantir que suas páginas ainda carreguem quando essas URLs não forem buscadas, mas para algo assim, geralmente isso não é um problema. Seu site usa um arquivo JS específico para carregar isso, e você mesmo bloqueia esse arquivo. Por exemplo, talvez você use um arquivo “load-verification-popup.js” para isso. Se você bloquear essa página com robots.txt no seu site, o script não será carregado durante a renderização (bloqueado pelo robots.txt). Na minha experiência, isso é menos comum, mas é uma opção. Se o robots.txt em verificationpopup-com não for algo que você possa influenciar, você precisaria fazer isso, caso quisesse impedir que fosse visível/usado durante a renderização.”
Resumindo: a segunda alternativa serve justamente para os casos em que o site não tem controle sobre o robots.txt do domínio externo — nessa situação, a saída é bloquear o próprio arquivo JavaScript que chama o pop-up.
O que fica como aprendizado
O ponto mais interessante de toda essa troca é que Mueller confirmou, de forma clara, que é possível impedir deliberadamente o Googlebot de renderizar um elemento que os visitantes humanos são obrigados a ver. Por outro lado, ele fez questão de reforçar que a página precisa continuar funcionando normalmente mesmo quando esses recursos bloqueados não são carregados — e, no caso específico de um pop-up de verificação de idade, isso costuma ser tranquilo de resolver.
Em resumo, usar o robots.txt no Google para esconder um pop-up de verificação de idade do Googlebot é uma prática validada pela própria empresa, mesmo quando esse elemento é obrigatório para quem acessa o site. A explicação de Mueller reforça que os donos de sites ainda têm uma margem de controle sobre quais recursos entram na renderização feita pelo Googlebot, inclusive quando esses recursos fazem parte da experiência mostrada ao público.
Com informações de searchenginejournal.com.
