Imagina tentar explicar pra alguém quantas vezes um robô da Anthropic visita seu site pra cada visitante real que ele te manda de volta. Parece simples, né? Só que os números que circulam por aí pra essa mesma métrica variam de um jeito quase cômico: 70.900 para 1, 38.000 para 1, 23.951 para 1, 11.122 para 1, 10.300 para 1, 4.580 para 1 e 2.237 para 1. Todos esses valores são atribuídos à Cloudflare. Todos foram publicados num intervalo de cerca de 13 meses. E tem duas dessas cifras que dizem respeito ao mesmo mês, mas diferem em quase 17 vezes uma da outra.
Se você nunca ouviu falar em “crawl-to-refer ratio” (proporção de rastreamento por referência), a ideia cabe num parágrafo curto. Empresas de IA mandam robôs pra vasculhar páginas de sites. Algumas dessas plataformas, quando um usuário lê uma resposta gerada por IA e clica no link da fonte original, mandam esse visitante de volta pro site. A proporção compara essas duas coisas: quantas páginas a plataforma pegou versus quantos visitantes ela devolveu. Uma relação de 5 para 1 significa que ela coletou cinco páginas e mandou uma pessoa de volta. Já 70 mil para 1 quer dizer que ela varreu 70 mil páginas e devolveu apenas um clique.
De onde veio essa obsessão pelo número
Essa métrica nasceu porque o velho acordo entre buscadores e sites simplesmente quebrou. Antes, um robô de busca pegava suas páginas e, em troca, mandava tráfego — essa era basicamente a base econômica de publicar qualquer coisa na internet aberta. Só que os sistemas de IA passaram a responder direto na tela, sem precisar te enviar visitantes. O consumo de conteúdo continuou, mas o retorno praticamente sumiu. Por isso essa proporção virou o símbolo perfeito de como esse equilíbrio desandou — e rapidamente passou a aparecer em reuniões de diretoria e a influenciar decisões sobre quais robôs de IA podem ou não acessar um site.
E o cenário só cresce. A Google anunciou, na sua conferência de desenvolvedores de maio, que o AI Mode já ultrapassou a marca de um bilhão de usuários mensais e que as buscas “mais que dobraram a cada trimestre desde o lançamento” — um discurso focado em utilidade, não em quanto desse tráfego realmente chega até os sites de origem. Vale guardar esse detalhe: dobrar a cada trimestre sem informar o ponto de partida é um crescimento que não dá pra usar como referência concreta. É exatamente esse tipo de problema que está no centro dessa história.
O erro não está no método, e sim no que se perde no caminho
A primeira reação de muita gente é achar que alguém foi descuidado ou tentou manipular os dados. Só que essa leitura está errada — e é bem mais confortável do que a realidade. A Cloudflare publicou uma métrica clara, documentou toda a metodologia e até assumiu as próprias limitações no post em que apresentou o índice. Ainda assim, os números aparecem espalhados numa faixa gigantesca, porque uma proporção é sempre um numerador sobre um denominador — e aqui existem quatro denominadores empilhados que praticamente ninguém carrega adiante ao repetir o número por aí.
A Cloudflare apresentou o crawl-to-refer ratio em julho de 2025 e explicou o cálculo sem rodeios: soma-se o total de requisições feitas por user agents associados a uma determinada plataforma cuja resposta tenha sido HTML, e divide-se pelo total de requisições de conteúdo HTML em que o cabeçalho Referer trazia um domínio ligado àquela mesma plataforma. Depois, normaliza-se para uma única referência. É uma fórmula pública, sem ambiguidade, replicável por qualquer pessoa com acesso a logs de servidor. E a empresa foi além: publicou também as fragilidades da própria métrica — algo que poucas companhias fazem.
Quatro denominadores escondidos atrás de um só número
- A janela de tempo: no post de lançamento, a amostra cobriu apenas uma semana, de 19 a 26 de junho de 2025. Nesse período, a Anthropic apareceu com 70.900 para 1, enquanto a Mistral teve 0,1 para 1 — ou seja, enviou 10 referências para cada requisição de rastreamento. Em outro post, publicado no mesmo mês, a cifra da Anthropic para junho de 2025 aparece como 73.000 para 1, com a OpenAI em 1.700 para 1 e a Google rastreando cerca de 14 vezes por referência. Mesma empresa, mesmo mês, janelas diferentes, resultados diferentes. Hoje circulam por aí números trimestrais, mensais, de 28 dias corridos e semanais, todos tratados como se fossem comparáveis entre si.
- O peso do intervalo escolhido: a própria Cloudflare relatou uma variação de 19,4% na proporção da Google de uma semana para outra, atribuindo isso a uma queda no rastreamento do GoogleBot que começou num dia específico. Ou seja, uma simples decisão de agendamento de rastreamento moveu o número publicado em um quinto, em apenas sete dias.
- Qual robô foi contado: a Cloudflare admite que agrupa, sob o nome de uma única plataforma, tanto o robô de treinamento quanto o robô que responde a pedidos de usuários — mesmo eles tendo user agents diferentes e comportamentos completamente distintos. Um consome conteúdo em massa e não devolve nada por definição; o outro busca sob demanda e pode gerar uma citação real. Juntando os dois, o número final não representa direito nenhum dos dois comportamentos, o que também torna injusta a comparação direta com a Google, já que algumas empresas operam frotas de robôs separadas por função e outras não.
- De quais sites os dados vêm: a Cloudflare só enxerga o tráfego que passa pela própria rede — uma amostra enorme, mas ainda assim uma amostra, enviesada para os sites que usam a plataforma. Quando um analista comparou a mesma métrica usando a rede da Cloudflare e um painel comercial próprio, menor, no mesmo período, a proporção de uma das plataformas praticamente dobrou. Só a composição da amostra já bastou para mudar tudo.
O detalhe que realmente distorce a conta
O quarto e mais importante ponto é que o denominador não representa todas as referências reais — apenas aquelas que “se identificaram”. Uma visita só entra na conta se a requisição trouxer um cabeçalho Referer com o nome da plataforma de origem. A própria Cloudflare admite que o tráfego enviado pelo aplicativo nativo do Claude, por exemplo, não carrega esse cabeçalho — o que significa que uma parte real do tráfego de retorno simplesmente não aparece na equação, subestimando ainda mais o verdadeiro alcance do “retorno” que a IA proporciona aos sites.
Com informações de searchenginejournal.com.
