A OpenAI está conseguindo enxergar muito mais conteúdo na web depois de um projeto-piloto feito em parceria com a Cloudflare. Segundo as duas empresas, a iniciativa ajudou o ChatGPT Search a descobrir e indexar centenas de milhões de novas páginas, usando como base um grupo que representa cerca de 1% de toda a rede da Cloudflare. Ou seja, mesmo com uma fatia pequena do tráfego total monitorado, o resultado em volume de páginas encontradas já chama atenção.
Os primeiros resultados foram divulgados em 15 de outubro, num post no blog da Cloudflare assinado em conjunto por dois funcionários da OpenAI. Vale lembrar que o piloto em si havia sido anunciado em 8 de julho, então esse é basicamente o primeiro balanço público do projeto. O texto, porém, deixa algumas lacunas: não informa com que frequência essas novas páginas acabaram sendo citadas dentro do ChatGPT, nem quantas visitas elas geraram para os sites de origem.
Como os sinais da Cloudflare ajudam o ChatGPT Search a encontrar páginas
Na prática, a Cloudflare fornece sinais da própria rede que o crawler de busca da OpenAI usa para identificar páginas relevantes. O post cita alguns exemplos bem concretos: o manual de instruções de uma máquina de lavar específica, informações atualizadas sobre requisitos e taxas de passaporte, e até o cardápio com horário de funcionamento de um restaurante. Segundo a publicação, esse tipo de página “pode ser valiosa mesmo que poucos outros sites apontem links para ela” — ou seja, conteúdo útil que historicamente ficava invisível para buscadores tradicionais por falta de backlinks.
Já no anúncio original de 8 de julho, as empresas haviam detalhado quais sinais entrariam em jogo: há quanto tempo a página foi atualizada pela última vez, a qualidade do tráfego que o site recebe e quais mudanças de fato foram feitas no conteúdo. Esses dados vêm de sites participantes do piloto. Apesar disso, nenhum dos dois comunicados revela quem são esses participantes nem se as novas páginas descobertas pertencem justamente a eles.
O efeito dos sinais sobre o rastreamento
Outro ponto destacado no post de 15 de outubro é que esses sinais também ajudam o crawler da OpenAI a evitar requisições desnecessárias. Isso porque robôs de busca costumam repetir tentativas de acessar arquivos que não existem mais no servidor, alguns sites redirecionam praticamente qualquer endereço para a homepage, e outros apontam para cópias do mesmo conteúdo espalhadas pelo domínio. Com os sinais de mudança, o crawler consegue saber se vale a pena visitar aquela página de novo ou se é melhor pular.
As empresas também estão testando sinais que sinalizam páginas potencialmente perigosas. O exemplo dado é o de um formulário de login falso plantado por um invasor numa única página de um site legítimo — nesse caso, a ideia é marcar apenas aquela página específica, sem penalizar o domínio inteiro. De acordo com o post, os primeiros resultados indicam que esses sinais ajudam a manter páginas problemáticas fora do índice.
“Encontrar novas páginas pode aumentar o rastreamento inicialmente, enquanto essas páginas são avaliadas e indexadas.”
A ideia por trás de tudo isso é reduzir a carga desnecessária para os clientes da Cloudflare, embora o post não traga números concretos sobre volume de rastreamento ou impacto nos servidores.
As configurações do crawler ainda definem o acesso
Um detalhe importante: ter um sinal sobre uma página não significa automaticamente ter permissão para acessá-la. O blog reforça que os pesquisadores estão usando metadados da web para melhorar a capacidade de busca e descoberta dos mecanismos — e não para alimentar o treinamento de modelos com o conteúdo das páginas.
A documentação que explica o funcionamento do crawler da OpenAI separa busca e treinamento em duas diretivas distintas dentro do robots.txt. Na prática, se um site bloquear o OAI-SearchBot (o robô responsável pela busca de informações), ele simplesmente não aparece nos resultados de busca do ChatGPT, ainda que possa continuar surgindo como link de navegação. Por outro lado, se o site permitir tanto o OAI-SearchBot quanto o GPTBot (o robô que coleta conteúdo para treinamento), a OpenAI pode aproveitar os dados de uma única varredura para as duas finalidades.
O post de 15 de outubro também direciona os leitores para a ferramenta AI Crawl Control, da Cloudflare, disponível atualmente em todos os planos. Por meio dela, é possível ver quais serviços de IA estão acessando um determinado site e decidir se cada crawler deve ser liberado ou bloqueado.
Por que isso importa para quem produz conteúdo
Assim que uma página entra no índice da OpenAI, ela passa a ser mais uma fonte possível de resposta dentro do ChatGPT. No entanto, as empresas fazem questão de frisar que a avaliação e o ranqueamento das páginas indexadas são feitos de forma independente — ou seja, estar no piloto e ser encontrado não garante, de forma alguma, ser citado nas respostas.
Para quem administra um site, vale uma estratégia específica: permitir o OAI-SearchBot e bloquear o GPTBot mantém a página visível nos resultados de busca do ChatGPT, mas sinaliza que aquele conteúdo não deve ser usado para treinar modelos. A própria OpenAI cita essa configuração como exemplo em sua página sobre o crawler.
Há ainda um ponto sensível sobre rastreamento de resultados: medir visitas vindas do ChatGPT depende de tags UTM ou de informações de referência, e algumas dessas informações estavam ausentes em links do ChatGPT no início deste mês. Um analista relatou que uma correção começou a ser aplicada em 15 de outubro.
Os próximos passos do projeto
Segundo a Cloudflare e a OpenAI, a próxima etapa do projeto envolve aprimorar como uma página é selecionada pela IA, testar indicadores mais rápidos e confiáveis para mudanças de conteúdo e medir os resultados quando novo conteúdo é encontrado pelo sistema.
A Cloudflare afirma que está trabalhando junto com a OpenAI para entender como essa melhoria na descoberta de conteúdo pode se traduzir em resultados concretos de negócio.
Em um post anterior, publicado em 1º de julho, a Cloudflare já havia sinalizado a intenção de oferecer amplo acesso a esse recurso ainda ao longo de 2026. Já o anúncio de 15 de outubro não trouxe nenhuma data específica para essa expansão. Enquanto isso não acontece, quem administra um site pode acompanhar a atividade do crawler da OpenAI diretamente nos logs do próprio servidor ou pela ferramenta AI Crawl Control.
Com informações de searchenginejournal.com.
