Quem trabalha com otimização para IA generativa já sabe: tentar prever o que o ChatGPT vai citar numa resposta é meio como tentar prever o tempo em Santa Catarina — tem lógica, mas sempre rola uma surpresa. E agora um novo estudo coloca números nessa desconfiança. Segundo o levantamento, somar os resultados do Google com a API de respostas da OpenAI encontrou apenas 26,2% das páginas que o próprio ChatGPT citou nos testes feitos com a versão GPT-5.5 Instant. Quando o recorte é por site (e não por página específica), o índice de acerto sobe para 48,7%.
Ou seja, mesmo combinando duas fontes diferentes de dados, ainda sobra muita coisa que escapa. Essa é a questão central de um artigo (preprint) publicado em 11 de outubro por pesquisadores da National University of Singapore e da Xi’an Jiaotong University. O trabalho analisou quatro versões do ChatGPT, da GPT-5.2 Instant até a GPT-5.5 Instant, com a maior parte da coleta de dados acontecendo entre 29 de março e 29 de julho de 2026. A ideia foi usar dois “substitutos” — resultados do Google e a Responses API da OpenAI — que podem ser consultados sem precisar abrir o ChatGPT, e depois comparar o quanto esses substitutos se pareciam com o que o chatbot de fato citava.
Como os pesquisadores acompanharam o ChatGPT nos bastidores
Para entender o comportamento do ChatGPT, os pesquisadores registraram o fluxo de dados recebido pela aplicação web durante o processo de escrita, monitorando sessões logadas próprias. Esse monitoramento permitiu enxergar quais buscas o ChatGPT realizou, quais páginas apareceram como resultado dessas buscas e, por fim, quais páginas acabaram escolhidas como fonte. Uma página só entrava na contagem de “citada” quando o ChatGPT a selecionava como fonte — tanto links listados individualmente quanto páginas agrupadas e selecionadas como uma fonte só.
O experimento usou 80 perguntas, retiradas do Search Arena, um banco de dados público com interações reais de usuários com chatbots e modelos de IA com busca habilitada. Dessas 80 perguntas, 40 estavam em inglês e 40 em chinês, cobrindo quatro tipos de pedido: recomendação, busca de fatos, síntese de informação e análise. Cada uma das 80 perguntas foi rodada 20 vezes na GPT-5.3 Instant e na GPT-5.5 Instant. Já a GPT-5.2 Instant e a GPT-5.4 Thinking tiveram menos rodadas, já que foram descontinuadas antes do fim da coleta.
Para montar os substitutos de comparação, os pesquisadores buscaram até cinco páginas de resultados orgânicos do Google por pergunta, via SerpAPI — em média, cerca de 43 resultados por pergunta. Além disso, para cada pergunta, foram enviadas 20 consultas via Responses API da OpenAI, tanto para o modelo gpt-5.3-chat-latest quanto para o gpt-5.5, com busca na web habilitada. Tudo isso foi feito dentro de um intervalo de três dias em relação à execução da mesma pergunta diretamente no ChatGPT. Vale o alerta de praxe: por ser um preprint publicado no arXiv, o estudo ainda não passou por revisão por pares.
Sites batem mais do que páginas específicas
No recorte combinado, Google mais API encontraram 28,3% das páginas citadas pela GPT-5.3 Instant e 26,2% das páginas citadas pela GPT-5.5 Instant. Quando o foco vai para sites (tratando subdomínios como sites diferentes), essa mesma combinação acertou 50,3% e 48,7%, respectivamente. O critério usado pelo estudo considera uma página como citada se ela aparece em pelo menos uma das 20 rodadas, e as porcentagens representam a média entre as 80 perguntas.
Olhando separadamente, o Google sozinho foi responsável por 9,4% e 6,4% das páginas citadas, e por 26,1% e 22,8% dos sites citados. Já a lista completa de fontes da API teve desempenho melhor nesse quesito, cobrindo 22,9% e 22,5% de todas as páginas citadas. Curiosamente, quando o comparativo considera apenas as páginas que a própria API citou em suas respostas (e não toda sua lista de fontes), a proximidade com o ChatGPT aumenta: em média, a GPT-5.5 Instant citou 23,3% das páginas que a API também citou — um índice bem superior aos 16,4% observados na comparação com a GPT-5.3 Instant.
O ChatGPT reescreve perguntas e muda de fonte entre uma rodada e outra
De acordo com a página de ajuda da própria OpenAI, quando o ChatGPT recorre a um provedor externo de busca, ele costuma transformar a pergunta original em um ou mais termos de busca específicos. E os dados confirmam isso na prática: em nenhuma das rodadas visíveis da GPT-5.3 Instant e da GPT-5.5 Instant o ChatGPT usou a frase exata da pergunta original para buscar. Já na GPT-5.2 Instant, isso aconteceu em 5,5% das rodadas.
Outro detalhe interessante: entre as rodadas com buscas visíveis para perguntas escritas em chinês, a GPT-5.3 Instant (67,0%) e a GPT-5.5 Instant (69,6%) usaram buscas somente em inglês. Esse padrão conversa com outro dado, levantado pela Peec AI em fevereiro, que apontou que 43% das consultas de “fan-out” para prompts fora do inglês também acabavam rodando em inglês.
Além disso, havia bastante variação entre rodadas individuais da mesma pergunta. Por exemplo, 44,5% das páginas distintas retornadas para uma determinada pergunta apareceram em apenas uma das 20 rodadas da GPT-5.5 Instant. Na GPT-5.3 Instant, esse número foi de 40,8%. O grau de sobreposição entre rodadas foi maior quando se olha para sites do que quando se olha para páginas individuais. Vale destacar que, mesmo com páginas aparecendo com mais frequência em outras rodadas da mesma pergunta terem maior chance de serem citadas, os autores fazem questão de reforçar que isso não significa que a frequência de aparição seja, em si, a causa da citação.
As duas sessões de coleta que trocaram de modelo no meio do caminho — depois de 14 e 16 rodadas, respectivamente — levaram os autores a recomendar sempre checar qual modelo gerou cada resposta analisada.
Por que isso importa para quem monitora citações
Na prática, os testes mostram que nem os resultados da API da OpenAI nem os do Google conseguiram reproduzir com exatidão as páginas citadas pelo ChatGPT. Isso significa que um teste baseado em ranking do Google ou na API da OpenAI tende a encontrar uma fatia maior de sites em comum do que de páginas em comum com o que o ChatGPT realmente cita.
Diante disso, as recomendações dos autores para quem monitora citações são: acompanhar tanto no nível de página individual quanto no nível de site, rodar o mesmo prompt várias vezes e sempre considerar que o ChatGPT reescreve as perguntas antes de buscar. Por isso, vale checar se qualquer ferramenta de monitoramento está comparando dados coletados via API com o que o ChatGPT realmente reporta na aplicação — já que o estudo não testou nenhuma ferramenta comercial de rastreamento.
O que vem pela frente
Importante lembrar que todas as configurações analisadas no estudo são anteriores à GPT-5.6 e à GPT-6. Segundo a página de ajuda de modelos da OpenAI, a GPT-6 já está sendo disponibilizada no Chat para usuários elegíveis dos planos Plus, Pro, Business e Enterprise, enquanto a GPT-5.6 Luna está virando padrão para usuários dos planos Free e Go.
Esse tipo de troca de modelo não é só detalhe técnico: por volta da mudança para a GPT-5.5, em maio, dados da Sistrix mostraram que a variação diária nas citações do ChatGPT em língua alemã saltou para 47%, bem acima do patamar normal de 1% a 2%. Os autores do estudo reforçam que as estratégias de monitoramento precisam ser reavaliadas sempre que o modelo por trás do ChatGPT muda. Até que essa comparação seja repetida com a GPT-6, os números deste estudo retratam apenas os modelos que estiveram em uso entre março e julho.
Com informações de searchenginejournal.com.
