Um teste conduzido por pesquisadores da Universidade Fudan mostrou algo curioso sobre o comportamento da IA em buscas: ChatGPT, Perplexity, Grok e o chamado “Google AI” chegaram a citar um conceito totalmente inventado em menos de sete dias após ele ser publicado na internet. Ou seja, bastou uma semana para que ferramentas de busca com inteligência artificial repetissem uma informação que nunca existiu antes dos pesquisadores criarem.
A equipe espalhou posts escritos por contas comuns em nove sites que essas ferramentas já costumavam citar com frequência. Curiosamente, quando o teste envolveu outros dois temas — uma pergunta de opinião com discussão já existente e um produto fictício — as mesmas quatro ferramentas praticamente não repercutiram o conteúdo no mesmo período.
Vale destacar que o estudo usa o rótulo “Google AI” e faz referência à página geral de IA do Google, mas não especifica exatamente qual produto da empresa foi testado. Os testes aconteceram em março e abril, e o artigo acadêmico foi publicado no arXiv em 8 de outubro.
Como funcionou o teste com IA em buscas
Em março, o time da Fudan rodou 120 perguntas em 10 ferramentas de busca com IA e registrou quais sites cada uma citava. Os pesquisadores dividiram as ferramentas em dois grupos: ChatGPT, Perplexity, Grok e Google AI, classificadas como “ferramentas da web em inglês”; e outras seis, incluindo Doubao e DeepSeek, como “ferramentas da web chinesa”.
Entre as fontes mais citadas, o Reddit liderou para Google AI e Grok, o YouTube apareceu como favorito do Perplexity, e a Wikipédia dominou as respostas do ChatGPT. Além disso, de 6 a 10 dos 10 sites mais citados por cada ferramenta aceitavam postagens de usuários comuns — um detalhe que se mostraria bastante relevante mais adiante.
Em abril, ao testar 22 plataformas de postagem, os pesquisadores classificaram Medium, GitHub, LinkedIn e Facebook como fáceis de usar para publicar conteúdo, enquanto o Reddit, com suas exigências de “karma” e exclusões rigorosas, se mostrou mais complicado.
A partir disso, a equipe escolheu, para cada ferramenta, o site mais citado em que fosse possível criar uma conta nova e publicar. O resultado foram nove sites, incluindo Medium, YouTube e Sohu.
Os pesquisadores então publicaram artigos sobre três temas: o fictício “Cactus Gravity Protocol”, a questão de saber se a IA substituiria programadores juniores em até cinco anos, e um teclado inventado. Os primeiros rascunhos foram feitos com ChatGPT e depois revisados manualmente, recebendo detalhes plantados de propósito — como nomes e números fabricados — para que os autores pudessem identificar se as ferramentas de IA repetiriam essas informações específicas.
Antes de publicar qualquer coisa, a equipe fez verificações para confirmar que nenhuma das ferramentas já oferecia respostas informativas sobre os temas fictícios ou repetia os dados plantados. Depois da publicação, as mesmas cinco perguntas sobre cada um dos três temas foram feitas diariamente, durante uma semana, em todas as ferramentas.
Vale lembrar que, em junho, um artigo da Cornell Tech já havia analisado textos plantados em agentes de pesquisa de código aberto, mas em ambiente simulado. Já neste novo estudo, as postagens foram feitas na web real, com consultas via interfaces públicas das próprias ferramentas.
O que as quatro ferramentas em inglês citaram
Oito das 10 ferramentas testadas acabaram citando o conceito inventado, o Cactus Gravity Protocol, dentro de uma semana — incluindo as quatro ferramentas voltadas à web em inglês. Contando as respostas desde o primeiro dia em que cada ferramenta citou os posts até o sétimo dia após a publicação, o Grok linkou o post em 30 de 32 respostas, o Google AI em 15 de 33, o Perplexity em 13 de 35, e o ChatGPT em 7 de 20.
No entanto, repetir um detalhe plantado especificamente foi bem mais raro. Das respostas do Grok (n = 32), 53% incluíram esse detalhe; no ChatGPT (n = 20), apenas 10%; no Google AI (n = 33), 6%; e no Perplexity (n = 35), nenhuma. Ao todo, somando as 10 ferramentas e os três temas, houve links para os posts em 176 das 1.004 respostas analisadas durante a semana.
Das quatro ferramentas em inglês, só o Perplexity chegou a citar o post de “opinião” — em 11,4% das respostas (n = 35) — e nenhuma delas citou os posts sobre o teclado fictício dentro da semana.
Os autores não conseguem isolar se foi o tema, a concorrência de conteúdo ou o tipo de pergunta que explicou as diferenças entre os três assuntos, já que todas essas variáveis mudaram ao mesmo tempo.
Em um teste complementar, a equipe publicou um post em cada uma das plataformas Sohu, YouTube e CSDN, cobrindo mais 10 temas inventados. Nove deles geraram pelo menos uma citação ou repetição de detalhe plantado entre as 10 ferramentas, e o Perplexity foi uma das três ferramentas que mais citou esse conteúdo. O artigo, porém, não detalha o desempenho das demais ferramentas em inglês nesse teste específico.
Posicionamento pesou mais que volume de IA em buscas
Para avaliar a importância do local de publicação, os pesquisadores criaram pares de postagens sobre 5 destinos de viagem pouco conhecidos. Um post ficava em uma fonte frequentemente referenciada pelas ferramentas; o outro, em um site raramente ou nunca citado. Em todos os casos, o post hospedado na fonte mais referenciada foi o primeiro a gerar citação ou repetição de detalhe.
No melhor cenário do lado “menos referenciado”, foram necessárias 20 postagens para conseguir resultado — e 40 postagens em um site WordPress autogerenciado não geraram nenhuma referência em sete dias. Os próprios autores deixam claro que esses números valem para os temas testados, não como regra geral.
Outro experimento testou seis temas fictícios usando quantidades variadas de postagens no Sohu (entre 1 e 20). O total de citações somando todas as dez ferramentas subiu de 24 para 128. Ainda assim, o ChatGPT nunca citou esses posts, e o Google AI só o fez ao referenciar os três temas de menor volume. Como cada volume testado usava um tema diferente, os pesquisadores tratam esse aumento como uma associação, e não como um efeito direto de postar mais vezes.
Por fim, a equipe comprou um pacote de postagens chinesas por meio de um fornecedor de GEO, pagando US$ 14. As 13 postagens foram entregues à web em aproximadamente 28 minutos após a compra. Uma citação do Doubao a uma dessas postagens, incluindo um detalhe plantado, ocorreu dentro de uma hora após a publicação — apresentada pelos autores como um caso confirmado de sucesso, não como uma taxa geral.
Por que isso importa
O tema que todas as ferramentas em inglês citaram dentro de uma semana não existia antes das postagens dos pesquisadores. Já os outros dois assuntos — a pergunta de opinião e o produto fictício — praticamente não conseguiram repercutir nas mesmas ferramentas.
É importante notar que nenhum dos temas testados era uma marca ou produto real, então os testes não mostram se o mesmo padrão se repetiria em buscas por marcas ou produtos verdadeiros, mesmo aqueles com pouca cobertura na web.
O próprio guia do Google sobre seus recursos de IA afirma que buscar “menções” inautênticas “não é tão útil quanto parece”, citando sistemas de ranqueamento focados em conteúdo de alta qualidade e outros mecanismos voltados a bloquear spam. Ainda assim, o artigo não revela qual produto do Google foi efetivamente avaliado.
O que vem pela frente
Os testes da pesquisa ocorreram em março e abril, antes de o Google esclarecer, em 15 de maio, que suas políticas antispam também cobrem tentativas de manipular respostas de IA generativa na Busca Google. Por isso, os próprios autores reconhecem que as taxas observadas podem mudar conforme as ferramentas evoluem.
Segundo os pesquisadores, o achado foi comunicado às 10 plataformas testadas, e ChatGPT, Perplexity e Google AI estiveram entre as que confirmaram o recebimento. Caso uma versão revisada do artigo traga mudanças nas conclusões, a atualização deve ser incorporada ao debate sobre como a IA em buscas lida com informações plantadas na web.
Com informações de searchenginejournal.com.
