Marcas que monitoram sua presença em ferramentas de IA generativa, como ChatGPT, Google AI Overviews e Perplexity, costumam acompanhar apenas um número: quantas vezes aparecem nas respostas. Mas esse dado esconde um problema sério. Uma empresa pode ser citada quase sempre e, ainda assim, ser descrita com informações erradas, desatualizadas ou até favorecendo um concorrente. É o que mostra um levantamento da NP Digital sobre o comportamento de ferramentas de inteligência artificial ao responder perguntas sobre marcas.
O problema afeta diretamente quem depende dessas plataformas para ser encontrado por clientes em potencial. Uma empresa pode constar em nove de cada dez respostas de um assistente de IA e, mesmo assim, ter seu modelo de preços descrito de forma incorreta em todas elas. Por isso, especialistas em SEO começam a defender um novo tipo de verificação: a auditoria de precisão e sentimento nas respostas de IA.
O que é a auditoria de precisão e sentimento em IA?
A auditoria de precisão e sentimento em IA é um processo que avalia não apenas se uma marca aparece nas respostas de assistentes como ChatGPT e Perplexity, mas também o que exatamente é dito sobre ela. A metodologia propõe analisar cada resposta relevante sob três critérios: precisão, sentimento e atualidade.
Precisão verifica se dados como preços, nomes de produtos, lideranças, localização e certificações estão corretos. Sentimento avalia se o tom da resposta é favorável, neutro ou negativo, incluindo detalhes como qual concorrente é citado primeiro. Já atualidade mede se a informação ainda é válida, já que um fato correto em 2023 pode soar como erro hoje.
Quatro cenários possíveis para uma marca
Segundo a análise, existem quatro combinações possíveis entre visibilidade e exatidão nas respostas de IA, cada uma exigindo uma ação diferente:
- Alta visibilidade com respostas corretas: situação ideal, que exige apenas monitoramento constante, já que os mecanismos atualizam suas fontes o tempo todo.
- Alta visibilidade com respostas erradas: o pior cenário, pois o erro se multiplica a cada citação e passa despercebido em painéis tradicionais de métricas.
- Baixa visibilidade com respostas corretas: um problema de alcance, que pode ser resolvido com mais conteúdo próprio e citável. A pesquisa da NP Digital, feita com 9 milhões de respostas de IA, identificou que citações de fontes próprias da marca geram o maior impacto positivo na visibilidade.
- Baixa visibilidade com respostas erradas: exige duas frentes de trabalho simultâneas. É preciso corrigir o conteúdo na origem antes de buscar mais citações, sob risco de ampliar uma informação equivocada.
Por que as respostas de IA saem desatualizadas ou distorcidas?
Dois fatores explicam boa parte dos erros encontrados nessas auditorias. O primeiro é estrutural: os modelos de linguagem tendem a repetir a informação mais recorrente entre suas fontes, não necessariamente a mais correta.
Um exemplo citado é o de cem páginas de diretórios desatualizados com o endereço antigo de uma empresa, que acabam pesando mais do que uma única página institucional já corrigida. O modelo não tem como distinguir qual versão é verdadeira, apenas qual aparece com mais frequência.
O Tow Center for Digital Journalism testou oito ferramentas de busca com IA e constatou que mais de 60% das respostas continham erros. O Perplexity teve o melhor desempenho entre as testadas, mas ainda errou em 37% dos casos. Segundo a NP Digital, quase metade dos profissionais de marketing lida com erros gerados por IA diversas vezes por semana.
Conteúdo editado por IA sem supervisão pode já nascer com erros
Um segundo fator identificado envolve o próprio processo de produção de conteúdo. Um estudo da Microsoft Research, batizado de DELEGATE-52, testou o que acontece quando documentos passam por sucessivas edições feitas por modelos de linguagem sem supervisão humana.
Os pesquisadores avaliaram 19 modelos em 52 áreas profissionais e constataram distorções significativas ao longo de fluxos de edição extensos. Modelos de ponta chegaram a alterar cerca de um quarto do conteúdo de um documento após 20 interações. Em mais de 80% das combinações entre modelos e áreas testadas, os pesquisadores registraram o que chamaram de “corrupção catastrófica” do conteúdo original, com erros raros, porém graves e difíceis de identificar em revisões comuns. O código e os dados do estudo foram publicados no repositório do DELEGATE-52 para verificação independente.
Na prática, isso significa que páginas de produto, fichas técnicas ou materiais de imprensa editados por IA sem revisão humana podem conter erros desde a publicação, erros que depois acabam sendo citados por outras ferramentas de IA como se fossem fatos confirmados.
Como fazer essa verificação na prática?
A recomendação é montar um conjunto de 30 a 50 perguntas que os próprios clientes costumam fazer, incluindo buscas pelo nome da marca, comparações diretas com concorrentes e dúvidas sobre a categoria do produto. O ideal é manter a redação das perguntas fixa, para comparar resultados ao longo do tempo.
Essas perguntas devem ser testadas em diferentes plataformas, como ChatGPT, Google AI Overviews, AI Mode, Perplexity, Gemini e Copilot, já que cada uma usa fontes distintas e pode dar respostas diferentes para a mesma pergunta. Também é recomendado repetir cada pergunta pelo menos três vezes por ferramenta, já que esses sistemas funcionam de forma probabilística: uma resposta errada isolada pode não se repetir, mas se aparecer nas três tentativas, indica um padrão real.
Os resultados devem ser organizados em uma tabela com data, ferramenta usada, pergunta feita, a informação errada encontrada, a fonte citada pela IA, o tipo de problema (precisão, sentimento ou atualidade) e o setor responsável pela correção dentro da empresa.
Como corrigir um erro encontrado?
Segundo a análise, nenhuma das plataformas testadas, ChatGPT, Google AI Overviews ou Perplexity, oferece um mecanismo direto para editar uma resposta específica. Todas aceitam feedback dos usuários, mas nenhuma garante que uma resposta pontual será corrigida a partir disso.
Por isso, a correção mais eficaz é agir diretamente sobre as páginas que servem de fonte para essas ferramentas. Ajustar o conteúdo original, seja um site institucional, uma página de produto ou um perfil em diretório, tende a mudar a resposta da IA de forma mais confiável do que qualquer formulário de reporte dentro das próprias plataformas.
A identificação da fonte exata usada pela IA para formar uma resposta errada é o que transforma uma reclamação genérica em um problema concreto, com um responsável definido para resolvê-lo.
Com informações de neilpatel.com.
