Imagine pedir a três assistentes de inteligência artificial que façam a mesma compra, com as mesmas opções na tela, e receber três respostas diferentes. Foi exatamente isso que aconteceu num teste que colocou modelos de IA para escolher produtos dentro do catálogo da Shopify, sem orçamento definido, sem histórico de compras e sem preferências declaradas — só a busca pura e simples. O resultado mostrou que a escolha de compras com IA depende muito mais do modelo usado do que se imagina, e isso pode mudar completamente qual loja fatura a venda.
O experimento usou o Shop MCP, a conexão que a Shopify abriu para agentes de inteligência artificial em 13 de outubro, e testou buscas como “coffee beans” (grãos de café). Para o café, por exemplo, os modelos Haiku 4.5 e Sonnet 5 preferiram o torrado escuro com mais avaliações, enquanto o Opus 5 escolheu o torrado médio em 48 de 50 tentativas, justificando: “sem preferências declaradas, um torrado médio é a opção mais segura para agradar a maioria”.
Como funciona a conexão da Shopify com agentes de IA
Em 13 de outubro de 2026, a Shopify anunciou o Shop MCP, que, nas palavras da própria empresa, “permite que seu agente ou aplicativo pesquise o Catálogo Shopify, monte carrinhos e finalize o checkout via Shop Pay através de uma única conexão MCP”. A ferramenta cobre mais de um bilhão de produtos e não exige chave de API para realizar buscas — ou seja, qualquer empresa que desenvolva um agente de compras pode consultar o catálogo e receber uma lista de produtos para atender ao pedido de um cliente.
No entanto, uma lista não é uma compra. É preciso que algo escolha um item dela, e quando o agente roda sobre um modelo de linguagem, é o modelo quem decide. A empresa responsável pelo agente escreve instruções adicionais por cima dessa camada básica, e essas instruções são privadas, variando de um agente para outro.
Por isso, o teste focou justamente na camada de baixo: o modelo puro, sem ajustes externos. Mesmos produtos, mesma instrução curta, mesmo pedido — e a única variável foi o modelo utilizado. Se três modelos recebendo exatamente a mesma entrada escolhem produtos diferentes, então qual loja recebe o pedido de um cliente passa a depender, em parte, de qual modelo o agente daquele cliente usa.
Quase 2 mil escolhas testadas em compras com IA
Cada busca foi feita uma única vez pelo Shop MCP, como um comprador anônimo dos Estados Unidos, salvando os 20 primeiros resultados. Toda chamada aos modelos recebeu essa mesma lista salva, na ordem do catálogo (exceto no teste em que a ordem foi invertida), garantindo que os produtos nunca mudassem entre os modelos ou entre as rodadas.
Oito buscas de produtos de skincare foram coletadas em 15 de outubro. Outras seis — mochila, grãos de café, tênis de corrida, garrafa de água, fones de ouvido sem fio e tapete de yoga — foram coletadas em 24 de outubro. Duas buscas extras, “vela aromática” e “ração para cachorro”, acabaram descartadas porque uma única loja dominou todos os 20 resultados de velas, e apenas três lojas preencheram a lista de ração.
Para cada produto, o modelo via apenas o título, a loja, o preço, a nota em estrelas, o número de avaliações, o resumo de uma linha do catálogo e as três primeiras características listadas — nada além disso. A instrução dada aos modelos foi, literalmente, esta:
“Você é um agente de compras. Uma pessoa pediu para você comprar algo para ela. Você verá os produtos que o catálogo da Shopify retornou para o pedido. Escolha o único produto que você compraria para ela. Responda apenas em JSON, sem nenhum outro texto: {“pick”: <número do produto>, “reason”: “<uma frase>”}”
Em seguida vinha o pedido do comprador, que era apenas a palavra de busca: “grãos de café”, “garrafa de água”, “protetor solar mineral FPS 50”. Em um dos testes, foi adicionado um orçamento e um tipo de pele específico.
Os modelos avaliados foram Claude Haiku 4.5, Sonnet 5 e Opus 5, rodados via Claude Code com configurações padrão, sem ferramentas e sem acesso à web. Cada escolha foi uma chamada nova, sem memória das anteriores. Ao todo, foram 1.980 escolhas, divididas assim:
- Seis buscas de produtos apenas com as palavras-chave como pedido: 50 escolhas por modelo por busca, totalizando 900 escolhas.
- Uma busca de protetor solar testada de duas formas — primeiro “protetor solar mineral FPS 50”, depois “protetor solar mineral FPS 50, até $25, para pele oleosa”: 100 escolhas por modelo em cada versão, somando 600 escolhas.
- Oito buscas de skincare, com a lista na ordem original do catálogo e depois invertida: 10 escolhas por modelo em cada ordem por busca, totalizando 480 escolhas.
A simplicidade proposital do teste é justamente o ponto central: sem preferências, sem histórico de compras, sem instruções extras de uma empresa de agentes. Trata-se da resposta mais “crua” do modelo quando ele não tem outras informações — e é sobre essa camada básica que qualquer agente real constrói o resto.
Três modelos, seis buscas e nenhum consenso
Nas seis buscas de produtos, os três modelos não concordaram sobre o produto mais escolhido em nenhuma delas. Haiku e Sonnet coincidiram em três categorias (mochila, grãos de café, garrafa de água), Sonnet e Opus em duas (fones de ouvido sem fio, tapete de yoga), e Haiku e Opus em apenas uma (tênis de corrida).
Cada modelo, porém, era consistente consigo mesmo — só não eram consistentes entre si. O produto mais escolhido pelo Sonnet representou, em média, 94% das suas escolhas nas seis buscas; no Opus, 89%; e no Haiku, 67%. Ou seja: dentro de um mesmo modelo, um produto específico leva quase todas as indicações, mas basta trocar o modelo para que outro produto assuma essa posição.
Em três das seis buscas, o produto escolhido também vinha de uma loja diferente. Na garrafa de água, Haiku e Sonnet escolheram majoritariamente a garrafa da marca nobl, enquanto o Opus sempre escolheu a da Owala. No tapete de yoga, Haiku optou pela POPFLEX e os outros dois pela Liforme. Já nos tênis de corrida, Haiku e Opus escolheram um modelo Brooks vendido pela Fit2Run, enquanto Sonnet preferiu um tênis adidas vendido pela Commonwealth Running Co. Nas buscas de café, mochila e fones de ouvido, as duas marcas escolhidas coincidiam.
Curiosamente, a posição do produto no ranking do catálogo da Shopify pesou menos do que se esperava: Haiku escolheu o produto classificado em primeiro lugar pelo catálogo em 8% das vezes, Sonnet nunca escolheu o primeiro colocado, e Opus o fez em 20% das vezes.
A obsessão por avaliações — mesmo as que não aparecem na loja
Nas buscas por mochila, grãos de café e garrafa de água, o produto mais escolhido por Haiku 4.5 e Sonnet 5 foi sempre aquele com o maior número de avaliações entre os 20 listados — e no caso do tapete de yoga, isso também valeu para o Haiku. As justificativas dos próprios modelos confirmam isso logo nas primeiras palavras: “o EASE Dark Roast tem o maior número de avaliações (24.398 avaliações) com nota 4,9/5…” (Haiku), “o Roll Top 20L tem disparadamente o maior número de avaliações (63.165)…” (Sonnet).
A garrafa de água, porém, revela o lado problemático dessa preferência. O catálogo da Shopify listava a Garrafa de Água de Aço Inoxidável da nobl com nota 5.0 e 447.221 avaliações — e foi exatamente isso que os modelos enxergaram. Haiku escolheu essa garrafa 45 vezes em 50, citando o número 447.221 em todas elas. Sonnet a escolheu 39 vezes, mencionando o número em 33 dessas ocasiões, como neste exemplo: “maior nota disparada (5.0 de 447.221 avaliações) com um preço razoável de $29…”.
Acontece que a mesma garrafa tem três números de avaliação diferentes — e os dois modelos basearam sua escolha justamente no maior deles. A página do produto da nobl mostrava 5.0 a partir de 6.537 avaliações. Já o registro do catálogo para a cor Blush listada indicava 4.2 a partir de 1.674 avaliações.
Não se sabe ao certo o que o número 447.221 está contando. Ao repetir a busca mais tarde, ainda em 24 de outubro, o catálogo mostrava 447.227 — seis a mais, o que indica se tratar de um número ao vivo, atualizado em tempo real. Esse valor não aparece nem na página do produto nem na página inicial da nobl, e é cerca de 68 vezes maior que a contagem exibida na própria página do produto. O Opus 5, aliás, nunca escolheu essa garrafa: preferiu sempre a Owala FreeSip, com nota 4.6 e 34.394 avaliações, nas 50 vezes em que rodou o teste, chamando-a de “a opção padrão mais segura para um comprador genérico”.
No fim das contas, o experimento deixa claro que, em compras com IA, não existe uma resposta única e objetiva sobre qual produto é “o melhor”: cada modelo carrega seus próprios critérios e vieses, e isso pode favorecer ou prejudicar lojas inteiras dependendo de qual inteligência artificial o consumidor está usando para decidir sua compra.
Com informações de searchenginejournal.com.
