Tem uma ideia que anda circulando no mercado de marketing e SEO: basta “entrar na memória” de um modelo de inteligência artificial para que ele passe a recomendar sua marca sempre que alguém perguntar sobre o assunto. Soa simples, quase automático. Só que, quando a gente olha de perto o que a pesquisa acadêmica vem mostrando sobre memória de IA, essa promessa começa a fazer menos sentido do que parece.
Um modelo pode se tornar excelente em prever os fatos de uma biografia inteira e, ainda assim, travar quando alguém pergunta simplesmente onde aquela pessoa trabalha. Pesquisadores documentaram exatamente essa lacuna: a leitura foi ótima, mas na hora das perguntas a coisa complicou. É como aquele aluno que recita o texto do livro de cor, pontuação incluída, mas se engasga quando precisa tirar um fato específico daquele mesmo parágrafo para responder algo diferente. Antes de comemorar a “revisão”, convém conferir o resultado da prova.
É exatamente essa diferença que me incomoda quando ouço falar em colocar uma marca na memória de um modelo. A expressão faz parecer que a parte difícil já foi resolvida — como se bastasse o modelo ter visto o nome da empresa durante o treinamento para que as recomendações viessem naturalmente depois. Seria muito prático se funcionasse assim. Só que existe bastante coisa escondida atrás da palavra “saber”.
Memória de IA: a lição voltou, as respostas não
O estudo Physics of Language Models: Part 3.1 usou biografias fictícias para separar duas coisas que costumam ser tratadas como sinônimos: memorizar um texto e conseguir extrair fatos dele. Os pesquisadores pré-treinaram modelos pequenos com essas biografias e depois ajustaram (fine-tuning) alguns deles com perguntas sobre determinadas pessoas, testando em seguida perguntas sobre outras pessoas que não tinham passado por esse ajuste.
Aqui, pré-treinamento significa aprender as biografias do zero; o fine-tuning é o treinamento seguinte, focado em perguntas e respostas. Os dois processos alteram os parâmetros (pesos) aprendidos pelo modelo. Quando falamos em memória paramétrica, é justamente essa informação que o modelo consegue usar diretamente dos pesos, sem precisar buscar em nenhuma fonte externa.
O ponto chave é que o modelo já tinha visto a biografia de cada pessoa testada, mas nunca havia recebido treinamento com perguntas sobre ela especificamente. Ou seja, não dá para justificar o erro dizendo que “faltou conteúdo” — o conteúdo estava lá.
A comparação com o aluno ajuda a entender a diferença entre recitar e responder, mas não resolve a questão de saber se um modelo “entende” algo no sentido humano. O que importa, na prática, é se ele consegue pegar um fato aprendido de um jeito e usá-lo para responder a uma pergunta feita de outro jeito completamente diferente.
Um modelo que completa a descrição do seu produto quando você dá o início do texto passou em um tipo de teste. Já um comprador perguntando qual produto atende às necessidades dele está propondo outro teste, bem diferente. Por isso, convém desconfiar de quem fala em “memória de marca” misturando essas duas situações sem deixar claro de qual está falando.
Repetir resolve? Depende do que você quer medir
A resposta mais óbvia para esse problema seria repetir mais vezes o conteúdo, até grudar. E, de fato, o estudo Quantifying Memorization Across Neural Language Models mostra que a duplicação no corpus de treinamento aumenta a extração literal: se você fornece o início de um trecho repetido, o modelo tem mais chance de reproduzir a continuação exata.
Isso derruba a ideia confortável de que “cópias repetidas não ensinam nada” ao modelo — ela é ampla demais. A repetição pode, sim, melhorar um resultado medido. A questão é: qual resultado, exatamente?
Um estudo mais recente, Don’t Forget! Decomposing the Training Dynamics of Memorization in Language Models, investiga o que acontece com um trecho memorizado à medida que o treinamento continua. Os pesquisadores usaram versões salvas de modelos Pythia para simular atualizações de treinamento.
Nessas simulações, aprender com outros dados prejudicou mais a capacidade de prever passagens memorizadas com muita frequência do que passagens raras — efeito mais forte no modelo de um bilhão de parâmetros. A hipótese levantada é que a repetição ajudaria a manter essas passagens “reproduzíveis” mesmo diante dessa interferência.
Os pesquisadores não testaram repetição e dados concorrentes separadamente para comprovar essa explicação — e avaliaram apenas a continuação literal, não a capacidade de responder perguntas sobre os fatos.
Voltando à nossa analogia: o aluno também tem o resto do programa da escola para dar conta. Contar quantas vezes um nome aparece não diz nada sobre como o aprendizado de outros conteúdos afeta o resultado que você realmente quer alcançar. Afinal, saber terminar a frase não garante que o modelo consiga usar aquele fato para responder a uma pergunta diferente — e uma publicação repetida também não é automaticamente uma exposição repetida em treinamento, já que o provedor do modelo ainda precisa coletar, filtrar e efetivamente usar aquela cópia.
Mesmos fatos, ensinados de forma diferente
No experimento das biografias, os pesquisadores variaram a redação, embaralharam a ordem das frases e repetiram o nome completo de cada pessoa ao longo do texto. Resultado: a precisão nas perguntas factuais sobre o grupo testado saltou de 9,7% para 96,2% em um modelo GPT-2 de 124 milhões de parâmetros. Vale lembrar que eram fatos sintéticos, num experimento de treinamento com modelo pequeno — não recomendações comerciais de marca.
Ainda assim, esse resultado me dá uma forma melhor de pensar sobre um “fato de marca”, em vez de simplesmente contar quantas vezes uma frase aparece. Imagine uma empresa fictícia de pagamentos: uma descrição explica como o recurso de repasse ajuda vendedores de marketplace; outra explica como o mesmo recurso resolve um problema de pagamento do cliente. Mesmo produto, mas descrições que podem responder perguntas bem diferentes.
Isso justifica testar descrições claras de um produto em situações variadas. O que não dá para afirmar é que publicar essas descrições fará um modelo comercial “lembrar” melhor do produto — os pesquisadores escolheram o material e treinaram o modelo com ele próprios; um site pode publicar páginas, mas quem decide se elas entram no treinamento, quais cópias manter e como usá-las é o provedor do modelo.
Usar esse resultado para vender um pacote de páginas otimizadas seria prometer uma melhora que a pesquisa nunca testou. E colocar o estudo numa proposta comercial não preenche essa lacuna. Descrições melhores podem ajudar, sim — mas antes de prometer isso a um cliente, o ideal é ter evidência de que o trabalho de publicação realmente melhorou a recordação do modelo.
Quando outra pessoa fez a lição de casa
Outro achado interessante: os pesquisadores mantiveram as biografias de um grupo sem alteração, enquanto adicionavam biografias variadas para outro grupo. A precisão nas perguntas sobre o grupo inalterado subiu de 4,4% para 86,8% — mesmo sem nenhuma versão extra ter sido criada para esse grupo, e mesmo sem suas perguntas e respostas terem entrado no treinamento.
Ou seja, treinar o modelo com material sobre outras pessoas ajudou a responder perguntas sobre esse grupo que ficou de fora. A transferência aconteceu, mas dependia de o material ser suficientemente parecido.
- O grupo testado não ganhou biografias adicionais;
- Suas perguntas e respostas nunca entraram no treinamento;
- Mesmo assim, a precisão sobre esse grupo melhorou bastante.
Voltando à sala de aula: o aluno melhora em usar uma lição porque o ensino em geral ficou melhor em outras frentes — e não porque o próprio texto dele ganhou um parágrafo extra. É esse achado que torna a explicação simplista sobre “conteúdo de marca” incompleta. A qualidade de tudo o que é escrito sobre uma marca pode importar, mas a capacidade do modelo de usar esse tipo de informação, desenvolvida a partir de treinamento com outros exemplos, também conta — e muito.
Se esse tipo de transferência valer também para fatos comerciais, sua marca pode ficar mais fácil de ser lembrada depois de uma atualização do modelo, sem que ninguém tenha reescrito uma linha sequer do material sobre ela. Isso é uma hipótese sobre sistemas em produção, não um resultado medido por esses pesquisadores. Respostas melhores sobre sua empresa, dadas sem busca externa, não significam necessariamente que seu último programa de conteúdo ensinou algo novo ao modelo — pode ser que o provedor simplesmente tenha mudado a forma como o modelo aprende a usar o que encontra.
Confesso que já fui tentado a explicar uma melhora de recordação só pela variedade de descrições de cada marca. Pode até ajudar, mas não é a única explicação possível: no experimento citado, as biografias testadas não ganharam nenhuma versão extra. Se minha explicação depende de mais páginas sobre a empresa para funcionar, ela simplesmente não dá conta desse resultado.
Com informações de searchenginejournal.com.
