O debate sobre como preparar páginas e lojas virtuais para serem lidas, consultadas e até operadas por robôs de inteligência artificial ganhou força nos últimos meses. A ideia central por trás de sites prontos para IA é simples: permitir que um agente leia o conteúdo de uma página, consiga buscar respostas específicas dentro dela e, em alguns casos, execute ações — enquanto o dono do site ainda consegue identificar quais agentes estão visitando e decidir o que eles podem ou não fazer.
Apesar de a maior parte dessas abordagens ainda não ter virado padrão oficial, várias já saíram do papel e estão em uso em um número relevante de páginas pelo mundo. Entre as práticas mais adotadas estão o arquivo llms.txt e versões em markdown das páginas, que facilitam a leitura por parte dos agentes; dados estruturados e servidores MCP (Model Context Protocol), que ajudam na consulta de informações; arquivos de descoberta, que indicam o que existe no site; o chamado Content Signals, que trata parcialmente da questão da confiança; e o WebMCP, voltado para a execução de ações — tema que, segundo a publicação original, merece um texto próprio.
O que é o llms.txt e por que ele virou referência em sites prontos para IA
O llms.txt foi proposto originalmente por Jeremy Howard, no site llmstxt.org. Trata-se de um arquivo em markdown hospedado na raiz do domínio — por exemplo, example.com/llms.txt — que funciona como um mapa curado e resumido do site, pensado especificamente para modelos de linguagem. O arquivo começa com o nome do site e um resumo de uma linha, seguido por listas de páginas úteis organizadas em seções, cada uma com um link e uma breve descrição do conteúdo. Dessa forma, em vez de precisar varrer página por página, o agente consegue entender do que se trata o site em uma única leitura.
Apesar do nome parecido, o llms.txt não funciona como o robots.txt. Enquanto o robots.txt determina o que os rastreadores podem ou não acessar, o llms.txt não controla nada — ele é apenas um índice informativo, uma espécie de aviso para os agentes.
Mesmo sem ter sido adotado por nenhum órgão de padronização, e sem que as empresas de IA confirmem se seus robôs realmente leem o arquivo, o uso do llms.txt se espalhou rapidamente. OpenAI, Anthropic e Google, por exemplo, publicam o próprio arquivo em suas documentações para desenvolvedores, enquanto plataformas como Mintlify e GitBook já geram o arquivo automaticamente. A categoria “Agentic Browsing” do Lighthouse também verifica a presença desse recurso.
Neste ano, a proposta chegou à versão 2, que adiciona uma exigência: o site precisa indicar onde o arquivo está localizado por meio de um cabeçalho Link ou de uma tag <link rel=”describedby”>, garantindo que os agentes encontrem o documento sem ambiguidade.
Versões em markdown: conteúdo mais leve para agentes de IA
Outra prática que vem se consolidando é oferecer versões em markdown das páginas, no lugar do HTML tradicional que é exibido ao usuário comum. A diferença de tamanho é expressiva: como a navegação, os scripts, os estilos visuais e os anúncios são removidos, sobra apenas o conteúdo essencial. Em um exemplo citado pela Cloudflare, uma página que tinha 16.180 tokens em HTML caiu para 3.150 tokens em markdown. Isso significa um processamento mais barato para o agente e mais espaço disponível na janela de contexto para a pergunta em si.
Existem duas formas principais de disponibilizar o markdown:
- Endereço .md separado: geralmente é a própria URL da página com “.md” adicionado ao final. É uma abordagem amplamente usada, inclusive nas documentações da Anthropic e da Stripe. Como o agente precisa saber que esse endereço existe, os sites costumam indicá-lo por meio de uma tag <link rel=”alternate”>, de um cabeçalho Link e/ou de uma listagem no arquivo llms.txt.
- Negociação de conteúdo: o agente solicita a URL normal da página, mas envia um cabeçalho Accept: text/markdown, e o servidor responde em markdown em vez de HTML. Agentes de programação como Claude Code e OpenCode já enviam esse cabeçalho.
Na prática, as duas abordagens costumam partir do mesmo conteúdo-base. O site, ou o plugin responsável por isso, gera a versão em markdown uma única vez, quando a página é publicada ou atualizada, e a armazena. Assim, tanto o endereço .md quanto a requisição negociada puxam a mesma cópia salva — a diferença está apenas na forma como o agente fez o pedido. Esse método é mais eficiente do que converter a página a cada requisição, e garante que o agente sempre receba o conteúdo mais atualizado, independentemente do caminho escolhido.
Por que oferecer os dois formatos ao mesmo tempo
O ideal é disponibilizar tanto o endereço .md quanto a negociação de conteúdo, para que o agente receba markdown não importa qual seja sua preferência. Segundo análises citadas na publicação original, os agentes parecem buscar diretamente os endereços .md com mais frequência do que negociam o formato — possivelmente porque os sites costumam apontar para esses endereços com tags <link>, cabeçalhos Link e arquivos llms.txt, enquanto a negociação acaba captando os agentes que pedem markdown diretamente na URL comum. Como ambos os caminhos partem da mesma cópia armazenada, oferecer a segunda opção não gera custo adicional nem complexidade extra.
Por outro lado, a negociação de conteúdo exige cuidado redobrado com o cache. Como as versões em HTML e em markdown compartilham a mesma URL, o servidor precisa enviar um cabeçalho Vary: Accept, e qualquer cache de página ou CDN (rede de distribuição de conteúdo) posicionada na frente do site precisa respeitar essa instrução, armazenando as duas versões separadamente. Caso contrário, um visitante comum pode acabar recebendo a versão em markdown em vez da página em HTML, e o navegador pode até tratar esse conteúdo como um arquivo para download. A Cloudflare, por exemplo, adiciona o Vary: Accept às respostas convertidas justamente por esse motivo. Por isso, vale verificar junto à empresa de hospedagem se o sistema de cache mantém as duas versões devidamente separadas.
A abordagem alternativa da Cloudflare para sites prontos para IA
A Cloudflare segue um caminho diferente com sua ferramenta Markdown for Agents, lançada em fevereiro de 2026. Ela também usa negociação de conteúdo, mas não depende de uma versão em markdown previamente armazenada no site — em vez disso, busca o HTML normal da página diretamente no servidor e faz a conversão em sua própria infraestrutura de borda (edge). Esse processo remove navegação, scripts e estilos, posiciona o título e a descrição da página no topo e acrescenta, ao final, um bloco com eventuais dados estruturados em JSON-LD. Cada resposta convertida também traz um cabeçalho x-markdown-tokens, com uma estimativa de quantos tokens a página vai consumir, permitindo que o agente decida quanto espaço de contexto vale a pena gastar com aquele conteúdo.
Essa característica torna a solução mais simples para quem já usa a Cloudflare, já que funciona em qualquer plataforma e não exige manter uma segunda cópia do conteúdo atualizada. Ainda assim, a qualidade do markdown gerado depende diretamente da qualidade do HTML original — por exemplo, se a página é difícil de interpretar ou se o conteúdo só aparece via JavaScript, o resultado pode ficar comprometido. Além disso, não é possível editar ou controlar diretamente o que a ferramenta produz.
Em resumo, ainda não existe um padrão único e definitivo para tornar um site totalmente pronto para IA, mas o conjunto de práticas já em uso — do llms.txt às versões em markdown, passando pelas soluções de borda como a da Cloudflare — mostra que o mercado está caminhando rapidamente para um modelo em que páginas precisam ser legíveis, consultáveis e, cada vez mais, operáveis por agentes automatizados.
Com informações de elementor.com.