Pular para o conteúdo

Sua comunidade nos buscadores e nas IAs

O robots.txt, o sitemap.xml e o llms.txt que cada comunidade serve sozinha, o que o Google e as IAs leem e o que fica de fora, como a visibilidade dos espaços muda isso, a descrição para buscadores e como enviar o sitemap no Google Search Console e no Bing Webmaster Tools.

Toda comunidade da Memberfy, no endereço da Memberfy ou no domínio próprio, já entrega aos buscadores e às IAs os arquivos que eles procuram. Você não precisa criar nem atualizar nada: os arquivos são montados a partir do menu da comunidade, como ele aparece para quem não está logado.

ArquivoO que traz
/robots.txtGoogle, Bing e outros robôs. O que eles não devem visitar: só a API, o checkout, a administração e a conta. O resto fica liberado
/sitemap.xmlBuscadores. A lista de páginas para indexar: a página inicial, os espaços abertos, os eventos futuros públicos e a página de planos (/pricing)
/llms.txtIAs (ChatGPT, Claude, Perplexity…). A comunidade em Markdown: o que é aberto, com link; o que é fechado, só com o nome e o que é preciso para entrar
/llms-full.txtIAs. O mesmo, com as descrições inteiras em vez de uma linha

Exemplo: https://comunidade.papodesysadmin.org/sitemap.xml ou https://papodesysadmin.memberfy.net/llms.txt.

Para que serve

  • Ser encontrado: quem procura o assunto da sua comunidade no Google chega aos espaços abertos, aos eventos e aos planos.
  • Ser bem descrito pelas IAs: quando alguém pergunta a um assistente sobre a sua comunidade, ele tem uma fonte organizada, com o que é público, os preços e o caminho para entrar.
  • Sem expor o que é fechado: o conteúdo de área restrita nunca entra; no máximo o nome e o que é preciso para ver.

Como funciona

O que é indexado e o que não é

Entra no sitemap e no índiceNão entra
A página inicialA administração, as configurações, o checkout e a conta (bloqueados no robots.txt)
Os espaços abertos para quem não está logado (visibilidade Público)Os espaços com cadeado: aparecem no llms.txt só com o nome, mas a página pede aos buscadores para não indexar
Os eventos futuros públicos desses espaçosOs espaços ocultos e os de grupo
A página de planos, quando há um plano à vendaOs planos Somente com link
Os links de convite, de descadastro e de pagamento, os formulários abertos só por link e as páginas de membro

Os espaços do módulo Link não entram no sitemap (a página é de outro site), mas aparecem no llms.txt com o endereço de destino.

Página que não existe responde 404. Um endereço com uma seção ou um espaço que não existe (ou que quem não está logado não vê) devolve não encontrado aos buscadores, em vez de uma cópia da página inicial. Assim um link antigo sai do índice sozinho.

Como a visibilidade de cada espaço afeta isso

O que vale é a visibilidade do espaço e da seção, e a opção Para quem não tem acesso:

O espaço, para quem não está logadoSitemapllms.txt
PúblicoEntraEm Público, com link e descrição
Membros, com cadeadoNão entraEm Requer login ou compra: o nome, a descrição e "requer conta"
Assinantes, ou Privada com plano, com cadeadoNão entraO nome e "requer plano", com link para a página de planos
Privada com produto, com cadeadoNão entraO nome e "requer compra"
Privada só para gruposNão entraNão aparece: não há como entrar por fora
Com Ocultar em Para quem não tem acessoNão entraNão aparece

Se a comunidade não tem nenhum espaço aberto para quem não está logado, o llms.txt traz só o nome, a descrição e "comunidade privada; o conteúdo requer conta".

No llms.txt, os espaços de Eventos abertos listam os próximos eventos com data e hora; os da Loja, os produtos com preço; e a seção Planos traz cada plano público com os preços das opções de cobrança. O arquivo sai no idioma da comunidade (Configurações › Geral › Idioma).

Quer que um espaço apareça no Google? Deixe-o Público. Quer que ele não apareça nem com o nome? Use Ocultar em Para quem não tem acesso.

A descrição para buscadores

A descrição que o Google mostra embaixo do título, e que abre o llms.txt, vem, nesta ordem:

  1. Da Descrição SEO, em Configurações › Busca e divulgação › Meta Tags SEO (ver Imagens e SEO);
  2. Se ela está vazia, da Descrição da Comunidade, em Configurações › Geral;
  3. Se as duas estão vazias, de uma frase padrão: "Papo de Sysadmin: comunidade na Memberfy."

A frase padrão não diz nada sobre o assunto, e é com a descrição que buscadores e IAs decidem para quem mostrar a comunidade. Escreva uma ou duas frases dizendo o que a comunidade é, para quem e o que se encontra nela.

Quando muda

Os arquivos acompanham a comunidade: um espaço novo aberto, um evento criado ou um plano novo aparece em até 5 minutos. Os buscadores, por sua vez, releem no tempo deles, de algumas horas a alguns dias.

Quem pode

Os arquivos são automáticos e não têm configuração. Mudam o que aparece neles o proprietário e o administrador, pela visibilidade dos espaços, pelos planos e pela descrição.

Passo a passo: Google Search Console

Com o Search Console você vê quais páginas o Google indexou, as buscas que trazem gente e os erros. A verificação pede acesso ao DNS, então ela vale para o domínio próprio; no endereço da Memberfy, o Google acha o sitemap sozinho pelo robots.txt.

Papel: quem administra o DNS do domínio.

  1. Abra search.google.com/search-console e clique em Adicionar propriedade.
  2. Escolha Domínio e escreva o domínio principal, sem https:// e sem o subdomínio: papodesysadmin.org.
  3. O Google mostra um registro TXT. Crie-o no painel do seu provedor de DNS (Registro.br, Cloudflare, GoDaddy…), no nome @ (ou o domínio raiz), e clique em Verificar. O DNS pode levar alguns minutos.
  4. No menu da esquerda, abra Sitemaps, escreva o endereço completo, https://comunidade.papodesysadmin.org/sitemap.xml, e clique em Enviar.
  5. Volte em alguns dias: Páginas mostra o que foi indexado e o motivo de cada página de fora.

Passo a passo: Bing Webmaster Tools

O Bing também alimenta outros buscadores e assistentes que usam o índice dele.

  1. Abra bing.com/webmasters e entre com uma conta Microsoft, Google ou Facebook.
  2. O caminho mais curto é Importar do Google Search Console: ele traz o site e o sitemap já verificados. Se preferir fazer à mão, adicione https://comunidade.papodesysadmin.org e escolha a verificação por registro DNS (CNAME).
  3. Em Sitemaps, clique em Enviar sitemap e cole https://comunidade.papodesysadmin.org/sitemap.xml.

Exemplos

Escola Excel, com domínio escola.excelpratico.com.br. A seção Comece aqui é Público, com os espaços Boas-vindas e Aulas grátis; Área do aluno é Privada com o plano Completo, com cadeado; Turma de março é Privada só com o grupo da turma. Resultado:

  • O sitemap traz a página inicial, Boas-vindas, Aulas grátis, os próximos eventos da agenda aberta e /pricing.
  • O llms.txt lista os dois espaços abertos, os eventos, o plano Completo com o preço mensal e anual e, em Requer login ou compra, a Área do aluno — requer plano. A Turma de março não aparece.

Dicas

  • Escreva a Descrição da Comunidade mesmo que preencha a Descrição SEO: a primeira aparece também dentro da comunidade.
  • Dê uma descrição a cada espaço aberto: ela vira a descrição da página no Google e a linha do espaço no llms.txt.
  • Use cadeado (e não Ocultar) nas áreas pagas que você quer vender: o nome e a descrição aparecem para as IAs com o caminho para entrar, sem revelar o conteúdo.
  • Com domínio próprio, envie o sitemap do domínio próprio, não o do endereço da Memberfy: é ele que as páginas indicam como endereço oficial.

Erros comuns e como resolver

SituaçãoO que fazer
Um espaço não aparece no sitemapConfira se ele é Público, e se a seção também é: o espaço nunca é mais aberto que a seção
A busca mostra "comunidade na Memberfy" como descriçãoPreencha a Descrição da Comunidade ou a Descrição SEO e espere o Google reler a página
O Search Console diz "Bloqueada pelo robots.txt" numa páginaÉ uma página de administração, checkout ou conta: ela não deve ser indexada
O Search Console diz "Excluída pela tag noindex"É um espaço com cadeado, uma página de membro ou um link de convite: está certo ficar de fora
O Search Console diz "Não encontrado (404)"Uma seção ou espaço foi excluído, renomeado ou fechado. Se renomeou, o endereço novo entra no sitemap sozinho
Não consigo verificar o endereço .memberfy.netA verificação pede o DNS, que é da Memberfy. Use um domínio próprio; sem ele, os buscadores acham o sitemap pelo robots.txt

Perguntas frequentes

Dá para desligar o sitemap ou o llms.txt? Não. Eles só trazem o que qualquer pessoa já vê sem entrar na comunidade. Para tirar um espaço, mude a visibilidade ou use Ocultar.

O conteúdo dos posts e das aulas vai para as IAs? Do que é fechado, não: só o nome e o que é preciso para entrar. Do que é Público, o arquivo traz o nome, a descrição e o link; uma IA que siga o link lê a página como qualquer visitante.

Posso escrever o meu próprio robots.txt? Não. O da Memberfy bloqueia só as áreas privadas e libera o resto.

Os preços no llms.txt são os da página de planos? Sim, os mesmos, na moeda de cada opção. Planos Somente com link não entram.

Relacionados