COMO GERAR SITEMAP, GERADOR DE SITEMAPS, PROGRAMA PARA GERAR SITEMAPS XML, MAPA DO SITE

Neste artigo técnico irei abordar a produção de SiteMaps para Google e Bing. Sitemaps são arquivos com a extensão XML que são utilizados para fornecer ao buscador informações sobre seu site. O Sitemap é basicamente uma lista de URLs. Sua criação auxilia o buscador a encontrar todo o conteúdo disponibilizado no seu site juntamente com as respectivas URLs.

No Brasil, devido ao baixo conhecimento técnico, a maioria dos programadores e webdevelopers tem dificuldades para entender a estrutura do sitemaps, e como criá-los corretamente.

Existem diversos sites na internet que geram sitemaps, porém, é importante que o programador entenda como criá-los e programá-los.

Neste artigo, iremos considerar gerar um sitemap para sites grandes. Se você tem um site pequeno, você pode usar sites gratuitos que geram sitemaps rapidamente. O mais usados deles é: https://www.xml-sitemaps.com/

SEJA VISTO

Os buscadores da internet precisam que você envie um mapa do seu site para que seja visto e rastreado. Se não fizer isso, os buscadores até vão rastrear seu site, mas num ritmo bem mais lento e demorado. Nesse caso, o processo de rastreio é feito por robots automáticos que varrem toda a web. O sitemaps é sem dúvida, a maneira mais prática e eficiente de inserir seu conteúdo na rede. Neste artigo abordaremos o Google e Bing e ensinaremos como inserir seu SiteMaps nesses dois buscadores.

O QUE VOCÊ PRECISA?

- Um programa para gerar SiteMaps Ilimitado

- NotePad (Bloco de Notas do Windows)

- NotePad ++ (programa mais usado para edição de XML/HTML)

- Navegador da Web (recomendado: Google Chrome)

- Acesso ao FTP do seu site (acesso full)

Para gerar SiteMaps grandes, a maior dificuldade esta em encontrar programas que sejam eficientes. A maioria deles limita a criação até 500 páginas, e outros demoram dias para gerar a raiz se o site for muito grande. O único realmente funcional, rápido e ilimitado que testei e funcionou corretamente foi o XMap. É possível adquirir no CTMD ESHOP na seção de softwares. O programa é leve, fácil de usar e instalar, a interface é em inglês, mas sem dificuldades. O programa custa R$199,99 e a licença é perpétua.

Além de criar SiteMaps, outra utilidade do XMap é rastrear todos os links quebrados do seu site (offline) é importante remover esses links. Sites com links quebrados são rebaixados nas buscas do Google.

Já o aplicativo NotePad++ é gratuito e pode ser baixado no Baixaki.

DÁ PRA FAZER NA UNHA?

Sim, é possível programar seu sitemap de maneira bem fácil usando apenas o Bloco de Notas do Windows. Antes de ensinar o processo de criação automática do SiteMaps com o XMap, vamos entender de fato, como funciona a estrutura do arquivo xml:

Todo Sitemap vai começar em geral, com 2 linhas que são padrão para esse tipo de arquivo:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

Essas 2 primeiras linhas são padrão de cabeçalho, e em geral, nunca vão mudar independente do arquivo.

Em seguida, as próximas linhas de cabeçalho irão trazer as informações do seu site:

<url>

<loc>http://loja.ctmd.eng.br/</loc>

<lastmod>2015-08-22</lastmod>

<changefreq>weekly</changefreq>

<priority>0.9</priority>

</url>

Esta parte do cabeçalho é aberta com a tag <url> seguida pela localização do seu site <loc> a data de criação <lastmod> e a frequência em que seu site será atualizado.

Essa parte do cabeçalho também trará sempre a tag <priority> com nível mais alto que as demais. Isso faz o buscador entender que essa página do cabeçalho é a página principal do seu site. Por isso, a prioridade aqui será maior <0.9> que as demais páginas <0.8>

ENTENDENDO A TAG <changefreq>

Antes de prosseguirmos, precisamos observar esta linha do cabeçalho pois ela será modificada a seu critério. Aqui, você deve indicar no seu código XML qual será a frequência de atualização das suas URLs. No caso acima, o programador optou por indicar ao buscador que as URLs devem ser atualizadas semanalmente <weekly> do inglês semanal.

Sites com poucas URLs podem usar a tag <daily>. No entanto, sites médios ou grandes é recomendável que usem a função <weekly> ou <monthly>. Isso porque toda vez que o Robot irá acessar o seu site para baixar os arquivos XMLs, pode causar lentidão no seu servidor, pois ele irá ler muitas URLs ao mesmo tempo. Por isso, é recomendável que programe para que o buscador atualize esses arquivos 1 vez por semana <weekly> ou uma vez por mês <monthly>

Você pode optar pelas seguintes opções na função <changefreq>

- <hourly> de hora em hora

- <daily> diariamente

- <weekly> semanalmente

- <monthly> mensalmente

- <yearly> anualmente

- <never> nunca atualizar o sitemap

Agora vamos revisar o cabeçalho do XML:

<?xml version="1.0" encoding="UTF-8"?> LINHA PADRÃO

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> LINHA PADRÃO

<url> Abre a TAG

<loc>http://loja.ctmd.eng.br/</loc> Indica local da pág. principal do site

<lastmod>2015-08-22</lastmod> Data de inclusão

<changefreq>weekly</changefreq> Frequência de atualização

<priority>0.9</priority> Prioridade mais alta

</url> Tudo que abrir, feche

Aqui, você já criou o cabeçalho do seu XML. É importante que não deixe espaços nem pule linhas entre os códigos.

Agora que você já criou seu cabeçalho, aqui de fato vai começar a parte mais trabalhosa:

<url>

<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>

<lastmod>2015-08-22</lastmod>

<changefreq>weekly</changefreq>

<priority>0.8</priority>

</url>

Para cada produto/página do seu site, existe um conjunto de TAGs com 6 linhas.

Basicamente, o código se concentra em informar a URL, data de criação, frequência de atualização e a prioridade, neste caso, mais baixa que o cabeçalho. Você deverá colocar cada URL da sua página dentro da função <loc>

Assim, juntando agora o cabeçalho e a página do seu site temos:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>http://loja.ctmd.eng.br/</loc>

<lastmod>2015-08-22</lastmod>

<changefreq>weekly</changefreq>

<priority>0.9</priority>

</url>

<url>

<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>

<lastmod>2015-08-22</lastmod>

<changefreq>weekly</changefreq>

<priority>0.8</priority>

</url>

A partir daqui, basta ir colando e copiando da tag <url> até </url> trocando apenas a URL da função <loc>. Abaixo podemos ver o exemplo de sitemaps com 3 URLs:

?xml version="1.0" encoding="UTF-8"?>

<url>

<changefreq>weekly</changefreq>

</url>

<url>

<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>

<changefreq>weekly</changefreq>

</url>

<url>

<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser-outros/condicao-novo/cor-branco-vermelho-prata_cinza-zebrano</loc>

<changefreq>weekly</changefreq>

</url>

<url>

<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser-outros/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano-preto</loc>

<changefreq>weekly</changefreq>

</url>

</urlset>

Observe que no final desta linha tenho que inserir a tag </urlset>

Essa função deve ser colocada apenas no final do XML para indicar ao navegador que você fechou o arquivo XML. Caso esqueça, dará erro.

Pronto! Aqui você já tem um arquivo XML com 3 páginas incluídas. Agora você precisa salvar esse arquivo e inserir dentro da Raiz FTP do seu site:

Não esqueça de salvar o seu trabalho como "arquivo.xml". Não é necessário alterar as demais configurações do bloco de notas.

TESTANDO O SITEMAP

Agora que você já programou seu primeiro sitemap, vamos realizar o primeiro teste. Localize o arquivo salvo, e abra no navegador de sua preferência:

Se tudo correu bem, você verá uma tela como esta em seu navegador:

Caso apareça a tela abaixo, você errou em alguma linha do tag. Volte e revise o código:

PUBLICANDO SEU XML

Depois de criado, envie o seu Sitemap para o FTP usado seu programa preferido (nós usamos Fillezila). Se você tiver menos de 50.000 páginas, você pode inserir o XML na raiz pública do seu site (geralmente diretório http, www, etc). No entanto, se seu site for grande, você precisará gerenciar mais de 1 sitemap. Neste caso, crie uma pasta com o nome "sitemaps", que ficará no diretório: www.seusite.com/sitemaps/sitemap1.xml

Após enviar seu XML para o FTP, acesse o link público do seu XML e verifique se o mesmo esta acessível, tal como acessado pela área de trabalho, e sem nenhum erro.

INSERINDO SEU XML NO GOOGLE

Agora vamos enviar o XML para o Indexador do Google. Para isso, considero que você já possui uma conta no Google WebMasters: https://www.google.com.br/webmasters/

Também estou considerando que você já inseriu seu site no Console e já verificou a propriedade. Caso não tenha feito isso, procure tutoriais na Internet sobre como adicionar seu site no Google Masters.

Após logar no console, clique sobre a URL do seu site e vá até a opção "Sitemaps"

No canto direito da tela, clique no botão vermelho "ADICIONAR/TESTAR SITE MAPS"

Primeiro, teste a conexão da URL do seu site Digite a URL do sitemap e clique em Sitemap de testes:

Se tudo correu bem, volte ao mesmo botão e agora sim, adicione seu sitemap em definitivo.

Após adicionar, seu sitemap aparecerá abaixo com o status "Pendente"

Depois de enviar o sitemap, pode ser necessário algum tempo para que o Google processe. Depois que seu sitemap for processado, pode ser necessário mais tempo (ATÉ 4 DIAS!!!) para que o Google consiga rastrear e indexar as URLs incluídas no sitemap. Contudo, o Google não garante o rastreamento de cada URL em seu sitemap ou a indexação de cada URL rastreada, pois ele conta com algoritmos complexos para tomar as decisões de rastreamento. Por isso o número de URLs indexadas geralmente é bem menor que o número de páginas enviadas. Quanto melhor for o S.E.O do seu website, mais páginas serão indexadas. O Google explica isso em sua página.

INSERINDO SEU XML NO BING

Enviar seu sitemap para o Bing também é um processo muito parecido com o Google WebMasters. A página do Bing é: http://www.bing.com/toolbox/webmaster

Particularmente, acredito que a Microsoft tenha superado o Google nesse Console. O WebMaster do Bing é mais completo e organizado que o Google. Para começar, clique na URL do seu site. O Bing não tem como testar o Sitemap, portanto deverá enviá-lo em definitivo:

Adicione a URL do seu XML e verifique se o Bing reconheceu seu arquivo com "Exito". Depois disso, assim como no Google, aguarde o período de indexação.

SITEMAPS COM IMAGENS

Também é possível construir XMLs que além de textos e URLs, incluem também imagens. É claro que o processo de edição "na unha" será bem mais trabalhoso.

Vejamos abaixo como ficaria um XML com URLs + Imagens:

<url>

<changefreq>daily</changefreq>

</url>

<url>

<loc>

http://loja.ctmd.eng.br/197-refrigerador-consul-inox-frost-free-260-litros-2-portas-.html

</loc>

<changefreq>weekly</changefreq>

<image:image>

<image:loc>

http://loja.ctmd.eng.br/676/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg

</image:loc>

<image:caption>REFRIGERADOR Consul Frost Free 263L</image:caption>

<image:title>REFRIGERADOR Consul Frost Free 263L

</image:title>

</image:image>

<image:image>

<image:loc>

http://loja.ctmd.eng.br/2052/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg

</image:loc>

<image:caption>

GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS

</image:caption>

<image:title>

GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS

</image:title>

</image:image>

<image:image>

<image:loc>

http://loja.ctmd.eng.br/2054/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg

</image:loc>

<image:caption>

GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS

</image:caption>

<image:title>

GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS

</image:title>

</image:image>

</url>

</urlset>

No código acima, a parte azul corresponde ao cabeçalho padrão

A parte vermelha corresponde ao produto/página indexada

A parte amarela, verde e rosa corresponde as tags para inserção de imagens

No exemplo acima, temos um código XML com 3 imagens

Observe que todas as imagens estão setadas com título e texto que aparece quando usuário passa o mouse sobre a imagem (caption).

Não esquecer de fechar as tags conforme </url> </urlset>

Especificamente, nunca gerei um Sitemap com imagens manualmente.

Plataformas de e-commerce, como o PrestaShop, por exemplo, geram o sitemap da loja automaticamente com as imagens. Mas se você não possui plataforma, a dica que um leitor do nosso blog enviou é usar este site para gerar um sitemap com imagens: http://www.microsystools.com/products/sitemap-generator/help/image-xml-sitemaps/

SITEMAP GRANDE? AUTOMATIZE

Se você possui um website com mais de 500 páginas e não quer fazer todo esse trabalho "na unha", o jeito é automatizar o processo. O programa que será usado aqui para demonstrar o processo automático é o XMap, já comentado acima.

1. Instale e execute o XMap;

2. Clique em "File" > Cheq URL

3. Digite seu site na caixa

4. Clique no botão "OK"

Após isso, o aplicativo começará a rastrear todas as página do site. Esse processo é demorado dependendo da quantidade de páginas. Em um site de 350.000 páginas, por exemplo, demorou 14h para rastrear. Deixe o PC trabalhando e vá tirar uma soneca!

O XMap mostra o andamento do rastreio em "%" no canto direito inferior da tela.

Quando terminar de rastrear todo o site, ele mostrará a mensagem. Clique em "Não".

Salve uma cópia do arquivo pelo MENU File > Save As para uso futuro, para não precisar montar toda estrutura novamente.

Com a estrutura do seu site montada, basta ir ao MENU FILE > Create Google Sitemap File

Dê um nome ao seu sitemap, salve-o em seu computador. Abra o navegador e teste contra erros.

Agora, feche o arquivo novamente, abra-o com o Bloco de Notas e clique no MENU EDITAR > Substituir.

Aqui, você deverá substituir <changefreq> pela sua preferência.

Por padrão, o XMap gera o fullsitemap em "monthly"

Troque a <changfreq> por sua preferência. Clique em "Substituir Tudo".

Agora, volte no cabeçalho, e substitua apenas a <changfreq> da página principal por <daily>. Se a homepage (index) do seu site é atualizada diariamente, é recomendado que a página principal fique sempre em <daily> e as demais páginas do site conforme seu critério de atualização.

Salve as alterações do arquivo. Abra no navegador novamente e verifique se a alterações estão corretas. Cuidado para não deixar espaço em branco no final da palavra, colocar ponto final, etc

Em seguida, basta exportar para seu FTP e enviar para Google e Bing.

SITEMAP COM MAIS DE 50.000 LINHAS?

Google e Bing comportam sitemaps de até 50.000 linhas. Considerando que para cada produto/página são necessárias 6 linhas desde abertura da tag <url> até o fechamento </url> podemos contabilizar que cada arquivo de 50.000 linhas irá indexar entre 8 e 10 mil páginas, no máximo. Se for um sitemap com imagens, menos ainda.

Nesse caso, precisaremos dividir nosso arquivo fullsitemap do XMap em vários arquivos menores e enviá-los para os buscadores. Você pode gerar quantos arquivos de sitemap desejar, com nomes diferentes e que não ultrapasse 50.000 linhas.

1. Abra o fullsitemap gerado pelo XMap no NotePadd++ (botão esquerdo do mouse, Edit With Notepadd ++)

2. Copie o cabeçalho do fullsitemap para um bloco de notas à parte;

3. Agora, selecione as linhas dos produtos/páginas até não exceder o limite de 50.000 linhas, já contabilizando as linhas que reservou anteriormente para o cabeçalho (selecionar por volta de 49.990 linhas).

DICA: Pressione as teclas SHIFT + PG DN (Page Down) para ir descendo no NotePad++ e selecionar mais rapidamente.

4. Copie e cole o período selecionado na linha abaixo do cabeçalho

ATENÇÃO: Ao copiar e colar, observe se abriu e fechou à última URL com <url> e </url>

Não deixe períodos em aberto.

5. Finalize o texto do arquivo XML com a TAG </urlset> Não deixe linhas sobrando nem espaços em branco no final do documento. Não deixe períodos em aberto.

6. Salve esse arquivo do bloco de notas com "nomedoarquivo.xml"

7. Para certificar-se que não excedeu 50.000 linhas, você pode abrir esse arquivo no NotePadd++ para contar as linhas.

8. Abra o arquivo no navegador e veja se não deu erro. Em caso de erro, abra o arquivo novamente no NotePadd++ e edite até ficar correto.

9. Envie o arquivo para o seu FTP;

10. Insira no Google e Bing conforme comentado acima.

2ª PARTE (particionando o fullsitemap)

11. Abra um novo Bloco de Notas do Windows e copie o cabeçalho do fullsitemap que esta aberto no NotePadd++; cole no Bloco de Notas do Windows.

12. Agora, copie a partir da linha em que parou no fullsitemap que esta aberto no Notepad ++. Ex: se no primeiro sitemap você foi até à linha 49.990, copie agora do 49.990 até 99.990 do NotePadd++; cole abaixo do cabeçalho no Bloco de Notas do Windows que esta montando.

13. Feche a tag do rodapé do Bloco de Notas do Windows, salve o arquivo no formato XML, teste no navegador, envie para o FTP e suba para o Google e Bing.

Faça isso para gerar todos os sitemaps até conseguir completar todas às linhas do fullsitemap. Ex: se você gerou um fullsitemap de 300.000 páginas no XMaps, então provavelmente você terá 6 sitemap.

Ao final, você terá algo como na tela abaixo:

RESUMO:

XMap = será usado para gerar o fullsitemap;

NotePad ++ = será usado para contar as linhas, copiar cabeçalho, períodos, e correções no código

NotePad (Windows) = usado para colar os períodos e montar o sitemap, salvar em XML e definir a função <changfreq>

FTP = local onde seu sitemap ficará hospedado

Navegador = será usado para testar / verificar se não há mensagens de erro

Google e Bing = indexadores de URLs, robots de rastreamento

Precisa do arquivo modelo para começar a criar seus XMLs?

Dúvidas, elogios críticas e sugestões, por favor envie pelo campo de comentários abaixo.

Texto revisado pela última vez em: 23/08/2015

----------------

-------------

Autor: Bronzatto, Thiago

Programador PHP, CMS, CSS, HTML, XML

Tecnólogo em Sistemas para Internet pela UNASP - SP

Programador no CTMD TI e Professor de Curso Técnico.

Contatos com o autor: suporte@ctmd.eng.br

Blog do CTMD TI | CTMD ESHOP

domingo, 23 de agosto de 2015

COMO GERAR SITEMAP, GERADOR DE SITEMAPS, PROGRAMA PARA GERAR SITEMAPS XML, MAPA DO SITE

Nenhum comentário:

Postar um comentário