domingo, 23 de agosto de 2015

COMO GERAR SITEMAP, GERADOR DE SITEMAPS, PROGRAMA PARA GERAR SITEMAPS XML, MAPA DO SITE


Neste artigo técnico irei abordar a produção de SiteMaps para Google e Bing. Sitemaps são arquivos com a extensão XML que são utilizados para fornecer ao buscador informações sobre seu site. O Sitemap é basicamente uma lista de URLs. Sua criação auxilia o buscador a encontrar todo o conteúdo disponibilizado no seu site juntamente com as respectivas URLs. 

No Brasil, devido ao baixo conhecimento técnico, a maioria dos programadores e webdevelopers tem dificuldades para entender a estrutura do sitemaps, e como criá-los corretamente.

Existem diversos sites na internet que geram sitemaps, porém, é importante que o programador entenda como criá-los e programá-los. 

Neste artigo, iremos considerar gerar um sitemap para sites grandes. Se você tem um site pequeno, você pode usar sites gratuitos que geram sitemaps rapidamente. O mais usados deles é: https://www.xml-sitemaps.com/



SEJA VISTO

Os buscadores da internet precisam que você envie um mapa do seu site para que seja visto e rastreado. Se não fizer isso, os buscadores até vão rastrear seu site, mas num ritmo bem mais lento e demorado. Nesse caso, o processo de rastreio é feito por robots automáticos que varrem toda a web. O sitemaps é sem dúvida, a maneira mais prática e eficiente de inserir seu conteúdo na rede. Neste artigo abordaremos o Google e Bing e ensinaremos como inserir seu SiteMaps nesses dois buscadores. 

O QUE VOCÊ PRECISA?

- Um programa para gerar SiteMaps Ilimitado 
- NotePad (Bloco de Notas do Windows)
- NotePad ++ (programa mais usado para edição de XML/HTML)
- Navegador da Web (recomendado: Google Chrome)
- Acesso ao FTP do seu site (acesso full)


Para gerar SiteMaps grandes, a maior dificuldade esta em encontrar programas que sejam eficientes. A maioria deles limita a criação até 500 páginas, e outros demoram dias para gerar a raiz se o site for muito grande. O único realmente funcional, rápido e ilimitado que testei e funcionou corretamente foi o XMap. É possível adquirir no CTMD ESHOP na seção de softwares. O programa é leve, fácil de usar e instalar, a interface é em inglês, mas sem dificuldades. O programa custa R$199,99 e a licença é perpétua. 


Programa para gerar SiteMaps

Além de criar SiteMaps, outra utilidade do XMap é rastrear todos os links quebrados  do seu site (offline) é importante remover esses links. Sites com links quebrados são rebaixados nas buscas do Google. 

Já o aplicativo NotePad++ é gratuito e pode ser baixado no Baixaki.

DÁ PRA FAZER NA UNHA?

Sim, é possível programar seu sitemap de maneira bem fácil usando apenas o Bloco de Notas do Windows. Antes de ensinar o processo de criação automática do SiteMaps com o XMap, vamos entender de fato, como funciona a estrutura do arquivo xml:

Todo Sitemap vai começar em geral, com 2 linhas que são padrão para esse tipo de arquivo:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">


Essas 2 primeiras linhas são padrão de cabeçalho, e em geral, nunca vão mudar independente do arquivo. 

Em seguida, as próximas linhas de cabeçalho irão trazer as informações do seu site:

<url>
<loc>http://loja.ctmd.eng.br/</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>

Esta parte do cabeçalho é aberta com a tag <url> seguida pela localização do seu site <loc> a data de criação <lastmod> e a frequência em que seu site será atualizado.
Essa parte do cabeçalho também trará sempre a tag <priority> com nível mais alto que as demais. Isso faz o buscador entender que essa página do cabeçalho é a página principal do seu site. Por isso, a prioridade aqui será maior <0.9> que as demais páginas <0.8>

ENTENDENDO A TAG <changefreq>

Antes de prosseguirmos, precisamos observar esta linha do cabeçalho pois ela será modificada a seu critério. Aqui, você deve indicar no seu código XML qual será a frequência de atualização das suas URLs. No caso acima, o programador optou por indicar ao buscador que as URLs devem ser atualizadas semanalmente <weekly> do inglês semanal.
Sites com poucas URLs podem usar a tag <daily>. No entanto, sites médios ou grandes é recomendável que usem a função <weekly> ou <monthly>. Isso porque toda vez que o Robot irá acessar o seu site para baixar os arquivos XMLs, pode causar lentidão no seu servidor, pois ele irá ler muitas URLs ao mesmo tempo. Por isso, é recomendável que programe para que o buscador atualize esses arquivos 1 vez por semana <weekly> ou uma vez por mês <monthly> 

Você pode optar pelas seguintes opções na função <changefreq>

- <hourly> de hora em hora
- <daily> diariamente 
- <weekly> semanalmente 
- <monthly> mensalmente
- <yearly> anualmente 
- <never> nunca atualizar o sitemap

Agora vamos revisar o cabeçalho do XML: 

<?xml version="1.0" encoding="UTF-8"?> LINHA PADRÃO
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> LINHA PADRÃO 
<url> Abre a TAG
<loc>http://loja.ctmd.eng.br/</loc> Indica local da pág. principal do site
<lastmod>2015-08-22</lastmod> Data de inclusão
<changefreq>weekly</changefreq> Frequência de atualização
<priority>0.9</priority> Prioridade mais alta 
</url> Tudo que abrir, feche

Aqui, você já criou o cabeçalho do seu XML. É importante que não deixe espaços nem pule linhas entre os códigos. 

Agora que você já criou seu cabeçalho, aqui de fato vai começar a parte mais trabalhosa:

<url>
<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

Para cada produto/página do seu site, existe um conjunto de TAGs com 6 linhas.
Basicamente, o código se concentra em informar a URL, data de criação, frequência de atualização e a prioridade, neste caso, mais baixa que o cabeçalho. Você deverá colocar cada URL da sua página dentro da função <loc>
Assim, juntando agora o cabeçalho e a página do seu site temos:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://loja.ctmd.eng.br/</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>

A partir daqui, basta ir colando e copiando da tag <url> até </url> trocando apenas a URL da função <loc>. Abaixo podemos ver o exemplo de sitemaps com 3 URLs:

?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>http://loja.ctmd.eng.br/</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.9</priority>
</url>
<url>
<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser-outros/condicao-novo/cor-branco-vermelho-prata_cinza-zebrano</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>http://loja.ctmd.eng.br/97-home-theather-/disponibilidade-em_estoque/fabricante-philco-multilaser-outros/condicao-novo/cor-rosa-branco-vermelho-prata_cinza-zebrano-preto</loc>
<lastmod>2015-08-22</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>

Observe que no final desta linha tenho que inserir a tag </urlset> 
Essa função deve ser colocada apenas no final do XML para indicar ao navegador que você fechou o arquivo XML. Caso esqueça, dará erro. 

Pronto! Aqui você já tem um arquivo XML com 3 páginas incluídas. Agora você precisa salvar esse arquivo e inserir dentro da Raiz FTP do seu site:


Não esqueça de salvar o seu trabalho como "arquivo.xml". Não é necessário alterar as demais configurações do bloco de notas. 

TESTANDO O SITEMAP

Agora que você já programou seu primeiro sitemap, vamos realizar o primeiro teste. Localize o arquivo salvo, e abra no navegador de sua preferência:


Se tudo correu bem, você verá uma tela como esta em seu navegador:


Caso apareça a tela abaixo, você errou em alguma linha do tag. Volte e revise o código:


PUBLICANDO SEU XML

Depois de criado, envie o seu Sitemap para o FTP usado seu programa preferido (nós usamos Fillezila). Se você tiver menos de 50.000 páginas, você pode inserir o XML na raiz pública do seu site (geralmente diretório http, www, etc). No entanto, se seu site for grande, você precisará gerenciar mais de 1 sitemap. Neste caso, crie uma pasta com o nome "sitemaps", que ficará no diretório: www.seusite.com/sitemaps/sitemap1.xml



Após enviar seu XML para o FTP, acesse o link público do seu XML e verifique se o mesmo esta acessível, tal como acessado pela área de trabalho, e sem nenhum erro. 

INSERINDO SEU XML NO GOOGLE 

Agora vamos enviar o XML para o Indexador do Google. Para isso, considero que você já possui uma conta no Google WebMasters: https://www.google.com.br/webmasters/

Também estou considerando que você já inseriu seu site no Console e já verificou a propriedade. Caso não tenha feito isso, procure tutoriais na Internet sobre como adicionar seu site no Google Masters.


Após logar no console, clique sobre a URL do seu site e vá até a opção "Sitemaps"


No canto direito da tela, clique no botão vermelho "ADICIONAR/TESTAR SITE MAPS"


Primeiro, teste a conexão da URL do seu site Digite a URL do sitemap e clique em Sitemap de testes:


Se tudo correu bem, volte ao mesmo botão e agora sim, adicione seu sitemap em definitivo.
Após adicionar, seu sitemap aparecerá abaixo com o status "Pendente" 


Depois de enviar o sitemap, pode ser necessário algum tempo para que o Google processe. Depois que seu sitemap for processado, pode ser necessário mais tempo (ATÉ 4 DIAS!!!) para que o Google consiga rastrear e indexar as URLs incluídas no sitemap. Contudo, o Google não garante o rastreamento de cada URL em seu sitemap ou a indexação de cada URL rastreada, pois ele conta com algoritmos complexos para tomar as decisões de rastreamento. Por isso o número de URLs indexadas geralmente é bem menor que o número de páginas enviadas. Quanto melhor for o S.E.O do seu website, mais páginas serão indexadas. O Google explica isso em sua página.

INSERINDO SEU XML NO BING

Enviar seu sitemap para o Bing também é um processo muito parecido com o Google WebMasters. A página do Bing é: http://www.bing.com/toolbox/webmaster


Particularmente, acredito que a Microsoft tenha superado o Google nesse Console. O WebMaster do Bing é mais completo e organizado que o Google. Para começar, clique na URL do seu site. O Bing não tem como testar o Sitemap, portanto deverá enviá-lo em definitivo:



Adicione a URL do seu XML  e verifique se o Bing reconheceu seu arquivo com "Exito". Depois disso, assim como no Google, aguarde o período de indexação. 


SITEMAPS COM IMAGENS

Também é possível construir XMLs que além de textos e URLs, incluem também imagens. É claro que o processo de edição "na unha" será bem mais trabalhoso. 
Vejamos abaixo como ficaria um XML com URLs + Imagens:


<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9" xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">

<url>

<loc>http://loja.ctmd.eng.br/</loc>

<priority>1.0</priority>

<lastmod>2015-08-20</lastmod>

<changefreq>daily</changefreq>
</url>
<url>
<loc>
http://loja.ctmd.eng.br/197-refrigerador-consul-inox-frost-free-260-litros-2-portas-.html
</loc>
<priority>0.7</priority>
<lastmod>2015-08-07</lastmod>
<changefreq>weekly</changefreq>
<image:image>
<image:loc>
http://loja.ctmd.eng.br/676/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg
</image:loc>
<image:caption>REFRIGERADOR Consul Frost Free 263L</image:caption>
<image:title>REFRIGERADOR Consul Frost Free 263L
</image:title>
</image:image>
<image:image>
<image:loc>
http://loja.ctmd.eng.br/2052/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg
</image:loc>
<image:caption>
GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS
</image:caption>
<image:title>
GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS
</image:title>
</image:image>
<image:image>
<image:loc>
http://loja.ctmd.eng.br/2054/refrigerador-consul-inox-frost-free-260-litros-2-portas-.jpg
</image:loc>
<image:caption>
GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS
</image:caption>
<image:title>
GELADEIRA REFRIGERADOR CONSUL INOX FROST FREE 260 LISTROS 2 PORTAS
</image:title>
</image:image>
</url>
</urlset>

No código acima, a parte azul corresponde ao cabeçalho padrão
A parte vermelha corresponde ao produto/página indexada
A parte amarela, verde e rosa corresponde as tags para inserção de imagens 
No exemplo acima, temos um código XML com 3 imagens
Observe que todas as imagens estão setadas com título e texto que aparece quando usuário passa o mouse sobre a imagem (caption). 
Não esquecer de fechar as tags conforme </url> </urlset> 

Especificamente, nunca gerei um Sitemap com imagens manualmente.
Plataformas de e-commerce, como o PrestaShop, por exemplo, geram o sitemap da loja automaticamente com as imagens. Mas se você não possui plataforma, a dica que um leitor do nosso blog enviou é usar este site para gerar um sitemap com imagens: http://www.microsystools.com/products/sitemap-generator/help/image-xml-sitemaps/


SITEMAP GRANDE? AUTOMATIZE

Se você possui um website com mais de 500 páginas e não quer fazer todo esse trabalho "na unha", o jeito é automatizar o processo. O programa que será usado aqui para demonstrar o processo automático é o XMap, já comentado acima. 


1. Instale e execute o XMap;
2. Clique em "File" > Cheq URL
3. Digite seu site na caixa 
4. Clique no botão "OK"

Após isso, o aplicativo começará a rastrear todas as página do site. Esse processo é demorado dependendo da quantidade de páginas. Em um site de 350.000 páginas, por exemplo, demorou 14h para rastrear. Deixe o PC trabalhando e vá tirar uma soneca! 

O XMap mostra o andamento do rastreio em "%" no canto direito inferior da tela. 



Quando terminar de rastrear todo o site, ele mostrará a mensagem. Clique em "Não".
Salve uma cópia do arquivo pelo MENU File > Save As para uso futuro, para não precisar montar toda estrutura novamente. 

Com a estrutura do seu site montada, basta ir ao MENU FILE > Create Google Sitemap File


Dê um nome ao seu sitemap, salve-o em seu computador. Abra o navegador e teste contra erros. 

Agora, feche o arquivo novamente, abra-o com o Bloco de Notas e clique no MENU EDITAR > Substituir.

Aqui, você deverá substituir <changefreq> pela sua preferência.
Por padrão, o XMap gera o fullsitemap em "monthly"


Troque a <changfreq> por sua preferência. Clique em "Substituir Tudo". 
Agora, volte no cabeçalho, e substitua apenas a <changfreq> da página principal por <daily>. Se a homepage (index) do seu site é atualizada diariamente, é recomendado que a página principal fique sempre em <daily> e as demais páginas do site conforme seu critério de atualização.

Salve as alterações do arquivo. Abra no navegador novamente e verifique se a alterações estão corretas. Cuidado para não deixar espaço em branco no final da palavra, colocar ponto final, etc

Em seguida, basta exportar para seu FTP e enviar para Google e Bing. 


SITEMAP COM MAIS DE 50.000 LINHAS?

Google e Bing comportam sitemaps de até 50.000 linhas. Considerando que para cada produto/página são necessárias 6 linhas desde abertura da tag <url> até o fechamento </url> podemos contabilizar que cada arquivo de 50.000 linhas irá indexar entre 8 e 10 mil páginas, no máximo. Se for um sitemap com imagens, menos ainda.

Nesse caso, precisaremos dividir nosso arquivo fullsitemap do XMap em vários arquivos menores e enviá-los para os buscadores. Você pode gerar quantos arquivos de sitemap desejar, com nomes diferentes e que não ultrapasse 50.000 linhas. 

1. Abra o fullsitemap gerado pelo XMap no NotePadd++ (botão esquerdo do mouse, Edit With Notepadd ++)



2. Copie o cabeçalho do fullsitemap para um bloco de notas à parte;


3. Agora, selecione as linhas dos produtos/páginas até não exceder o limite de 50.000 linhas, já contabilizando as linhas que reservou anteriormente para o cabeçalho (selecionar por volta de 49.990 linhas).

DICA: Pressione as teclas SHIFT + PG DN (Page Down) para ir descendo no NotePad++ e selecionar mais rapidamente. 

4. Copie e cole o período selecionado na linha abaixo do cabeçalho

ATENÇÃO: Ao copiar e colar, observe se abriu e fechou à última URL com <url> e </url>
Não deixe períodos em aberto.

5. Finalize o texto do arquivo XML com a TAG </urlsetNão deixe linhas sobrando nem espaços em branco no final do documento. Não deixe períodos em aberto.

6. Salve esse arquivo do bloco de notas com "nomedoarquivo.xml"

7. Para certificar-se que não excedeu 50.000 linhas, você pode abrir esse arquivo no NotePadd++ para contar as linhas.

8. Abra o arquivo no navegador e veja se não deu erro. Em caso de erro, abra o arquivo novamente no NotePadd++ e edite até ficar correto. 

9. Envie o arquivo para o seu FTP;

10. Insira no Google e Bing conforme comentado acima.

2ª PARTE (particionando o fullsitemap)

11. Abra um novo Bloco de Notas do Windows e copie o cabeçalho do fullsitemap que esta aberto no NotePadd++; cole no Bloco de Notas do Windows.

12. Agora, copie a partir da linha em que parou no fullsitemap que esta aberto no Notepad ++. Ex: se no primeiro sitemap você foi até à linha 49.990, copie agora do 49.990 até 99.990 do NotePadd++; cole abaixo do cabeçalho no Bloco de Notas do Windows que esta montando.

13. Feche a tag do rodapé do Bloco de Notas do Windows, salve o arquivo no formato XML, teste no navegador, envie para o FTP e suba para o Google e Bing.

Faça isso para gerar todos os sitemaps até conseguir completar todas às linhas do fullsitemap. Ex: se você gerou um fullsitemap de 300.000 páginas no XMaps, então provavelmente você terá 6 sitemap

Ao final, você terá algo como na tela abaixo:



RESUMO:

XMap = será usado para gerar o fullsitemap;
NotePad ++ = será usado para contar as linhas, copiar cabeçalho, períodos, e correções no código
NotePad (Windows) = usado para colar os períodos e montar o sitemap, salvar em XML e definir a função <changfreq>
FTP = local onde seu sitemap ficará hospedado 
Navegador = será usado para testar / verificar se não há mensagens de erro
Google e Bing = indexadores de URLs, robots de rastreamento


Precisa do arquivo modelo para começar a criar seus XMLs?

SITEMAPS

Dúvidas, elogios críticas e sugestões, por favor envie pelo campo de comentários abaixo.

Texto revisado pela última vez em: 23/08/2015

----------------

-------------
Autor: Bronzatto, Thiago 
Programador PHP, CMS, CSS, HTML, XML
Tecnólogo em Sistemas para Internet pela UNASP - SP 
Programador no CTMD TI e Professor de Curso Técnico.
Contatos com o autor: suporte@ctmd.eng.br

domingo, 26 de julho de 2015

INTEGRAR MERCADO LIVRE COM PRESTASHOP - Módulos e API - Saiba como publicar e exportar todos os seus produtos do Prestashop para o Mercado Livre


Se você é um lojista do PrestaShop e efetua vendas pelo Mercado Livre, a equipe de programação avançada do CTMD TI tem uma grande novidade. 

Muitos vendedores reclamavam pelo fato de não haver uma integração entre o PrestaShop e o Mercado Livre, mas recentemente esse problema foi resolvido no Brasil.
A equipe de programação do CTMD TI desenvolveu um sistema capaz de integrar o Mercado Livre e o PrestaShop. O sistema AD.Bot 1.0 é capaz de exportar com um clique todos os anúncios de uma Loja Prestashop para o site Mercado Livre.
É possível configurar templates, preços especiais, limites de catacteres, etc.
Para uso do sistema, é necessário que o lojista tenha uma loja Prestashop versão 1.4.8 ou superior, servidor cloud, VPS, semi-dedicado ou dedicado com acesso Shell, e sistema operacional Linux Cent OS com Cpanel instalado. 
O software possui licença full e tem um custo de desenvolvimento de R$3.500 para até 20.000 produtos. Acima de 20.000 produtos a licença custa R$5.999



O ADBot também pode ser desenvolvido para integração com os sites Clasf e QueBarato sob encomenda. 

terça-feira, 16 de junho de 2015

Compre agora sua Licença para o Cpanel!

CTMD TI começa a comercializar licenças do Cpanel.

Um novo produto estará disponível para clientes. A partir de 16/06/2015 será possível comprar Licenças Cpanel para servidores VPS e Dedicados diretamente do Brasil.



O cPanel é um completo painel de controle para gerenciamento de domínios e contas de hospedagem de sites, que possibilita que você tenha total autonomia de configuração e utilização do seu servidor. Com ele, é possível executar tarefas complexas de forma facilitada, sem que seja necessário conhecimento técnico aprofundado. Com o cPanel você terá a oportunidade de fornecer aos seus clientes uma interface profissional para o gerenciamento dos seus próprios servidores e/ou contas de hospedagem/revenda dos seus consumidores finais. Crie e administre contas, senhas, caixas de e-mails, domínios, subdomínios, contas de FTP, páginas de erro, bancos de dados MySQL (e outros), redirecionamentos de domínios, encaminhamentos de domínios e muito, muito mais! O WHM é uma interface de fácil utilização que faz parte da família cPanel e permite que você tenha total controle sobre um número de contas e domínios que você desejar criar para você mesmo ou seus clientes. Você conseguirá, facilmente, definir os limites de configuração, como: espaço em disco das contas, tráfego mensal, quantidade de subdomínios, domínios adicionais, domínios de direcionamento e outros limites relacionados às contas de hospedagem. Além disto, é possível criar, suspender ou eliminar contas do servidor. Uma ferramenta fantástica para revendedores de todos os tipos!
Confira alguns benefícios:


  • Totalmente personalizável com sua Marca
  • Interface completa para administração do seu servidor
  • Painel completo para utilização dos clientes finais
  • Diferentes interfaces para públicos distintos
  • Processo de migração facilitado para a maioria dos hosts
  • Scripts pré-instalados & instalador Fantastico!
  • Gerenciamento fácil de backups
  • Integração multiplataforma E muito, muito mais!


  •  Cpanel