Dicas para marketing na Internet
17 de abril de 2018

Criando e entendendo o que é Robots.txt

Criando e entendendo o que é Robots.txt, o tão conhecido Robots.txt, nada mais é que um arquivo que permite quais os buscadores pode indexar as suas páginas e quais páginas podem ou não serem indexadas.

 

Todo Website precisa ter um arquivo de Robots para se tornar um site bem estruturado e melhorar a qualidade e performance de sua página mediante os buscadores.

 

Onde fica este arquivo Robots.txt?

 

Fica na raiz do ser servidor Web, você pode verificar um exemplo é o arquivo de Robots.txt do Google neste link https://www.google.com/robots.txt.  Clicando nele é possível ver como esta estruturado o que pode e não pode ser indexado no Google.

 

Criando e entendendo o que é Robots.txt

 

Para você criar um arquivo de Robots.txt é muito Simples.

 

Abra um arquivo bloco de notas e salve ele com a extensão txt com o seguinte nome robots.txt

User-agent: *
Utilizamos o User-agente: * para dizer que todos os buscadores podem encontrar a minha página,
caso você queira que apenas o bind indexe suas páginas utiliza da seguinte forma, User-agent: bind
Disallow: /mercadolivre
Bloqueando o diretório mercadolivre de ser indexado.
Disallow: envia-contato.php
Bloqueando o arquivo envia-contato.php de ser indexado
Allow: /blog
Liberando o diretório blog para ser indexado
Allow: linux-tec-hosting.php
Allow: linux-tec-hosting
Sitemap: https://www.linuxtec.com.br/sitemap.xml
Referenciando o local do meu arquivo sitemap.xml para os buscadores que 
fizer uma leitura em meu arquivo Robots.txt
Aprenda a criar na pratica o seu arquivo Robots.txt

Publicar Agora!

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

×
Como posso lhe ajudar?