Criando e entendendo o que é Robots.txt

Compartilhar agora nas suas mídias sociais

Entendendo para que serve o arquivo de robots.txt

 

O tão conhecido Robots.txt, nada mais é que um arquivo que permite quais os buscadores pode indexar as suas páginas e quais páginas podem ou não serem indexadas.

 

Todo Website precisa ter um arquivo de Robots para se tornar um site bem estruturado e melhorar a qualidade e performance de sua página mediante os buscadores.

 

Onde fica este arquivo Robots.txt?

 

Fica na raiz do ser servidor Web, você pode verificar um exemplo é o arquivo de Robots.txt do Google neste link https://www.google.com/robots.txt.  Clicando nele é possível ver como esta estruturado o que pode e não pode ser indexado no Google.

 

Para você criar um arquivo de Robots.txt é muito Simples.

 

Abra um arquivo bloco de notas e salve ele com a extensão txt com o seguinte nome robots.txt

User-agent: *

Utilizamos o User-agente: * para dizer que todos os buscadores podem encontrar a minha página,
caso você queira que apenas o bind indexe suas páginas utiliza da seguinte forma, User-agent: bind
Disallow: /mercadolivre

Bloqueando o diretório mercadolivre de ser indexado.

Disallow: envia-contato.php

Bloqueando o arquivo envia-contato.php de ser indexado

Allow: /blog

Liberando o diretório blog para ser indexado

Allow: linux-tec-hosting.php

Allow: linux-tec-hosting

Sitemap: https://www.linuxtec.com.br/sitemap.xml

Referenciando o local do meu arquivo sitemap.xml para os buscadores que 
fizer uma leitura em meu arquivo Robots.txt


Aprenda a criar na pratica o seu arquivo Robots.txt




   	

Deixe uma resposta