Nova ferramenta Robots.txt
A seção de ferramentas está com um novo serviço. É a ferramenta de robots.txt. O robots.txt é o primeiro arquivo que as ferramentas de busca procuram em um site. O principal objetivo dele é avisar o que não pode ser lido no site e quem não pode ler.
A ferramenta permite que você crie dinamicamente o arquivo para que você coloque em seu site. Com isto você evita que os sites de busca recebam um 404 quando tentarem ler o arquivo. Após utilizar a ferramenta, copie o conteúdo da caixa de texto e crie um arquivo com o nome “robots.txt” e cole o texto nele. Após criado o arquivo, coloque-o na raiz do site.
Se quiser, entenda mais sobre robots.txt.