Como utilizar o robots.txt

Você usa o robots.txt? O Henrique do Revolução Etc fez uma bela explicação sobre o funcionamento do arquivo na hora de falar para o buscador o que não deve ser indexado em um site. O uso dele resolve muitos problemas de privacidade, já que os buscadores vão indexando tudo o que achar pela frente e uma vez lá, demora um pouco até seu conteúdo sumir.

A primeira coisa que você deve saber é que robots.txt não é usado para indicar o que os mecanismos de buscas DEVEM indexar e sim o que NÃO DEVEM! Você vai precisar usar robots.txt por exemplo em uma intranet que funcione na web e que pode conter informações que dizem respeito exclusivamente a uma empresa. Áreas restritas, documentos pessoais que são armazenados no seu servidor em uma determinada pasta e que só estão lá por backup ou para compartilhar informações entre um pequeno grupo etc, são contextos possíveis em que os mecanismos de buscas não devem indexar o conteúdo.

Se você quer que o Google ou qualquer outro mecanismo de busca indexe todo o seu conteúdo, você não precisa usar robots.txt. Mesmo que isso pareça óbvio, muitas pessoas se enganam sobre a utilização deste recurso.

[continue lendo...]