La majorité des webmaster pensent qu’il est bon d’utiliser un robots.txt pour son référencement, mais voilà il y a quelque jour sur un fil de discussion du centre d’entraide de google, un helper a recommandé de l’effacer!
D’après lui ce fichier ne servirez qu’a interdire l’exploration de certaine page que l’on a choisi, et que si dans le cas ou nous avons un User-agent: * Allow: / ,même en cas d’absence du fichier robots.txt notre contenu sera indexé.
Par contre il ne faut pas oublier que lorsqu’on répertorie les pages interdites au robots dans ce même fichier est un risque pour notre site , car le plus souvent c’est ce fichier que consulte les hackers en premier.