Le fichier Robots.txt indique aux robots des moteurs de recherche ce qu'ils doivent et ce qu'ils ne doivent pas indexer. Par convention, les robots des différents moteurs de recherche consultent le fichier Robots.txt avant d'indexer un site Web.
Ce tutoriel explique le fonctionnement et modification du fichier Robots.txt de votre site.
Commentaires