Robots.txt

Robots.txt est un fichier sur un site Web qui indique aux robots des moteurs de recherche quelles parties du site ne doivent pas être accessibles aux programmes de robots des moteurs de recherche. Robots.txt est un fichier en texte clair, mais il utilise des commandes et une syntaxe spéciales pour les robots d'exploration. Bien que le fichier robots.txt ne soit pas officiellement standard, il est généralement utilisé par les moteurs de recherche. Les programmes d'araignée, tels que Googlebot, indexent un site Web en suivant les instructions données par le webmaster du site. Certains webmasters peuvent ne pas optimiser un site web pour les moteurs de recherche. D'autres fois, des spammeurs peuvent exploiter certaines parties de sites Web par le biais de liens de spam ou de liens de contenu généré par l'utilisateur (CGU). Si un webmaster souhaite que certaines pages ne soient pas visibles par Google, il peut les bloquer à l'aide d'un fichier robots.txt situé dans le dossier de premier niveau du site. En empêchant les robots d'indexer le contenu spammy, la page ne sera pas prise en compte lors de la détermination du PageRank et du placement dans les pages de résultats des moteurs de recherche (SERP). La balise nofollow est un autre moyen de gérer le comportement des robots d'exploration. La balise nofollow empêche les robots d'indexation de comptabiliser les liens dans les pages pour déterminer le PageRank. Pour éviter les pénalités liées à l'optimisation des moteurs de recherche (SEO), les webmestres peuvent utiliser la balise nofollow. Le webmaster peut inclure des métabalises nofollow dans le fichier robots.txt pour empêcher Googlebot de suivre les liens d'une page du site. Pour empêcher le robot de suivre des liens spécifiques, vous pouvez également ajouter rel="nofollow" à ces liens.