Robots.txt
Robots.txt est un fichier sur un site Web qui indique aux robots des moteurs de recherche quelles parties du site ne doivent pas être accessibles aux programmes de robots des moteurs de recherche. Robots.txt est un fichier en texte clair, mais il utilise des commandes et une syntaxe spéciales pour les robots d’exploration. Bien que … Lire la suite