Spider

Les spiders sont des programmes qui visitent les sites Web pour lire leurs informations et créer des entrées d'index. Les principaux moteurs de recherche sur le Web disposent tous d'un tel programme, également appelé "crawler" ou "bot". Les araignées ne peuvent visiter que les sites Web que leurs propriétaires ont soumis comme étant mis à jour ou nouveaux pour eux. Vous pouvez sélectionner des pages ou des sites entiers à indexer. Les araignées sont appelées spiders parce qu'elles visitent généralement de nombreux sites en parallèle et en même temps, leurs "pattes" couvrant une grande partie du "web". Les araignées peuvent parcourir les pages d'un site de plusieurs façons. L'une d'entre elles consiste à suivre tous les liens hypertextes de chaque page jusqu'à ce que toutes les pages aient été lues. L'araignée du moteur de recherche AltaVista et de son site Web s'appelle Scooter . Scooter suit les directives de politesse pour les robots d'exploration du Web qui sont énoncées dans la norme d'exclusion des robots. Scooter demande à chaque serveur quels fichiers il doit exclure de l'indexation. Il ne passe pas (ou ne peut pas passer) à travers le pare-feu. Il utilise un algorithme pour attendre entre les requêtes du serveur, afin de ne pas affecter les temps de réponse des autres utilisateurs.