Chaque jour, les robots parcourent des millions de pages Web. Ils repassent sur des pages déjà connues afin de mettre à jour les données stockées sur leurs serveurs et découvrent également de nouvelles pages.
Les robots sont en fait des programmes exécutés en permanence sur des centaines de milliers d’ordinateurs.
Les grands moteurs de recherche disposent donc d’une puissance de calcul exceptionnelle.
Afin de proposer des résultats récents et pertinents tout en préservant au mieux leurs ressources techniques, des algorithmes déterminent comment utiliser ce temps machine de la manière la plus optimale.
Ainsi les sites/pages les plus populaires sont bien plus régulièrement visités que les ressources peu populaires.
Les moteurs identifient aussi les contenus régulièrement mis à jour. Ils peuvent ainsi adapter la fréquence de leurs visites en fonction de leurs constatations. Pourquoi visiter tous les jours une page qui n’a pas été mise à jour depuis 5 ans ?
Une page populaire et proposant très régulièrement de nouveaux contenus sera visitée plusieurs fois par jour.
Google est actuellement le moteur capable d’indexer le plus rapidement les nouvelles pages. On parle aujourd’hui de référencement en temps réel.
Il n’est pas rare que de petits blogs voient leurs articles indexés et positionnés sur Google en quelques minutes.
Pour connaitre précisément la fréquence de passages des robots sur votre site, une seule solution : L’analyse de logs.
