Les moteurs prennent en compte plusieurs facteurs afin d’adapter au mieux leur vitesse de crawl et donc de répartir d’une manière intelligente leur puissance de calcul.
Le crawl-delay du robots.txt ou le meta revisit-after sont tout simplement ignorés par Google. Même la propriété Frequency d’un sitemap XML semble ne pas faire autorité.
Un site Web proposant chaque jour de nombreuses nouvelles pages tout au long de la journée recevra très régulièrement les visites des robots. Ils semblent s’adapter aux rythmes de publication.
Les pages et les sites disposant d’un PageRank élevé sont aussi plus fréquemment crawlés.
Mettre (encore) à disposition un flux RSS, un sitemap XML mis à jour en temps réel ou faire pointer de nombreux liens (internes et externes) vers une nouvelle page sont aussi des paramètres positifs.
Le trafic semble aussi être un indicateur. Obtenir des milliers de visiteurs sur un nouveau site semble être un moyen d’alerter rapidement les robots.
Concernant Google, certains référenceurs pensent qu’utiliser Google Analytics ou Google Adwords peut permettre d’accélérer le process d’indexation.
L’indexation en direct ou presque est aujourd’hui une réalité pour de nombreux sites.
Enfin, soumettre son site sur le formulaire officiel de Google n’est plus possible et semblait peu efficace.
Il reste la solution de la Google Search Console.
