Avec l’augmentation des ressources machines déployées par les grands moteurs de recherche, ils sont aujourd’hui capables d’indexer très rapidement de nouvelles pages.
Google semble disposer de la technologie et des ressources les plus puissantes à ce jour. Il devient plus difficile de ne pas se faire indexer que l’inverse.
À l’aide de leurs nombreux services utilisés par des millions de personnes (Analytics, Chrome…), Google peut découvrir et collecter des URLs jusqu’alors inconnues de manière très efficace et rapide.
Il ne suffit pas de s’assurer qu’aucun lien ne pointe vers une URL (dite orpheline) pour être certain qu’elle ne se retrouvera jamais dans les pages de résultats d’un moteur.
L’utilisation d’un robots.txt n’est pas non plus la meilleure solution. Savez-vous que cela n’interdit en rien un moteur de proposer l’URL découverte dans ses résultats ?
Un moteur comme Google proposera la simple URL sans titre ou description. Il y a mieux comme solution pour cacher le nouveau site ou service que vous souhaitez lancer en grande pompe le jour J, non ?
Utilisez la meta robots noindex pour interdire l’indexation est déjà plus efficace.
La solution la plus sécurisée sera de déployer un accès sécurisé via un mot de passe ou d’autoriser uniquement certaines adresses IP.
