Vous cherchez quelque chose ?

L'outil de test du fichier robots.txt vient d'être mis à jour


Cet article a été revu et mis à jour la dernière fois le 17 Juillet 2014 à 13:34

Google annonce une nouvelle version de l'outil de test du fichier robots.txt dans ses Webmaster Tools. Le nouvel outil de validation serait plus interactif et plus complet.

Simplifier l'usage du fichier robots.txt

En annonçant la mise à jour de son outil de test du fichier robots.txt, Google souhaite simplifier l'usage de son outil de validation. Celui-ci fournit désormais plus d'informations quant aux erreurs et avertissements du fichier. Il permet également de vérifier l'accessibilité ou le blocage d'une adresse spécifique au niveau des principaux bots ou des bots liés aux vidéos, images et actualités.

Outil de test du fichier robots.txt

Le nouvel outil permet par ailleurs de modifier les fichiers et de tester les modifications apportées. Il suffit ensuite d'uploader la nouvelle version sur le serveur pour voir les changements être pris en compte. D'autre part, si certains sites sont susceptibles de présenter des erreurs, Google recommande de les soumettre deux fois au fichier robots.txt. Les anciennes versions du fichier peuvent en effet bloquer les contenus Javascript, CSS ainsi que les contenus pour mobile. Une fois que le problème a été repéré, il est cependant simple de le corriger.

Des résultats plus précis

Le contenu du fichier robots.txt affiche par défaut son contenu, sa taille ainsi que l'heure et la date du dernier crawl. Il est également possible de savoir si un problème a été détecté puisque le code http 200 est retourné lorsque tout va bien. Dans le cas contraire, les Webmaster Tools donnent un aperçu du nombre d'avertissements et d'erreurs indiqués. En saisissant une URL du site géré, l'outil de validation est également en mesure d'informer le webmaster sur un éventuel blocage ainsi que sur la directive concernée.

Google rappelle par ailleurs sur son blog que les anciennes versions du fichier robots.txt peuvent être examinées. Il en est de même pour les problèmes d'accès ayant bloqué l'exploration du bot. Pour une erreur 500 mentionnée dans une version du fichier, Google suspend par exemple le crawling. Ainsi, la nouvelle version de l'outil devrait faciliter le test ainsi que la gestion du fichier robots.txt et simplifier le travail des webmasters.


Si vous ne trouvez pas la chronique correspondante à votre recherche, c'est peut-être l'occasion de la rédiger ;-)

Proposer ma chronique

Aimez-vous cet article ?

Nos réseaux préférés

Ajouter un commentaire