Vous cherchez quelque chose ?

Comment tirer profit du fichier robots.txt pour votre référencement


Si vous êtes un peu développeur vous devez certainement connaître le fameux fichier robots.txt qui permet de dire aux robots des moteurs de recherche : "n’indexe pas ceci ou cela". C’est un fichier important mais qui a des limites, surtout en SEO !

Robots.txtLe Protocole d'Exclusion des Robots (en anglais REP - Robots Exclusion Protocol), ou robots.txt, est un fichier texte que les webmasters créent pour indiquer aux robots (typiquement les robots des moteurs de recherche) comment parcourir et indexer les pages de leur site web.

Le fichier robots.txt doit être placé dans le répertoire de niveau supérieur d'un serveur web pour être utile. Exemple: http://www.example.com/robots.txt

Le protocole d'exclusion des robots (REP) est un groupe de standards du Web qui régulent le comportement des robots de la toile et l'indexation des moteurs de recherche. Le REP comprend les éléments suivants :

-    Le REP original de 1994, prolongé en 1997, définissant les directives d’exploration pour le robots.txt. Certains moteurs de recherche supportent des extensions comme les schémas d’URI (wildcards).
-    Son extension à partir de 1996 définissant les directives des indexeurs (balises REP) pour l’utilisation dans le méta élément des robots, aussi connu sous le nom de "balise META robots". Toutefois, les moteurs de recherche prennent en charge des balises REP supplémentaires avec un X-Robots-Tag. Les webmasters peuvent utiliser des balises REP dans l'en-tête HTTP des ressources non-HTML, comme les documents PDF ou les images.
-    Le microformat Rel-NoFollow de 2005 définissant comment les moteurs de recherche doivent gérer les liens où l'attribut REL de l’Elément A contient la valeur "nofollow".

Appliquées à un URI (Uniform Resource Identifier), les balises REP (noindex, nofollow, unavailable_after) déclenchent des tâches particulières des indexeurs, et dans certains cas (nosnippet, noarchive, noodp) même des moteurs de recherche lors de l'exécution d'une requête. En dehors des directives d’exploration, chaque moteur interprète les balises REP différemment. Par exemple, Google efface les listes d’URL uniquement et les références ODP sur ses SERP (Search Engine Results Page), lorsqu'une ressource est étiquetée avec "noindex "...

...La suite de ce tutoriel fait partie du guide du référencement accessible aux membres de Seolius'Connect. Si vous avez déjà un compte, veuillez simplement vous connecter et accédez au guide complet sur ce sujet ou créer un compte maintenant.


Si vous ne trouvez pas la chronique correspondante à votre recherche, c'est peut-être l'occasion de la rédiger ;-)

Proposer ma chronique

Aimez-vous cet article ?

Nos réseaux préférés

Ajouter un commentaire