Qui ce qu'un Fichier "robots.txt"

Fichier "robots.txt"

Sur un site web, on essaye de faire en sorte que nos pages soient indexées par les robots des moteurs de recherche. Mais, parfois, on n’aime pas indexer certaines de nos pages et on préfère les laisser confidentielles (en travaux par exemple), dans ce cas intervient le  fichier robots.txt.

Un fichier robots.txt est un simple fichier texte situe à la racine de votre site Web. Un fichier robots.txt  indique aux moteurs de recherches de ne pas indexer certaines parties de votre site. Le fichier robots.txt ne doit contenir aucune ligne vide.


Les composants d'un fichier robots.txt

  • User-Agent: indique quel robot est concerné par les lignes d'instructions suivantes. (* Pour tous les robots)
  • Disallow: Indique aux moteurs de recherche quelle page / répertoire ne doit pas être indexé et doit être sur une ligne à part et doit commencer par un /.
  • * signifie "tous les moteurs de recherche".
  • # :  commentaire "ligne qui ne sera pas interprétée".

Exemple (1) de fichier robots.txt :

User-Agent: *
Disallow: /repertoire/ :
Disallow: /repertoire/page.html
# Ligne de commentaire
User-agent: googlebot
Disallow: /

Interpretation

  • Interdiction de  l'indexation du dossier repertoire et du chemin /repertoire/page.html à tout les robots.
  • Insèrtion d'une ligne de commentaire pour si retrouver.
  • Interdiction de  l'indexation de tout le site au robot googlebot.


Exemple (2) de fichier robots.txt :

User-Agent: *
Disallow: /

Interpretation

  • Interdiction de l'indexation de tout le site à tout les robots sans exception.


Exemple (3) de fichier robots.txt :

User-Agent: googlebot
Disallow: /
User-agent: *


Disallow:

Interpretation

Interdiction de l'indexation de toute les pages au robot googlebot seulement et on l'autorise aux autres.

Bon referencement a tout le monde et bonne chance.

Lisez Aussi:

3 commentaires:

  1. merci pour le partage de ce poste tres interessant

    RépondreSupprimer
  2. j'espere qu'il a ete tres utile pour vous. comme je l'ai mentione avant, je suis un debutant et je partage ce que je trouve interessant sur le web

    RépondreSupprimer