Les fichiers robots.txt commandent aux robots de moteurs de recherche de ne pas suivre ou prendre en compte et ni indexer une page web, un répertoire, ou un site internet, notamment lors de son développement. Le fichier robots.txt se présente sous la forme d’un fichier au format texte que l’on place à la racine du site, au même niveau que la page index.html:

• http://www.ton-site.com/robots.txt

Pour éviter que votre site soit indexé, placez les lignes de codes suivantes dans le fichier texte:

• User-agent: *
• Disallow: /

Afin d’éviter que les robots de moteurs de recherche indexent une partie du site, comme par exemple le forum du site, mettez en place ceci:

• User-agent: *
• Disallow: /forum/

Bien qu’ils soient volontairement mis en place pour éviter l’indexation par les moteurs de recherche, ces fichiers sont parfois oublies et empêchent l’indexation ultérieure du site par les robots.

Consultez les tarifs de référencement et demandez un devis gratuit pour votre site internet.