Qu’est-ce que le fichier Robots.txt et comment fonctionne-t-il ?

Andrei Iordache

Andrei Iordache

Développeur WordPress

🚀 J’aide les gens à être trouvés en ligne | Développement WordPress, Core Web Vitals, Sécurité&Maintenance

Qu’est-ce que le fichier Robots.txt et comment fonctionne-t-il?

Un fichier robots.txt est un fichier texte qui sert à indiquer aux robots web (également appelés araignées ou crawlers) comment explorer et indexer un site web.

Le fichier robots.txt fait partie de la norme d’exclusion des robots (REP), qui est un protocole comportant un petit ensemble de commandes pouvant être utilisées pour communiquer avec les robots Web.

L’utilisation la plus courante du fichier robots.txt consiste à empêcher les robots Web d’indexer tout ou partie d’un site Web. Pour ce faire, il suffit de spécifier une ou plusieurs règles d’exclusion dans le fichier robots.txt. Par exemple, une règle peut être ajoutée au fichier robots.txt pour empêcher les robots Web d’indexer le répertoire /images/ d’un site Web.

Robots.txt et Sitemap.xml


En général, un fichier robots.txt indique aux robots Web, ou “araignées”, les pages de votre site Web à explorer et à indexer. Un fichier sitemap.xml fournit des informations supplémentaires sur la structure de votre site Web, ce qui peut être très utile pour les moteurs de recherche.

Les deux fichiers sont complémentaires mais ne doivent pas nécessairement être utilisés ensemble. Si vous n’avez qu’un fichier robots.txt, c’est parfait. De même, si vous n’avez qu’un fichier sitemap.xml, c’est également très bien. Cependant, l’utilisation des deux peut être avantageuse, surtout si vous avez un grand site Web avec une structure complexe.

Un fichier robots.txt est généralement placé dans le répertoire racine d’un site Web. Par exemple, si votre site Web se trouve à l’adresse www.example.com, votre fichier robots.txt sera à l’adresse www.example.com/robots.txt.

Un fichier sitemap.xml peut être placé n’importe où sur votre site Web, mais il est généralement placé dans le répertoire racine également. Par exemple, si votre site Web se trouve à l’adresse www.example.com, votre fichier sitemap.xml sera à l’adresse www.example.com/sitemap.xml.

L’avantage d’utiliser un fichier robots.txt est que vous pouvez spécifier les pages de votre site Web que vous ne souhaitez pas voir explorées et indexées. Cela peut être utile si vous avez des pages qui contiennent des informations sensibles que vous ne voulez pas voir apparaître dans les résultats de recherche.

L’avantage d’utiliser un fichier sitemap.xml est que vous pouvez fournir des informations supplémentaires aux moteurs de recherche sur la structure de votre site web. Cela peut s’avérer très utile, en particulier pour les sites Web volumineux, car cela peut aider les moteurs de recherche à mieux comprendre le contenu de votre site Web.

En général, il est conseillé d’utiliser à la fois un fichier robots.txt et un fichier sitemap.xml si vous avez un site Web volumineux à la structure complexe. Les moteurs de recherche disposeront ainsi d’un maximum d’informations sur votre site, ce qui les aidera à le parcourir et à l’indexer plus efficacement.

Le fichier robots.txt est également utilisé pour indiquer l’emplacement du plan du site d’un site Web. Le plan du site est un fichier qui contient une liste de toutes les pages d’un site Web. En spécifiant le plan du site dans le fichier robots.txt, les robots web peuvent facilement trouver et indexer toutes les pages d’un site web.

Les robots Web ne sont pas tenus de respecter les règles spécifiées dans le fichier robots.txt. Toutefois, la plupart des robots Web prennent en charge la norme d’exclusion des robots et respectent les règles spécifiées dans le fichier robots.txt.

Règles de Robots.txt


Les règles spécifiées dans le fichier robots.txt sont appliquées à tous les robots Web qui explorent un site Web. Il n’est pas possible de spécifier des règles pour un robot Web spécifique.

Le fichier robots.txt doit être placé dans le répertoire racine d’un site Web. Par exemple, si l’URL d’un site Web est http://www.example.com/, le fichier robots.txt doit se trouver à l’adresse http://www.example.com/robots.txt.

Le fichier robots.txt peut contenir plusieurs règles. Chaque règle doit figurer sur une ligne distincte.

Une règle se compose de deux champs, un nom de champ et une valeur de champ. Le nom du champ est suivi de deux points ( 🙂 et de la valeur du champ. Par exemple:

User-agent: *

Disallow: /

La règle ci-dessus empêcherait tous les robots Web d’indexer les pages du site Web.

Plusieurs valeurs de champ peuvent être spécifiées pour un nom de champ en séparant les valeurs par une virgule (,). Par exemple:

User-agent: *

Disallow: /images/, /cgi-bin/

La règle ci-dessus empêcherait tous les robots Web d’indexer les répertoires /images/ et /cgi-bin/ du site Web.

Une règle peut être spécifiée sans la valeur d’un champ. Par exemple:

User-agent: *

Disallow:

La règle ci-dessus permettrait à tous les robots web d’indexer toutes les pages du site web.

Des commentaires peuvent être ajoutés au fichier robots.txt en commençant une ligne par un caractère dièse (#). Les commentaires sont ignorés par les robots web. Par exemple:

# This is a comment

User-agent: *

Disallow: /

Le fichier robots.txt ci-dessus empêcherait tous les robots Web d’indexer les pages du site Web.

L’ordre des règles dans le fichier robots.txt est important. La première règle correspondante est appliquée. Par exemple, considérons le fichier robots.txt suivant:

User-agent: *

Disallow: /

User-agent: Google

Disallow:

Le fichier robots.txt ci-dessus empêcherait tous les robots Web d’indexer les pages du site, à l’exception du robot Web de Google.

Conclusion


Si vous possédez un site Web WordPress, vous devez absolument utiliser un fichier robots.txt. Ce fichier est utilisé pour indiquer aux robots des moteurs de recherche, également connus sous le nom d’explorateurs web, quelles pages de votre site web ils sont autorisés à indexer et à explorer.

Vous vous demandez peut-être pourquoi vous avez besoin d’utiliser un fichier robots.txt si votre site WordPress est déjà configuré pour être indexé par les moteurs de recherche. La réponse est qu’un fichier robots.txt vous donne plus de contrôle sur la façon dont les moteurs de recherche indexent votre site Web.

Par exemple, disons que vous avez un site Web WordPress avec un blog et une boutique WooCommerce. Vous souhaitez peut-être que les moteurs de recherche indexent les articles de votre blog afin que les internautes puissent les trouver lorsqu’ils recherchent des mots clés liés à votre contenu. En revanche, vous ne souhaitez peut-être pas que les moteurs de recherche indexent vos pages WooCommerce, car vous ne voulez pas que les internautes trouvent vos pages de produits avant d’atteindre votre site Web.

Dans ce cas, vous utiliserez un fichier robots.txt pour indiquer aux moteurs de recherche de n’indexer que les pages de votre blog. Vous pourrez ainsi mieux contrôler la façon dont les internautes trouvent votre site Web et vous assurer qu’ils atteignent la destination prévue.

Il existe d’autres raisons pour lesquelles vous pourriez vouloir utiliser un fichier robots.txt sur votre site Web WordPress. Par exemple, si vous avez des pages qui sont protégées par un mot de passe, vous pouvez utiliser le fichier robots.txt pour indiquer aux moteurs de recherche de ne pas indexer ces pages. Cela garantit que seules les personnes disposant du mot de passe peuvent accéder au contenu de ces pages.

Dans l’ensemble, l’utilisation d’un fichier robots.txt sur votre site Web WordPress est une bonne idée si vous voulez avoir plus de contrôle sur la façon dont les moteurs de recherche indexent votre site Web. C’est également une bonne idée si vous voulez protéger certaines pages de votre site Web contre l’indexation.

Bonus


Voici un petit conseil bonus : n’oubliez pas d’ajouter votre lien sitemap dans le fichier robots.txt.

Article précédent
[SOLVÉ] WordPress 6.1 et WPML – Une erreur critique s’est produite sur ce site Web.
Article suivant
Qu’est-ce qu’un plan Sitemap?
Lusi StudiosLusi Studios
15:32 22 Jun 22
Andrei did an amazing job! He helped in a very rushed time and he excelled at everything. Thanks again!
I am grateful and I would to thank Websites Seller for their support in site recovery and site transfer. Websites Seller just saved my business. Thank you!
Wouter GhysensWouter Ghysens
11:52 10 Sep 21
Looking for a Wordpress transfer from site A to site B, I found back Andrei from Wesites Seller on Google.He was very proactive in his approach, came with hundreds of ideas and lifetime experiences from other migrations. He knows the wordpress, the hosting and php database as the back of his pocket.And we worked out this migration very smooth. Together we solved it, and myself and my business are very pleased with his approach.100% recommendation & kudo's from out of Belgium!
Ioachim CiobanuIoachim Ciobanu
18:39 14 Jul 21
Websites Seller built my resume site. Deliverables were quickly completed, and I was asked for my feedback at each stage of development. All feedback I gave was implemented in a short time.Another great thing is that he comes with smart solutions, regarding stuff which I didn't initially think of (site security, Google site speed optimization and so on). Basically, he was great, staying in touch, keeping me updated and paid attention to what was most important for my site.Overall, I am very happy with the work done. I highly recommend this developer!
K CollinsK Collins
09:11 19 May 21
I needed help with website speed - to improve my core web vitals - without compromising the usability of my site. Andrei was extremely responsive, proactive and fast. And more importantly, he increased by website speed. Highly recommend him, and I will be using him going forward on all my projects.

Services

WordPress Website Maintenance Services

Services de maintenance WordPress

Service de maintenance de sites Web WordPress qui fournit des sauvegardes en nuage, une assistance d’urgence, des mises à jour hebdomadaires du site Web, la vitesse et bien d’autres choses encore.

sally

Service de migration WordPress

Transférez en toute sécurité votre site Web WordPress vers un nouvel emplacement pour 75 $. … Migrez votre site Web vers son nouvel hôte.

lawyer-office

Conception de sites Web pour avocats

Nous sommes spécialisés dans la conception de sites Web, le marketing Internet et le référencement pour les avocats et les juristes en Europe et aux États-Unis.