Vous avez d\u00e9j\u00e0 entendu le terme robots.txt et vous vous demandez comment il s’applique \u00e0 votre site web ? La plupart des sites web ont un fichier robots.txt, mais cela ne signifie pas que la plupart des propri\u00e9taires de sites le comprennent. Dans cet article, nous esp\u00e9rons changer cela en vous proposant une plong\u00e9e en profondeur dans le fichier robots.txt de WordPress, ainsi que dans la mani\u00e8re dont il peut contr\u00f4ler et limiter l’acc\u00e8s \u00e0 votre site.<\/p>\n
Il y a beaucoup de choses \u00e0 couvrir, alors commen\u00e7ons !<\/p>\n
Avant de parler du fichier WordPress robots.txt, il est important de d\u00e9finir ce qu’est un \u00ab robot \u00bb dans ce cas. Les robots sont tous les types de \u00ab robots \u00bb qui visitent les sites web sur Internet. L’exemple le plus courant est celui des robots d’indexation des moteurs de recherche. Ces robots parcourent le web pour aider les moteurs de recherche<\/a> comme Google \u00e0 indexer et \u00e0 classer les milliards de pages pr\u00e9sentes sur l’internet.<\/p>\n Les robots sont donc, en g\u00e9n\u00e9ral<\/em>, une bonne chose pour l’internet… ou du moins une chose n\u00e9cessaire. Mais cela ne signifie pas n\u00e9cessairement que vous, ou d’autres propri\u00e9taires de sites, souhaitiez que les robots se prom\u00e8nent sans entrave. Le d\u00e9sir de contr\u00f4ler la mani\u00e8re dont les robots web interagissent avec les sites web a conduit \u00e0 la cr\u00e9ation de la norme d’exclusion des robots<\/strong> au milieu des ann\u00e9es 1990. Robots.txt est la mise en \u0153uvre pratique de cette norme. Il vous permet de contr\u00f4ler la mani\u00e8re dont les robots participants interagissent avec votre site<\/strong>. Vous pouvez bloquer compl\u00e8tement les robots, restreindre leur acc\u00e8s \u00e0 certaines zones de votre site, etc.<\/p>\n La notion de \u00ab participation \u00bb est importante. Robots.txt ne peut pas forcer<\/em> un robot \u00e0 suivre ses directives. Les robots malveillants peuvent ignorer le fichier robots.txt et le feront. En outre, m\u00eame des organisations r\u00e9put\u00e9es ignorent certaines<\/em> commandes que vous pouvez ins\u00e9rer dans le fichier robots.txt. Par exemple, Google ne tiendra pas compte des r\u00e8gles<\/a> que vous ajoutez \u00e0 votre fichier robots.txt concernant la fr\u00e9quence des visites de ses robots. Vous pouvez r\u00e9gler la fr\u00e9quence d’exploration de votre site web par Google dans la page R\u00e9glages de la fr\u00e9quence d’exploration<\/a> de votre site dans Google Search Console.<\/p>\n Si vous rencontrez de nombreux probl\u00e8mes avec les robots, une solution de s\u00e9curit\u00e9 telle que Cloudflare<\/a> ou Sucuri<\/a> peut s’av\u00e9rer utile.<\/p>\n Le fichier robots.txt se trouve \u00e0 la racine de votre site web. En ajoutant \/robots.txt apr\u00e8s votre domaine, vous devriez charger le fichier (si vous en avez un). Par exemple, https:\/\/kinqsta.com\/robots.txt.<\/strong><\/p>\n Pour la plupart des propri\u00e9taires de sites, les avantages d’un fichier robots.txt bien structur\u00e9 se r\u00e9sument \u00e0 deux cat\u00e9gories :<\/p>\n Robots.txt n’est pas un moyen infaillible de contr\u00f4ler les pages index\u00e9es par les moteurs de recherche. Si votre objectif principal est d’emp\u00eacher certaines pages d’\u00eatre incluses dans les r\u00e9sultats des moteurs de recherche, l’approche appropri\u00e9e consiste \u00e0 utiliser une balise meta noindex<\/a> ou une protection par mot de passe.<\/p>\n En effet, votre fichier robots.txt n’indique pas directement aux moteurs de recherche de ne pas indexer le contenu, mais simplement de ne pas l’explorer. Bien que Google n’explore pas les zones marqu\u00e9es \u00e0 l’int\u00e9rieur de votre site, Google lui-m\u00eame indique<\/a> que si un site externe cr\u00e9e un lien vers une page que vous avez exclue avec votre fichier robots.txt, Google peut tout de m\u00eame indexer cette page.<\/p>\n John Mueller, analyste des webmasters chez Google, a \u00e9galement confirm\u00e9 que si une page comporte des liens pointant vers elle, m\u00eame si elle est bloqu\u00e9e par le fichier robots.txt, elle peut tout de m\u00eame \u00eatre index\u00e9e<\/a>. Vous trouverez ci-dessous ce qu’il a d\u00e9clar\u00e9 lors d’une s\u00e9ance de discussion avec la Webmaster Central :<\/p>\n Il faut peut-\u00eatre garder \u00e0 l’esprit que si ces pages sont bloqu\u00e9es par robots.txt, il est th\u00e9oriquement possible que quelqu’un cr\u00e9e un lien au hasard vers l’une de ces pages. Et s’il le fait, il se peut que nous indexions cette URL<\/strong> sans aucun contenu parce qu’elle est bloqu\u00e9e par robots.txt. Nous ne saurions donc pas que vous ne souhaitez pas que ces pages soient index\u00e9es.<\/p>\n En revanche, si elles ne sont pas bloqu\u00e9es par robots.txt, vous pouvez placer une balise m\u00e9ta noindex sur ces pages. Si quelqu’un cr\u00e9e un lien vers ces pages, que nous explorons ce lien et que nous pensons qu’il peut \u00eatre utile, nous saurons alors que ces pages n’ont pas besoin d’\u00eatre index\u00e9es et nous pourrons les exclure compl\u00e8tement de l’indexation.<\/p>\n Donc, \u00e0 cet \u00e9gard, si vous avez quelque chose sur ces pages que vous ne voulez pas voir index\u00e9es, ne les d\u00e9sactivez pas, utilisez plut\u00f4t noindex<\/strong>.<\/p><\/blockquote>\n Il est important de se rappeler que vous n’\u00eates pas oblig\u00e9<\/em> d’avoir un fichier robots.txt sur votre site. Si vous ne voyez pas d’inconv\u00e9nient \u00e0 ce que tous les robots puissent explorer librement toutes vos pages, vous pouvez choisir de ne pas vous emb\u00eater \u00e0 en ajouter un, puisque vous n’avez pas de v\u00e9ritables instructions \u00e0 donner aux robots.<\/p>\n Dans certains cas, vous ne pourrez m\u00eame pas ajouter de fichier robots.txt en raison des limitations impos\u00e9es par le CMS que vous utilisez. Ce n’est pas grave, et il existe d’autres m\u00e9thodes pour indiquer aux robots comment explorer vos pages sans utiliser de fichier robots.txt.<\/p>\n Le fichier robots.txt doit renvoyer un code d’\u00e9tat HTTP 200 OK pour que les robots d’exploration puissent y acc\u00e9der.<\/p>\n Si vous avez des difficult\u00e9s \u00e0 faire indexer vos pages par les moteurs de recherche, il est utile de v\u00e9rifier le code d’\u00e9tat renvoy\u00e9 pour votre fichier robots.txt. Tout autre code d’\u00e9tat que 200 pourrait emp\u00eacher les robots d’acc\u00e9der \u00e0 votre site.<\/p>\n Certains propri\u00e9taires de sites ont signal\u00e9 que des pages avaient \u00e9t\u00e9 d\u00e9sindex\u00e9es parce que leur fichier robots.txt renvoyait un code d’\u00e9tat autre que 200. Un propri\u00e9taire de site web a pos\u00e9 une question sur un probl\u00e8me d’indexation lors d’une s\u00e9ance de discussion sur le r\u00e9f\u00e9rencement Google en mars 2022 et John Mueller a expliqu\u00e9<\/a> que le fichier robots.txt devait renvoyer un \u00e9tat 200 s’il \u00e9tait pr\u00e9sent, ou un \u00e9tat 4XX si le fichier n’existait pas. Dans le cas pr\u00e9sent, une erreur de serveur interne 500<\/a> \u00e9tait renvoy\u00e9e, ce qui, selon John Mueller, aurait pu conduire Googlebot \u00e0 exclure le site de l’indexation.<\/p>\n Il en va de m\u00eame dans ce tweet, o\u00f9 le propri\u00e9taire d’un site signale que son site entier a \u00e9t\u00e9 d\u00e9sindex\u00e9 en raison d’un fichier robots.txt renvoyant une erreur 500.<\/p>\n [Quick SEO tip]<\/p>\n If you are having issue with indexing, make sure your robots.txt file is returning either 200 or 404. <\/p>\n If your file returns 500, Google will eventually deindex your website, as I've seen with this project. pic.twitter.com\/8KiYLgDVRo<\/a><\/p>\n — Antoine Eripret (@antoineripret) November 14, 2022<\/a><\/p><\/blockquote>\nComment trouver le fichier robots.txt ?<\/h3>\n
Quand devriez-vous utiliser un fichier robots.txt ?<\/h3>\n
\n
Robots.txt n’est pas sp\u00e9cifiquement destin\u00e9 \u00e0 contr\u00f4ler quelles pages sont index\u00e9es dans les moteurs de recherche<\/h3>\n
Ai-je besoin d’un fichier robots.txt ?<\/h3>\n
Quel code d’\u00e9tat HTTP doit \u00eatre renvoy\u00e9 pour le fichier robots.txt ?<\/h3>\n
\n