Ce que le fichier fait
Il demande aux robots qui le respectent de ne pas explorer certains chemins. C'est une demande, pas une barrière.
SEO technique · indexation
robots.txt :
ce qu'il ne fait pas.
C'est le fichier le plus mal compris du référencement. Il dit aux robots où ne pas aller, pas ce qui doit rester hors des résultats, et encore moins ce qui doit rester privé. Trois choses différentes, trois mécanismes différents.
Ce que nous livrons
Cinq chantiers,
une seule équipe.
Ce qu'il ne fait pas
Il n'empêche pas une adresse connue par ailleurs d'apparaître dans les résultats, sans description.
La bonne instruction pour exclure
Une directive au niveau de la page, qui suppose que le robot puisse la lire, donc que la page ne soit pas bloquée.
La bonne protection pour le privé
Une authentification. Rien d'autre ne rend une page inaccessible à qui connaît son adresse.
L'ouverture aux robots des assistants
Si vous visez les citations par les IA, leurs robots doivent pouvoir passer. Beaucoup de sites les bloquent sans le savoir.
Notre approche
01
La contradiction que presque tout le monde écrit
Pour qu'une page n'apparaisse pas dans les résultats, il faut lui poser une instruction de non-indexation. Mais cette instruction se trouve dans la page, donc le robot doit pouvoir la lire. Si vous bloquez en plus le chemin dans le fichier robots, le robot ne lit jamais l'instruction, et l'adresse peut malgré tout apparaître dans les résultats, sans titre ni description, simplement parce qu'un lien pointe vers elle. Bloquer et demander la non-indexation en même temps produit l'inverse du but recherché.
02
Ce fichier ne protège rien
Il est public, lisible par n'importe qui à la racine de votre domaine, et il liste précisément les chemins que vous préférez cacher. C'est donc une carte des zones sensibles offerte à qui la demande. Les robots bienveillants le respectent, les autres non. Pour qu'une page reste privée, il n'existe qu'un mécanisme : une authentification. Un chemin simplement absent des liens et bloqué dans ce fichier n'est pas protégé, il est seulement discret.
03
Les robots des assistants, et l'erreur silencieuse
Les assistants envoient leurs propres robots, avec leurs propres noms. Beaucoup de configurations par défaut, de modèles de sites et de modules de sécurité les bloquent, parfois en bloquant tout ce qui n'est pas un moteur connu. Le site devient alors invisible pour les assistants sans que rien ne le signale. Si vous visez les citations par les IA, vérifiez explicitement que leurs robots passent, en interrogeant votre site avec leur identité plutôt qu'en relisant votre fichier.
04
Ce qu'il faut y mettre, en pratique
L'adresse de votre plan du site. L'exclusion des chemins techniques qui n'ont aucun intérêt public et qui feraient perdre du temps aux robots : interfaces de programmation, résultats de recherche interne, paniers, pages de confirmation. Et c'est à peu près tout. Un fichier robots long est presque toujours le signe d'une architecture confuse qu'on essaie de masquer.
Ils nous font confiance
Des références
en Suisse romande.
- Finkeswisscabinet de prévoyance et de fiscalité, Genève
- MNTALhypnose et préparation mentale, Genève
- Ariana Investautomatisation des dossiers de 3e pilier, Suisse romande
FAQ
Les questions
qu'on nous pose.
Une instruction de non-indexation dans la page, et surtout ne pas bloquer son chemin dans le fichier robots, sinon le robot ne lira jamais l'instruction. Pour un retrait urgent, l'outil pour webmasters propose une procédure de suppression temporaire.
On en parle ?
On teste votre site avec l'identité des robots d'IA
Pas en relisant votre fichier : en appelant votre site comme le feraient leurs robots. C'est là qu'on découvre les blocages involontaires.
Pour aller plus loin