Ce que fait le testeur robots.txt
Il récupère https://<domaine>/robots.txt et affiche ses groupes par user-agent, leurs règles Allow et Disallow, un éventuel Crawl-delay et les lignes Sitemap. Saisissez un user agent et un chemin pour savoir si ce robot peut l'explorer, et quelle règle a décidé.
Saisissez le user agent tel qu'il apparaît dans le fichier, par exemple Googlebot ou Bingbot. Si aucun groupe ne le nomme, c'est le groupe * qui s'applique.
Comment les robots lisent les règles
Un robot ne suit que le groupe qui le nomme, et ignore le groupe * quand un groupe spécifique existe. Dans ce groupe, la règle la plus spécifique l'emporte, c'est-à-dire en pratique la plus longue, et Allow l'emporte sur Disallow en cas d'égalité. * correspond à n'importe quelle suite de caractères et $ marque la fin du chemin.
robots.txt contrôle l'exploration, pas l'indexation. Une page bloquée peut quand même apparaître dans les résultats si d'autres sites pointent vers elle : pour l'exclure de l'index, laissez-la explorer et ajoutez une balise meta noindex.
Questions fréquentes
Comment bloquer un dossier dans robots.txt ?
Ajoutez Disallow: /dossier/ sous le user agent à bloquer, par exemple sous User-agent: *. La barre oblique finale limite la règle à ce dossier et laisse /dossier-autre de côté.
Google respecte-t-il Crawl-delay ?
Non. Googlebot ignore Crawl-delay et adapte son rythme à la vitesse de réponse de votre serveur. Bing et d'autres robots, eux, le respectent.
Pourquoi ma page est-elle indexée alors que robots.txt la bloque ?
Parce que robots.txt empêche l'exploration, pas l'indexation. Google peut indexer une URL à partir des seuls liens, sans la récupérer. Retirez le Disallow et ajoutez noindex pour la sortir des résultats.
Que se passe-t-il s'il n'y a pas de robots.txt ?
Les robots considèrent un fichier absent (une 404) comme une autorisation de tout explorer. Une erreur serveur sur robots.txt est différente : Google suspend l'exploration du site tant qu'il ne peut pas lire le fichier.