SEO
Generateur robots.txt
Creez un fichier robots.txt valide pour votre site. Bloquer des chemins, autoriser les robots, definir le sitemap.
Presets rapides
Regle
Aucun chemin specifiquement autorise
Parametres globaux
Fichier robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Placez ce fichier a la racine de votre site : https://votresite.com/robots.txt
Guide robots.txt
User-agent : Identifie le robot concerne. "*" cible tous les robots.
Disallow : Interdit l'acces a un chemin. "/" bloque tout le site.
Allow : Autorise un chemin specifique, utile pour creer des exceptions dans un Disallow.
Sitemap : Indique l'emplacement du sitemap XML pour faciliter l'indexation.