SEO

Generateur robots.txt

Creez un fichier robots.txt valide pour votre site. Bloquer des chemins, autoriser les robots, definir le sitemap.

Presets rapides

User-agent

Disallow (bloquer)

Allow (autoriser)

Aucun chemin specifiquement autorise

URL du Sitemap

Crawl-delay (secondes, optionnel)

User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

Placez ce fichier a la racine de votre site : https://votresite.com/robots.txt

User-agent : Identifie le robot concerne. "*" cible tous les robots.

Disallow : Interdit l'acces a un chemin. "/" bloque tout le site.

Allow : Autorise un chemin specifique, utile pour creer des exceptions dans un Disallow.

Sitemap : Indique l'emplacement du sitemap XML pour faciliter l'indexation.