SEO
Generateur robots.txt
Creez un fichier robots.txt valide pour votre site. Bloquer des chemins, autoriser les robots, definir le sitemap.
Presets rapides
Regle
Aucun chemin specifiquement autorise
Parametres globaux
Fichier robots.txt
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
Placez ce fichier a la racine de votre site : https://votresite.com/robots.txt
Guide robots.txt
User-agent : Identifie le robot concerne. "*" cible tous les robots.
Disallow : Interdit l'acces a un chemin. "/" bloque tout le site.
Allow : Autorise un chemin specifique, utile pour creer des exceptions dans un Disallow.
Sitemap : Indique l'emplacement du sitemap XML pour faciliter l'indexation.
Comment creer un fichier robots.txt pour votre site
Le fichier robots.txt indique aux moteurs de recherche quelles pages de votre site peuvent etre explorees. C'est un element cle du referencement technique (SEO) qui doit etre place a la racine de votre site.
- Utilisez un preset : choisissez parmi 4 configurations courantes (standard, WordPress, tout autoriser, tout bloquer)
- Ajoutez des regles : definissez les chemins a bloquer (Disallow) ou autoriser (Allow) par user-agent
- Configurez le sitemap : indiquez l'URL de votre sitemap XML pour faciliter l'indexation
- Bloquez les robots IA : GPTBot, CCBot et autres crawlers d'intelligence artificielle
Questions frequentes
Ou placer le fichier robots.txt ?
Le fichier robots.txt doit etre place a la racine de votre domaine, accessible a l'URL https://votresite.com/robots.txt. Il doit etre en texte brut (pas de HTML) et accessible publiquement.
Le robots.txt empeche-t-il l'indexation ?
Le robots.txt empeche l'exploration (crawling) mais pas necessairement l'indexation. Google peut indexer une URL bloquee par robots.txt s'il la trouve via des liens. Pour empecher l'indexation, utilisez la balise meta noindex ou l'en-tete HTTP X-Robots-Tag.
Faut-il bloquer les robots d'IA comme GPTBot ?
C'est un choix editorial. Bloquer GPTBot (OpenAI) ou CCBot (Common Crawl) empeche l'utilisation de votre contenu pour entrainer des modeles d'IA. Cela n'affecte pas votre referencement sur Google ou Bing.
Outils similaires
Ces outils pourraient aussi vous interesser
Rentabilite locative
Rendement brut/net, cashflow, effort d'epargne. Simulateur investissement immobilier.
Utiliser →Age depart retraite
Reforme 2023 : age legal, trimestres requis selon votre annee de naissance.
Utiliser →Redimensionneur d'image
Changez les dimensions de vos images en pixels ou pourcentage. Ratio d'aspect verrouillable, apercu en direct.
Utiliser →Rachat de credit
Comparez vos credits actuels vs un rachat unique. Economie mensuelle, cout total, verdict.
Utiliser →