Le fichier robots.txt est un protocole standard du web qui indique aux moteurs de recherche quelles pages d’un site peuvent ou ne peuvent pas être explorées. Il est placé à la racine du domaine (exemple : https://www.exemple.fr/robots.txt) et respecte le Robots Exclusion Protocol formalisé par la RFC 9309 publiée en septembre 2022 par l’IETF. Pour un site institutionnel ou un site emploi public, sa configuration influence directement la visibilité SEO.
Le fichier robots.txt est un fichier texte placé à la racine d’un site web qui donne des instructions aux robots d’exploration (crawlers) des moteurs de recherche. Il fonctionne sur la base de directives simples interprétées par les principaux user-agents (Googlebot, Bingbot, Yandex, DuckDuckBot, Applebot…).
La structure de base du fichier comprend 3 directives principales : User-agent (cible le robot concerné), Disallow (interdit l’exploration d’un chemin), Allow (autorise explicitement). À cela s’ajoute la directive Sitemap qui indique l’emplacement du plan du site XML.
Tableau des directives principales
| Directive | Fonction | Exemple |
|---|---|---|
| User-agent | Cible un robot spécifique | User-agent: Googlebot |
| Disallow | Interdit l’exploration | Disallow: /admin/ |
| Allow | Autorise explicitement | Allow: /admin/public/ |
| Sitemap | Indique le sitemap XML | Sitemap: https://exemple.fr/sitemap.xml |
| Crawl-delay | Délai entre requêtes (non Google) | Crawl-delay: 10 |
Comment configurer un robots.txt ?
La configuration standard d’un site institutionnel ou emploi public bloque les zones d’administration et autorise tout le reste. L’erreur la plus fréquente consiste à bloquer involontairement des sections SEO importantes (par exemple un dossier /content/ servant de blog).
Exemple de configuration robots.txt type
| Section | Directive |
|---|---|
| Tous robots | User-agent: * |
| Bloquer admin | Disallow: /admin/ |
| Bloquer wp-admin (WordPress) | Disallow: /wp-admin/ |
| Autoriser ajax-admin | Allow: /wp-admin/admin-ajax.php |
| Bloquer recherche interne | Disallow: /?s= |
| Sitemap | Sitemap: https://exemple.fr/sitemap.xml |
Quelles erreurs SEO fréquentes éviter ?
5 erreurs courantes peuvent dégrader fortement le référencement d’un site institutionnel.
- Bloquer tout le site par erreur : Disallow: / appliqué à tous (perte totale d’indexation).
- Bloquer les ressources CSS/JS : Google a besoin d’accéder aux feuilles de style et scripts pour comprendre la mise en page.
- Confondre robots.txt et balise noindex : robots.txt empêche le crawl, mais une page bloquée peut rester indexée si liée externement.
- Multiplier les Disallow sans logique : crée du bruit et complique la maintenance.
- Omettre la directive Sitemap : prive les moteurs d’une cartographie utile.
Comment tester un robots.txt ?
Plusieurs outils permettent de valider la configuration. Google Search Console propose un testeur de robots.txt dédié, accessible aux propriétaires vérifiés du site. Bing Webmaster Tools dispose d’un outil équivalent. Des validateurs en ligne (Tester de robotstxt.org, Ryte, Screaming Frog) complètent l’arsenal.
Tableau des outils de test
| Outil | Type | Spécificité |
|---|---|---|
| Google Search Console | Officiel Google | Test URL par URL |
| Bing Webmaster Tools | Officiel Bing | Test compatible Bingbot |
| Screaming Frog | Logiciel SEO | Audit complet du crawl |
| Ryte / Sitebulb | SaaS SEO | Suivi historique du robots.txt |
| robotstxt.org | Validateur en ligne | Conformité RFC 9309 |
Quelles spécificités pour un site emploi public ?
Un site emploi public doit garantir l’indexation maximale de ses fiches d’offres et fiches métier. Le robots.txt typique d’un site emploi public bloque uniquement : les pages d’administration, les pages de connexion candidat (mais pas les fiches publiques), les pages de filtres dynamiques susceptibles de générer du contenu dupliqué.
Quelles évolutions du robots.txt en 2025 ?
3 évolutions structurent l’usage du robots.txt en 2025 :
- RFC 9309 (septembre 2022) : standardisation officielle du protocole par l’IETF.
- Robots IA et LLM : nouveaux user-agents (GPTBot, Claude-Web, PerplexityBot) à gérer explicitement.
- Crawl budget renforcé : importance accrue de l’optimisation pour les très grands sites.
Quelles différences avec la balise meta robots ?
Le robots.txt et la balise meta robots agissent à des niveaux différents. Le robots.txt empêche le crawl (l’exploration), tandis que la balise meta robots (placée dans le HTML d’une page) contrôle l’indexation et le suivi des liens. Pour bloquer l’indexation, la balise <meta name="robots" content="noindex"> est plus fiable que le robots.txt.
Quelles sont les questions fréquentes sur ce métier ou ce sujet ?
Plusieurs questions reviennent régulièrement de la part des candidats, agents et usagers. Voici les éléments de réponse les plus fréquents en 2025, structurés selon les enjeux majeurs identifiés par les centres de gestion, les directions des ressources humaines et les fédérations professionnelles concernées.
Quelles ressources mobiliser pour aller plus loin ?
- Site Service-Public.fr : portail officiel des droits et démarches administratives, mis à jour quotidiennement par la DILA.
- Service-Public Pro : informations réglementaires destinées aux professionnels et chefs d’entreprise.
- CNFPT : Centre national de la fonction publique territoriale, formations, fiches métiers, statistiques RH.
- Bourses de l’emploi territorial des centres de gestion départementaux (88 CDG en France).
- Portail Place de l’Emploi Public : offres des 3 fonctions publiques (FPE, FPT, FPH).
- Légifrance : consultation des textes législatifs et réglementaires en vigueur.
- 1jeune1solution.gouv.fr : portail dédié aux jeunes pour l’emploi, l’apprentissage et le service civique.
- Bourse interministérielle de l’emploi public (BIEP) : recrutement des fonctionnaires de l’État.
Tableau récapitulatif des références utiles
| Ressource | Type | Adresse |
|---|---|---|
| Service-Public.fr | Portail officiel | service-public.fr |
| Légifrance | Textes juridiques | legifrance.gouv.fr |
| CNFPT | Formation territoriale | cnfpt.fr |
| Place Emploi Public | Recrutement public | place-emploi-public.gouv.fr |
| FNCDG | Fédération centres de gestion | fncdg.com |
| DGAFP | Direction fonction publique | fonction-publique.gouv.fr |
| BIEP | Bourse interministérielle | biep.fonction-publique.gouv.fr |
| Mon Compte Formation | CPF | moncompteformation.gouv.fr |
Quelles perspectives d’évolution à 5 ans ?
Les transformations en cours dans la fonction publique structurent les perspectives professionnelles à moyen terme. 4 grandes tendances impactent l’ensemble des métiers du secteur public : transition écologique, transition numérique, renouvellement démographique et évolution des attentes citoyennes en matière de qualité de service public.
Selon le rapport annuel de la DGAFP 2024 sur l’état de la fonction publique, plus de 650 000 départs en retraite sont prévus dans les 3 fonctions publiques d’ici 2030, créant des opportunités importantes de recrutement et de mobilité interne. Les compétences transversales — maîtrise du numérique, conduite de projet, médiation, analyse de données, communication multicanale — deviennent décisives pour l’évolution professionnelle des agents.
Pour anticiper ces évolutions, les agents disposent de plusieurs leviers de formation et de mobilité. Le compte personnel de formation (CPF) est abondé chaque année selon l’article L. 6323-1 du Code du travail à hauteur de 500 € par an dans la limite de 5 000 € (8 000 € pour les agents non qualifiés). La validation des acquis de l’expérience (VAE) permet de transformer 1 an d’expérience minimum en diplôme. Le bilan de compétences est financé par l’employeur public au titre du plan de formation.
Comment se préparer concrètement ?
Une préparation efficace combine 4 dimensions complémentaires : technique, comportementale, réseautage et pratique. Les candidats au public mobilisent en moyenne 6 à 12 mois pour monter en compétences sur un poste cible, en alternant formations courtes (CNFPT, ICN, CFPB), lectures spécialisées, immersions professionnelles et entraînement aux épreuves orales.
Tableau du plan de préparation type sur 6 mois
| Mois | Action prioritaire | Livrable |
|---|---|---|
| Mois 1-2 | Cartographie du secteur, lectures fondamentales | Synthèse de 10 documents clés |
| Mois 2-3 | Formation CNFPT ou MOOC dédié | Attestation + fiches révisions |
| Mois 3-4 | Réseautage : LinkedIn, événements pros, salons | 10 contacts qualifiés |
| Mois 4-5 | Préparation orale (concours / entretien) | 3 simulations vidéo annotées |
| Mois 5-6 | Candidatures actives + suivi | 5-10 candidatures déposées |
Plusieurs plateformes de formation gratuites ou à coût modéré sont accessibles aux candidats : Pix (compétences numériques), MOOC France Université Numérique (FUN), classes virtuelles du CNFPT, ressources Ouvertes du Service-Public, programmes de formation des centres de gestion. L’objectif est de cumuler savoirs réglementaires, savoirs métier et savoir-être avant de candidater.
Sources officielles et références juridiques
- RFC 9309 — Robots Exclusion Protocol (IETF)
- Google Search Central — Documentation robots.txt
- Bing Webmaster Tools — Aide robots.txt
- Robots.txt — Site officiel du protocole
Article mis à jour le 4 mai 2026.