Vous publiez une page correcte, bien écrite, utile, et Googlebot n’en tient aucun compte. Le réflexe habituel consiste à incriminer la qualité du texte, puis à chercher une sanction, puis à commander des liens. Philippe Yonnet, de Neper, a publié le 1er novembre 2022 un article qui démonte cette lecture : la non-indexation ne date pas d’hier et le problème vient presque toujours d’ailleurs. Voici comment retrouver la trace d’une page que l’araignée visite sans jamais la retenir.

La non-indexation n’est pas une invention récente

On lit partout que Google ignore de plus en plus de pages, comme si un changement brutal était survenu ces dernières années. Philippe Yonnet affirme que cette croyance est totalement erronée : le phénomène existe depuis toujours, à des volumes comparables.

Ce qui a changé, c’est la taille des sites et l’outillage mis à disposition dans la Search Console, qui rend visible un problème autrefois invisible. Les conseils techniques publiés sur referencement-dom.com insistent d’ailleurs sur ce point : avant de refondre un contenu, on vérifie ce que l’araignée a réellement exploré.

La conséquence pratique est énorme. Tant qu’on croit à une vague récente, on cherche une cause récente : une mise à jour d’algorithme, un filtre, une pénalité. On réécrit des textes déjà bons. On ajoute des maillages internes au hasard. Et pendant ce temps, l’araignée continue de visiter une URL qui n’est pas celle qu’on veut voir apparaître dans les résultats.

L’URL faussement orpheline, le cas le plus fréquent

Neper identifie comme situation la plus courante les URLs qu’il appelle « faussement orphelines ». Le principe est simple à comprendre et pénible à constater : votre page existe, elle est liée depuis le menu, elle répond en 200. Sauf que Googlebot explore et indexe une variante de cette adresse.

Une version avec un paramètre de tri, une version avec un slash final, une version en HTTP, une version avec un paramètre de tracking collé par un partage sur les réseaux. Résultat : dans vos rapports, l’URL que vous suivez n’apparaît nulle part, et vous concluez qu’elle est ignorée.

Le diagnostic change tout. Vous ne cherchez plus pourquoi Google n’aime pas votre contenu, vous cherchez quelle adresse il a préférée à la vôtre. C’est une enquête de terrain, pas une question de rédaction.

Graphique sur ordinateur portable

Les signes qui doivent vous mettre sur la piste

Quelques indices reviennent sans cesse chez les sites touchés. Ils ne coûtent rien à vérifier et évitent des semaines de travail au mauvais endroit.

  • L’outil d’inspection d’URL affiche « URL explorée, actuellement non indexée » alors que la page reçoit des visites internes tous les jours.
  • Des paramètres apparaissent dans les statistiques de crawl, souvent ajoutés par un module de filtre ou un partage social.
  • La même page est accessible avec et sans slash final, ou en HTTP et en HTTPS, sans redirection claire entre les deux.
  • Pourquoi la version indexée n’est-elle jamais celle que vous avez déclarée dans votre sitemap ?
  • Une newsletter ou une campagne publicitaire a-t-elle diffusé l’adresse avec un identifiant de suivi que le serveur ne nettoie pas ?

Une fois la variante identifiée, la correction tient en une décision technique : on canonicalise vers l’adresse de référence, ou on redirige les variantes en 301. Rien de spectaculaire, aucun contenu à réécrire. Neper observe qu’après ce nettoyage, la volumétrie des URLs ignorées par Googlebot peut diminuer considérablement. Autrement dit, le premier levier n’est ni le texte ni les liens entrants.

Vérifier soi-même, sans confondre les outils

Bon, la partie qui fâche : beaucoup de confusions viennent d’une mauvaise lecture des outils Google. Le robots.txt, les balises meta, la Search Console et le recaptcha sont quatre choses distinctes, et les mélanger fait perdre un temps fou. Sur ce point, voir aussi notre article sur l’Importance du Contenu de Qualité dans une Stratégie de SEO Réussie.

On voit régulièrement des propriétaires de sites bloquer Googlebot-News dans leur robots.txt en croyant régler un problème d’indexation général, alors que ce blocage sert uniquement à empêcher un site de figurer dans Google Actualités. Pire : pour sortir à la fois de Google Actualités et de la recherche Google, il faut bloquer l’accès à Googlebot lui-même, ce qui n’a rien à voir avec la question de départ.

La question « comment prouver à Google que je ne suis pas un robot » part du même malentendu. Les cases à cocher et les messages d’erreur que vous rencontrez en naviguant concernent votre session de visiteuse ou de visiteur, pas le travail de l’araignée sur votre serveur. Ces vérifications se déclenchent sur votre adresse IP ou votre comportement de navigation, jamais sur la qualité de vos pages.

De la même manière, exclure un terme de sa propre recherche ou exclure un site des résultats ne se règle pas dans le fichier robots.txt du site concerné : ce sont des opérations côté utilisateur, dans les paramètres de recherche, et elles n’ont aucun effet sur ce que Googlebot explorera chez vous.

Franchement, cette confusion coûte cher. Un webmaster qui bloque Googlebot pour « voir ce que ça donne » coupe l’accès à tout son site et s’étonne ensuite de disparaître. Un autre ajoute une balise noindex sur une catégorie pour tester, oublie de la retirer, et cherche pendant des mois pourquoi ses pages ne remontent plus. Le robots.txt et la balise noindex sont des outils chirurgicaux, pas des boutons de réglage.

Femme avec un ordinateur portable et des icônes hexagonales

Ce qu’un crawl serveur révèle vraiment

La méthode qui tranche le débat reste le crawl de ses propres logs. On y lit les adresses réellement demandées par l’araignée, avec les paramètres, les slashs, les protocoles. Deux ou trois semaines de données suffisent pour repérer les variantes qui absorbent le budget de crawl. Ensuite, on croise avec la Search Console pour vérifier quelle version est retenue côté index.

Ce travail demande une heure ou deux, pas un budget. Il évite de refaire une page qui n’avait rien de cassé et de commander des liens pour un problème qui se règle par une redirection. Ça dépend des sites, évidemment : sur un catalogue de plusieurs milliers d’adresses générées par des filtres, la liste des variantes peut être longue à traiter. Mais la logique reste la même, et elle se vérifie page par page.

Le vrai levier se trouve dans vos URLs

Une page de qualité ignorée par Googlebot signale rarement un problème de qualité. Elle signale une ambiguïté d’adresse : l’araignée a choisi une variante, elle l’a explorée, et elle l’a indexée à votre place. Le contenu n’est pas en cause, le netlinking non plus.

Ce qui se joue, c’est la clarté technique de vos adresses et la cohérence des signaux que vous envoyez entre canonical, redirections, sitemap et liens internes. Réglez cela et vous verrez la volumétrie des pages ignorées fondre sans avoir écrit une ligne de plus. Reste une question qui mérite d’être posée avant de vous lancer : connaissez-vous vraiment l’adresse que Googlebot visite chez vous chaque nuit ?