Budget de crawl et structure interne : faire compter chaque passage
Le budget de crawl est le nombre de pages qu'un moteur de recherche explorera sur votre site dans une période donnée. Pour un petit site de moins de 100 pages, ce n'est rarement la contrainte qui compte : la concurrence pour l'attention, à l'intérieur du site lui-même, y est faible. Pour un gros site WordPress de plusieurs milliers de pages, la façon dont ce budget est dépensé détermine quelles pages sont indexées, à quelle vitesse vos mises à jour apparaissent dans les résultats, et si vos contenus importants reçoivent l'attention qu'ils méritent.
Comment les liens internes affectent le budget de crawl
Les robots naviguent sur votre site en suivant les liens. La structure de liens internes agit comme une carte routière qui les guide vers vos contenus. Les pages qui reçoivent le plus de liens internes sont découvertes et réexplorées plus fréquemment. Celles qui en reçoivent peu sont explorées moins souvent, et leurs mises à jour mettent plus de temps à se refléter dans les résultats.
Les pages orphelines, celles qui ne reçoivent aucun lien interne, représentent le pire cas. Même si elles figurent dans votre sitemap, les robots peuvent les déprioriser, parce que le site lui-même ne semble pas les juger assez importantes pour pointer vers elles. Le sitemap dit « cette page existe », tandis que la structure de liens dit « rien d'autre sur le site ne la mentionne ».
Le problème de profondeur
Les robots allouent davantage de ressources aux pages proches de la page d'accueil dans le graphe de liens. Une page à deux clics est explorée plus fréquemment qu'une page à six clics de profondeur. Sur les sites WordPress à archives paginées, le contenu ancien est repoussé progressivement plus profond à chaque nouvelle publication, et perd graduellement sa fréquence d'exploration.
Les liens internes réduisent considérablement la profondeur effective. Un lien direct depuis une page bien connectée vers une page enfouie crée un raccourci qui contourne entièrement la chaîne de pagination. L'approche par pipeline crée ces raccourcis systématiquement, en s'appuyant sur la pertinence des keywords plutôt que sur un choix page par page.
Ce qui gaspille le budget de crawl sur WordPress
Les URL à paramètres de faible valeur. WordPress et WooCommerce peuvent générer des URL avec des paramètres de tri, de filtrage et de pagination qui n'apportent aucun contenu unique. Elles consomment du budget sans rien produire en retour. Votre robots.txt est l'endroit où bloquer ces variations.
Les pages minces ou dupliquées. Les archives de tags, de dates et d'auteur sur un site mono-auteur contiennent souvent le même contenu que les archives de catégories. Les robots y passent du temps sans y trouver quoi que ce soit d'unique.
Les pages orphelines et profondes sans lien entrant. Chaque page sans lien interne est une page que les robots doivent découvrir par le sitemap plutôt que par un lien, ce qui consomme du budget de façon inefficace et sans signal de priorité.
Optimisation pratique
Utilisez Automatic Internal Links for SEO pour créer des liens fondés sur les keywords entre contenus connexes. Les robots atteignent alors les pages profondes par plusieurs chemins au lieu de dépendre de la seule pagination.
Réglez Max Links à 2 ou 3 par page, ce qui équilibre la densité de liens sans transformer vos articles en annuaire. Utilisez la priorité pour que vos contenus piliers soient liés en premier : c'est ainsi que vous dirigez l'attention des robots là où elle compte le plus.
Utilisez enfin l'exclusion d'URL pour empêcher les liens automatiques de pointer vers des pages de faible valeur, comme le panier, la caisse ou l'espace client, qui n'ont besoin ni de priorité d'exploration ni de transfert d'autorité interne.