Le crawl budget
Pourquoi analyser ses logs ?
Commenรงons par dรฉfinir ce qu’est le crawl budget : C’est le temps de parcours et d’analyse de votre site que google s’autorise quotidiennement. On peut faire un calcul simple: crawl budget/temps de chargement moyen de vos pages = nombres de pages visitรฉes quotidiennement. Bien entendu, plus google crawl votre site frรฉquemment, plus il dรฉcouvrira de nouvelles pages vite, plus votre rรฉfรฉrencement s’amรฉliorera ! L’analyse de logs apache est donc une arme trรจs puissante de l’optimisation on site de votre SEO.
Rรฉduire le temps de chargement
On l’a dit, le nombre de pages analysรฉes par Google bot (et les autres) dรฉpend en partie du temps de chargement. On va donc avoir pour objectif de rรฉduire celui-ci au maximum. Pour cela, des outils d’analyses comme la Search Console ou mรชme GTmetrix peuvent vous aider. Rรฉcemment, l’outil audit dans Chrome permet une analyse trรจs fine des raisons pour lesquelles votre page ne se charge pas suffisamment vite. Quoi qu’il en soit, plus vous baissez le temps de chargement, plus le nombre de page analysรฉes quotidiennement augmentera. On observe d’ailleurs une corrรฉlation ร ce sujet dans la Search Console dans la section ยซย statistiques sur l’explorationย ยป. A noter que Google crawle toujours en http 1 et pas encore en http2 : il faut donc continuer de merger CSS et JS.
Limiter le nombre de requรชtes
Une fois que toutes nos pages se chargent (pour la partie HTML) en moins de 250ms (on y croit, vous allez y arriver, un peu de cache Varnish de Nginx et c’est rรฉglรฉ !), on va passer ร l’รฉtape 2 : choisir quelles pages Google va parcourir. Lร , on rentre dans la partie la plus technique de cette analyse car on va aller au delร du simple rel=nofollow. On va essayer de rรฉduire le nombre de requรชtes faites par Google. Objectif: retirer le crawl des facettes, des feeds x ou y, des images du thรจmes etc… On utilisera pour ces derniรจres un sprite en CSS, une technique qui consiste ร mettre tous les pictogrammes dans un mรชme fichier jpg ou png puis, grรขce aux CSS, dรฉfinir quelle zone du fichier on appelle. On peut รฉgalement mettre des pictogrammes dans un fichier de police d’รฉcriture.
Comment rรฉcupรฉrer ses logs google bot ?
Il est assez simple de trouver vos logs ร analyser. Il faut simplement aller glisser ces quelques lignes dans votre virtual host apache et reload la configuration du serveur. Vous aurez un fichier log qui va commencer ร se remplir avec le bon format de donnรฉes pour Screaming Frog Log Analysis.
Cette configuration spรฉcifique permet d’isoler dans un dossier et des fichiers dรฉdiรฉs uniquement les requรชtes faites par des bots seo, ce qui facilitera leur sauvegarde en vue d’export pour analyse dans un outil tiers.
Screaming Frog Log Analysis
Les autres outils d’analyse de logs
Oncrawl
Oncrawl propose diffรฉrentes solutions y compris sans engagement en fonction du nombres de lignes ร analyser. Les prix vont des 9.90? mensuel ร 250? et plus si besoin. On est donc sur un tarif assez faible pour dรฉbuter. L’avantage de oncrawl c’est qu’on a beaucoup de graphiques et que l’analyse de vos pages est trรจs visuelle et moins technique, si vous devez faire du reporting ร des รฉquipes mรฉtiers, c’est apprรฉciable. Il vous faudra cependant pousser les logs rรฉguliรจrement vers leur ftp mais cela s’automatise assez facilement avec un cron jenkins ou autre. Plus d’informations sur : http://fr.oncrawl.com
Watussi box
La watussi box est un produit d’analyse de logs gratuit, je n’ai malheureusement pas eu le temps de le tester, je vous invite ร le faire si vous le souhaitez et n’hรฉsitez pas ร me faire vos retours. plus d’informations sur : http://box.watussi.fr/
Botify
J’ai eu la chance d’assister ร une dรฉmo de l’outil d’analyse de logs de botify en 2017, et je dois reconnaitre que l’outil est รฉgalement trรจs complet. Les tarifs sont plus รฉlevรฉs que sur oncrawl mais de ce que j’ai pu en voir, les possibilitรฉs sont รฉnormes et les graphiques produits sont super qualitatifs. La partie pages orphelines ressort particuliรจrement bien pour une analyse trรจs visuelle. Bravo ! Plus d’informations sur : https://www.botify.com/
+400% de trafic en moins d’un an comme notre client Colony & Co, รงa vous tente ? Dรฉcouvrez comment grรขce ร une stratรฉgie SEO personnalisรฉe
Conclusion ?
Que vous souhaitiez faire une analyse ponctuelle et une maintenance dans la durรฉe, il existe des outils d’analyse ร tous les tarifs. N’hรฉsitez donc pas ร passer ร l’analyse de logs votre site pour en tirer le maximum de ยซย seo juiceย ยป et doper votre visibilitรฉ sur internet ! Si vous souhaitez en savoir plus sur l’importance du maillage interne, consulter notre article sur la dรฉtection des pages orphelines en SEO.
