Bloquer les bots sur WordPress avec l’extension StopBadBots

Le 30/08/2016 par Jérôme PASQUELIN

La performance quand on crée un site sous WordPress est vraiment un sujet important. Il y a différents leviers et bonne pratiques qui permettent de gagner en performance, même sur des hébergements peu puissants : ne pas installer trop d’extensions, installer un plugin de cache (je suis assez fan de WP-ROCKET), bencher ce qui consomme des ressources avec P3 , installer un thème bien codé ou encore bloquer tous les robots.

C’est sur ce point que nous allons nous intéresser aujourd’hui car les bots consomment de la bande passante , ralentissent les serveurs , peuvent voler le contenu ou encore rechercher des vulnérabilités / failles.

Bloquer les robots avec StopBadBots

Stop bad bots : bloquer les fausses visites sur son siteDepuis quelques temps, je teste cette extensions sur différents sites : Stop Bad Bots
Une fois installée, elle a en base de données plus de 1000 robots, logiciels ou outils (scrappers de sites, crawlers comme Xenu, logiciels de suivi de backlinks comme MajesticSEO etc…) qui seront bloqués dès qu’ils sont détectés.
Bien Sûr des robots utiles comme les Bots des moteurs de recherche ne sont pas stoppés par l’extension.

L’avantage de ce plugin est qu’il n’est plus utile de modifier le fichier robots.txt (ndlr : ça peut être un footprint pour retrouver des réseaux de sites) ni le fichier .htaccess. et que des nouveaux robots sont ajoutés régulièrement à la liste par l’intermédiaire de mises à jour de ce plugin . Il est aussi possible de rajouter des bots à la main

Après l’installation et l’activation, il faut aller dans “general settings” et cocher “oui” pour que les blocages s’activent.

Le webmaster peut recevoir un email à chaque blot bloqué : je vous conseille de le faire quelques minutes pour vérifier que tout fonctionne bien mais votre Email va vite saturer 🙂 D’un autre côté ça permet de se rendre compte du passage incessant de certains bots.

Au niveau des performances, c’est sans équivoque sur un WordPress sans cache.
Sur jeromeweb.net, j’ai pris un hébergement mutualisé classique de chez 1and1 : “unlimited plus”. C’est le pack qui correspondait le plus à mes besoins en terme de performance avec un trafic de quelques centaines de visiteurs par jour. J’ai monitoré les temps de réponse quasiment toutes les minutes sur plusieurs jours et le site répond beaucoup mieux. D’après les logs apache, 50% du trafic est bloqué : au lieu d’avoir de multiples requêtes SQL pour afficher une page on n’en a plus que 2 (1 SELECT et 1 INSERT/UPDATE)
Si une extension de cache est installée, le gain de performance sera moins visible mais l’intérêt, en SEO par exemple, est de pouvoir cacher certains sites facilement.

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *