Autorisez le crawler CoreDash sur votre CDN

Débloquer le crawler Core/Dash

Les crawlers Core/Dash se présentent à vos serveurs comme le testeur de performance Core/Dash :

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Il charge votre page dans un vrai navigateur et mesure le Largest Contentful Paint, l 'Interaction to Next Paint et le Cumulative Layout Shift. Il a besoin d'un vrai navigateur car ces métriques n'existent qu'une fois la page réellement rendue.

C'est aussi la raison la plus fréquente pour laquelle votre CDN nous bloque. Votre équipe infrastructure a réglé la sécurité de votre WAF sur « élevée », ce qui bloque la quasi-totalité des bots. Vous devez indiquer à votre CDN que nous sommes un « bon bot ».

 Ajoutez une règle qui ignore le contrôle des bots pour CoreDash/1.0 et laisse tout le reste tranquille.

Autoriser par user agent, pas par IP

Ciblez le user agent, pas l'adresse IP. Nos tests s'exécutent sur une infrastructure cloud, l'IP source change donc entre chaque exécution. Si vous autorisez une IP aujourd'hui, un test la semaine prochaine proviendra d'une autre IP et sera bloqué. La chaîne CoreDash/1.0 ne change pas, filtrez donc sur celle-ci.

Cloudflare

Cloudflare bloque nos tests plus que n'importe quel autre CDN. La règle dont vous avez besoin dépend de votre offre.

Avec une offre Pro ou supérieure, ajoutez une règle personnalisée WAF avec l'action Skip :

1. Allez dans Security > Security rules et créez une règle. Sur le nouveau tableau de bord, cela se trouve sous Security rules.
2. Nommez-la clairement, par exemple Allow Core/Dash.
3. Cliquez sur edit expression et changez l'expression en http.user_agent contains "CoreDash/".
4. Définissez l'action sur Skip.
5. Dans les options de Skip, cochez Super Bot Fight Mode. Cochez également All managed rules si c'est une règle gérée qui a bloqué le test.
6. Déployez la règle.

Attention avec l'offre Free. Le Bot Fight Mode n'y passe pas par le WAF, une règle Skip ne peut donc pas l'atteindre et aucune exception n'est possible. Si vous utilisez l'offre Free et que le test continue d'être soumis à un challenge, désactivez le Bot Fight Mode sous Security > Bots le temps de lancer le test, puis réactivez-le. Un abonnement payant vous donne accès au Super Bot Fight Mode, qui respecte les règles Skip.

AWS WAF et CloudFront

CloudFront lui-même ne bloque pas le crawler. Le blocage provient de la web ACL d'AWS WAF associée à votre distribution. Ajoutez une règle Allow au-dessus de votre groupe Bot Control :

1. Ouvrez la web ACL liée à votre distribution CloudFront.
2. Ajoutez une règle et choisissez Rule builder, puis custom rule.
3. Pour l'inspection, choisissez Single header et saisissez User-Agent.
4. Définissez le type de correspondance sur Contains string et la chaîne sur CoreDash.
5. Définissez l'action sur Allow.
6. Donnez à la règle un numéro de priorité inférieur à celui de votre groupe de règles Bot Control pour qu'elle s'exécute en premier.

L'ordre est important ici. Allow est une action terminale dans AWS WAF. Si la règle correspond, le WAF autorise la requête et arrête l'évaluation, Bot Control ne la voit donc jamais. Placez la règle en dessous de Bot Control, et le blocage aura déjà eu lieu avant que votre règle Allow ne s'exécute.

Toujours bloqué ?

Si vous ajoutez la règle, relancez le test et que cela échoue toujours, le blocage provient d'une autre couche : un second WAF, un plugin de sécurité ou une règle serveur dans .htaccess ou nginx. Recherchez-y le même user agent CoreDash et autorisez-le de la même manière. Si vous êtes bloqué, contactez-nous en indiquant le pare-feu que vous utilisez et nous vous aiderons à trouver la règle.