Whitelist de CoreDash-crawler op je CDN

Deblokkeer de Core/Dash-crawler

Core/Dash-crawlers identificeren zich bij je servers als de Core/Dash performance-tester:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Deze laadt je pagina in een echte browser en meet Largest Contentful Paint, Interaction to Next Paint en Cumulative Layout Shift. Hier is een echte browser voor nodig, omdat deze meetwaarden pas bestaan zodra de pagina daadwerkelijk rendert.

Dit is ook meteen de meest voorkomende reden waarom je CDN ons blokkeert. Je infrateam heeft de WAF-beveiliging op hoog ingesteld, wat in feite alle bots blokkeert. Je moet je CDN vertellen dat wij een 'goede bot' zijn.

 Voeg één regel toe die de bot-controle overslaat voor CoreDash/1.0 en al het andere met rust laat.

Toestaan op basis van user-agent, niet op basis van IP

Match de user-agent, niet een IP-adres. Onze tests draaien op cloudinfrastructuur, dus het bron-IP verandert per run. Zet je vandaag een IP-adres op de whitelist, dan kan een test volgende week vanaf een ander adres komen en opnieuw worden geblokkeerd. De string CoreDash/1.0 verandert niet, dus match daarop.

Cloudflare

Cloudflare blokkeert onze tests vaker dan welk ander CDN dan ook. Welke regel je nodig hebt, hangt af van je abonnement.

Voeg bij een Pro-abonnement of hoger een WAF custom rule toe met de actie Skip:

1. Ga naar Security > Security rules en maak een regel aan. Op het nieuwe dashboard staat dit onder Security rules.
2. Geef het een duidelijke naam, bijvoorbeeld Allow Core/Dash.
3. Klik edit expression en verander de expressie naar http.user_agent contains "CoreDash/".
4. Stel de actie in op Skip.
5. Vink bij de Skip-opties Super Bot Fight Mode aan. Vink ook All managed rules aan als een managed rule de test heeft geblokkeerd.
6. Deploy de regel.

Er is wel een addertje onder het gras bij het Free-abonnement. Bot Fight Mode loopt daar namelijk niet via de WAF, dus een Skip-regel heeft er geen invloed op en er is geen uitzondering te maken. Gebruik je Free en krijgt de test steeds een challenge? Zet Bot Fight Mode dan uit onder Security > Bots terwijl je de test uitvoert, en zet deze daarna weer aan. Een betaald abonnement geeft je Super Bot Fight Mode, die Skip-regels wel respecteert.

AWS WAF en CloudFront

CloudFront zelf blokkeert de crawler niet. De blokkade komt door de AWS WAF web ACL die aan je distributie is gekoppeld. Voeg een Allow-regel toe boven je Bot Control-groep:

1. Open de web ACL die gekoppeld is aan je CloudFront-distributie.
2. Voeg een regel toe en kies Rule builder, en vervolgens custom rule.
3. Kies bij de inspectie voor Single header en vul User-Agent in.
4. Stel het type match in op Contains string en vul als string CoreDash in.
5. Stel de actie in op Allow.
6. Geef de regel een lager prioriteitsnummer dan je Bot Control-regelgroep, zodat deze als eerste wordt uitgevoerd.

Volgorde is hier belangrijk. Allow is een terminerende actie in AWS WAF. Wanneer je regel matcht, staat WAF het verzoek toe en stopt de evaluatie. Bot Control ziet het verzoek dus nooit. Plaats je de regel onder Bot Control, dan heeft de blokkade al plaatsgevonden voordat je Allow-regel wordt uitgevoerd.

Nog steeds geblokkeerd?

Als je de regel toevoegt, nog een test uitvoert en deze nog steeds mislukt, komt de blokkade van een andere laag: een tweede WAF, een beveiligingsplug-in of een serverregel in .htaccess of nginx. Zoek daar naar dezelfde CoreDash user-agent en sta deze op dezelfde manier toe. Kom je er niet uit? Neem contact met ons op met vermelding van de firewall die je gebruikt, dan helpen we je de regel te vinden.