Hvitlist CoreDash-crawleren på CDN-en din

Fjern blokkeringen av Core/Dash-crawleren

Core/Dash-crawlere presenterer seg for serverne dine som Core/Dash-ytelsestester:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Den laster siden din i en ekte nettleser og måler Largest Contentful Paint, Interaction to Next Paint og Cumulative Layout Shift. Den trenger en ekte nettleser fordi disse metrikkene først eksisterer når siden faktisk rendres.

Dette er også den vanligste årsaken til at CDN-en din blokkerer oss. Infrastrukturteamet ditt har satt WAF-sikkerheten til høy, noe som i praksis blokkerer alle boter. Du må fortelle CDN-en din at vi er «den gode typen bot»

 Du legger til én regel som hopper over botsjekken for CoreDash/1.0, og lar alt annet være i fred.

Tillat basert på user agent, ikke IP

Match på user agent, ikke på en IP-adresse. Testene våre kjører fra skyinfrastruktur, så kilde-IP-en endrer seg mellom kjøringer. Hvitlister du en IP i dag, kan en test neste uke komme fra en annen IP og bli blokkert på nytt. Strengen CoreDash/1.0 endrer seg ikke, så match på den.

Cloudflare

Cloudflare blokkerer testene våre mer enn noen annen CDN. Hvilken regel du trenger, avhenger av planen din.

På en Pro-plan eller høyere legger du til en egendefinert WAF-regel med handlingen Skip:

1. Gå til Security > Security rules og opprett en regel. På det nye dashbordet ligger dette under Security rules.
2. Gi den et tydelig navn, for eksempel Allow Core/Dash.
3. Klikk edit expression og endre uttrykket til http.user_agent contains "CoreDash/".
4. Sett handlingen til Skip.
5. Under Skip-valgene huker du av for Super Bot Fight Mode. Huk også av for All managed rules hvis det var en administrert regel som blokkerte testen.
6. Distribuer regelen.

Det er én hake med Free-planen. Bot Fight Mode der kjører ikke gjennom WAF, så en Skip-regel kan ikke påvirke den, og det er ikke mulig å gjøre unntak. Hvis du bruker Free-planen og testen stadig blir utfordret, må du slå av Bot Fight Mode under Security > Bots mens du kjører testen, for så å slå den på igjen. En betalt plan gir deg Super Bot Fight Mode, som respekterer Skip-regler.

AWS WAF og CloudFront

CloudFront i seg selv blokkerer ikke crawleren. Blokkeringen kommer fra AWS WAF web-ACL-en som er tilknyttet distribusjonen din. Legg til en Allow-regel over Bot Control-regelgruppen din:

1. Åpne web-ACL-en som er tilknyttet CloudFront-distribusjonen din.
2. Legg til en regel, velg Rule builder, og deretter custom rule.
3. Under inspeksjon velger du Single header og skriver inn User-Agent.
4. Sett match-typen til Contains string og strengen til CoreDash.
5. Sett handlingen til Allow.
6. Gi regelen et lavere prioritetsnummer enn din Bot Control-regelgruppe, slik at den kjører først.

Her har rekkefølgen betydning. Allow er en avsluttende handling i AWS WAF. Når regelen din treffer, tillater WAF forespørselen og stopper evalueringen, slik at Bot Control aldrig ser den. Legger du regelen under Bot Control, har blokkeringen allerede skjedd før Allow-regelen din kjører.

Fortsatt blokkert?

Hvis du legger til regelen, kjører en ny test, og den fremdeles feiler, kommer blokkeringen fra et annet lag: en ekstra WAF, en sikkerhets-plugin, eller en serverregel i .htaccess eller nginx. Se etter den samme CoreDash user agent-en der, og tillat den på samme måte. Hvis du står fast, kontakt oss og oppgi hvilken brannmur du bruker, så hjelper vi deg med å finne regelen.