Whiteliste den CoreDash-Crawler auf deinem CDN

Den Core/Dash-Crawler freigeben

Core/Dash-Crawler geben sich gegenüber deinen Servern als Core/Dash-Performance-Tester aus:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Er lädt deine Seite in einem echten Browser und misst Largest Contentful Paint, Interaction to Next Paint und Cumulative Layout Shift. Er benötigt einen echten Browser, weil diese Metriken erst existieren, wenn die Seite tatsächlich gerendert wird.

Das ist auch die häufigste Ursache, warum dein CDN uns blockiert. Dein Infrastruktur-Team hat die WAF-Sicherheit auf „hoch“ eingestellt. Das blockiert praktisch alle Bots. Du musst deinem CDN mitteilen, dass wir ein „guter Bot“ sind.

 Du fügst eine Regel hinzu, die die Bot-Prüfung für CoreDash/1.0 überspringt und alles andere unberührt lässt.

Über User-Agent erlauben, nicht über IP

Prüfe den User-Agent, nicht die IP-Adresse. Unsere Tests laufen auf einer Cloud-Infrastruktur. Die Quell-IP ändert sich daher zwischen den Durchläufen. Trägst du heute eine IP in die Allowlist ein, kommt der Test nächste Woche eventuell von einer anderen IP und wird wieder blockiert. Der String CoreDash/1.0 ändert sich nicht. Nutze daher diesen für den Abgleich.

Cloudflare

Cloudflare blockiert unsere Tests häufiger als jedes andere CDN. Welche Regel du brauchst, hängt von deinem Tarif ab.

Füge ab dem Pro-Tarif eine benutzerdefinierte WAF-Regel mit der Aktion „Skip“ hinzu:

1. Gehe zu Security > Security rules und erstelle eine Regel. Im neuen Dashboard findest du das unter Security rules.
2. Gib ihr einen eindeutigen Namen, zum Beispiel Core/Dash erlauben.
3. Klicke auf edit expression und ändere den Ausdruck in http.user_agent contains "CoreDash/".
4. Setze die Aktion auf Skip.
5. Wähle in den Skip-Optionen Super Bot Fight Mode aus. Aktiviere auch All managed rules, falls eine verwaltete Regel den Test blockiert hat.
6. Stelle die Regel bereit.

Beim Free-Tarif gibt es einen Haken. Der Bot Fight Mode läuft dort nicht über die WAF. Eine Skip-Regel greift hier also nicht und es lässt sich keine Ausnahme einrichten. Wenn du den Free-Tarif nutzt und der Test blockiert wird: Deaktiviere den Bot Fight Mode unter Security > Bots, während du den Test ausführst. Schalte ihn danach wieder ein. Ein kostenpflichtiger Tarif bietet dir den Super Bot Fight Mode. Dieser berücksichtigt Skip-Regeln.

AWS WAF und CloudFront

CloudFront selbst blockiert den Crawler nicht. Die Blockade kommt von der AWS WAF Web-ACL, die mit deiner Distribution verknüpft ist. Füge eine Allow-Regel oberhalb deiner Bot-Control-Regelgruppe hinzu:

1. Öffne die mit deiner CloudFront-Distribution verknüpfte web ACL.
2. Füge eine Regel hinzu und wähle Rule builder, dann eine custom rule.
3. Wähle zur Prüfung Single header und gib User-Agent ein.
4. Setze den Match-Typ auf Contains string und den String auf CoreDash.
5. Setze die Aktion auf Allow.
6. Gib der Regel eine niedrigere Prioritätsnummer als deiner Bot-Control-Regelgruppe. So wird sie zuerst ausgeführt.

Die Reihenfolge ist hier wichtig. „Allow“ ist eine abschließende Aktion in AWS WAF. Wenn deine Regel zutrifft, erlaubt die WAF die Anfrage und stoppt die Auswertung. Bot Control sieht sie also gar nicht erst. Platzierst du die Regel unter Bot Control, ist die Blockade bereits erfolgt, bevor deine Allow-Regel greift.

Immer noch blockiert?

Wenn du die Regel hinzufügst, einen weiteren Test ausführst und dieser immer noch fehlschlägt, kommt die Blockade von einer anderen Ebene: einer zweiten WAF, einem Sicherheits-Plugin oder einer Serverregel in .htaccess oder nginx. Suche dort nach dem gleichen CoreDash User-Agent und erlaube ihn auf die gleiche Weise. Wenn du nicht weiterkommst, kontaktiere uns unter Angabe deiner Firewall. Wir helfen dir, die Regel zu finden.