Dodaj crawlera CoreDash do białej listy w swoim CDN
Twój CDN blokuje nasz tester wydajności. Oto jak go przepuścić.
Trusted by market leaders · Client results
Dodaj crawlera Core/Dash do białej listy
Czasami zapora sieciowa Twojego CDN zablokuje nasze crawlery. Wynika to z ustawień bezpieczeństwa CDN. Twoja strona wyświetli captchę, a nasze crawlery nie będą próbować jej rozwiązać.
Odblokuj crawlera Core/Dash
Crawlery Core/Dash przedstawiają się Twoim serwerom jako tester wydajności Core/Dash:
CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)
Wczytuje Twoją stronę w prawdziwej przeglądarce i mierzy Largest Contentful Paint, Interaction to Next Paint i Cumulative Layout Shift. Potrzebuje prawdziwej przeglądarki, bo te metryki istnieją dopiero wtedy, gdy strona faktycznie się wyrenderuje.
To także najczęstszy powód blokad ze strony CDN. Twój zespół infrastruktury ustawił wysoki poziom zabezpieczeń WAF, co blokuje praktycznie wszystkie boty. Musisz poinformować CDN, że jesteśmy „dobrym botem”.
Dodajesz jedną regułę, która pomija weryfikację bota dla CoreDash/1.0, a całą resztę pozostawia bez zmian.
Zezwalaj po User-Agent, nie po IP
Dopasuj User-Agent, a nie adres IP. Nasze testy działają w chmurze, więc źródłowy adres IP zmienia się przy każdym uruchomieniu. Dodasz IP dzisiaj, a test za tydzień przyjdzie z innego adresu i znów zostanie zablokowany. Ciąg CoreDash/1.0 się nie zmienia, więc dopasuj regułę do niego.
Cloudflare
Cloudflare blokuje nasze testy częściej niż jakikolwiek inny CDN. Wybór reguły zależy od Twojego planu.
W planie Pro lub wyższym dodaj niestandardową regułę WAF z akcją Skip:
- Przejdź do Security > Security rules i utwórz regułę. W nowym panelu ta opcja znajduje się pod Security rules.
- Nazwij ją jasno, na przykład Allow Core/Dash.
- Kliknij edit expression i zmień wyrażenie na
http.user_agent contains "CoreDash/". - Ustaw akcję na Skip.
- W opcjach Skip zaznacz Super Bot Fight Mode. Zaznacz również All managed rules, jeśli test został zablokowany przez regułę zarządzaną.
- Wdróż regułę.
W planie Free jest jeden haczyk. Bot Fight Mode nie działa tam w ramach WAF, więc reguła Skip go nie obejmuje i nie da się utworzyć wyjątku. Jeśli korzystasz z planu Free, a test wciąż trafia na wyzwanie (challenge), wyłącz Bot Fight Mode w zakładce Security > Bots na czas testu, a następnie włącz go ponownie. Płatny plan daje dostęp do Super Bot Fight Mode, który respektuje reguły Skip.
AWS WAF i CloudFront
Sam CloudFront nie blokuje crawlerów. Blokada pochodzi z AWS WAF web ACL przypisanego do Twojej dystrybucji. Dodaj regułę Allow powyżej grupy Bot Control:
- Otwórz web ACL powiązany z dystrybucją CloudFront.
- Dodaj regułę i wybierz Rule builder, a następnie custom rule.
- W sekcji inspekcji wybierz Single header i wpisz
User-Agent. - Ustaw typ dopasowania na Contains string i wpisz ciąg
CoreDash. - Ustaw akcję na Allow.
- Ustaw dla reguły niższy numer priorytetu niż dla grupy Bot Control, aby wykonała się jako pierwsza.
Kolejność ma znaczenie. Allow to akcja kończąca w AWS WAF. Gdy reguła zostanie dopasowana, WAF zezwala na żądanie i przerywa sprawdzanie, więc Bot Control w ogóle go nie zobaczy. Jeśli umieścisz regułę poniżej Bot Control, blokada nastąpi zanim reguła Allow się uruchomi.
Wciąż zablokowany?
Jeśli dodasz regułę, uruchomisz kolejny test, a ten nadal kończy się błędem, blokada pochodzi z innej warstwy: drugiego WAF, wtyczki bezpieczeństwa lub reguł serwera w pliku .htaccess lub konfiguracji nginx. Poszukaj tam tego samego user agenta CoreDash i zezwól na niego w ten sam sposób. Jeśli utkniesz, skontaktuj się z nami i podaj nazwę używanego firewalla, a pomożemy Ci znaleźć odpowiednią regułę.
