Salli CoreDash-hakubotti CDN:ssäsi

Poista CoreDash-crawlerin esto

CoreDash-crawlerit esittäytyvät palvelimillesi CoreDash-suorituskykytestaajana:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Se lataa sivusi oikeassa selaimessa ja mittaa Largest Contentful Paint-, Interaction to Next Paint- ja Cumulative Layout Shift -metriikat. Se tarvitsee oikean selaimen, koska kyseiset metriikat ovat olemassa vasta, kun sivu todella renderöityy.

Tämä on yleisin syy siihen, miksi CDN-palvelusi estää meidät. Infratiimisi on säätänyt WAF-asetukset tiukoiksi, mikä estää käytännössä kaikki botit. Kerro CDN-palvelullesi, että olemme hyvä botti.

 Lisää sääntö, joka ohittaa bottitarkistuksen merkkijonolle CoreDash/1.0 ja jättää kaiken muun rauhaan.

Salli user agentin, älä IP-osoitteen perusteella

Käytä täsmäykseen user agentia, älä IP-osoitetta. Testimme ajetaan pilvi-infrastruktuurista, joten lähde-IP-osoite muuttuu testikertojen välillä. Jos lisäät yhden IP-osoitteen sallittujen listalle tänään, ensi viikon testi voi tulla toisesta osoitteesta ja jäädä taas estoon. Merkkijono CoreDash/1.0 ei muutu, joten kohdista täsmäys siihen.

Cloudflare

Cloudflare estää testimme useammin kuin mikään muu CDN-palvelu. Tarvittava sääntö riippuu tilaustasostasi.

Pro-tasolla tai sitä korkeammalla lisää mukautettu WAF-sääntö Skip-toiminnolla:

1. Mene kohtaan Security > Security rules ja luo sääntö. Uudessa hallintapaneelissa tämä löytyy kohdasta Security rules.
2. Nimeä se selkeästi, esimerkiksi Allow Core/Dash.
3. Klikkaa edit expression ja muuta lausekkeeksi http.user_agent contains "CoreDash/".
4. Aseta toiminnoksi Skip.
5. Valitse Skip-valinnoista Super Bot Fight Mode. Valitse myös All managed rules, jos testi estyi managed rule -säännön takia.
6. Ota sääntö käyttöön.

Free-tasolla on yksi sudenkuoppa. Bot Fight Mode ei siellä kulje WAF:n kautta, joten Skip-sääntö ei vaikuta siihen, eikä poikkeusta ole mahdollista tehdä. Jos käytät Free-tilausta ja testi päätyy jatkuvasti captcha-haasteeseen, ota Bot Fight Mode pois päältä kohdasta Security > Bots testin ajaksi ja kytke se sen jälkeen takaisin päälle. Maksullinen tilaus tarjoaa Super Bot Fight Moden, joka noudattaa Skip-sääntöjä.

AWS WAF ja CloudFront

CloudFront itsessään ei estä crawleria. Esto tulee jakeluusi liitetystä AWS WAF web ACL -säännöstöstä. Lisää Allow-sääntö Bot Control -sääntöryhmän yläpuolelle:

1. Avaa CloudFront-jakeluusi liitetty web ACL.
2. Lisää sääntö, valitse Rule builder ja sen jälkeen custom rule.
3. Valitse tarkastelukohteeksi Single header ja kirjoita User-Agent.
4. Aseta täsmäystyypiksi Contains string ja merkkijonoksi CoreDash.
5. Aseta toiminnoksi Allow.
6. Anna säännölle pienempi prioriteettinumero kuin Bot Control -sääntöryhmällesi, jotta se suoritetaan ensin.

Järjestyksellä on merkitystä. Allow on AWS WAFissa suorituksen päättävä toiminto (terminating action). Kun sääntösi täsmää, WAF sallii pyynnön ja lopettaa sääntöjen arvioinnin, joten Bot Control ei koskaan näe sitä. Jos laitat säännön Bot Controlin alapuolelle, esto on jo tapahtunut ennen kuin Allow-sääntösi ehtii ajaa.

Yhteys edelleen estetty?

Jos lisäät säännön, ajat uuden testin ja se epäonnistuu edelleen, esto tulee jostain muusta kerroksesta: toisesta WAF-järjestelmästä, suojauslisäosasta tai palvelinsäännöstä .htaccess-tiedostossa tai nginx-konfiguraatiossa. Etsi sieltä samaa CoreDash-user agentia ja salli se samalla tavalla. Jos jäät jumiin, ota meihin yhteyttä ja kerro, mitä palomuuria käytät, niin autamme sinua löytämään oikean säännön.