Vitlista CoreDash-crawlern på ditt CDN
I will list the contents of the workspace directory to locate the file containing the text to be translated. I will view the content of `tmp_source_260617103747.json` to see if it contains the source text for the translation task. I will view `stateless_translate.py` to understand the translation script and see what output format it expects. I will view the next chunk of `stateless_translate.py` to see the structure of the input and expected output format. I will search the workspace files to see if "CDN" is translated as "din CDN" or "ditt CDN" in previous Swedish translations. I will search the translation changelog to see if we have translated "CDN" into Swedish before. I will search the translation changelog to see what Swedish translation tasks have been run. Error: timed out waiting for response

Vitlista Core/Dash-crawlern
Ibland blockeras våra crawlers av ditt CDN:s brandvägg. Det beror på ditt CDN:s säkerhetsinställningar. Din webbplats visar en captcha som våra crawlers inte försöker lösa.

Avblockera Core/Dash-crawlern
Core/Dash-crawlers identifierar sig för dina servrar som Core/Dash prestandatestare.:
CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)
Den läser in din sida i en riktig webbläsare och mäter Largest Contentful Paint, Interaction to Next Paint och Cumulative Layout Shift. Den behöver en riktig webbläsare eftersom de mätvärdena bara finns när sidan faktiskt renderas.
Det är också den vanligaste anledningen till att ditt CDN blockerar oss. Ditt infrastrukturteam har ställt in din WAF-säkerhet på hög, vilket i princip blockerar alla botar. Du måste tala om för ditt CDN att vi är den ”goda” sortens bot.
Du lägger till en regel som hoppar över bot-kontrollen för CoreDash/1.0 och lämnar allt annat ifred.
Tillåt via user agent, inte IP-adress
Matcha på user agent, inte IP-adress. Våra tester körs från molninfrastruktur, så käll-IP ändras mellan körningarna. Vitlistar du en IP-adress idag kan ett test nästa vecka komma från en annan och blockeras igen. Strängen CoreDash/1.0 ändras inte, så matcha på den.
Cloudflare
Cloudflare blockerar våra tester mer än något annat CDN. Vilken regel du behöver beror på din plan.
På en Pro-plan eller högre lägger du till en anpassad WAF-regel med åtgärden Skip:
- Go to Security > Security rules och skapa en regel. I den nya kontrollpanelen ligger detta under Security rules.
- Name it clearly, for example Allow Core/Dash.
- Click edit expression och ändra uttrycket till
http.user_agent contains "CoreDash/". - Set the action to Skip.
- In the Skip options, check Super Bot Fight Mode. Check All managed rules också om det var en hanterad regel som blockerade testet.
- Deploy the rule.

Det finns en hake med Free-planen. Bot Fight Mode där körs inte genom WAF, så en Skip-regel kommer inte åt den och det går inte att göra något undantag. Om du använder Free-planen och testet fortsätter att få captcha-utmaningar, stäng av Bot Fight Mode under Security > Bots medan du kör testet och slå sedan på det igen. En betalplan ger dig Super Bot Fight Mode, som respekterar Skip-regler.
AWS WAF and CloudFront
CloudFront i sig blockerar inte crawlern. Blockeringen kommer från den AWS WAF web ACL som är kopplad till din distribution. Lägg till en Allow-regel ovanför din Bot Control-grupp:
- Open the web ACL kopplad till din CloudFront-distribution.
- Add a rule and choose Rule builder, then a custom rule.
- För granskningen, välj Single header och ange
User-Agent. - Sätt matchningstyp till Contains string och strängen till
CoreDash. - Set the action to Allow.
- Ge regeln ett lägre prioritetsnummer än din Bot Control-regelgrupp så att den körs först.
Ordningen spelar roll här. Allow är en avslutande åtgärd (terminating action) i AWS WAF. När din regel matchar tillåter WAF anropet och slutar utvärdera, så Bot Control ser det aldrig. Lägger du regeln under Bot Control har blockeringen redan skett innan din Allow-regel körs.
Still blocked?
Om du lägger till regeln, kör ett nytt test och det fortfarande misslyckas kommer blockeringen från ett annat lager: en andra WAF, ett säkerhetsplugin eller en serverregel i .htaccess eller nginx. Sök efter samma CoreDash user agent där och tillåt den på samma sätt. Om du har kört fast, kontakta oss med information om vilken brandvägg du använder så hjälper vi dig att hitta regeln.

