Metti in whitelist il crawler di CoreDash sulla tua CDN

Sblocca il crawler di Core/Dash

I crawler di Core/Dash si presentano ai tuoi server come performance tester di Core/Dash:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Carica la tua pagina in un browser reale e misura Largest Contentful Paint, Interaction to Next Paint e Cumulative Layout Shift. Ha bisogno di un browser reale perché queste metriche esistono solo dopo che la pagina viene effettivamente renderizzata.

Questo è anche il motivo più comune per cui la tua CDN ci blocca. Il tuo team infrastruttura ha impostato la sicurezza del WAF su un livello alto e questo blocca praticamente tutti i bot. Devi dire alla tua CDN che siamo un 'bot buono'.

 Aggiungi una regola che salta il controllo dei bot per CoreDash/1.0 e lascia intatto tutto il resto.

Consenti per user agent, non per IP

Fai corrispondere lo user agent, non l'indirizzo IP. I nostri test vengono eseguiti da un'infrastruttura cloud, quindi l'IP di origine cambia tra un'esecuzione e l'altra. Se oggi metti in whitelist un IP, il test della settimana prossima potrebbe arrivare da un IP diverso ed essere bloccato di nuovo. La stringa CoreDash/1.0 non cambia, quindi effettua la corrispondenza su quella.

Cloudflare

Cloudflare blocca i nostri test più di qualsiasi altra CDN. La regola di cui hai bisogno dipende dal tuo piano.

Su un piano Pro o superiore, aggiungi una regola personalizzata del WAF con l'azione Skip:

1. Vai su Security > Security rules e crea una regola. Sulla nuova dashboard si trova sotto Security rules.
2. Assegna un nome chiaro, ad esempio Allow Core/Dash.
3. Clicca su edit expression e cambia l'espressione in http.user_agent contains "CoreDash/".
4. Imposta l'azione su Skip.
5. Nelle opzioni di Skip, seleziona Super Bot Fight Mode. Seleziona anche All managed rules se il test è stato bloccato da una regola gestita.
6. Distribuisci la regola.

C'è un limite nel piano Free. Lì la Bot Fight Mode non passa attraverso il WAF, quindi una regola di Skip non può gestirla e non è possibile fare eccezioni. Se utilizzi il piano Free e il test continua a essere sottoposto a verifica, disattiva la Bot Fight Mode sotto Security > Bots mentre esegui il test, poi riattivala. Un piano a pagamento ti offre la Super Bot Fight Mode, che invece rispetta le regole di Skip.

AWS WAF e CloudFront

CloudFront in sé non blocca il crawler. Il blocco proviene dalla web ACL di AWS WAF collegata alla tua distribuzione. Aggiungi una regola Allow sopra il tuo gruppo Bot Control:

1. Apri la web ACL collegata alla tua distribuzione CloudFront.
2. Aggiungi una regola e scegli Rule builder, poi custom rule.
3. Per l'ispezione, scegli Single header e inserisci User-Agent.
4. Imposta il tipo di corrispondenza su Contains string e la stringa su CoreDash.
5. Imposta l'azione su Allow.
6. Assegna alla regola un numero di priorità inferiore rispetto al tuo gruppo di regole Bot Control, in modo che venga eseguita prima.

L'ordine conta. Allow è un'azione terminale in AWS WAF. Quando la tua regola trova una corrispondenza, il WAF consente la richiesta e interrompe la valutazione, quindi Bot Control non la vede mai. Se metti la regola sotto Bot Control, il blocco sarà già avvenuto prima ancora che la tua regola Allow venga eseguita.

Ancora bloccato?

Se aggiungi la regola, esegui un altro test e fallisce ancora, il blocco proviene da un altro livello: un secondo WAF, un plugin di sicurezza o una regola del server in .htaccess o nginx. Cerca lo stesso user agent CoreDash lì e consentilo allo stesso modo. Se rimani bloccato, contattaci indicando il firewall che usi e ti aiuteremo a trovare la regola.