I am going to check the files in the workspace to see if there is an article or text file to translate. I will view the content of `tmp_source_260617113712.json` to inspect the source text that needs translation. I will view the contents of `stateless_translate.py` to understand how the translation system processes inputs and outputs. I will search for the term "whitelist" and "CDN" in the translated text or other logs to maintain consistency with previous translations. I will search `translation_changelog.log` for any pt (Portuguese) translations to see if a previous translation style can guide us. I will search the workspace for the word "crawler" to see how it has been translated or used in Portuguese previously. I will view `/Users/arjen/gemini/translated_text.html` to see if it contains any Portuguese translations that we can check for style consistency. I will list the contents of the `/Users/arjen/gemini/parts` directory to check if there are previous Portuguese translations or chunks saved there. I will search `launchagent_out.log` for logs related to Portuguese (pt) translations to see how terms like "whitelist" or "crawler" were translated previously. I will search `translation_changelog.log` for any Portuguese language logs or translated snippets. I will search the launchagent_out.log file for any references to the Portuguese version of the "whitelist-crawler" page to see if a previous run logged the translation. I will search the launchagent_out.log for French keywords like "Autoriser" to see how they translated "Whitelist" or "Allow" in titles. I will search `launchagent_out.log` for logs containing `"title":` to see examples of translated titles. I will view a portion of `translation_changelog.log` to understand its format. Adicione o crawler do CoreDash à whitelist da sua CDN

Desbloquear o crawler do Core/Dash

Os crawlers do Core/Dash se identificam para os seus servidores como o testador de desempenho do Core/Dash:

CoreDash/1.0 (+https://www.corewebvitals.io/coredash-performance-tester)

Ele carrega sua página em um navegador real e mede o Largest Contentful Paint, o Interaction to Next Paint e o Cumulative Layout Shift. Ele precisa de um navegador real porque essas métricas só existem depois que a página é realmente renderizada.

Esse também é o motivo mais comum pelo qual seu CDN nos bloqueia. Sua equipe de infraestrutura configurou a segurança do WAF como alta, e isso basicamente bloqueia todos os bots. Você precisa dizer ao seu CDN que somos o 'tipo bom de bot'

 Você adiciona uma regra que pula a verificação de bot para CoreDash/1.0 e não altera o resto.

Permita pelo user agent, não pelo IP

Faça a correspondência pelo user agent, não pelo endereço IP. Nossos testes rodam a partir de infraestrutura em nuvem, então o IP de origem muda entre as execuções. Coloque um IP na lista de permissões hoje e um teste na semana que vem poderá vir de um IP diferente e ser bloqueado novamente. A string CoreDash/1.0 não muda, então faça a correspondência com ela.

Cloudflare

O Cloudflare bloqueia nossos testes mais do que qualquer outro CDN. A regra de que você precisa depende do seu plano.

No plano Pro ou superior, adicione uma regra personalizada do WAF com a ação Skip:

1. Acesse Security > Security rules e crie uma regra. No painel novo, isso fica em Security rules.
2. Dê um nome claro, por exemplo Allow Core/Dash.
3. Clique em edit expression e altere a expressão para http.user_agent contains "CoreDash/".
4. Defina a ação como Skip.
5. Nas opções de Skip, marque Super Bot Fight Mode. Marque também All managed rules se uma regra gerenciada foi o que bloqueou o teste.
6. Implante a regra.

Há um detalhe no plano Free. O Bot Fight Mode não passa pelo WAF nesse plano, então uma regra de Skip não consegue afetá-lo e não há exceção a ser feita. Se você está no Free e o teste continua sendo desafiado, desligue o Bot Fight Mode em Security > Bots enquanto executa o teste, e depois ligue-o novamente. Um plano pago oferece o Super Bot Fight Mode, que respeita as regras de Skip.

AWS WAF e CloudFront

O CloudFront em si não bloqueia o crawler. O bloqueio vem da web ACL do AWS WAF associada à sua distribuição. Adicione uma regra de Allow acima do seu grupo do Bot Control:

1. Abra a web ACL associada à sua distribuição do CloudFront.
2. Adicione uma regra, escolha Rule builder e, em seguida, custom rule.
3. Para a inspeção, escolha Single header e insira User-Agent.
4. Defina o tipo de correspondência como Contains string e a string como CoreDash.
5. Defina a ação como Allow.
6. Dê à regra um número de prioridade menor do que o do seu grupo de regras do Bot Control para que ela seja executada primeiro.

A ordem importa aqui. O Allow é uma ação terminativa no AWS WAF. Quando sua regra corresponde, o WAF permite a requisição e interrompe a avaliação, de forma que o Bot Control nunca chega a vê-la. Coloque a regra abaixo do Bot Control e o bloqueio já terá ocorrido antes que sua regra de Allow seja executada.

Ainda bloqueado?

Se você adicionar a regra, rodar outro teste e ele ainda falhar, o bloqueio está vindo de outra camada: um segundo WAF, um plugin de segurança ou uma regra de servidor no .htaccess ou nginx. Procure pelo mesmo user agent CoreDash lá e permita-o da mesma forma. Se travar, entre em contato conosco informando qual firewall você usa, e nós ajudaremos você a encontrar a regra.