CoreDash botları: ne isterler ve onları nasıl tanırsın
Loglarındaki CoreDash/1.0, iki CoreDash botundan biridir. İkisi de yalnızca bir CoreDash müşterisinin istediği sayfaları açar.
CoreDash botlarını kim çalıştırır ve neden ziyaret ederler
Özetle
- CoreDash'in iki botu var: Uptime kontrolü her 30 dakikada bir sayfa ister; tek bir sayfanın hız testi olan cRUM denetimi ise bir müşteri o sayfanın raporunu açtığında sayfayı Chrome'da bir kez yükler.
- İkisi de
CoreDash/ile başlayan bir user agent gönderir. Adresleri ips.json dosyasındadır; CoreDash müşterileri ayrıca bir header içinde gizli bir token alır. - İçeri almak için user agent'a izin ver. Gelmelerini istemiyorsan CoreDash ile iletişime geç, ziyaretler dursun.
CoreDash, Core Web Vitals için gerçek kullanıcı izleme aracıdır. Site sahipleri, sayfalarının mobilde ve masaüstünde gerçek ziyaretçilere ne kadar hızlı yüklendiğini görmek için bu aracı kullanır. CoreDash, Hollanda'nın Bergen op Zoom kentindedir ve iki botu da kendisi çalıştırır.
CoreDash botu bir sayfayı yalnızca bir CoreDash müşterisi istediğinde ziyaret eder: Sayfayı bir uptime monitörüne ekleyerek ya da o sayfanın denetimini açarak. Botlar linkleri takip etmez ve asla kendi başlarına sayfa aramaz. Çektikleri hiçbir şey arama dizinine girmez veya bir yapay zeka modelini eğitmez. Sonuçlar yalnızca talep eden müşteriye gider, başka hiç kimseye iletilmez.
CoreDash user agent'ları
CoreDash/1.0 (uptime; +https://www.coredash.app/bot) CoreDash/1.0 (audit; +https://www.coredash.app/bot)
Parantez içindeki kelime isteği hangi botun gönderdiğini belirtir, bağlantı ise seni bu sayfaya getirir. Sonradan eklenen araçlar da dahil olmak üzere her CoreDash aracı CoreDash/ ile başlayan bir user agent gönderir. Log araması veya CoreDash/ için yazılan bir firewall kuralı hepsini bulur. Yine de bu ismi herkes gönderebilir; bu yüzden isteğin geldiği adresi ips.json ile de karşılaştır.
Uptime kontrolü ve cRUM denetimi
Bir sunucunun erişim logunda iki bot şöyle görünür: Saat başlarında ve buçuklarda uptime kontrolü; sayfayı CSS'i ve bir görseliyle birlikte yükleyen tek bir denetim.
www.example-shop.com erişim logu.
Uptime kontrolü
Müşteri CoreDash'te bir uptime monitörüne URL ekler. O andan itibaren uptime kontrolü bu URL'yi her 30 dakikada bir ister: Saat başında bir CoreDash sunucusu, buçukta diğeri. Bu da monitör başına günde 48 kontrol eder.
Her kontrol HTML için bir GET isteğidir; peş peşe en fazla beşe kadar her yönlendirme için bir istek daha yapılır. Yanıttan en fazla ilk 256 KB'lık kısmı okur; görsel, script veya CSS yüklemez. Müşteri sitenin sunucu IP adresini girdiyse her kontrol, sunucunun bizzat yanıt verip vermediğini görmek için CDN'i atlayarak doğrudan o sunucuya da bir istek gönderir. CoreDash yalnızca durum kodunu ve süreleri saklar; sayfanın kendisinden hiçbir şey tutmaz.
cRUM denetimi
cRUM denetimi, CoreDash'in tek bir sayfa için yaptığı hız testidir. Bir müşteri o sayfanın raporunu CoreDash'te açtığında, testi yeniden başlattığında ya da telefon ile masaüstü arasında geçiş yaptığında çalışır. Belirli bir zamanlama yoktur: Raporunu kimsenin açmadığı bir sayfa asla denetlenmez.
Denetim, sayfayı telefonda veya masaüstünde ilk kez gelen bir ziyaretçi gibi, önbellek kapalı halde Chrome'da bir kez yükler. Ardından Chrome, herhangi bir ziyaretçide olduğu gibi sayfanın talep ettiği her şeyi (CSS, script'ler ve görseller) çeker. Loglarında, URL'sine _cache_bust= ve bir zaman damgası eklenmiş sayfa isteğini, ardından da tümü audit user agent'ı ile gelen dosya isteklerini görürsün.
Sayfanın başka bir siteden yüklediği web fontu veya analitik script'i gibi dosyalar da audit user agent'ı ile gider. Böyle bir dosyayı barındırıyorsan CoreDash, sana ait olmayan bir sayfa için de loglarında görünebilir. Bu isteklerin her biri, müşterinin seçtiği sayfayı yükleme işleminin bir parçasıdır.
İsteğin CoreDash'ten geldiğini nasıl doğrularsın
CoreDash, botlarının istek gönderdiği adresleri app.coredash.app/bot/ips.json adresinde yayınlar. Google'ın crawler adresleri için kullandığı formatta bir JSON dosyasıdır; her adres için "uptime" veya "audit" yazan bir service alanı içerir. Bu dosyada yer almayan bir adresten CoreDash user agent'ı ile gelen istek CoreDash'ten gelmemiştir.
Bu adresler değişebilir: CoreDash zaman zaman sunucu ekler veya taşır. Her zaman dosyanın güncel halini kontrol et. Listedeki her değişiklikte dosyanın creationTime değeri değişir.
CoreDash müşterileri için ikinci bir kontrol yöntemi daha vardır. Her projenin kendine ait gizli bir bot token'ı bulunur. İki bot da projenin kendi sitesini ya da alt alan adlarından birini ziyaret ederken bu token'ı X-CoreDash-Bot header'ında gönderir. Başka herhangi bir siteye yapılan ziyaret token taşımaz. Token, CoreDash'te Proje ayarları altındaki "CoreDash bot token" sekmesinde yer alır.
CoreDash botlarını firewall'dan geçirme
Bir firewall veya CDN bazen CoreDash botlarını güvenmediği botlar sanıp engeller. Geçmelerine izin vermek için user agent'ı CoreDash/ ile başlayan isteklere izin ver. Site kendi CoreDash projendeyse bot token'ına dayalı bir kural daha güvenlidir; çünkü bu token'ı yalnızca projenin istekleri taşır. IP adreslerine yalnızca başka hiçbir yol kalmadığında izin ver ve bu adreslerin değişebileceğini unutma. CoreDash botlarını CDN veya firewall'undan geçirme sayfasında Cloudflare ve AWS WAF adımları yer alır.
CoreDash botları robots.txt dosyasını neden okumaz
Bir robots.txt dosyası, crawler'lara siteyi kendi başlarına gezerken hangi sayfaları ziyaret edebileceklerini söyler. CoreDash botları bunu asla yapmaz. Tıpkı birisi test çalıştırdığında Lighthouse'un sayfayı yüklemesi gibi, her ziyareti bir müşteri başlatır. Bu yüzden iki bot da robots.txt okumaz ve Disallow satırı onları durdurmaz.
CoreDash botlarını sitende durdurma
Botlar hakkında bir sorun varsa ya da onları sitende istemiyorsan iletişim sayfası üzerinden CoreDash ile iletişime geç. URL'yi ve logundaki CoreDash satırını gönder. Ardından CoreDash sitene yapılan ziyaretleri durdurur.
