[ad_1]
Googlebot, Google tarafından gerekli bilgileri toplamak ve aranabilir bir web dizini oluşturmak için kullanılan web tarayıcısıdır. Googlebot, mobil ve masaüstü tarayıcılarının yanı sıra haberler, resimler ve videolar için özel tarayıcılara sahiptir.
Google’ın belirli görevler için kullandığı daha fazla tarayıcı vardır ve her tarayıcı kendisini “kullanıcı aracısı” adı verilen farklı bir metin dizesiyle tanımlar. Googlebot her zaman yeşildir, yani web sitelerini kullanıcıların en son Chrome tarayıcısında gördüğü gibi görür.
Googlebot binlerce makinede çalışır. Web sitelerinde ne kadar hızlı ve nelerin taranacağını belirlerler. Ancak web sitelerini bunaltmamak için taramalarını yavaşlatacaklar.
Web’in bir dizini oluşturma süreçlerine bakalım.
Googlebot web’i nasıl tarar ve dizine ekler?
Google, geçmişte boru hattının birkaç sürümünü paylaştı. Aşağıdaki en güncelidir.
Google, sayfalar, site haritaları, RSS beslemeleri ve Google Arama Konsolu veya Dizine Ekleme API’sinde gönderilen URL’ler gibi çeşitli kaynaklardan topladığı URL’lerin bir listesiyle başlar. Taramak istediklerine öncelik verir, sayfaları getirir ve sayfaların kopyalarını saklar.
Bu sayfalar, Google’ın bir sayfa oluşturmak için ihtiyaç duyduğu API istekleri, JavaScript ve CSS gibi şeylere bağlantılar dahil olmak üzere daha fazla bağlantı bulmak için işlenir. Tüm bu ek istekler taranır ve önbelleğe alınır (depolanır). Google, sayfaları bir kullanıcının yaptığına benzer şekilde görüntülemek için bu önbelleğe alınmış kaynakları kullanan bir oluşturma hizmetinden yararlanır.
Bunu tekrar işler ve sayfada veya yeni bağlantılarda herhangi bir değişiklik olup olmadığına bakar. Oluşturulan sayfaların içeriği, Google’ın dizininde saklanan ve aranabilen şeydir. Bulunan tüm yeni bağlantılar, taranması için URL’ler grubuna geri döner.
Arama motorlarının nasıl çalıştığına dair yazımızda bu işlemle ilgili daha fazla ayrıntıya sahibiz.
Googlebot nasıl kontrol edilir
Google, neyin taranacağını ve dizine ekleneceğini kontrol etmenin birkaç yolunu sunar.
Taramayı kontrol etmenin yolları
İndekslemeyi kontrol etmenin yolları
- İçeriğinizi silin – Bir sayfayı silerseniz, dizine eklenecek hiçbir şey kalmaz. Bunun dezavantajı, başka kimsenin de erişememesidir.
- İçeriğe erişimi kısıtlayın – Google web sitelerine giriş yapmaz, bu nedenle her türlü şifre koruması veya doğrulama, içeriği görmesini engeller.
- noindex – Meta robots etiketindeki bir noindex, arama motorlarına sayfanızı dizine eklememelerini söyler.
- URL kaldırma aracı – Google’dan bu aracın adı biraz yanıltıcıdır, çünkü çalışma şekli içeriği geçici olarak gizleyecektir. Google bu içeriği görmeye ve taramaya devam eder, ancak sayfalar arama sonuçlarında görünmez.
- Robots.txt (Yalnızca resimler) – Googlebot Resminin taranmasını engellemek, resimlerinizin dizine eklenmeyeceği anlamına gelir.
Hangi dizine ekleme kontrolünü kullanmanız gerektiğinden emin değilseniz, URL’leri Google aramadan kaldırmayla ilgili yayınımızdaki akış şemamıza bakın.
Gerçekten Googlebot mu?
Birçok SEO aracı ve bazı kötü niyetli botlar, Googlebot gibi davranacaktır. Bu, onları engellemeye çalışan web sitelerine erişmelerine izin verebilir.
Geçmişte, Googlebot’u doğrulamak için bir DNS araması çalıştırmanız gerekiyordu. Ancak son zamanlarda Google bunu daha da kolaylaştırdı ve isteklerin Google’dan geldiğini doğrulamak için kullanabileceğiniz genel IP’lerin bir listesini sağladı. Bunu sunucu günlüklerinizdeki verilerle karşılaştırabilirsiniz.
Ayrıca Google Arama Konsolunda bir “Tarama istatistikleri” raporuna da erişebilirsiniz. Eğer gidersen Ayarlar > Tarama İstatistikleri, rapor, Google’ın web sitenizi nasıl taradığı hakkında birçok bilgi içerir. Hangi Googlebot’un hangi dosyaları taradığını ve bunlara ne zaman eriştiğini görebilirsiniz.
Son düşünceler
Web büyük ve dağınık bir yerdir. Googlebot’un, arama motorunun çalışması için Google’ın ihtiyaç duyduğu verileri toplamak üzere, kesinti süreleri ve kısıtlamalarla birlikte tüm farklı kurulumlarda gezinmesi gerekir.
Her şeyi özetlemek için eğlenceli bir gerçek, Googlebot’un genellikle bir robot olarak tasvir edilmesi ve yerinde bir şekilde “Googlebot” olarak anılmasıdır. Ayrıca “Crawley” adında bir örümcek maskotu var.
Hala sorularınız mı var? Bana bildirin Twitter’dan.
[ad_2]
