Google’dan Yeni Bir Keşif Yöntemi: RSS ve ATOM Beslemeleri

Yıllardır, Google‘ın yeni web sayfalarını keşif yöntemi tümüyle ilgili siteye verilen linklere dayanıyordu. Eğer bir web sayfasına diğer herhangi bir sayfa link vermemişse, Googlebot’un o web sayfasını algılaması mümkün değildi ve bunun sonucunda da ilgili web sayfasının içeriğini arşivleyemiyordu. Bir süre sonra Google, web sitelerinin Google veritabanına el ile dahil edilebilmesinin önünü açtı ancak bu da özellikle büyük boyutlu web siteleri için verimli bir yöntem değildi. 2005 yılında Google, XML Sitemap desteğini duyurdu. Bu yöntem, site sahiplerinin, Googlebot’un diğer yöntemlerle fark edemeyeceği sayfaların Google veritabanına daha verimli bir şekilde eklenebilmesinin önünü açtı. Geçtiğimiz günlerde Google Webmaster Central blogunda yayımlanan bir habere göre ise Google, artık web sayfalarının Google veritabanına eklenmesi için bir yöntemi daha desteklediğini duyurdu: beslemeler (feed). Haberde, Google’ın özellikle yeni içeriği RSS ve Atom beslemeleri kullanarak keşfetmeye başladığı belirtildi.

Yeni içerik Google için hayati önem taşıyor, zira bazı arama sorguları için taze içerik kullanıcıların o an bulmak istedikleri içeriğin sunulmasını sağlıyor. Eskiden, Google bir web sayfasının önem derecesini, o sayfaya verilen link sayısı ile sınırlıyordu, zira bir sayfaya link verilmemişse, Google, o sayfayı “değersiz” olarak algılıyordu. Ancak günümüz PageRank algoritması alışılagelmiş algoritma öngörüsünün çok daha ilerisinde ve eğer kendisine yönelik herhangi bir link içermeyen bir web sayfası, eğer arama sorgusu ile mükemmel bir şekilde eşleşiyorsa, ilgili sayfanın arama motoru sonuç sayfalarındaki diğer web sitelerinden daha üst sırada yer alması artık mümkün.

Elbette, site sahipleri, RSS ve Atom beslemelerini site haritası olarak Google’a tanımlayabiliyorlardı ancak bu son yayımlanan habere göre Google, site sahibi ilgili beslemeleri birer site haritası olarak tanımlamamış olsa bile yeni içerikleri keşfedebilecek. Google, Google Reader ve beslemelere yönelik diğer ping servislerini de yeni içeriğin keşfi için kullanacağını belirtiyor.

Haberde, bu beslemelerin sırf yeni içeriğin “keşfi” için mi yoksa içeriğin “taranması” için de mi kullanılıp kullanılmayacağı pek net değil. Haberin başlığı “keşif” kelimesini içeriyor ancak haberin kendisinde bu yeni yöntemin “alışılagelmiş tarama yöntemlerinin aksine yeni içeriğin daha hızlı bir şekilde arşivlenebileceği” açıklamasına yer veriliyor. Eğer Google, feedleri içeriğin taranması için de kullanmaya başlamışsa, o zaman beslemelerde içeriğinizin özeti yerine içeriğin tamamına yer vermek yerinde olacaktıre, zira sayfanızın içeriğinin daha büyük bir kesimini Google veritabanına dahil etmiş olursunuz. Google Blogsearch bir süreliğine sayfanın kendi içeriği yerine besleme içeriklerini tarıyordu ancak bu da, Blogsearch üzerinde içeriğinin tamamının arşivlenmemesine yol açtı. Bunun üzerine Google, geçtiğimiz yıl bu yöntemi kullanmayı bırakmıştı.

Haberde ayrıca, Google’ın beslemeleri birer keşif yöntemi olarak kullanabilmesi için, beslemelerin “robots.txt” tarafından engellenmemiş olması gerektiği de belirtiliyor.

Kaynak: Search Engine Land

Etiketler: Atom, Google, Google Blogsearch, Google Search, RSS, Site Haritasi (Sitemap)