Web siteleri google botları tarafından denetlenmektedir. Bu denetleme ile sitenin nereleri indexleneceği , nerelere girilip nerelere girilmeyeceği belirtilmektedir. Google botları bu yapı sayesinde denetleme işlemlerini kolayca yapmaktadırlar. Yani siteye ait bir kullanım kılavuzudur diyebiliriz.
 |
| Robots.txt Nedir? Faydaları Nelerdir ? |
Google botları sitenizi denetlemeye geldiklerinde ise gereken noktalarda indexleme yapacaklardır. İndexleme yapılmaması gereken yerleri de tespit etmek için robots.txt dosyasına bakarlar ve bu şekilde karar vererek işlemlerine devam ederler. Bu denetimin verimli bir şekilde yapılması için de robots.txt dosyası düzeni çok önemlidir. Eğer dosya sorunluysa denetim verimli olmayacağı için indexleme yapılmayacaktır. Bu da bir web sitesi olumsuz bir durumdur. Robots.txt dosyasını kaydettiğiniz dizin kök dizin olmalıdır. Eğer kök dizin haricinde başka bir yere kayıt yaparsanız google botları maalesef dosyayı bulamayacağı için crawl yapamayacaktır.
İndexlenme web sitelerinin popülaritesinin artması için önemlidir. Site ilk kez yayınlanıyorsa google botları gelip indexleme yapar bu sayede index sayıları oluşturulur. İndex sayısı doğrudan arama motorların da gelen sonuçlar da üst sıralar da yer alınmasını sağlayan bir etkendir. İndexlenmenin de bu kadar önemli olması için iyi bir yapıya sahip olunması gerekiyor. Bunun için iyi bir robots.txt dosyasına ihtiyaç duyulacaktır. Düzenli bir şekilde kök dizine kaydedilip google botlarının kolayca erişim sağlaması faydalı olacaktır. İndexleme yapılırken sitenin kendisi kadar alt sayfaların da indexlenmesi seo süreci için verimli olacaktır. İndex sayısı ne kadar fazla olursa daha fazla ziyaretçi sayısı demektir. Bu yüzden yüksek bir index sayısına ve kendi aramaları içinde de yüksek bir index sayısına ihtiyaç duyulmaktadır.
Robots.txt dosyayı büyük bir özen ve dikkatle oluşturulmalıdır. Bu süreçte yapılan en ufak bir hata bile dosyanın çalışmasını olumsuz yönde etkileyebilir. Robots.txt dosyayı için basit editörler kullanılabilir. Bunlar notepad,word gibi araçlar olabilir. Robots.txt içine yazılacak kodlar büyük , küçük harf duyarlılığı göstermektedirler.
Kod yapıları sayesinde google botlarını sitenizde yapıp yapmayacakları şeyleri belirleyebilirsiniz. Örneğin ; User-agent: * Disallow:/ kodu ile sitenizin tamamının indexlenmesini engeleyebilirsiniz.
User-agent : Googlebot
Disallow:/
User-agent:*
Disallow
Bu kod yapısı ile google botlarından en az birisi tarafından sitenizin tamamını indexlenmesini sağlayabilirsiniz.
User-agent:*
Disallow:
Bu kod yapısı ile google botlarının sitenizin tamamını indexlemesini sağlayabilirsiniz.
User-agent :*
Disallow:/abcd/
Bu kod yapısının yaptığı iş ise sitenizde indexlenmemesini istediğiniz yeri es geçmesidir. Disallow komutunun içine yazılan yere google botları tarafından girilmez ve bu sayede indexlenme yapılmaz.
Bu kodlar ile google botlarına yönlendirmeler yapabilirsiniz. User-agent terimi google botunun adını , disallow terimi ise google botuna verilen ve verilmeyen yetkileri kapsamaktadır. Robots.txt bir web sitesinin olmazsa olmaz bir öğesidir. Sitenin yönetim araçlarından bir tanesidir ve google botlarına kolayca yol gösteren bir öğedir.
Show Conversion Code Hide Conversion Code Show Emoticon Hide Emoticon