"Google'ın sitenizin içeriğini tam olarak anlamasına yardımcı olmak için, sitenizin CSS ve JavaScript dosyaları gibi tüm öğelerinin taranmasına izin verin."
Google web yöneticisi kurallarından Google, sayfanızı anlayamazsa, sizi sıralaması mümkün değildir. Eğer Google sizi sıralamazsa; doğal olarak kullanıcılar tarafından da fark edilmezsiniz. Web sayfalarınızın tam olarak anlaşılması için Google’ın web sayfalarınızın eksiksiz bir resmini görmesi gerekir. Sitenizin engellenip engellenmediğini anlamak için; sitenizi test ederken Google yönergeleri aracını kullanın. #Googlebot Google, web siteniz hakkında bilgi toplamak için Googlebot adlı bir web tarayıcısı kullanmaktadır. Bu tarayıcı; tamamen bulduğu içeriği taramaya ve Google verilerini raporlamaya programlıdır. İçeriğinizin içindeki linkleri, resimleri; kalın, italik, altı çizili kelimeleri ve ‘’h’’ etiketiyle girilen başlıkları öncelikli olarak okur. Daha sonra içeriği, sonrasında da varsa yorumları okur. Her Web yöneticisi bilmelidir ki; dünyanın her tarafına yayılmış olan Googlebot’un arama motoru sonuçlarına dahil olabilmeniz için sitenizi “tarayabilmesi” gerekli. Robot.txt Oluşturma Arama motoru tarayıcılarının web sayfalarınızı ziyaret etme biçimi, robots.txt adlı bir dosya tarafından belirlenir . Bu dosya arama motoru tarayıcılarına alan adının hangi noktalarının taranması gerektiğini bildirmektedir. Bu sebeple bir robot.txt dosyası hazırlamalısınız. Artık bir arama botu sitenizi ziyaret ettiğinde; ilk olarak bu dosyaya bakacak ve neleri inceleyip, neleri incelememesi gerektiğine bu şekilde karar verecek. Standart bir robots.txt dosyasında göreceğiniz iki başlık var: User-agent ve Disallow… User-agent: Sitenizin #arama motorlarına açtığınız kısmı Disallow: Arama motorlarının erişmesini istemediğiniz sayfa, dosya veya klasör bilgilerini ileteceğiniz alan. Sayfa Kaynakları Çoğu web sayfası CSS (Cascading Style Sheets -stil şablonları) ve/veya javascript kullanır. Bunlar genellikle HTML’inizden bağlantı verilen harici dosyalardır. Web sayfanızı tam olarak anlamak için Google’ın bu kaynaklara erişmesi gerekir; ancak çoğu zaman bu dosyalar robots.txt dosyası tarafından engellenir. Sitenizin bu kılavuzu izleyip izlemediğini kontrol etmelisiniz. Hangi dosyaların (varsa) Googlebot tarafından engellendiğini görmek için Google yönetici yönergelerini kullanmalısınız. Anahtar Kavramlar Arama motoru örümceklerinin sitenizi doğru şekilde görebildiğinden emin olun. Web sitenizin arama motoru örümcekleri tarafından doğru şekilde görülebilmesini sağlamak, hayati önem taşımaktadır.
Kaynak: www.varvy.com