Robots.txt dosyası nedir?
Robots.txt dosyası, web sitenize yerleştirilen ve Googlebot gibi web tarayıcılarına bir dosyaya erişip erişmeyeceklerini bildiren basit bir metin dosyasıdır .
Temel robots.txt örnekleri
Bazı yaygın robots.txt ‘ler. (aşağıda ayrıntılı olarak açıklanacaktır)
Tam erişime izin ver
Kullanıcı aracısı: *
İzin verme:
Tüm erişimi engelle
Kullanıcı-aracı: *
İzin verme: /
Bir klasörü engelle
Kullanıcı-aracı: *
Disallow: / folder /
Bir dosyayı engelle
Kullanıcı aracısı: *
Disallow: /file.html
Neden robots.txt bu kadar önemli?
· #Robotstxt dosyasının yanlış kullanımı indekslenmenize zarar verebilir.
· Robots.txt dosyası, arama motoru örümceklerinin web sayfalarınızı nasıl gördüğünü ve web sayfalarınızla nasıl etkileşime girdiğini denetler
· Bu dosya, Google yönergelerinin birkaçında belirtilmiştir
· Bu dosya ve etkileşimde bulundukları botlar, arama motorlarının nasıl çalıştığının temel parçalarıdır.
Arama motoru örümcekleri
Googlebot gibi bir arama motoru örümceğinin bir sayfayı ziyaret ederken baktığı ilk şey robots.txt dosyasıdır.
Çünkü o sayfaya veya dosyaya erişim izni olup olmadığını bilmek ister. Robots.txt dosyası girilebileceğini söylüyorsa, arama motoru örümceği sayfa dosyalarına devam eder.
Bir arama motoru robotu için talimatlarınız varsa, bu talimatları söylemelisiniz. Bunu yapmanın yolu robots.txt dosyasıdır.
Web siteniz için öncelikler
Herhangi bir web yöneticisinin robots.txt dosyası söz konusu olduğunda yapması gereken üç önemli şey vardır.
· Bir robots.txt dosyanız olup olmadığını belirleme.Eğer bir hesabınız varsa, sıralamanıza zarar vermemesini veya engellenmesini istemediğiniz içeriği engellemediğinden emin olun
· Bir robots.txt dosyasına ihtiyacınız olup olmadığını belirleme,
· Bir robots.txt dosyanız olup olmadığını belirleme.
Orada bir dosyanız varsa, bu sizin robots.txt dosyanızdır. İçinde kelimeler olan bir dosya bulacak, içinde kelime olmayan bir dosya bulacak ya da hiç bir dosya bulamayacaksınız.
Robots.txt dosyanızın önemli dosyaları engelleyip engellemediğini belirleyin
#Google'ın sayfalarınızı anlaması gereken bazı sayfa kaynaklarını engellerseniz sizi uyaran Google yönergeleri aracını kullanabilirsiniz .
Erişim ve izniniz varsa, robots.txt dosyanızı test etmek için Google arama konsolunu kullanabilirsiniz. Bunun için talimatlar burada bulunur (araç herkese açık değil - giriş gerektirir) .
Robots.txt dosyanızın engellemesini istemediğiniz bir şeyi engellemediğini tam olarak anlamak için ne dediğini anlamanız gerekir. Bunu aşağıda ele alıyoruz.
Bir robots.txt dosyasına mı ihtiyacınız var?
Sitenizde bir robots.txt dosyanız bile olmayabilir. Aslında, genellikle buna ihtiyacınız yoktur.
Bir robots.txt dosyasına sahip olmanızın nedenleri:
· Arama motorlarından engellenmesini istediğiniz içeriğiniz var
· Robotlar için özel talimatlar gerektiren ücretli bağlantılar veya reklamlar kullanıyorsunuz
· Saygın robotlardan sitenize erişimi ince ayarlamak istiyorsunuz
· Yayında olan bir site geliştiriyorsunuz, ancak arama motorlarının henüz dizine eklemesini istemiyorsunuz
· Bazı belirli durumlarda Google yönergelerini izlemenize yardımcı olurlar