Robots.txt Nedir? SEO Açısından Önemi Nedir?

Robots.txt , arama motoru botlarına sitenizin belli kısımlarını indekslememelerini söyleyen özel bir dosyadır ve sitenizin seo sunu ciddi düzeyde etkileyebilir.

Google , Yandex , Bing ve Yahoo gibi devasa arama motorları robots.txt yi tanır ve burada yer alan talimatlara göre siteyi indeksler.

Genellikle bir robots.txt dosyasına ihtiyacınız olmaz.. Çünkü sitenizdeki içeriklerin tamamının yayınlanmasını istiyor olabilirsiniz.

Ayrıca zaten Google, değersiz gördüğü ya da kopya içerik olarak değerlendirdiği sayfaları indekslemecektir.

Fakat bazı durumlarda örneğin; kademeli sayfalarda veya /resimler/ gibi dizinler için indekslemenin engellenmesi ; Google arama sonuçlarında gereksiz listelemenin önüne geçer.

Ayrıca Googlebotun, gereksiz sayfalarınızı indeksleyerek sitenize ayırdığı zamanı boşa harcamamış olursunuz.

Bir Robots.txt Nasıl Oluşturulur?

Windows üzerindeki metin editörü ile kolayca robots.txt dosyalarınızı oluşturabilirsiniz. Dilerseniz bir örnek yapalım.

Robots.txt ye aşağıdaki kodu eklerseniz burada * tüm botların kapsandığını gösterir. User-agent: bot adıdır. “Allow: / ” hepsine izin ver demektir.

User-agent: *
Allow: /

Şimdi sadece Googlebot için bunu gerçekleştirelim.

User-agent: Googlebot
Allow: /

Yukarıdaki kodda sadece Google botlarının sitemize erişmesine izin vermiş olduk. Eğer belli bir botun erişimini engelleyeceksek de şöyle yaparız.

User-agent: Bingbot
Disallow: /

Yukarıdaki kodu robots.txt ye eklediğimiz taktirde Bing arama motoruna ait botlar sitenizi tarayamaz. Bing ‘in Türkiye ‘de kullanım oranı son derece düşük bile olsa engellemenizi tavsiye etmiyorum, bu sadece bir örnekti.

Örneğin, Google ‘ın belli bir dizin altından gelen bağlantıları indekslemesini nasıl engelleyebiliriz? Aşağıdaki örneğimize bakalım..

User-agent: Googlebot
Disallow: /resim/

Böylece /resim/ dizini altındaki URL lerin ve dosyaların Google arama sonuçlarında yer almamasını sağlayabiliriz.

Eğer tüm botlara belli bir dizinin erişimini kapatmak istersek aşağıdaki gibi bir çözüm söz konusu olabilir.

User-agent: *
Disallow: /uploads/

Yukarıdaki kural ile tüm arama motorlarına /uploads/ dizinini kapatıyoruz. Böylece ortalığa saçılmasını istemediğimiz dizinler ve dosyalar arama sonuçlarında yer almayacaktır.

Örneğin; bir kaç dizine izin vermezken, bir dizinin alt dizinine izin vermek istiyorsunuz. Bu durumda aşağıdaki kuralı kullanabilirsiniz.

#Googlebot 'u dizin1 ve dizin2 de engeller
#Fakat altdizin1 e izin verir.
User-agent: Googlebot
Disallow: /dizin1/
Disallow: /dizin2/
Allow: /dizin1/altdizin1/

Bu arada robots.txt de açıklama yazabilirsiniz. Satır başlarına # işareti koyarsanız botlar onu dikkate almayacaktır.

Robots.txt konusunda Google şöyle bir dökümantasyon paylaşmış https://support.google.com/webmasters/answer/6062596?hl=tr Göz atabilirsiniz.

Dosyanızı herhangi bir metin editörü ile oluşturabilirsiniz. Yapmanız gereken sadece dosyanızı robots.txt şeklinde isimlendirmek ve uzantısının txt olduğundan emin olmak.

Peki Robots.txt yi Oluşturdum, Nereye Yüklemeliyim?

Herhangi bir dizine ekleyebilirsiniz fakat kolay bulunabilir olması ve erişim sorunu yaşamamanız adına siteniz.com/robots.txt şeklinde public_html içerisine yüklemeniz tavsiye edilir.

Peki , robots.txt nizin doğru ayarlanıp ayarlanmadığını nereden bileceksiniz?

Bunun için bizzat Google tarafından sunulan ücretsiz bir araç mevcut. Buradan robots.tx kontrol aracına ulaşabilirsiniz.

Leave a Reply

Your email address will not be published. Required fields are marked *
You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>