Robots.txt Nedir ve Nasıl Oluşturulur

Robots.txt Nedir ve Nasıl Oluşturulur

Robots.txt Nedir

Robots.txt, bir web sitesinin arama motorları botlarına (kullanıcılar yerine) hangi sayfaların taranabileceği veya taranamayacağı hakkında talimat veren bir metin dosyasıdır. Bu dosya, web sitenizin arama motorları tarafından indekslenen içeriği kontrol etmenizi sağlar. Doğru bir robots.txt dosyası oluşturmak, arama motorlarıyla iletişiminizi düzenlemenize ve web sitenizin arama sonuçlarında nasıl göründüğünü kontrol etmenize yardımcı olur.

Robots.txt Nasıl Oluşturulur:

1. Dosya Oluşturma: Bir metin düzenleyici kullanarak yeni bir metin dosyası oluşturun. Dosyayı "robots.txt" olarak adlandırın.
2. Anahtar Dosya Yolu: robots.txt dosyasını kök dizine yerleştirin. Bu, web sitenizin ana dizininde olması gerektiği anlamına gelir. Örneğin, "www.example.com/robots.txt" şeklinde erişilebilir olmalıdır.
3. User-Agent Talimatı: Her bir arama motoru botu için ayrı talimatlar belirlemek isterseniz, User-Agent etiketi kullanabilirsiniz. Örneğin, Googlebot için aşağıdaki gibi bir talimat verebilirsiniz:

User-Agent: Googlebot
Disallow: /private/

Bu örnekte, Googlebot' un /private/ dizinini tarayamayacağını belirtiyoruz.

4. Disallow Talimatı: Taratılmasını istemediğiniz dizinleri veya dosyaları belirtmek için Disallow etiketini kullanabilirsiniz. Örneğin, aşağıdaki talimat ile /admin/ dizinini engelleyebilirsiniz:

User-Agent: *
Disallow: /admin/

Bu örnekte, tüm arama motoru botlarının /admin/ dizinini tarayamayacağını belirtiyoruz.

5. Allow Talimatı: Taratılmasına izin vermek istediğiniz dizinleri veya dosyaları belirtmek için Allow etiketini kullanabilirsiniz. Örneğin, aşağıdaki talimat ile /images/ dizinini izin verebilirsiniz:

User-Agent: *
Allow: /images/

Bu örnekte, tüm arama motoru botlarının /images/ dizinini tarayabileceğini belirtiyoruz.

6. Sitemap Talimatı: Sitemap dosyasını belirtmek için Sitemap etiketini kullanabilirsiniz. Örneğin:
Sitemap: http://www.example.com/sitemap.xml

Bu örnekte, sitemap.xml dosyasının web sitenizin ana dizininde olduğunu belirtiyoruz.

Save (Kaydet) ve Yayınla: robots.txt dosyanızı kaydedin ve web sitenizin kök dizinine yükleyin. Ardından, web tarayıcınızdan "www.example.com/robots.txt" adresini ziyaret ederek doğrulayabilirsiniz.

Sonuç:

Robots.txt dosyası, web sitenizin arama motorları botlarıyla iletişimini düzenlemek için önemli bir araçtır. Doğru bir robots.txt dosyası oluşturarak, taranmasını istediğiniz veya istemediğiniz içeriği belirleyebilirsiniz. Bu, web sitenizin arama sonuçlarında nasıl göründüğünü kontrol etmenize yardımcı olur ve arama motorları tarafından daha etkili bir şekilde indekslenmesini sağlar.