Robots.txt Oluşturucu

robots.txt Nedir?

robots.txt dosyası, web sitenizin kök dizinine (https://example.com/robots.txt) yerleştirilen özel bir metin dosyasıdır. Bu dosya, arama motoru botlarına (web crawlers) sitenizin hangi sayfalarını tarayabileceklerini, hangilerini tarayamayacaklarını söyler.

Nasıl Çalışır?

Arama motoru botları sitenizi ziyaret etmeden önce ilk olarak robots.txt dosyanızı kontrol eder. Bu dosyada belirttiğiniz kurallara göre sitenizi taramaya başlarlar. Ancak dikkat edin: robots.txt bir güvenlik mekanizması değildir, sadece arama motorlarına yol gösterir. Kötü niyetli botlar bu kurallara uymayabilir.

Ne Zaman Kullanılır?

• Yönetim panellerini korumak: Admin, login sayfaları gibi hassas alanları taramadan hariç tutmak için
• Tekrar eden içeriği önlemek: Benzer içerik sayfalarının taranmasını engellemek için
• Sunucu yükünü azaltmak: Botların aşırı istek göndermesini sınırlamak için
• Test sayfalarını gizlemek: Geliştirme aşamasındaki sayfaların arama sonuçlarında görünmesini önlemek için
• Kaynak dosyalarını korumak: CSS, JS gibi dosyaların taranmasını engellemek için

Önemli Notlar!

• robots.txt dosyası herkese açıktır, herhangi biri görebilir.
• Hassas bilgileri robots.txt'ye yazmayın, bu bilgiler gizli kalmaz.
• Büyük/küçük harf duyarlıdır.
• Her User-agent için ayrı kurallar tanımlayabilirsiniz
• Yollar mutlaka "/" ile başlamalıdır.
• Google Search Console'da robots.txt dosyanızı test edebilirsiniz.

Diğer kullanışlı ve pratik uygulamalarımızı keşfetmek için buraya tıklayabilirsiniz.