Robots.txt Yaradıcı

robots.txt Nədir?

robots.txt faylı, veb saytınızın kök qovluğuna (https://example.com/robots.txt) yerləşdirilən xüsusi bir mətn faylıdır. Bu fayl, axtarış motoru botlarına (web crawlers) saytınızın hansı səhifələrini taraya biləcəklərini, hansılarını taraya bilməyəcəklərini deyir.

Necə İşləyir?

Axtarış motoru botları saytınızı ziyarət etməzdən əvvəl ilk olaraq robots.txt faylınızı yoxlayır. Bu faylda qeyd etdiyiniz qaydalara görə saytınızı taramağa başlayırlar. Ancaq diqqət edin: robots.txt bir təhlükəsizlik mexanizmi deyil, sadəcə axtarış motorlarına yol göstərir. Pis niyyətli botlar bu qaydalara əməl etməyə bilər.

Nə Zaman İstifadə Edilir?

• İdarəetmə panellərini qorumaq: Admin, login səhifələri kimi həssas sahələri taramadan xaric etmək üçün
• Təkrarlanan məzmunu önləmək: Bənzər məzmun səhifələrinin taranmasının qarşısını almaq üçün
• Server yükünü azaltmaq: Botların həddindən artıq istək göndərməsini məhdudlaşdırmaq üçün
• Test səhifələrini gizlətmək: İnkişaf mərhələsindəki səhifələrin axtarış nəticələrində görünməsinin qarşısını almaq üçün
• Mənbə fayllarını qorumaq: CSS, JS kimi faylların taranmasının qarşısını almaq üçün

Vacib Qeydlər!

• robots.txt faylı hər kəsə açıqdır, hər hansı bir adam görə bilər.
• Həssas məlumatları robots.txt-yə yazmayın, bu məlumatlar gizli qalmaz.
• Böyük/kiçik hərf həssasiyyəti var.
• Hər User-agent üçün ayrı qaydalar müəyyən edə bilərsiniz
• Yollar mütləq "/" ilə başlamalıdır.
• Google Search Console-da robots.txt faylınızı test edə bilərsiniz.

Digər faydalı və praktik tətbiqlərimizi kəşf etmək üçün buraya klikləyə bilərsiniz.