klcnetwork.com'u Ziyaret Et

Robots.txt Denetleyici & Test Edici

Web sitenizin robots.txt dosyasını analiz edin, arama motoru botlarının erişim kurallarını denetleyin ve belirli yolların engellenip engellenmediğini test edin.

Robots.txt Nedir ve Ne İşe Yarar?

Robots.txt, bir web sitesinin ana dizininde barındırılan ve arama motoru örümceklerine (Googlebot, Bingbot vb.) sitenin hangi kısımlarını tarayıp tarayamayacaklarını söyleyen basit bir metin dosyasıdır. Arama motorlarının sitenizi tararken zaman ve kaynak harcamasını engellemek, taranma bütçesini (crawl budget) verimli kullanmak ve hassas sistem dizinlerini korumak için robots.txt kullanımı son derece önemlidir.

Robots.txt Dosyasında Kullanılan Temel Komutlar

Bir robots.txt dosyası yazılırken yaygın olarak kullanılan komutlar ve anlamları şunlardır:

  • User-agent: Kuralın hangi arama motoru botu için geçerli olduğunu tanımlar. Örneğin User-agent: * tüm botları kapsarken, User-agent: Googlebot sadece Google'ı hedefler.
  • Disallow: Arama botunun taramasını engellemek istediğiniz yolları veya sayfaları belirtir (örn: Disallow: /admin/).
  • Allow: Engellenen bir dizin altındaki belirli bir dosya veya klasöre istisnai olarak tarama izni vermeyi sağlar.
  • Sitemap: Arama motoru botlarına web sitenizin XML site haritası adresini gösterir. Dosyanın herhangi bir yerine (tercihen en sonuna) eklenebilir.

Sıkça Sorulan Sorular

Hayır. Disallow komutu botların o sayfayı taramasını (crawl etmesini) engeller ancak sayfanın dizine eklenmesini (indexlenmesini) kesin olarak engellemez. Eğer o sayfaya dışarıdan veya sitenizin taranabilir diğer alanlarından link verilmişse, Google sayfayı dizine ekleyebilir. Kesin olarak indeks dışı bırakmak için sayfa kodlarına <meta name="robots" content="noindex"> etiketi eklenmelidir.
Robots.txt dosyası mutlaka web sitenizin kök (root) dizininde yer almalıdır. Sitenizin adresi üzerinden https://siteniz.com/robots.txt şeklinde doğrudan çağrılabilecek durumda olmalıdır. Alt klasörlerde barındırılan robots.txt dosyaları arama motoru botları tarafından dikkate alınmaz.
Evet, çok ciddi zarar verebilir. Örneğin yanlışlıkla yazılan Disallow: / komutu, tüm web sitenizin arama motorları tarafından taranmasını ve dizine eklenmesini engeller. Bu da web sitenizin tüm arama sonuçlarından silinmesine yol açabilir. Bu nedenle kurallarınızı kaydetmeden önce mutlaka bu test aracıyla kontrol etmelisiniz.