Robots.txt Test Aracı

Robots.txt dosyanızı test edin ve arama motorları için doğru şekilde yapılandırıldığından emin olun.

Robots.txt Hakkında Sıkça Sorulan Sorular

Robot.txt Nasıl Bakılır?

Robots.txt dosyasını kontrol etmek için, tarayıcınızın adres çubuğuna site adresinizin sonuna /robots.txt yazarak ulaşabilirsiniz. Örneğin, https://semust.com/robots.txt adresine giderek robots.txt dosyamızı görebilirsiniz. Bu dosya, web sitenizin hangi bölümlerinin arama motoru botları (veya farklı tarama amacıyla üretilmiş botlar) tarafından taranıp taranmayacağını belirtir. Dosyanın içeriğini okuyarak, belirli botların veya tüm botların hangi sayfalara erişebileceğini veya hangi sayfaları taramaması gerektiğini öğrenebilirsiniz.

Robot.txt Nasıl Oluşturulur?

Robots.txt dosyası, bir metin düzenleyici (örneğin Notepad veya Visual Studio Code) kullanılarak oluşturulabilir. Dosya, her bir bot için User-agent komutu ve ardından gelen Disallow ve Allow komutları ile yapılandırılır. Örneğin:

User-agent: *
Disallow: /private/
Allow: /public/

Bu örnek, tüm ziyaret eden botların (*) /private/ dizinini taramasını engellerken /public/ dizinini taramalarına izin verir. Robots.txt dosyası oluşturulduktan sonra, web sitenizin ana dizinine ftp’den yüklenmelidir. Bu, sitenizin kök dizininde yer almalıdır, yani https://siteadresiniz.com/robots.txt olarak erişilebilir olmalıdır.

Robot.txt Testi Nedir?

Robots.txt testi semust tarafından ücretsiz sunulan bir araçtır, web sitenizin robots.txt dosyasının doğru çalışıp çalışmadığını kontrol etmek için yapılan bir işlemdir. Bu test, belirli bir botun belirli bir sayfaya erişimine izin verilip verilmediğini belirlemek için kullanılır. Google Search Console gibi araçlar veya özel robots.txt tester araçları kullanarak, robots.txt dosyanızın yapısını kontrol edebilir ve botların belirli sayfalara erişimini doğru şekilde kısıtlayıp kısıtlamadığınızı doğrulayabilirsiniz.

Robot.txt Ne İşe Yarar?

Robots.txt dosyası, web sitenizin seçtiğiniz bölümlerinin arama motoru botları tarafından taranmasını engellemek veya taramasına izin vermek için kullanılır. Bu dosya, sitenizdeki gizli veya taranmasını istemediğiniz sayfaları korumak için kullanılır. Örneğin, admin paneli sayfaları, geliştirme yaptığınız sayfalar veya geçici dosyalar gibi alanların arama motorlarında görünmesini istemediğinizde robots.txt dosyası sayesinde yönlendirmeler yapabilirsiniz.

Robots.txt Dosyasındaki Disallow Komutu Ne Anlama Gelmektedir?

Robots.txt dosyasındaki Disallow komutu, belirli bir botun belirli bir sayfayı veya dizini taramasını engeller. Örneğin:

User-agent: *
Disallow: /blog/

Bu örnekte, Disallow: /blog/ ifadesi, tüm botların (User-agent: *) /blog/ dizinini taramasını engeller. Bu komut, belirli içeriklerin arama motoru dizinlerine eklenmesini önlemek için kullanılır. Örneğin, hassas bilgiler içeren sayfalar veya geçici olarak oluşturulmuş içerikler için kullanılabilir. Ama blog yazılarınızı engellemenizi tavsiye etmiyoruz.

Diğer Ücretsiz Araçlar

Teknik SEO Aracı

10'dan fazla Teknik SEO hatasını kontrol eden araç.

Aracı Kullanmaya Başla

Website Kelime Sayısı Bulma

Verilen URL'nin kelime sayısına ulaşmanın en hızlı yolu.

Aracı Kullanmaya Başla

Link Çıkartıcı

Tarattığınız URL içinde bulunan dofollow, nofollow, sponsorlu gibi link çeşitlerini listeleyen araç.

Aracı Kullanmaya Başla

Resim Çıkartıcı

İstediğiniz bir websitedeki resimleri ve alt etiketlerini çıkartalım.

Aracı Kullanmaya Başla

Anahtar Kelime Yoğunluğu

Hangi kelime ne kadar kullanılmış? Bunun cevabını isteyenlere.

Aracı Kullanmaya Başla

Website Metin Çıkarma Aracı

URL'nin Body etiketinde bulunan bütün metinleri filtereler ve size sunar.

Aracı Kullanmaya Başla

Yönlendirme Kontrolü

Sitenizde bulunan eskiden doğru şimdi ise 301'e düşen url'lerin listesini çıkartan araç.

Aracı Kullanmaya Başla

Kelime ve Cümle Sayacı

Vereceğiniz metindeki cümleleri ve kelimeleri sayan ücretsiz araç.

Aracı Kullanmaya Başla

Metin Karşılaştırma

İki metnin arasındaki farkı bulmanın en kolay hali.

Aracı Kullanmaya Başla

Daha fazla organik trafik 

  • 14 Gün ücretsiz deneme
  • Kurulum gerekmez
  • Search Console entegrasyonu