Robots.txt Nedir? SEO için Neden Önemlidir?

SEO| Yayın Tarihi: 16.09.2024 | Güncellenme: 16.09.2024

Robots.txt nedir?
Ramazan Umutlu

Ramazan Umutlu

Ramazan Umutlu, 7 seneyi aşkın SEO ile uğraşan bir SEO Uzmanı. Hobisi ve ilgi alanı yazılım. Teknik birisi.

Robots.txt dosyası, arama motorları ve diğer web tarayıcı botlarına hangi sayfaların taranabileceği veya taranamayacağına dair izinler içeren bir metin (.txt) dosyasıdır. Her web sitesinde, arama motorlarının hangi sayfaları ve içerikleri tarayıp indeksleyeceğini belirleyen bu izinler, sitenin SEO performansı açısından kritik bir rol oynar.

Robots.txt dosyasının doğru yapılandırılması, web sitesinin arama motorları tarafından doğru bir şekilde algılanmasını sağlar ve istenmeyen içeriklerin indekslenmesini engelleyerek sitenizin SEO stratejisine katkıda bulunur. Bu nedenle, tarama ve indeksleme süreçlerinin doğru bir şekilde yönetilebilmesi için bu Robots.txt dosyasının dikkatlice oluşturulması gerekmektedir.

Robots.txt Nedir?

Robots.txt dosyası, web sitenizin arama motoru botları tarafından nasıl taranacağını kontrol etmenizi sağlayan bir metin (.txt) dosyasıdır. Arama motorlarının sahip olduğu botlar, web sitenize geldiklerinde bu dosyayı kontrol eder ve içerdiği yönergelere göre sayfalarınızı tarar. Bu tarama süreci, sayfalarınızın arama motorlarında indekslenip indekslenmeyeceğini belirler.

Robots.txt dosyası, web sitenizde taranmasını istemediğiniz sayfaları veya içerikleri belirlemek için kullanılır. Örneğin, sitenizin yönetici paneli gibi özel sayfalarını arama motoru botlarından gizlemek isteyebilirsiniz. Bu dosya, bu tür sayfaları belirlemenize olanak tanır.

Robots.txt dosyasına bir kullanıcının doğrudan erişimi olmasa da, arama motoru botları bu dosyayı tarama işlemlerinde referans alır. Bu sayede, sitenizin tarama bütçesi daha verimli kullanılarak, öncelikli sayfalarınızın taranması sağlanır.

Bunu sadece arama motorları şeklinde anlatmak yanlış olur. Aslında bütün tarama işlemi yapan botların saygı göstermesi gereken bir dosyadır Robots.txt ama bu yazıda SEO amacı ile açıkladığımız için bundan pek bahsetmeyeceğiz.

Allow ve Disallow Komutu Nedir?

Allow ve Disallow komutları, robots.txt dosyasında kullanılan izin terimleridir ve arama motoru botlarına (örneğin Googlebot) web sitenizin hangi bölümlerine ulaşıp tarayabileceklerini veya tarayamayacaklarını açıklamak için yazılır.

  • Disallow: Bu komut, aşağıda gösterilen /admin/ URL yolunun botlar tarafından taranmamasını ister. Örneğin:
    User-agent: *
    Disallow: /admin/
        
    Bu örnekte, tüm botlara (User-agent: *), /admin/ dizinini taramamaları söylenir. Yani bütün botların burayı engellemesi yasaktır.
  • Allow: Bu komut, botlara belirtilen URL yolunu taramalarına izin verir. Allow komutu, özellikle daha genel bir Disallow kuralını geçersiz kılmak için kullanılır. Örneğin:
    User-agent: *
    Disallow: /private/
    Allow: /private/public-info.html
        
    Bu örnekte, botlara /private/ dizinini taramamaları söylenirken, bu dizin içindeki public-info.html sayfasını taramalarına izin verilir.

Robots.txt Dosyası Avantajları Neler?

Robots.txt dosyası, web sitenizin hangi kısımlarının arama motoru botları tarafından taranıp taranmayacağını belirleyen, site sahibi tarafından oluşturulan basit bir metin dosyasıdır. SEO ve web sitesi yönetiminde önemli bir rol oynar. Ancak, bu dosyanın ne işe yaradığına dair genel bir fikir sahibi olmak yeterli değildir çünkü yapacağınız her hangi bir yanlış engelleme işlemi bütün sitenizin taranmasını engelleyebilir.

Robots.txt, yalnızca belirli sayfaların taranmasını kontrol etmekten daha fazlasını yapabilir. Şimdi, bu dosyanın sağladığı avantajları daha detaylı inceleyelim:

Tarama İzni Verebilirsiniz

Web sitenizde hangi alanlara daha fazla önem veriyorsunuz? Ürün sayfaları, hizmet sayfaları veya blog içerikleri mi? Robots.txt dosyası, arama motoru botlarının bu önemli sayfaları daha hızlı ve etkili bir şekilde taramasını sağlayarak, bu sayfaların ön planda olmasına yardımcı olabilir. Örneğin, e-ticaret sitelerinde ürün sayfalarının daha hızlı indekslenmesini isteyebilirsiniz. Robots.txt Allow ve Disallow komutu ile bu önceliği belirleyebilirsiniz.

Örnek:

User-agent: *
Allow: /urunler/
Disallow: /gizli-bolgeler/

Bu örnekte, "urunler" sayfasının taranmasına izin verilirken, gizli bölgelerin taranması engellenmiştir.

Robots.txt Dosyası Tarama ve İndekslenme Süresini Kısaltır

Arama motoru botları, sitenizdeki tüm sayfaları taramaya çalışır. Ancak bazı sayfaların taranmasına gerek yoktur veya bazı sayfaların taranmasını istemeyebilirsiniz. Robots.txt dosyası, arama motoru botlarına hangi sayfaların taranmaması gerektiğini bildirerek, tarama süresini kısaltabilir ve sitenizin performansını artırabilir. Böylece, sitenizi tarayan botlar zamanlarını sizin yönlendirmelerinize göre daha işlevsel ve önemli sayfalarda harcar.

Örnek:

User-agent: *
Disallow: /wp-admin/

Bu örnekte, wordpress admin panelinin (wp-admin) taranması engellenerek, botların gereksiz sayfalarla zaman kaybetmesi önlenmiştir.

Tarama Bütçesini Kontrol Eder

Her web sitesinin bir arama motoru için belirli bir tarama bütçesi vardır. Bu bütçe, botların gün içerisinde sitenizi ne kadar tarayabileceğini belirler. Robots.txt dosyası, bu bütçeyi etkin bir şekilde kullanmanıza yardımcı olur. Önemli sayfaların taranmasına izin verilirken, önemsiz veya gereksiz sayfaların taranması engellenir. Bu sayede, tarama bütçeniz daha verimli kullanılır.

Örnek:

User-agent: *
Disallow: /gecici-dosyalar/

Geçici dosyaların taranması engellenerek, tarama bütçesi daha önemli sayfalara yönlendirilir.

Teknik ve Genel SEO Çalışmalarını Güçlendirir

Robots.txt dosyası, teknik SEO'nun temel taşlarından biridir. Bu dosya sayesinde arama motorlarına sitenizin yapısı hakkında doğru sinyaller gönderebilirsiniz. Doğru yapılandırılmış bir robots.txt dosyası, sitenizin genel SEO performansını olumlu yönde etkiler. Arama motorlarının sitenizi daha iyi anlamasına yardımcı olur ve gereksiz sayfaların indekslenmesini engelleyerek arama sonuçlarındaki sıralamanızı iyileştirebilir.

Robots.txt Dosyası Nasıl Oluşturulur?

Öncelikle bu dosyanın varlığını kontrol edelim. Robots.txt dosyasına erişmek için web sitenizin ana adresinin sonuna /robots.txt eklemeniz yeterlidir (örneğin, https://semust.com/robots.txt). Eğer dosya mevcutsa, tarayıcınızda görüntülenir ve bu dosyadaki talimatlar arama motorları tarafından dikkate alınır. Dosya yoksa, yeni bir robots.txt dosyası oluşturabilir ve içerisine istediğiniz talimatları ekleyebilirsiniz.

Robots.txt dosyasını oluştururken ilk adım, izinlerin hangi botlara uygulanacağını belirlemektir. Bu, User-agent direktifi ile yapılır. User-agent (Google Bot User-Agent listesi), bir arama motorunun botunu veya tüm botları hedefleyen bir kural yazmanıza olanak tanır. Örneğin:

User-agent: *

Bu kural, tüm arama motoru botları için geçerlidir. Eğer sadece Google'ın botlarını hedeflemek isterseniz, şu şekilde yazabilirsiniz:

User-agent: Googlebot

Bu talimat, yalnızca Google'ın web sayfalarını tarayan botu için geçerlidir. Ayrıca, sadece görsel arama yapan botları hedeflemek isterseniz şu örneği kullanabilirsiniz:

User-agent: Googlebot-Image

Bu durumda, yalnızca Google'ın görsel tarama botları bu talimatlara uyacaktır.

Bir sonraki adımda, sitenizin hangi bölümlerine erişimin kısıtlanacağını belirtmek için Disallow direktifini kullanabilirsiniz. Bu komut, belirli sayfaların veya dizinlerin arama motoru botları tarafından taranmasını engeller. Örneğin:

Disallow: /ozel-dizin/

Bu komut, ozel-dizin adındaki dizinin taranmasını engeller. Eğer bir sayfanın taranmasını tamamen engellemek istiyorsanız, tam yolunu yazabilirsiniz:

Disallow: /gizli-sayfa.html

Bu komutla, gizli-sayfa.html dosyasının taranmasını engellersiniz.

Eğer tüm sitenizin taranmasını engellemek istiyorsanız, şu şekilde bir talimat yazabilirsiniz:

User-agent: *

Disallow: /

Bu, tüm botların sitenizin hiçbir bölümünü taramamasını sağlar. Ancak bu tür bir talimatı dikkatli kullanmanız gerektiğini unutmayın, çünkü bu durum sitenizin arama motorlarında görünmesini tamamen engelleyebilir.

Robots.txt dosyasına eklenebilecek başka direktifler de mevcuttur, örneğin Allow direktifi ile belirli bir sayfanın taranmasına izin verebilir veya Sitemap direktifi ile sitenizin site haritasının yerini arama motorlarına bildirebilirsiniz:

Sitemap: https://semust.com/sitemap.xml

Robots.txt dosyanızı test etmek için Semust Robots.txt Test Aracını deneyebilirsiniz.

Robots.txt Dosyası Nereye Yüklenir?

Sitenin kök dizinine eklenmesi gerektiği bilinmektedir. Yani, semust.com/robots.txt yazarak erişeceğiniz alanda talimatlarınızı bulundurmalısınız. URL kontrolü ve arama motoruna yönlendirmeler ancak bu şekilde sağlanacaktır.

Ayrıca, her domain için ayrı bir dosya oluşturulması gerekir. Subdomain kullanıyorsanız bu adres için de bir talimat dosyası oluşturmanız gerektiğinizi unutmamalısınız. Çünkü her domain adresi (subdomain olması fark etmeksizin) ayrı bir ana makinede yer almaktadır.

SEO Çalışmalarında Robots.txt Dosyasının Önemi Nedir?

İlk defa web sitesi açan ya da SEO alanında yeterli bilgisi olmayanlar için robots dosyası karışık, anlamsız ve gereksiz gelebilir. Halbuki her zaman işlevsel olmasa da neredeyse web sitesinde bulunması zorunlu olan bir dosya tipidir. Çünkü teknik SEO çalışmalarında etkisi oldukça büyüktür.

Eğer bahsedilen bu dosya web sitenizde yoksa arama motoru botları web siteniz için karmaşık yollar izler, istediğiniz alanlara yönelmez. Dış ve iç SEO çalışmalarınız yeterli olsa da son aşamada tarama ve indeksleme yönlendirmelerini doğru vermediğiniz için karşılıksız bir durum elde edilir. Sonuç olarak, robots.txt dosyası SEO olan her alanda olmalıdır.

Robots.txt Hakkında Sıkça Sorulan Sorular

Robots.txt Olmazsa Ne Olur?

Eğer bir web sitesinde robots.txt dosyası bulunmazsa, arama motoru botları ve diğer web tarayıcıları varsayılan olarak tüm sayfaları taramaya ve indekslemeye çalışır. Robots.txt dosyası, web sitesi sahiplerinin arama motorlarına hangi sayfaların taranabileceğini veya taranamayacağını belirtmelerine olanak tanır.

Robots.txt Kontrolü Nasıl Yapılır?

Robots.txt dosyasını kontrol etmek için, web sitesinin URL'sine "/robots.txt" ekleyip tarayıcınızda açmanız yeterlidir.

Robots.txt Dosyası Nereye Atılır?

Robots.txt dosyasını, FTP istemcisi veya hosting kontrol panelinizdeki dosya yöneticisiyle web sitenizin ana dizinine erişip oraya yükleyebilirsiniz. index.php’nin bulunduğu kısım olarak aklınızda tutabilirsiniz.