Arama Motorları Nasıl Çalışır?

Arama motorları internet alemine açılan portallarımız. Kullanıcıların merak ettikleri konulara milisaniyeler düzeyinde cevap vermek için devasa bilgi dağlarını tarayarak kategorileştirirler. Günlük hayatımızda bilgiye erişimi basitleştiren arama motorları arka planda tam olarak nasıl çalışıyor?

Arama motorları, kullanıcıların arama niyetini analiz ederek onlara en uygun sonuçları göstermek için yapay zeka destekli son teknoloji algoritmalar kullanır. Bu algoritmalar, interneti oluşturan milyarlarca web sitesini keşfeder, sınıflandırır ve sıralar. Arama motorları hali hazırda veri tabanlarında sayfalarla ilgili verileri biriktirir. Böylelikle aramalarımızla eşleşen URL’lerle sorularımıza ışık hızında cevap verebilir.

Arama motorlarının gerçekleştirdiği karmaşık işlemleri 3 ana maddede özetleyebiliriz:

Öncelikle arama motorları web sayfalarını okuması için botlarını gönderir
Sonrasında sayfalardaki bilgileri okuyan botlar bu bilgileri devasa veri tabanlarında depolar ve
Sorularımıza bu veri havuzlarında tuttukları bilgilerden en uygun olanlarıyla cevap verir

Veri tabanlarında tutulan tüm bilgiler aslında web sayfalarının sıralama faktörlerini veya özelliklerini kapsar. Sıralama faktörleri, arama motorlarının kullanıcının aradığı bilgiyi bulma olasılığı en yüksek olan sayfaları belirlemesine yardımcı olur.

Arama motorlarının çalışma prensibini anlamak otomatik olarak SEO stratejiniz için de faydalıdır. Web sayfalarının neden iyi sıralama aldıklarını analiz etmeye başladığınızda siz de daha yüksek sıralama potansiyeline sahip güçlü içerik planları oluşturabilirsiniz.

Arama motorlarının işlerini iyi yapabilmeleri için web sitenizdeki bilgileri tam olarak anlamaları ve bunları kullanıcılara mantıklı bir şekilde ulaştırmaları gerekir. Bu işlemi gerçekleştirmek adına 3 şey yaparlar: Tarama, indexleme ve sıralama.

Bu üç süreci tamamlarken arama motorları, yeni hazırlanan tüm içerikleri keşfeder, bu yeni bilgileri sunucularında depolar ve sizin kullanımınıza uygun şekilde düzenler.

Tarama: Arama motorları sayfalarınızı nasıl bulur?

Arama motorları için tarama ne anlama gelir?

Arama motorları tarama işlemi sayesinde sayfalarınıza ulaşır. Tarama yapmak için kendi web tarayıcılarını gönderirler (botlar ya da örümcekler olarak da biliyoruz).

Tarama sürecini Örümcek Adam’ın ağ atması gibi düşünebilirsiniz. Fakat tarama işleminde Örümcek Adam’ın bileğinden ağ çıkmıyor da çok özel bilgisayarlar devasa bir duvar oluşturuyor.

Tarayıcılar sayfalarınızı okuyarak içeriklerinizi inceliyor. Tarama işlemini özellikle web sitenize yeni sayfalar eklediğinizde ya da içeriklerinizi güncellediğinizde gerçekleştiriyorlar.

Arama motorları için tarama işlemi, URL’leri, site haritalarını, içerikleri ve kodları tanıma sürecini ifade ediyor. Böylelikle sayfanızdaki içeriğin türünü anlıyor ve bir sonraki tarama işlemini nerede yapacaklarını tespit ediyorlar.

Dahili bağlantılar (internal links) web sitenizdeki içerikleri ve görselleri birbirine bağlar. Dolayısıyla iç linklemeler arama motoru botlarını sitenizdeki diğer sayfalara yönlendirmede büyük rol oynar. Ayrıca bu linkler tarayıcıların sitenizdeki sayfaları keşfetmesine ve bu sayfalardaki içeriklerin neyle ilgili olduğunu anlamasına yardımcı olmak için site haritalarını destekler. Sonuç olarak SEO puanınızı yükseltmek adına sitenizde iyi bir iç linkleme yapmanız oldukça önemli.

Arama motorlarına sitenizi nasıl taratacağınızı söyleyin

Arama motorlarının çalışma sürecinde (önce tarama, sonra sıralama aşaması), web sitesi sahibinin ya da SEO uzmanının etkisi farklı seviyelerde değişir. Bazı durumlarda siz aktif olarak yönlendirme yapabilirsiniz (örneğin site haritası eklemek, iç linkleme yapmak, teknik SEO düzenlemeleri yapmak). Ancak işin sıralama tarafına gelindiğinde, arama motoru algoritmaları tamamen kendi kriterlerine göre karar verdiği için, sizin kontrolünüz çok daha sınırlı olur ve bu noktada sadece “en iyisini ummak” durumuna düşersiniz.

Yani özetle:

Tarama aşamasında kontrol sizde daha fazladır.
Sıralama aşamasında ise kontrol arama motorundadır.

Arama motorları sayfalarınızı nasıl tarayacağını belirlemek için kendi algoritmalarını kullanıyor. Ancak Robots.txt dosyalarınız aracılığıyla arama motorlarına neleri taraması gerektiğini özel olarak söyleyebilirsiniz. Arama motoru botlarını misafiriniz olarak düşünün. Bu noktada botları tarama yapmak için evinize davet ediyorsunuz ama Robots.txt dosyalarıyla bazı kapıları kapatarak misafirlerinizin oturabileceği oda sayısını (tarama alanını) sınırlıyorsunuz.

Robots.txt

Robots.txt dosyaları arama motoru botlarına, hangi sayfaların taranabileceği, hangilerinin ise dışarıda bırakılacağı konusunda yönlendirme yapar.

Bu dosyalar web sitenizin kök dizininde bulunan basit içerik dosyalarıdır: (www.domain.com/robots.txt)

Robots.txt içinde “kullanıcı aracısı” tanımlanır ve bu botun hangi dosyalara erişebileceğini belirtir. Kullanıcı aracısı “googlebot” gibi belirli olabilir ya da “*” işareti kullanılarak tüm botlar için geçerli hale gelebilir.

Google’ın bir sayfanızı taramasını istemiyorsanız (yani sayfanın arama sonuçlarında görünmesini istemiyorsanız) bunu en iyi şekilde "noindex" etiketi kullanarak yapabilirsiniz. Yani robots.txt dosyalarıyla taramayı kısıtlasanız da Google yine de sayfalarınızı fark ederek indexleyebilir. Oysa noindex, Google’a bu sayfanın arama sonuçlarında kesinlikle yer almaması gerektiğini açıkça söyler.

Site Haritaları (Sitemaps)

Site haritaları arama motoru botlarına sayfalarınızın nerede olduğunu, nasıl sıralandıklarını, bu sayfaların hangilerini ne sıklıkla taramaları gerektiğini gösterir. Sitenizdeki URL’lerin bir listesinden oluşan site haritaları, botların sitenizi verimli ve kapsamlı bir şekilde tarayabilmeleri adına olmazsa olmazdır.

İyi hazırlanmış bir site haritası:

Sayfanın formatı (örneğin video mu görsel mi)
Ne sıklıkta güncellendiği ve
Sayfanın görüntülenebileceği diğer diller hakkında bilgileri içerir.

Ayrıca site haritaları sayesinde sıklıkla güncellediğiniz sayfalara öncelik verebilirsiniz. Böylece botlar bu sayfaları durağan ve sizin için pek önemli olmayan sayfalara kıyasla daha sık tarar.

Özetle site haritaları, sayfalarınızın görünürlüğünü ve bağlamını iyileştirerek SEO performansınızı artırır.

Yönlendirmeler (Redirects)

Yönlendirmeler arama motoru botlarına bir sayfayı başka bir yere taşıdığınızı bildiriyor.

Genellikle bir içeriğinizi güncellediğinizde sayfaya daha yeni ve zengin bilgiler ekleyerek bu içeriği tekrardan yayına alırsınız. İçerikleriniz geliştiğinde botlar konumunu bildikleri için tekrardan aynı noktaya dönerek sayfanızın yeni sürümünü tarar.

Ancak bir sayfanın URL’sini değiştirir veya onu tamamen başka bir adrese yönlendirirseniz, eski bağlantınız internette artık gözükmez. Yönlendirmeler (redirects) bu noktada botlara eski URL’nin yerine yeni bir sayfayı tanıması gerektiğini bildirir.

301 yönlendirmesi, botlara yeni hedef sayfanın nihai, kanonik sürüm olarak değerlendirilmesi gerektiğini bildirir. Daha açıklayıcı bir ifadeyle arama motoru botları eski sayfanın artık kullanılmadığını ve yeni hedef sayfanın asıl (kanonik) sürüm olarak kabul edilmesi gerektiği bilir. Böylece Google ve diğer arama motorları, eski adresi bırakıp kalıcı olarak yeni sayfayı esas alır.

Tarama ile ilgili sorunlar

Eğer arama motorları botlarını gönderdiğinde sitenizi taramakla ilgili sorun yaşarsa bu durum sitenizin SEO’su açısından büyük problemlere yol açabilir. Taranmayan sayfalar indexlenmez ve arama sonuçlarında çıkmaz böylece sitenizin görünürlüğü de olumsuz etkilenir.

Arama motoru botları neden sayfalarınızı tarayamıyor?

Tarama sorunları temelde birkaç problemden kaynaklanır. Botlar genelde ulaşamadıkları sayfaları taramaz. Örneğin; oturum açarak girilen sayfalar genellikle taranmaz. Diğer bir nokta da uygun bir yönlendirme yapılmadan taşınan veya silinen sayfaları anlatan 404 error (sayfa bulunamadı) hataları. Ek olarak 500 errors (sunucu kaynaklı sorunlar) da web sitenizin sunucusunda bir sorun olduğunu gösterir.

Web sitenizde 500 hataları ile karşılaşıyorsanız botlar sayfalarınızı tarayamaz. Fakat bu problemi kolayca çözebilirsiniz. Bu hataları kolayca bulup çözmek için Semust Teknik SEO Aracı gibi araçları kullanabilirsiniz. Site İçi SEO Aracı ayrıca sayfanızda bir tarama sorunu olduğunu gösteren kırık linkleri de kolayca tespit eder.

Index: Arama motorları sayfa detaylarınızı nasıl depolar?

Arama motorları için Index ne anlama gelir?

Indexleme süreci, tarayıcıların her sayfada tespit ettiği önemli sorunların listesini içerir. Arama motorları sayfaları içerik konularına göre depolamak amacıyla yazılım kullanır böylelikle daha sonrasında aramalara yanıt verirken bu arşivden yararlanırlar. Bu kapsamlı işlem süreci web sayfalarınızdaki bilgileri devasa veri tabanlarına aktarır.

Indexleme işleminde botlar, bir sayfa hakkındaki pozitif veya negatif sıralama sinyali içeren tüm bilgileri kaydeder. Ayrıca sayfa etiketlerini ve diğer detayları da inceleyerek bu sayfanın indexte saklanıp arama sonuçlarında gösterilmeye değer olup olmadığına karar verirler.

Bir web sitesi sahibi olarak arama motorlarına sayfalarınızı nasıl değerlendireceklerini söylemenin başka spesifik yolları da bulunuyor. Fakat siz bu işlemleri yaptığınızda arama motorları sizi anlamıyor daha çok sizden sinyal alıyor gibi düşünebilirsiniz.

Meta veriler ve yapılandırılmış veriler aracılığıyla ilettiğiniz talimatlar arama motorlarına sayfalarınız hakkında çok daha fazla nitelikli bilgi verir.

Meta Veriler ve Yapılandırılmış Veriler

Meta veri sözcüğü, indexleme sürecinde pek çok arama motoru yönlendirmesini kapsar. Buradaki en önemli terim ise robots meta tags (robots meta etiketi). Meta etiketlerini web sayfanızın HTML başlığına eklerseniz arama motorlarına o sayfayı indexlememelerini ya da sayfadaki linkleri takip etmemelerini söylemiş olursunuz.

Arama motoru botlarının indexleme yapmaması için yaygın olarak kullanılan yönlendirmeler:

Noindex
Nofollow
Noarchive
Nosnippet

Index ve takip (follow) komutları varsayılan talimatlar oldukları için bu listede yer almıyor.

Index almamanın diğer bir yolu da HTTP başlığında X-Robots-Tag'ı bulundurmak. Ayrıca yine buraya kullanıcı aracısı (user agents) yerleştirirseniz, Googlebot'a nofollow talimatları verebilir ve diğer arama motoru botlarına noindex sinyali gönderebilirsiniz.

Yapılandırılmış veriler ise arama motorlarına sayfa verilerini nasıl yorumlayacaklarına dair talimatlar verir. Bu işlem, şema işaretlemesi (schema markup) adı verilen bir sistemde gerçekleşiyor.

Schema markupları yalnızca arama motorları görüyor. Bu işaretlemeler botlara noindex ya da nodisplay sinyali gönderiyor. Ek olarak sitenizde bir etkinlikle ilgili bilet satıyorsanız şema işaretlemesi sayesinde kullanıcılar aramalarda bu etkinliğin tarihini, yerini veya bilet fiyatlarını direkt görebilir. Böylelikle kişiler linkinize tıklar ve trafiğiniz otomatik olarak artar.

Schema markup kullanmak illaki botların sayfanızı daha çok tarayacağı anlamına gelmiyor ama yine de Google sevdiği için iyi bir SEO stratejisi. Özetle şema işaretlemeleri, arama botlarının sayfanızdaki içeriği daha iyi anlamasına ve böylelikle içeriğinizin zengin snippet'ler gibi gelişmiş arama sonuçlarında görünmesine yardımcı olur.

Kanonikleştirme (Canonicalization)

Arama motoru botları birbirlerine çok benzeyen sayfaları tespit ettiğinde tarayıcılar bu içerikleri birbirinden ayrıştırabilmek için bazı yönergelere ihtiyaç duyar. Web sitenizde yer alan bu benzer içeriklerin aslında belirli bir nedenden dolayı orada olduklarını tarayıcılara açıklayabilirsiniz.

Yinelenen sayfa (duplicate content) ya da near-duplicate (neredeyse kopya) sayfalara sahip olmak kötü bir şey değil. Örneğin; www ve non-www sayfaları size neredeyse aynı gibi görünebilir fakat arama motorları için bunlar ayrı iki sayfa. Aynı durum, masaüstü ve mobil sayfalar ya da HTTP ve HTTPS özelinde de geçerli.

Kanonikleştirme (canonicalization) sorununa çözüm sunmak adına karışıklığı ortadan kaldıran kanonik yollar oluşturarak arama motorları için düzenli ve temiz bir site ortaya çıkarabilirsiniz.

Sonuç olarak web sayfanızın <head> bölümüne rel="canonical" kodu eklerseniz kanonikleştirme (canonicalization) sorunu ortadan kalkacaktır.

Index ile ilgili sorunlar

Arama motorları web sitenizde başarılı bir tarama süreci geçirse dahi tüm sayfalarınızı indexlemeyebilir. Bu noktada teknik sorunlar ve içerik kaliteniz indexleme ile ilgili problem yaşamanıza neden olabilir. Şimdi bu sorunlara nasıl halledebilirsiniz bir göz atalım.

Teknik Sorunlar

Arama motoru botları için teknik sorunlar, web sitenizin yapısından ya da botların işlevini bozan koddaki problemlerden kaynaklanabilir.

Site haritası hatası gibi bazı problemler arama motorları için ön tarama problemlerine yol açabilir. Tarama sorunları domino etkisiyle indexleme sorunlarına yol açar. Fakat illaki taranmayan sayfalar otomatikman indexlenmeyecek diye düşünmeyin. Arama motorları bazen sayfaları tarar ancak indexlemez.

“Tarandı – Şu anda Dizine Eklenmedi” uyarısı, arama motorları sayfanızdan haberdar ama sayfanızda bir şey eksik olduğu için içeriğinizi dizine eklemedi anlamına geliyor.

Yönlendirme hatası veya robots.txt engellemesi gibi problemleriniz yoksa aşağıdaki maddelerden biri sayfanızın indekslenmemesine yol açmış olabilir:

Server (sunucu) Hataları ya da Teknik Sorunlar: Web siteniz arama motorları sitenizi tararken ya da indexlerken bazı sorunlar yaşıyor olabilir.
Yanlış canonical: Indexlenmesini istediğiniz sayfa yanlış canonical etiketi içeriyor olabilir.

Yukarıda bahsettiğimiz teknik hata isimleriyle karşınıza çıkan bir sayfa olursa bu sayfanın güncel durumunu Google Search Console'daki URL denetimi aracını kullanarak kontrol etmelisiniz. Sorunu halihazırda hallettiyseniz güncel durum Sayfa Index Raporu’nda gözükmüyor olabilir, biraz beklemeniz gerekebilir.

İçerik Kalitesi ve Alaka Düzeyi

Arama motorları her zaman kalitesi ve alaka düzeyi yüksek içerikleri karşımıza çıkarmak ister. Durum böyle olunca arama motorlarının kalite standartlarını karşılamayan sayfalar doğal olarak index problemi yaşayabilir.

Sayfalarınızın arama motorları tarafından indexlenmemesine yol açan bazı problemler:

Duplicate Content (Tekrarlayan veya Kopya İçerik): Web sayfanızdaki içeriklerin özgün olması arama motorları için indexlemede en önemli kriterlerden biridir. Web sitenizdeki (veya başka bir siteyle sizin sitenizdeki) sayfalar bir diğeriyle birebir aynı ya da çok benzer nitelikteyse arama motorları bu sayfaları indexlemeden atlayabilir.
Zayıf İçerik: Sayfalarınızda çok az bilgi varsa ya da destekleyici bir nitelik taşımıyorsa arama motorları sayfanızı kullanıcı için yararlı bulmayacaktır.
Kalitesi Düşük İçerik: Spam özellikleri taşıyan, aşırı reklam içeren ya da kullanıcılar için yararlı içerik barındırmayan sayfalar arama motorları tarafından cezalandırılır.

İçerik Görünürlüğü ve Erişim

Yukarıda da kısaca ifade ettiğimiz gibi sıralama almak için sayfanızın arama motorları açısından erişilebilir olması lazım. Arama motorlarının içeriğinize erişmesi demek onu insan gözü gibi görmesi anlamına geliyor.

Örneğin; diyelim ki web sayfanız düzgün çalışması için CSS, JavaScript veya görseller gibi bazı kaynaklara ihtiyaç duyuyor. Ancak bir sayfa tek başına yeterli değil, bu sayfanın doğru görüntülenmesi ve çalışabilmesi için stil dosyaları, scriptler ve görseller gibi ek unsurların da yüklenmesi gerekiyor.

Bu kaynaklardan herhangi biri taranmazsa sayfanız tamamen görüntülenmeyecektir. Dolayısıyla arama motorları sayfanızı görmediğinde muhtemelen indexlemeyecekler de.

Diğer yandan aynı şey oturum açarak girdiğimiz sayfalar için de geçerli. Arama motorları, oturum açma ekranı sonrasında görünür olan sayfalara ulaşmada problem yaşıyor. Bu nedenle bu sayfalar indexlenemiyor.

Arama Motorları vs. Tarayıcılar

Arama motorları günümüzde o kadar gelişti ki artık onları tarayıcıların ayrılmaz bir parçası olarak görüyoruz.

Tarayıcıların çoğu artık içine arama fonksiyonunu da eklediği için günümüzde tarayıcı ile arama motoru terimlerini genelde aynı anlamda kullanıyoruz. Ama aslında ikisinin de görevi birbirinden farklı.

Tarayıcılar kullanıcıların internetten bir web sayfasına ulaşmasını sağlayan yazılımlardır. En popüler tarayıcılar arasında Google Chrome, Mozilla, Firefox, Microsoft Edge ve Safari yer alıyor. Tarayıcıları telefonunuza ya da bilgisayarınıza indirebilirsiniz. Fakat çoğu zaman, web sayfalarına farklı kaynaklardan erişebilmek için (örneğin bir e-postadaki bağlantıyı açarken) cihazlarımızda varsayılan bir tarayıcı seçiyoruz.

Arama motorları ise (Google, Yahoo! ve Bing gibi) kullanıcıların arama niyetlerine uygun web sayfalarını bulmalarına yardımcı oluyor.

Tarayıcılar, kullanıcıların URL yazarak veya bağlantılara tıklayarak belirli web sitelerine (veya sayfalara) ulaşmasını sağlıyor.

Diğer yandan arama motorları, kullanıcıların belirli bir bilgiye ulaşabilmeleri için anahtar kelime ya da ifadeleri arama çubuğuna yazmasını sağlıyor. Yani kullanıcı Google, Bing gibi bir arama motoruna istediği kelimeleri yazarak internette o konuyla ilgili sonuçları görebilir. Dolayısıyla arama motorları, kullanıcı ile internet üzerindeki bilgi arasında köprü kurar.

Chrome gibi tarayıcıların içinde genellikle Google arama motoru entegre şekilde yer alır. Bu yüzden tarayıcı ve arama motoru farklı şeyler olsalar da kullanıcıya aynı şeylermiş gibi görünebilir.

Özetle:

Tarayıcı (browser): İnternete girmek için kullandığımız yazılımdır (örnek: Chrome, Firefox, Safari).
Arama motoru (search engine): İnternette bilgi aramamıza yardımcı olan sistemdir (örnek: Google, Bing, Yahoo).

Chrome’u açıp arama çubuğuna bir kelime yazdığınızda otomatik olarak Google’da arama yaparsınız. Bu durum, birçok kullanıcıda “Chrome ve Google aynı şeydir” algısına yol açıyor. Halbuki tarayıcı (browser yani Chrome) biri araçtır, arama motorları (search engines yani Google) ise hizmet.

Arama Motorları Nasıl Para Kazanır?

Arama motorları çok farklı hizmet çeşidinden para kazanıyor ama kazanç pastasının en büyük dilimini reklamlar oluşturuyor. Her arama motoru kendi reklam platformuna sahip ama bunun yanında farklı şirketlerle de işbirliğine giderek ortak reklamları gösteriyor.

Arama motoru reklamları sayesinde markalar, ürün ve hizmetlerini doğrudan arama sonuçlarında kullanıcıların karşısına çıkarabiliyor. Böylece kullanıcılar bu reklamlara her tıkladığında arama motorları bu reklam ücretlerinden komisyon alıyor.

Diğer bir reklam formu da çevrimiçi alışveriş (online shopping). Markalar kendi ürünlerini arama sonuçları sayfası üzerinden farklı alanlarda pazarlayabiliyor. Kullanıcılar olarak biz genelde bu reklam bölümlerini ürünlerin görselleri ya da ayrıntıları şeklinde görüyoruz.

Arama motorları reklam hizmetleri dışında para kazanmak için farklı alanları da kullanıyor. Örneğin Google, Google Apps (Gmail, Drive, Docs, vb.) gibi ek hizmetler sunarken, Firefox ise yeni sekme sayfalarında sponsorlu içerikler/reklamlar gösteriyor.