Web sitesinin optimize edilmesi çalışmalarında robots.txt önemli bir adımı içeriyor. Robots.txt, sahip olduğu yapı itibariyle web sitenizi ziyarete gelen arama motoru botlarına karşılamada bulunan özel bir sistemi içeriyor. Peki, robots.txt nedir? WordPress site için nasıl optimize edilir? İşte cevapları ve çok daha fazlası…
Robots.txt Nedir?
Robots.txt, arama motorlarının sahip olduğu botlar, web sitenizi ziyarete geldiğinde; site içindeki hangi bölümlerin dizine eklenebileceğini, hangi bölümleri taraması gerektiği ya da taramaması gerektiği konusunda yol gösterene komut dosyalarına verilen ismi ifade ediyor. Robots.txt tarafından gösterilen dosya izinleri üzerinden bot olarak da bilinen arama motoru örümcekleri web sitenizde gezinti sağlıyor. Web robotlarına adanmış bir kod sistemi olan robots.txt ilk kez 1995 yılında meta arama motoru olan WebCravler’ın robotlarının ev sahipliğinde oluşturuluyor. 2000 yılından itibaren ise bağımsız bir kuruluş olarak faaliyet gösteriyor. İlk ciddi modernizasyonunu ise 2007 yılında yaşıyor. Günümüzde halen milyonlarca web projesi içinde aktif olarak kullanılıyor.
Robots.txt Neden Gereklidir?
Web projesinin robots.txt dosyasına sahip olmaması ya da doğru şekilde hazırlanmamış bir robots.txt dosyasına sahip olması arama motoru sıralamalarına olumsuz ektiler oluşturabilir. Aynı zamanda doğru sayfaların dizine alınmamış olması da kullanıcıların nitelikli sayfalara ulaşamamasına neden olabilir. Tüm bunlar hem kullanıcıların hem de arama motoru botlarının değerlendirmesinde web projenizin kalite değerini düşürebilir. Robots.txt dosyası hacim olarak küçük ancak web projeniz üzerinde büyük bir etkiye sahip olduğunu unutmamalısınız.
WordPress Site İçin Robots.txt Nasıl Optimize Edilir
WordPress sisteme sahip bir web projeniz varsa, robots.txt dosyasına otomatik olarak sahip olacaksınız. Ancak onu özelleştirmek sisteminizin daha iyi sonuçlar almasını sağlayacak. Web projenizin robots.txt dosyasına sahip olup olmadığını kontrol etmek için;
Alan Adınız/robots.txt uzantısını tarayıcıda aratabilirsiniz. Eğer bir robots.txt dosyasına sahipseniz karşınıza;
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Görünümlü bir sonuç çıkacak. Ancak buna sahip değilseniz ilgili sayfaya erişemeyeceksiniz. Robots.txt’yi özelleştirmek için 2 farklı yöntem kullanabilirsiniz.
Manuel Olarak Robots.txt Oluşturma
Manuel olarak robots.txt dosyasını oluşturmak için bilgisayarınızda bulunan Not Defteri gibi bir metin programını açın.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Gösterilen kodu metin programının içine yapıştırın ve ardından dosyayı, robots.txt olarak bilgisayarınıza kaydedin. FileZilla gibi bir FTP programıyla sistem dosyalarınıza erişin. Sistem dosyaları içinde yer alan public_html klasörünü açın ve bilgisayarınızda oluşturduğunuz robots.txt dosyasını yükleyin.
YoastSEO Eklentisi İle Robots.txt Oluşturma
Manuel olarak robot.txt oluşturabileceğiniz gibi dilerseniz YoastSEO gibi eklentiler aracılığıyla da bu işlemi kolayca yapabilirsiniz. Öncelikle WordPress sisteminizin içine ilgili eklentiyi yüklemelisiniz. Ardından, YoastSEO eklentisinin araçlar menüsüne girin ve dosya düzenleyici sekmesine tıklayın. Karşınıza çıkan sayfadan robots.txt oluştur butonuna basın. Karşınıza çıkan sayfadan robots.txt dosyanıza dilediğiniz kuralları tanımlayabilirsiniz.
Robots.txt’ye Kural Nasıl Eklenir?
Robots.txt üzerinden tanımlayabileceğiniz iki talimat bulunuyor. İzin ver (allow) ve izin verme (disallow) biçimde tanımlanır. Söz konusu talimatlar bot sistemlerinin herhangi bir klasöre erişimlerine izin vermek ya da izin vermemek biçimde gerçekleşir. Örneğin;
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/ Örnekte olduğu gibi dilediğiniz dosyalara erişimi engelleyebilir, dilediğinize de erişim izni verebilirsiniz.
