Root directory'e yerleştirdiğimiz robots.txt ile arama motorlarının site içerisinde nerelere girmemesi gerektiğini söylebiliyoruz. Normalde botlar buldukları heryeri taramaya ayarlıdırlar. Yani girdiği sayfada ne kadar linl varsa, o linklere bağlı ne kadar site varsa kontrol eder, çok benzeyen (aynı TITLE, benzer içerik vb.) eleyip arama motorlarına bu sayfaları eklerler.
Robots.txt dosyasi normalde üç parcadan olusur.
1) The UserAgent
2) Disallow
3) Sitemap
UserAgent kısmı verilecek komutun hangi arama motoru/bot için olduğunu söylemek için kullanılır. Eğer, komutun bütün arama motorları botları için geçerli olmasını istersek UserAgent kismini "*" şeklinde ayarlayabiliriz.
Komut kısmında ise hem "allow" hem "disallow" kullanılabilmesine rağmen, "allow" denilip izin verilmiş olan komutları göz ardi ederler çünkü normalde de eğer bir kisitlama yoksa dosyayı taramak için zaten ayarlıdırlar. Ancak sayfanızda JavaScript Pop-up kullanıyorsanız botlar JavaScriptleri okumakta güçlük çektiği için SiteMap'a bu URL'leri manuel olarak eklemenizi tavsiye ederim.
Bu aşagıdaki komut botların taramasına izin vermesine rağmen normalde gerekli değildir.
User-agent: *
Allow:
Bu komut ise her türlü bota siteyi taramaması komutunu vericektir..
User-agent: *
Disallow: /
Vbulletin kullandığını bildiğim için sana şu şekilde bir örnek verebilirim.
User-agent: *
Disallow: /admincp/
Disallow: /announcement.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /misc.php
Disallow: /modcp/
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /subscriptions.php
Disallow: /threadrate.php
Robotlarin bütün bu dosyaları taramasını durdurmak istiyorsan bu şekilde bir robots.txt yapabilirisin. Bu yukarıdaki robots.txt vbulletin'de kullanılabilir bir şekilde olmasına rağmen bazı komutları bazı siteler için koymak istemeyebilirsin. Mesela register kısmının açık olmasının faydası olabilir.
Robots.txt dosyasını ASCII olarak kaydetmek lazımdır. Folder isimlerinde büyük küçük harflere dikkat etmek gerekir. Robots.txt dosyasını koyduktan bir süre sonraya kadar beklemek gerekir. Botlar komutları hemen yerine getirmeye başlamayabilirler, ancak herhangi bir robot.txt dosyasına ulaşınca özellikle Google 2 günde bir bu dosyayı değişiklik var mı yok mu diye takip edicektir, buda değişikleri hızlı indexlemesi anlamına gelir.
Bir diğer önemli olan hususta sayfanızdan zararlı botları uzak tutmanızdan geçer. Bir çok bot sayfanızda e-mail adresleri arar, veya formlara reklam yapmak için (Ziyaretçi defterleri, şifre gerektirmeyen forumlar, yorum sayfaları vb.) girerler. Bu tarz zararlı botların bir listesi eklentideki gibidir. Tabiiki her geçen gün bu sayı dahada artmakta, özellikle çok trafiği olan ve kodlamada boşluk olan siteleri arayıp bulmaya çalışırlar. Bu yüzden vBulletin kayıt formundaki gibi bir çok site artık GD Library kullanarak resimli onay kodu sormaya başladı.
Şunu unmtmayınki Google sadece kullanıcılara açık siteleri görür ve indexler. Bazı şifreli siteleri buna rağmen indexlediğini söyleyeceksiniz, bu doğrudur ancak Google bunu bilinçli olarak yapmaz. Google kendi arama motorundan kullanıcıyı bir sayfaya gönderiyorsa o bilgiye en kolay yoldan ulaşmasını ister. Google'ın indexlediği sayfalarda büyük ihtimalle açık vardır ve Google bu sayfaları. Ancak bunu siz bilerek yaparsanız bu "Google Webmaster Guidelines" yani Google kurallarına aykırıdır ve uzun vadede size yarar değil zarar getirebilir. İngilizce SEO kaynaklarından en iyisi Matt Cutts'ın sitesidir. Matt Cutts Google'in algoritmasından sorumlu kişidir ve kişisel blogu var.
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
Yukarıda verdiğim adresten Google'in Sitemap sorumlusu Vanessanın yazısı var.
"Googlebot and other search engine bots can..." diye devam eden paragrafta kısaca, Google'in üye olmayanların göreceği şekilde sayfaları indexleyeceğini, bu yüzden sitenizle ilgili önemli bilgilerin kullanıcı giriş yapmadan sitenizde olması gerektiğini, eğer üye olmayanlara açık sayfanızda sadece 1 paragraf yazı varsa sitenizin içeriğinin ne olduğu hakkında yazı olması gerektiğini söylüyor. Aksi taktirde kullanıcının içerikle alakalı olmayan arama kelimelerinden sitenize geleceğini, bununda kullanıcıların ilgisini çekmeyeceğini söylüyor. Yani sitenizin kısmen üye olmayanlara bilgi verecek şekilde, detayları ise şifreli yaparsanız en azından kullanıcıların sitenizi bulacağını ve istediği taktirde hesap açacağını söylüyor.
Google'in çok büyük şirketler için yazmış olduğu bir yazılım var. Bu yüksek meblalarla kullanıcılara satımakta. Eğer eBay gibi bir siteniz varsa ve Google'i kaybetmek istemiyorsanız CSBE adı verilen (Google Custom Search Business Edition) satın alarak sorduğunuz soruyu yapabilirsiniz. Yalnız bu yazılım hem çok yeni, hemde çok pahalıdır. Bu yazılımı aldıktan sonra sayfanızada Google Search koyuyorsunuz. Kullananların yorumlarına bakılırsa yazılımdan memnunlar ve ileride çok popüler olacak. Bu konuda detaylı bilgiyi aşağıdaki adresten bulabilirsin:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
Google Custom Search Business Edition Fiyatları:
Arama 5000 web sayfasından az ise: $100/Senelik
Arama 50000 web sayfasından az ise: $500/Senelik
Arama 100000 web sayfasından az ise: $850/Senelik
Arama 300000 web sayfasından az ise: $2250/Senelik
Son olarak Robots.txt dosyanızın en altına,
Sitemap:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
gibi bir satır koyunki botlar robots.txt dosyanıza baktığında site haritanızıda görsün ve indexlesin. Daha sonrada Robots.txt hazirladiktan sonra doğru çalışıp çalışmadığını aşağıdaki linken kontrol edin:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
İyi çalışmalar,