Merhaba benim sorun Robots.txt oluşturuken nelere dikkat edilmeli ve özellikle üyelik sistemlerinde misafirlere sınırlı haklar verdiğimiz de nasıl bir yöntem izlenmeliki botlar indexlerken sorun yaşamasınlar? duyduuma göre robots.txt de aramam botları için kullanıcı adı şifre belirte biliyormuşuz bunu nasıl yapabiliriz ?
Root directory'e yerleştirdiğimiz robots.txt ile arama motorlarının site içerisinde nerelere girmemesi gerektiğini söylebiliyoruz. Normalde botlar buldukları heryeri taramaya ayarlıdırlar. Yani girdiği sayfada ne kadar linl varsa, o linklere bağlı ne kadar site varsa kontrol eder, çok benzeyen (aynı TITLE, benzer içerik vb.) eleyip arama motorlarına bu sayfaları eklerler.
Robots.txt dosyasi normalde üç parcadan olusur.
1) The UserAgent
2) Disallow
3) Sitemap
UserAgent kısmı verilecek komutun hangi arama motoru/bot için olduğunu söylemek için kullanılır. Eğer, komutun bütün arama motorları botları için geçerli olmasını istersek UserAgent kismini "*" şeklinde ayarlayabiliriz.
Komut kısmında ise hem "allow" hem "disallow" kullanılabilmesine rağmen, "allow" denilip izin verilmiş olan komutları göz ardi ederler çünkü normalde de eğer bir kisitlama yoksa dosyayı taramak için zaten ayarlıdırlar. Ancak sayfanızda JavaScript Pop-up kullanıyorsanız botlar JavaScriptleri okumakta güçlük çektiği için SiteMap'a bu URL'leri manuel olarak eklemenizi tavsiye ederim.
Bu aşagıdaki komut botların taramasına izin vermesine rağmen normalde gerekli değildir.
User-agent: *
Allow:
Bu komut ise her türlü bota siteyi taramaması komutunu vericektir..
User-agent: *
Disallow: /
Vbulletin kullandığını bildiğim için sana şu şekilde bir örnek verebilirim.
User-agent: *
Disallow: /admincp/
Disallow: /announcement.php
Disallow: /calendar.php
Disallow: /cron.php
Disallow: /editpost.php
Disallow: /faq.php
Disallow: /joinrequests.php
Disallow: /login.php
Disallow: /member.php
Disallow: /misc.php
Disallow: /modcp/
Disallow: /moderator.php
Disallow: /newreply.php
Disallow: /newthread.php
Disallow: /online.php
Disallow: /printthread.php
Disallow: /private.php
Disallow: /profile.php
Disallow: /register.php
Disallow: /search.php
Disallow: /sendmessage.php
Disallow: /showgroups.php
Disallow: /showpost.php
Disallow: /subscription.php
Disallow: /subscriptions.php
Disallow: /threadrate.php
Robotlarin bütün bu dosyaları taramasını durdurmak istiyorsan bu şekilde bir robots.txt yapabilirisin. Bu yukarıdaki robots.txt vbulletin'de kullanılabilir bir şekilde olmasına rağmen bazı komutları bazı siteler için koymak istemeyebilirsin. Mesela register kısmının açık olmasının faydası olabilir.
Robots.txt dosyasını ASCII olarak kaydetmek lazımdır. Folder isimlerinde büyük küçük harflere dikkat etmek gerekir. Robots.txt dosyasını koyduktan bir süre sonraya kadar beklemek gerekir. Botlar komutları hemen yerine getirmeye başlamayabilirler, ancak herhangi bir robot.txt dosyasına ulaşınca özellikle Google 2 günde bir bu dosyayı değişiklik var mı yok mu diye takip edicektir, buda değişikleri hızlı indexlemesi anlamına gelir.
Bir diğer önemli olan hususta sayfanızdan zararlı botları uzak tutmanızdan geçer. Bir çok bot sayfanızda e-mail adresleri arar, veya formlara reklam yapmak için (Ziyaretçi defterleri, şifre gerektirmeyen forumlar, yorum sayfaları vb.) girerler. Bu tarz zararlı botların bir listesi eklentideki gibidir. Tabiiki her geçen gün bu sayı dahada artmakta, özellikle çok trafiği olan ve kodlamada boşluk olan siteleri arayıp bulmaya çalışırlar. Bu yüzden vBulletin kayıt formundaki gibi bir çok site artık GD Library kullanarak resimli onay kodu sormaya başladı.
Şunu unmtmayınki Google sadece kullanıcılara açık siteleri görür ve indexler. Bazı şifreli siteleri buna rağmen indexlediğini söyleyeceksiniz, bu doğrudur ancak Google bunu bilinçli olarak yapmaz. Google kendi arama motorundan kullanıcıyı bir sayfaya gönderiyorsa o bilgiye en kolay yoldan ulaşmasını ister. Google'ın indexlediği sayfalarda büyük ihtimalle açık vardır ve Google bu sayfaları. Ancak bunu siz bilerek yaparsanız bu "Google Webmaster Guidelines" yani Google kurallarına aykırıdır ve uzun vadede size yarar değil zarar getirebilir. İngilizce SEO kaynaklarından en iyisi Matt Cutts'ın sitesidir. Matt Cutts Google'in algoritmasından sorumlu kişidir ve kişisel blogu var. [SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
Yukarıda verdiğim adresten Google'in Sitemap sorumlusu Vanessanın yazısı var.
"Googlebot and other search engine bots can..." diye devam eden paragrafta kısaca, Google'in üye olmayanların göreceği şekilde sayfaları indexleyeceğini, bu yüzden sitenizle ilgili önemli bilgilerin kullanıcı giriş yapmadan sitenizde olması gerektiğini, eğer üye olmayanlara açık sayfanızda sadece 1 paragraf yazı varsa sitenizin içeriğinin ne olduğu hakkında yazı olması gerektiğini söylüyor. Aksi taktirde kullanıcının içerikle alakalı olmayan arama kelimelerinden sitenize geleceğini, bununda kullanıcıların ilgisini çekmeyeceğini söylüyor. Yani sitenizin kısmen üye olmayanlara bilgi verecek şekilde, detayları ise şifreli yaparsanız en azından kullanıcıların sitenizi bulacağını ve istediği taktirde hesap açacağını söylüyor.
Google'in çok büyük şirketler için yazmış olduğu bir yazılım var. Bu yüksek meblalarla kullanıcılara satımakta. Eğer eBay gibi bir siteniz varsa ve Google'i kaybetmek istemiyorsanız CSBE adı verilen (Google Custom Search Business Edition) satın alarak sorduğunuz soruyu yapabilirsiniz. Yalnız bu yazılım hem çok yeni, hemde çok pahalıdır. Bu yazılımı aldıktan sonra sayfanızada Google Search koyuyorsunuz. Kullananların yorumlarına bakılırsa yazılımdan memnunlar ve ileride çok popüler olacak. Bu konuda detaylı bilgiyi aşağıdaki adresten bulabilirsin: [SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
Google Custom Search Business Edition Fiyatları:
Arama 5000 web sayfasından az ise: $100/Senelik
Arama 50000 web sayfasından az ise: $500/Senelik
Arama 100000 web sayfasından az ise: $850/Senelik
Arama 300000 web sayfasından az ise: $2250/Senelik
Son olarak Robots.txt dosyanızın en altına,
Sitemap: [SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
gibi bir satır koyunki botlar robots.txt dosyanıza baktığında site haritanızıda görsün ve indexlesin. Daha sonrada Robots.txt hazirladiktan sonra doğru çalışıp çalışmadığını aşağıdaki linken kontrol edin:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
İyi çalışmalar,
__________________
SEO TURK ADMIN [SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
Bu sorduğun yapılabilir bir şey aslında ve yapan büyük siteler var. Mesela webmasterworld.
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
burada ki sayfalar indexleniyor ama gitmeye çalışınca üye olmak gerekiyor.
bunu yapan yine ücretli olan gazeteler var. Bulabildiğim örnekler Economist ve New York Times. ama bu robots.txt'den diilde session id ve cookieler sayesinde yapılıyor.
Robots.txt zaten dışarıdaki kullanıcıların görebiliceği bir yer ve oraya koymak istemezsin şifreleri. Ama botları htaccessiden tanımlıyıp cookieler olmadan içeri sokman mümkün. bu normalde cloaking olmasına rağmen doğru yapan sitelerin problem yaşamadığı bir çok örnek var.
Google'da aramada çıkan sonuçtan login ekranına geliyor kullanıcı. Ve yukarıda ki linkden bakarsan google bu sayfaların cache: versiyonunuda göstermiyor kullanıcılara. Yani bulduğun sayfada sadece başlık ve description görüyorsun ama içeriği okumak için üye olmak gerekiyor.
Bu forumlar cookielerle kullanıcıları tanıyor. Yanı ayarların server bazında belirli botlara cookieler olmadan iceri girebilmesi izni verilerek yapılıyor. Session id olan sitelerde bu aslında daha problemli. Cunku tepede URL'nin bir parcası olarak session id ekleniyorsa bu sefer kopya içerik problemi çıkıcaktır. Bot her geldiginde farklı session id verilirse aynı sayfalrı farklı URL'ler gibi gorebilir. Session id olan sitelerde bot'un geldiginde tanımlanıp session idlerin iptal edilmesi lazım. Botlar bu arada cookie kabul edicek şekilde ayarlı diillerdir.
Dediğim gibi serverdan ayarlarsan botları gizli sayfaları indexletebilirsin ama robots.txt den bunun olabiliceğini hiç sanmıyorum. Birde cloaking bazı türleri kullanıcıyı kandırmamak için yapılırsa kabul edilir oluyor ama yanlış ayarlar problem yaratabilir.
ya şu an aslında sitemde misafirler ilk mesajı görebiliyor sonrai mesajları ve linkleiri görebilmesi için üye olması gerekiyor buda bir çözüm geldi bana ama botlara bir kullanıcı adı şifre verip ayrıca yani kendi şifremi değil normal üye gibi algılatabilip gerekli yerleri görebilmesini sağlamak için böyle bir şey varmı diye sordum biraz daha araştırmak gerekcek anlaşılan bir yerde duymuştum robots.txt ile botlara kullanıcı adi şifre verilebildiğini gerçi orasıda çok bilgili değildi bu konuda oda bir duyumdu açıkçası saolun ilginiz ve bilgileriniz için eğer bulursam böyle bişey payaşacağım hemen
7. Mayıs 2008, 19:42:48
Robots.txt
saolun ilginiz ve bilgileriniz için 
eğer bulursam böyle bişey payaşacağım hemen 
Normal
