Xilonen,
Bu sorduğun yapılabilir bir şey aslında ve yapan büyük siteler var. Mesela webmasterworld.
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
burada ki sayfalar indexleniyor ama gitmeye çalışınca üye olmak gerekiyor.
bunu yapan yine ücretli olan gazeteler var. Bulabildiğim örnekler Economist ve New York Times. ama bu robots.txt'den diilde session id ve cookieler sayesinde yapılıyor.
Robots.txt zaten dışarıdaki kullanıcıların görebiliceği bir yer ve oraya koymak istemezsin şifreleri. Ama botları htaccessiden tanımlıyıp cookieler olmadan içeri sokman mümkün. bu normalde cloaking olmasına rağmen doğru yapan sitelerin problem yaşamadığı bir çok örnek var.
Google'da aramada çıkan sonuçtan login ekranına geliyor kullanıcı. Ve yukarıda ki linkden bakarsan google bu sayfaların cache: versiyonunuda göstermiyor kullanıcılara. Yani bulduğun sayfada sadece başlık ve description görüyorsun ama içeriği okumak için üye olmak gerekiyor.
Bu forumlar cookielerle kullanıcıları tanıyor. Yanı ayarların server bazında belirli botlara cookieler olmadan iceri girebilmesi izni verilerek yapılıyor. Session id olan sitelerde bu aslında daha problemli. Cunku tepede URL'nin bir parcası olarak session id ekleniyorsa bu sefer kopya içerik problemi çıkıcaktır. Bot her geldiginde farklı session id verilirse aynı sayfalrı farklı URL'ler gibi gorebilir. Session id olan sitelerde bot'un geldiginde tanımlanıp session idlerin iptal edilmesi lazım. Botlar bu arada cookie kabul edicek şekilde ayarlı diillerdir.
Dediğim gibi serverdan ayarlarsan botları gizli sayfaları indexletebilirsin ama robots.txt den bunun olabiliceğini hiç sanmıyorum. Birde cloaking bazı türleri kullanıcıyı kandırmamak için yapılırsa kabul edilir oluyor ama yanlış ayarlar problem yaratabilir.