Merhaba benim sorun Robots.txt oluşturuken nelere dikkat edilmeli ve özellikle üyelik sistemlerinde misafirlere sınırlı haklar verdiğimiz de nasıl bir yöntem izlenmeliki botlar indexlerken sorun yaşamasınlar? duyduuma göre robots.txt de aramam botları için kullanıcı adı şifre belirte biliyormuşuz bunu nasıl yapabiliriz ?