robots.txt dosyasinin en kötü yani herkesin ulasabiliyor olmasi ve dosya yollarinizin armut gibi gözüküyor olmasidir ( gene armut
) verdiginiz yollardaki dosya chmod ayarini acik biraktiginizda (777) dosya icine bir index.html atmadiginizda dosyalarinizin baskalari tarafindan cekilmesi icten bile degil oyüzdendirki robots.txt dosyasina girdiginiz dosya yollarinizin güvenli (644) olduguna emin olun ..
bazi spam botlar ki belali düsmanlarimdir
robots.txt dosyasini pek takmamaktadir icerisine girmemesi icin disallow eklesemde arkadas lallala seklide site icerisinde gezinmektedir bende bu durumu nasil engellerim diye arastirdigimda .htacces dosyasina eklemeler yapilarak bu isi cözebilecegimi ögrendim burada sizinlede paylasmak isterim
kodumuz bu
Kod:
RewriteCond %{HTTP_REFERER} spam botun adi
RewriteRule .* - [F,L]
direk benim .htacces dosyamdan engelledigim botlar
Kod:
RewriteCond %{HTTP_REFERER} Twiceler
RewriteRule .* - [F,L]
RewriteCond %{HTTP_REFERER} WebAlta
RewriteRule .* - [F,L]
RewriteCond %{HTTP_REFERER} WebBandit
RewriteRule .* - [F,L]
RewriteCond %{HTTP_REFERER} msnbot-media
RewriteRule .* - [F,L]
RewriteCond %{HTTP_REFERER} ia_archiver/1.6
RewriteRule .* - [F,L]
umarim yararli olur...