Robots.txt nedir ve ne icin kullanilir

Administrator · #1 (**permalink**) 24. Nisan 2008, 04:48:52

Robots.txt dosyası arama motorlarının siteniz uzerindeki hareketlerini kısıtlamak için kullanılan bir dosyadir. Arama motorları otomatik olrak hareket etmeye programlanmışlardır ve siteye ilk geldiklerinde robots.txt dosyasını var olup olmadıgına bakarlar. Eger arama motorlarını kısıtlamak istemiyorsaniz robots.txt dosyasına içerikli yada içeriksiz ihtiyaciniz yoktur.

Robots.txt dosyasi root folder diye adlandırılan index dosyanizin bulundugu yerde bulunmalıdır. Subdirectory denilen alt bolumler kullanıyorsanız buraya koyucagınız robots.txt dosyalarının bir faydasi olmayacaktır.
http://www.ornek.com/robots.txt gecerli bir yerdir.
http://www.ornek.com/sitem/robots.txt gecerli bir yer diildir.

Robotsçtxt dosyasını herhangi bir word programında yaratabilirsiniz. Fakat dosyayı ASCII olarak kaydetmeniz gerekicektir.

En basit dosyalarda kullanılan iki genel kural vardır.

User-agent: Buraya aşagıda ki kuralın hangi bot için oldugunu yazmanız lazım.
Disallow: Buraya o botun hangi sayfaları ziyaret etmesini istemediginiz gelicek.

Bu iki satır tek bir satır olarak kabul edilir ve bunun gibi bir çok satır ekleyebilirsiniz.

Kuralınızın her gelen bot için geçerli olmasini isterseniz üst satırı şu şekilde yazmaniz gerekir.

User-agent: *

İkinci satır için su komutları kullanabilirsiniz.

Bütün siteyi bloklamak için

Disallow: /

Alt bir dosyayı bloklamak için

Disallow: /private_directory/

Herhangi bir sayfayi bloklamak için.

Disallow: /private_file.htmlNot:
Kullanılan URL’lerde büyük ve küçük harflere dikkat etmek gerekir.
Örnek olarak,
Disallow: /dosya.html komutu "http://www.ornek.com/dosya.html" dosyasını bloklayacak fakat "http://www.ornek.com/Dosya.html" dosyasını bloklamıyacaktır.

emir2005 · #2 (**permalink**) 9. Mayıs 2008, 21:22:39

robots.txt dosyasinin en kötü yani herkesin ulasabiliyor olmasi ve dosya yollarinizin armut gibi gözüküyor olmasidir ( gene armut

) verdiginiz yollardaki dosya chmod ayarini acik biraktiginizda (777) dosya icine bir index.html atmadiginizda dosyalarinizin baskalari tarafindan cekilmesi icten bile degil oyüzdendirki robots.txt dosyasina girdiginiz dosya yollarinizin güvenli (644) olduguna emin olun ..

bazi spam botlar ki belali düsmanlarimdir

robots.txt dosyasini pek takmamaktadir icerisine girmemesi icin disallow eklesemde arkadas lallala seklide site icerisinde gezinmektedir bende bu durumu nasil engellerim diye arastirdigimda .htacces dosyasina eklemeler yapilarak bu isi cözebilecegimi ögrendim burada sizinlede paylasmak isterim

kodumuz bu

Kod:

RewriteCond %{HTTP_REFERER} spam botun adi
RewriteRule .* - [F,L]

direk benim .htacces dosyamdan engelledigim botlar

Kod:

RewriteCond %{HTTP_REFERER} Twiceler
RewriteRule .* - [F,L]

RewriteCond %{HTTP_REFERER} WebAlta
RewriteRule .* - [F,L]

RewriteCond %{HTTP_REFERER} WebBandit
RewriteRule .* - [F,L]

RewriteCond %{HTTP_REFERER} msnbot-media
RewriteRule .* - [F,L]

RewriteCond %{HTTP_REFERER} ia_archiver/1.6
RewriteRule .* - [F,L]

umarim yararli olur...

dijitalmekan · #3 (**permalink**) 15. Mayıs 2008, 13:24:32

Bu bilgiler baya bi işime yaradı teşekkür ederim

costa · #4 (**permalink**) 29. Temmuz 2008, 20:41:18

Eğer Google https veya aladiniz.com:443 gibi sayfalarınızı indexlemiş ise bu "duplicate content" filtresine takılır.
robots.txt ile HTTPS sayfalarınızı Google'dan çıkarmak için .htaccess dosyanızın en üstüne

Kod:

RewriteEngine On
RewriteCond %{SERVER_PORT} ^443$ 
RewriteRule ^robots\.txt$ robots_ssl.txt [L]

ekleyin.
Hali hazırda bir robots.txt dosyanız var olduğunu varsayıyorum.
Akabinde robots_ssl.txt adında bir dosya oluşturun
bu dosyanın içine

PHP- Kodu:


			
User-agent: *

Disallow: /

yazın.
.htaccess dosyanızı ve robots_ssl.txt dosyanızı FTP ile server'a gönderin.

Şimdi:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
linklerini ziyaret edin ve çalışıyor mu diye kontrol edin. 2 ayrı robots text dosyasını görmeniz gerekmektedir.

antiseptic · #5 (**permalink**) 30. Temmuz 2008, 02:35:17

Alıntı:

costa adlı üyeden alıntı

Eğer Google https veya aladiniz.com:443 gibi sayfalarınızı indexlemiş ise bu "duplicate content" filtresine takılır.
robots.txt ile HTTPS sayfalarınızı Google'dan çıkarmak için .htaccess dosyanızın en üstüne

Kod:

RewriteEngine On
RewriteCond %{SERVER_PORT} ^443$ 
RewriteRule ^robots\.txt$ robots_ssl.txt [L]

ekleyin.
Hali hazırda bir robots.txt dosyanız var olduğunu varsayıyorum.
Akabinde robots_ssl.txt adında bir dosya oluşturun
bu dosyanın içine

PHP- Kodu:


			
User-agent: *

Disallow: /

yazın.
.htaccess dosyanızı ve robots_ssl.txt dosyanızı FTP ile server'a gönderin.

Şimdi:
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
[SEO Turk forumlarında bulunan linkleri görebilmek için üyelik gerekmektedir. ]
linklerini ziyaret edin ve çalışıyor mu diye kontrol edin. 2 ayrı robots text dosyasını görmeniz gerekmektedir.

evet son derece mantıklı

teşekkürler

Nookta · #6 (**permalink**) 28. Ekim 2008, 13:15:59

huhh

googlee sizinnle gurur duyuyor

elinize saglik

Seçenekler
Yazdırılabilir şekli göster Sayfayı E-Mail olarak gönder
Stil
Normal Hybrid Görünümüne Geç Ağaç Görünümüne Geç