Hoşgeldiniz!

Kayıt olarak, topluluğumuzun diğer üyeleri ile görüşebilir, paylaşabilir ve özel mesaj gönderebileceksiniz.

Şimdi Kayıt Ol!

örnek robots.txt ve robots.txt kuralları

snow

Administrator
Yönetici
Katılım
11 Ağu 2019
Mesajlar
11
Beğeniler
8
#1
en genel ve örnek robots.txt aşağıdaki gibidir.

Kod:
User-Agent: *
Allow: /

Sitemap: http://www.siteadi.com/sitemap.xml
bütün botlara kökten beri izin verir ve site haritasının http://www.siteadi.com/sitemap.xml adresinde bulunduğunu belirtir.

User-Agent: ifadesi sonuna bot'un ismi veya * koyulur. * işaretinin anlamı tüm botlar için geçerli kuralların belirtileceğidir. veya sadece istediğiniz botların ismini yazabilirsiniz.
Allow: ifadesi bu botlara izin verilen kurallar, dizinler veya dosyaları belirtir.
Disallow: ifadesi bu botlara yasaklanan kurallar, dizinler veya dosyaları belirtir.

örneğin:
Kod:
User-Agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /*.css$

Sitemap: http://www.siteadi.com/sitemap.xml
yukarıdaki örneğe göre tüm botlar /cgi-bin/ dizinini ve sonu .css ile biten hiç bir dosyayı inceleyemezler.
 
Üst Alt