Hoşgeldiniz!

Kayıt olarak, topluluğumuzun diğer üyeleri ile görüşebilir, paylaşabilir ve özel mesaj gönderebileceksiniz.

Şimdi Kayıt Ol!

örnek robots.txt ve robots.txt kuralları

snow

Administrator
Yönetici
Katılım
11 Ağu 2019
Mesajlar
14
Beğeniler
12
#1
en genel ve örnek robots.txt aşağıdaki gibidir.

Kod:
User-Agent: *
Allow: /

Sitemap: http://www.siteadi.com/sitemap.xml
bütün botlara kökten beri izin verir ve site haritasının http://www.siteadi.com/sitemap.xml adresinde bulunduğunu belirtir.

User-Agent: ifadesi sonuna bot'un ismi veya * koyulur. * işaretinin anlamı tüm botlar için geçerli kuralların belirtileceğidir. veya sadece istediğiniz botların ismini yazabilirsiniz.
Allow: ifadesi bu botlara izin verilen kurallar, dizinler veya dosyaları belirtir.
Disallow: ifadesi bu botlara yasaklanan kurallar, dizinler veya dosyaları belirtir.

örneğin:
Kod:
User-Agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /*.css$

Sitemap: http://www.siteadi.com/sitemap.xml
yukarıdaki örneğe göre tüm botlar /cgi-bin/ dizinini ve sonu .css ile biten hiç bir dosyayı inceleyemezler.
 
Üst Alt