örnek robots.txt ve robots.txt kuralları

[snow]

en genel ve örnek robots.txt aşağıdaki gibidir.

User-Agent: *
Allow: /

Sitemap: http://www.siteadi.com/sitemap.xml

bütün botlara kökten beri izin verir ve site haritasının http://www.siteadi.com/sitemap.xml adresinde bulunduğunu belirtir.

User-Agent: ifadesi sonuna bot'un ismi veya * koyulur. * işaretinin anlamı tüm botlar için geçerli kuralların belirtileceğidir. veya sadece istediğiniz botların ismini yazabilirsiniz.
Allow: ifadesi bu botlara izin verilen kurallar, dizinler veya dosyaları belirtir.
Disallow: ifadesi bu botlara yasaklanan kurallar, dizinler veya dosyaları belirtir.

örneğin:

User-Agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /*.css$

Sitemap: http://www.siteadi.com/sitemap.xml

yukarıdaki örneğe göre tüm botlar /cgi-bin/ dizinini ve sonu .css ile biten hiç bir dosyayı inceleyemezler.