en genel ve örnek robots.txt aşağıdaki gibidir.
bütün botlara kökten beri izin verir ve site haritasının http://www.siteadi.com/sitemap.xml adresinde bulunduğunu belirtir.
User-Agent: ifadesi sonuna bot'un ismi veya * koyulur. * işaretinin anlamı tüm botlar için geçerli kuralların belirtileceğidir. veya sadece istediğiniz botların ismini yazabilirsiniz.
Allow: ifadesi bu botlara izin verilen kurallar, dizinler veya dosyaları belirtir.
Disallow: ifadesi bu botlara yasaklanan kurallar, dizinler veya dosyaları belirtir.
örneğin:
yukarıdaki örneğe göre tüm botlar /cgi-bin/ dizinini ve sonu .css ile biten hiç bir dosyayı inceleyemezler.
Kod:
User-Agent: *
Allow: /
Sitemap: http://www.siteadi.com/sitemap.xml
User-Agent: ifadesi sonuna bot'un ismi veya * koyulur. * işaretinin anlamı tüm botlar için geçerli kuralların belirtileceğidir. veya sadece istediğiniz botların ismini yazabilirsiniz.
Allow: ifadesi bu botlara izin verilen kurallar, dizinler veya dosyaları belirtir.
Disallow: ifadesi bu botlara yasaklanan kurallar, dizinler veya dosyaları belirtir.
örneğin:
Kod:
User-Agent: *
Allow: /
Disallow: /cgi-bin/
Disallow: /*.css$
Sitemap: http://www.siteadi.com/sitemap.xml