U uvjetima korištenja na svojim stranicama Pogodak ne navodi ime svog bota, a u Awstats nije izlistan među posjetima robota, pa neznam što staviti u robots.txt
AFAIK ovisi o tome kako je na serveru konfiguriran awstats hoće li spider.pogodak.hr (i braća mu) biti izlistan u popisu robota ili posjetitelja.
A da ih blokiraš preko .htaccessa i IP adresa?
Jesam, blokirao sam s .htaccess ali mi se to čini ‘manje propisno’ od definiranja nedozvoljenih botova u robots.txt
Što se tiče Awstats - tamo imam niz nepoznatih botova prijavljenih samo kao ‘spider’ ili ‘crawler’ bez naziva, ali Pogodak ne vidim tamo (prepoznao bih ga po bandwidth-u).
Order Deny,Allow
Deny from spider.pogodak.hr
Allow from all
To su inače IP adrese koje ja blokiram na stranicama. Ima tu jos nekoliko opasnih (po bandwith) botova.
EDIT:Jednom sam im (pogodak) slao email pa su me zvali iz Slovenije i iskljucili sa skeniranja, jer sam tada imao neki mali hosting a pogodak je jeo bandwith.