Imam sajt na kojem mi sam googlebot troši više od pravih posjetitelja, oko 3gb mjesečno, što je zaista previše. Nikada nisam imao problema sa crawlom, čim objavim nešto odmah mi skenira i ubaci na pretraživač ali nikada nije trošio ovoliko.
Nema nekih slika da zbog njih vuće toliko tako da ne znam šta da radim, žao mi je zabraniti mu pristup (putem robots.txt) nekim pageovima a i ne vjerujem da će nešto smanjiti potrošnju.
Da li ste vi imali kad sličan problem i šta ste uradili po tom pitanju?
provjeri da li je ip adresa od google boota ili neki drugi boot koristi isti naziv (Agent)
Ne tribas mu zabranit pristup. Mozes ga usporit. Idealno ga throttleas server side, ali pogledaj webmaster toolse i vidi mozes li googleu u fino rec da malo rjeđe crawla stranice.
Čitao sam da postoji ta opcija u webmasters tools ali nisam se nešto potrudio da je nađem. Sada jesam ali me brine ovo:
Changing the crawl rate can cause some problems (for example, Google
will not be able to crawl at a faster rate than the custom rate you
set), so don’t do this unless you are noticing specific problems caused
by Googlebot accessing your servers too often.
Ali sam smanjio, na najmanje što može. Koja ironija, neki mole bota da dođe i skenira a ja ga skoro banujem :D. Hvala na odgovorima.
U robots.txt:
User-agent: *
Disallow: /
ili samo za Gogle:
User-agent: Google
Disallow: /
Time bih ga blokao u potpunosti, nisam budala :D.
Joj Davore sto ti imas kontra-ideje, to vjerovati ne mozes 
Blokiraj ga! Ko mu jebe mater!! I oni su meni blokirali adsense!
Kontra čega?
