Googlebot me pojede živog

Ljudi, ovaj googlebot mi je zagrizao za jedan sajt i pojede me živog, samo u ovom mjesecu, dakle do 18. pojeo mi je 7,5gb bandwitha, a koristim onaj sa ograničenim limitom, da li je pametno nekako ga ograničiti? Ima li neko da ga želi kupiti :D?

Očito na tom sajtu imaš viška velikih datoteka i fajlova.
U robots.txt zabraniš pristup fileovima koje bot ne treba čitati.
Npr. sistemske datotke CMS-a, frameworka i slično.

Baš to, imao sam slične probleme, jednostavno mu blokiraj pristup svemu što jede resurse.

Imam puno clanaka, blokao sam sve osim homepagea.

Da,i sta ce sad bit kad izbacis novi clanak ?

Skenirat ce ga dok je na homepageu.

E pa sad… malo drakonsko riješenje, ne?

Istina, zao mi jeste ali stvarno googlebot je kreten xD.

Ne samo da je drakonsko riješenje nego si gotovo sigurno napravio štetu.

Znam da jesam ali me briga :D.

A dobro, zbilja si malo cudan kao sto i pise :slight_smile:

Mislim da ti je bolja opcija delete public_html pa nek onda jede bandwoth.

1 Like

Definiraj kako spada robots.txt datoteku i pazi na <meta name='Revisit-after' content='x Day'> tagove na podstranicama. Inace 8GB je nista od bandwidth-a ... neznam zasto se uopce brines. Kad ti pocme prelaziti 20GB e onda tek poduzmi nesto.

A da instaliras spyder spanker i stavis da dobre botove propusta na stranicu 50%, tako svaki drugi put kad googlebot dodje ne moze crawlati. To te nece sjebati, ali opet nece mu dozvoliti da ti visi cijeli dan na stranici :slight_smile:

Da je mjesečno 8gb bilo bi ok, ali u pola mjeseca mi je puno a nemam neke posjete sa googlea tako da mi google ne igra veliku ulogu za ovaj sajt.

Zanimljivo, razmislit ću o tome, hvala na ideji :).

To botovi ingoriraju.
Nema šanse da ih natjeraš da te posjete kad tebi paše.

Ulogiraj se na webmaster tools od googlea i binga i tamo postavi crawlanje na najnižu razinu. Morat ćeš verficirat svoj sajt tako da staviš specijalni ID u header ili uplodaš neki fajl za identifikaciju.

Da li funkcioniše? Da li zaista googlebot provjerava postavke na webmasters?

EDIT: Preko webmasters, najveće ograničenje je da u 5min smije samo jednom da crawla, što opet nije neko ograničenje.

Meni dozvoljava najmanje:
0.03 requests per second ili
33.333 seconds between requests

Dodatno smanjenje bandwitha se može postići postavkama na apacheu ili cms-u tako da gzipa sav izlazni html.

= 1 request u 5 minuta