Dali je problem kada na stranici postoje Crawl errors?

Na webmaster tool mi pokazuje ove greške “URL restricted by robots.txt” za neke stranice,dali je to problem i kako to riješit?

Pa problem je ako želiš sa ih bot prođe/pronađe.

Dosta informacija imaš na:

http://www.robotstxt.org

http://domena.com/search/label/neki_keyword
( URL restricted by robots.txt)

U ovakvom se obliku pokazuje error,kako bi se to dalo ispravit?

Prvo razmisli treba li to ispraviti ili ne.

Ako treba ispraviti, pogledaj što si stavio u
http://domena.com/robots.txt
i sjeti se zašto si uopće zabranio indeksiranje tih stranica.

Ispraviti možeš tako da makneš zabranu indeksiranja tih stranica.

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Disallow: /related-content.g
Disallow: /related_content_helper.html

Sitemap:
http://xxxxxxx.blogspot.com/feeds/posts/default?orderby=updated

ovo stoji u robots.txt datoteci, početnik sam pa ne znam baš što treba radit…

pa trebaš pobrisati disallow linkove koje želiš da budu indeksirani

vjerovatno imas xml sitemap web-a sa linkovima koje u robots.txt zelis ignorirati…pa tu dolazi do “konflikta” kada naidje spider…

[quote=""]
http://domena.com/search/label/neki_keyword
( URL restricted by robots.txt)

U ovakvom se obliku pokazuje error,kako bi se to dalo ispravit? [/quote]
To nije greska. To je samo upozorenje od Googlea, da vidis sto ti je sprijeceno kroz robots.txt, za svaki slucaj ako te URLove nisi htio sprijeciti.
Ako pregledas te URLove i oni bi trebali biti sprijeceni (to jest, svjesno si ih sprijecio), onda zaboravi i ne obaziri se na to sto WMT javlja.

Ako su neki sprijeceni, a ne bi trebali biti, onda provjeri sintaksu u svom robots.txt.


Copyright © 2020 WM Forum - AboutContact - Sponsored by: Mydataknox & Webmaster.Ninja