Robots

SEO i tražilice
1

Imam ipb i ip content i primjetio sam jako čudan robots i odlučio ga izbrisati (default robots). Otišao sam na stranicu koja isto ima ipb+ip content i kopirao robots od njega:

User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /converge_local/
Disallow: /hooks/
Disallow: /ips_kernel/
Disallow: /retail/
Disallow: /public/style_captcha/
Disallow: /index.php?app=core&module=task
Disallow: /index.php?app=core&module=usercp&tab=forums&area=forumsubs
Disallow: /index.php?app=core&module=usercp&tab=forums&area=watch&watch=topic
Disallow: /index.php?app=forums&module=extras&section=forward
Disallow: /index.php?app=members&module=messaging
Disallow: /index.php?app=members&module=chat
Disallow: /index.php?app=members&module=search
Disallow: /index.php?app=members&module=search&do=active
Disallow: /index.php?&unlockUserAgent=1
Disallow: /*app=core&module=usercp
Disallow: /*app=core&module=usercp
Disallow: /*app=members&module=messaging
Disallow: /*&p=
Disallow: /*&pid=
Disallow: /*&hl=
Disallow: /*&start=
Disallow: /*view__getnewpost$
Disallow: /*view__getlastpost$
Disallow: /*view__old$
Disallow: /*view__new$
Disallow: /*view__getfirst$
Disallow: /*view__getprevious$
Disallow: /*view__getnext$
Disallow: /*view__getlast$
Disallow: /*&view=getnewpost$
Disallow: /*&view=getlastpost$
Disallow: /*&view=old$
Disallow: /*&view=new$
Disallow: /*&view=getfirst$
Disallow: /*&view=getprevious$
Disallow: /*&view=getnext$
Disallow: /*&view=getlast$
Disallow: /*?s=
Disallow: /*&s=
Disallow: /index.php?app=core&module=global&section=login&do=deleteCookies
Disallow: /index.php?app=forums&module=extras&section=rating
Disallow: /index.php?app=forums&module=forums&section=markasread

Sada mene zanima jeli ok ako uradim copy-paste robots sa druge stranice? Ima li ovo kopiranje lošu stranu za moj sajt?

2

Naisao si na robots koji ti je bio cudan, pa si ga isbrisao…pa si onda na drugom webu nasao ovaj robots koji ti nije cudan?!:sherlock: :slight_smile:
Ako u domeni imas sve gore, u robots.txt-u navedene url-ove i ne zelis da ih spideri registriraju…onda ga ostavi…

3

Meni je robots default, a jedan od najvecih foruma koji ima ipb+ip content sa istom tematikom ima taj robots zato sam ga kopirao.
Ove sa početkom * nemogu otvoriti neznam zašto.

4

Zato jer ne znate “citati” robots.txt.

  • nije dio URL-a nego kaze “bilo koliko znakova”

Dakle:
Disallow: /*app=core&module=usercp

To brani bilo koji URL koji pocinje sa /, iza toga ima bilo koliko znakova, nakon toga ima [b]app=core&module=usercp[b] i nakon toga moze ili ne mora imati bilo sto.

Example Domain ce biti zabranjen
Example Domain ce bit zabranjen
Example Domain ce biti zabranjen
Example Domain ce bit zabranjen

Kod Googlea jos postoji $ sto znaci "samo oni koji zavrsavaju sa patternom prije $ i koji nemaju nista iza.

Dakle, iz gornjeg robotsa:
Disallow: /*view__getnewpost$
znaci:
bilo koji URL koji iza / ima bilo koji broj znakova i zavrsava sa view__getnewpost

Example Domain ce bit zabranjen
Example Domain ce bit zabranjen
ALI:
Example Domain NECE bit zabranjen
Example Domain NECE biti zabranjen

5

Zato jer ne znate “citati” robots.txt.

  • nije dio URL-a nego kaze “bilo koliko znakova”

Dakle:
Disallow: /*app=core&module=usercp

To brani bilo koji URL koji pocinje sa /, iza toga ima bilo koliko znakova, nakon toga ima app=core&module=usercp i nakon toga moze ili ne mora imati bilo sto.

www.example.com/app=core&module=usercp ce biti zabranjen www.example.com/neka-skripta?app=core&module=usercp ce bit zabranjen www.example.com/app=core&module=usercp& ... aram=nesto ce biti zabranjen www.example.com/neka-skripta?app=core&m ... aram=nesto ce bit zabranjen

Kod Googlea jos postoji $ sto znaci "samo oni koji zavrsavaju sa patternom prije $ i koji nemaju nista iza.

Dakle, iz gornjeg robotsa:
Disallow: /*view__getnewpost$
znaci:
bilo koji URL koji iza / ima bilo koji broj znakova i zavrsava sa view__getnewpost

www.example.com/view__getnewpost ce bit zabranjen www.example.com/neki-folder/view__getnewpost ce bit zabranjen

ALI:

www.example.com/view__getnewpost?neki-param=nesto NECE bit zabranjen www.example.com/neki-folder/view__getnewposting NECE biti zabranjen