Sadržaj robots.txt

SEO i tražilice
1

ako je ovo defaultni robots.txt za joomlu ( 3.2):
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

što će google indexirati?

Da li bi ovo bilo dobro dobro postavljeno ako želim da se indexiraju članci, slike, sadržaj uključenih modula, komponenti, pluginova…

User-agent: *
Disallow: /installation/
Disallow: /templates/
Disallow: /tmp/

2

Slobodno mirno spavaj. Google ce sve indeksirati sto bude zanimljivo. Jedino bi mogao images folder postaviti na allow. Ostalo nije potrebno.

3

u google webmastersima imam poruku o blokiranim urlovima

/templates/tk_gen_free_ii/css/custom.css
templates/tk_gen_free_ii/warp/js/search.js
/templates/tk_gen_free_ii/css/layout.css

kao i
/media/system/js/core.js

sada bi dodao allow u robots

zanima me da li je ovo dobra postavka u robotsu?

User-Agent: *
Disallow: /administrator/
Disallow: /*?
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Allow: /templates/
Allow: /media/
Allow: /images/

isto tako imam 1 /images/stories/Baneri/kleowsh2014.jpg da li za to onda pišem “allow images” ili neku drugu putanju?

dodao bi i
Disallow: /*? da izbjegnem duplicirani sadržaj

Molim komentare

4

Mislim da se sa tim ne treba previše zamarati.
Slušao sam Matt Cuttsa, vezano za robots.txt.

Ukratko kaže ovako:
Ono šta je dostupno korisniku trebalo bi biti dostupno i botovima.
U protivnom je sumljivo. Ima logike, ne?

5

Ja bih ukratko rekao ovako:
Ono što ne bi trebalo biti dostupno korisniku, ne bi trebalo biti dostupno ni botovima.
U protivnom je sumnjivo. Ima logike, ne?

6

Ima obrnute logike.

Mislim, koja je poanta uopće zabranjivati botovima neki sadržaj?
Pogotovo Googlebotu, koji zna bolje od webmajstora što i kako treba indexirati.

7

logika je u tome što cms sustavi imaju hrpe foldera i fajlova koji služe isključivo za podršku različitim komponentama i sustavu, također direktoriji s predlošcima imaju hrpu grafika koje jednostavno nije potrebno indeksirati, češljati, provjeravati, dok je sadržaj unutar okvira koji prikazuje taj sustav čitajući ga iz baze podataka. Jedini folder koji mi ima logike da čitaju i indeksiraju je onaj sa slikama i dokumentima koji se objavljuju.
No po pitanju responsive dizajna ‘Google’ želi čitati sve datoteke koje su vezane za neku web stranicu. Kod joomle se neke javascripte nalaze u različitim direktorijima modula, komponenti itd…
pa ih je potrebno u robots.txt-u omogućiti. Najjednostavnije je izbrisati čitav robots.txt :).

8

To mi je jasno, samo opet: Koja je poanta, svrha toga?
Ako je SEO u pitanju ne vjerujem da to u danjašenje vrijeme ima utjecaj.