U ovom slucaju nije wp u pozadini, radi se o staticnoj HTML stranici.
User-agent: HypeStat
Disallow: /
To ja imam na sajtu koji nije WP.
1 Like
Evo odmah cu da pokusam, pa javim kakva je situacija.
EDIT: Sad se sjetih zasto sam stavljala HypeStat…elem to je bilo specificno za moj domen, ne treba ti to, sorry (nisam htjela da im dozvolim crawling), ali ako nemas nikakve specificne zahtjeve, mozes staviti najjednostavniji robots.txt:
robots.txt sam uspjeno dodao, ali situacija sa druge slike mi je i dalje bila ista
Problem je bio u tome sto je entitet bio duplo dodan. Jednom kada sam pokusao verifikaciju sa domena.com (nije uspjelo) zatim sam dodao novi sa https://domena.com i radio verifikaciju sa .html fajlom (sto je uspjelo).
Sada sam samo izbrisao ovaj neuspjel entitet i to je to.
Jos da napomenem ako neko bude imao slican problem.
U pokrivenosti mi je prikazivalo da je indeksirano 6 stranica a na site:domena.com prikazivalo je 19
Kada sam ovaj neuspjeli entitet obirasao prikazuje uredno indekisrano 19, tako da mi se i to rijesilo sa ovim brisanjem.
Sada je sve ok 
hvala na robots.txt
Malo sam slabiji sa engleskim pa zbog toga ovdje pitam, da se sta ne provuce. Ovako bi to onda trebalo da izgleda.
izmjena*
# Group 1
User-agent: Googlebot
Disallow: /blab/
# Group 2
User-agent: *
Allow: /
Sitemap: http://www.domen.com/sitemap.xml
Ako sam dobro pohvatao, u ovom slucaju se nece samo indeksirati folder blab i sadrzaj unutar njega ?
Obrni. Prvo stavi to što ti je u grupi 2 pa potom što ti je u grupi 1.
User-agent: *
Allow: /
će ti overwrite-ovati sve prethodno tako da ta zabrana Googlebot-u neće imati efekta ako je iza nje postavljena dozvola svima sve.
Dakle:
# Group 1
User-agent: *
Allow: /
# Group 2
User-agent: Googlebot
Disallow: /blab/
2 Likeova
Ok, hvala vam na pomoci