Kako narediti googleu da ne indexira stranice, na bazi sufiksa tipa .htm

[ace]

Imam sajt kojeg su napali virusi, čistio, mijenjao teme, rušio komplet i ručno postove u novu bazu stavljao, i opet mi se spawna japanese seo crap u SERPs kad guglam ono site:mojsajt.com

Sad ta go*na šalju na .htm stranice nekih glupih proizvoda ali zapravo šalju na 404 jer virus je, bar djelomično očišćen, ALI i dalje se spawna to sranje, ja to removam u SearchConsole svaki drugi dan, naporno.

Da li google poštuje još uvijek robots.txt? Ako poštuje koja je naredba da izbacim nešto na foru svi linkovi koji završavaju na .htm?

User-agent: Googlebot Disallow: .htm

Ovako?

[steelmaiden]

Ovo ubaciš u robots.txt

Disallow: /*.htm$

To će blokirati sve urlove koji završavaju na .htm

@ace

Da li google poštuje još uvijek robots.txt?

Da, naravno.

[ace]

uradio sam kako si rekao, evo opet se pojavljuje u SERPs lol

[steelmaiden]

Treba Googlu vremena da deindexira, nekad par dana, a nekad i par tjedna pa čak i mjeseci.

[ace]

Ali ovo su se spawnali novi, ne bi se trebali moći spawnati nakon što sam disallowao u robots.txt

Znam da je bila priča po ovim seo portalima da google prestaje da poštuje robots.txt

[steelmaiden]

Provjeri ovdje jesi li ispravno podesio:

Google Search Console

@ace

Znam da je bila priča po ovim seo portalima da google prestaje da poštuje robots.txt

Google je prošle godine prestao podržavati noindex direktive preko robots.txt ali disallow i dalje radi.

[drmrgood]

Moguce da je virus negdje na tvom kompu. Imao sam slican slucaj na nacin da je virus objavljivao sam od sebe postove na sajtu. Pravi nacin za rjesavanje tvog problema je export baze, export public_html foldera, brisanje svega sa hostinga. Zatim instalacija wordpressa nanovo, instalacija nove teme koja provjereno nema virus i onda import baze i zatim rucno postavljanje svih postova nanovo. Ali radis sve ovo sa kompa na kojem su frisko instalirani windowsi.

[ace]

Sve sam ja iz temelja taj sajt nov napravio, nova prazna baza, nova wordpress instalacija, nova tema, ručno spasio i ubacio nazad postove i opet to sranje. Ali nije mi jasno kako pored ove disallow komande google opet indexira ta go*na. Evo linka do robots.txt fajla http://poslovice.org/robots.txt sve ispravno?

[ace]

Još uvijek se spawnaju. Jedino kontam da je moguće da zbog starih indexiranih stranica koje linkaju na to sranje nekako se indexira i ovo. Kontam kad ih sve nanovo indexira da će prestati.

[momirson]

Ako ti je google indeksovao stranice a jeste, trebace vremena da one nestanu iz SERP-a. Kao sto je neko vec rekao, mozda i nekoliko mjeseci. Ja sam imao slucaj gdje su se pojavljivale i vise od pola godine…lik je ubacio u sitemapu milion nekih linkova.

Isto smo radili kao i ti…nova baza, nanovo linkovi itd itd.

Ako si siguran da virusa vise nema, zanemari to sto se stranice pojavljuju, mozda je zbog internih linkova, mozda zbog spoljasnjih…

Provjeri svakako manual actions u consoli, ostavi to u robots.txt sto si namjestio i sto bi rekli ovi iz google-a “fokusiraj se na kvalitetan sadrzaj”.

[ace]

ja njih uklanjam u SearchConsole - Removals i nakon par sati fkt nestanu iz SERPs, ali sutra se pojave novi