Pozdrav ekipa.
Imam problem sa “misterioznom” robots.txt datotekom. Misteriozna je iz razloga zato što je nisam ni kreirao međutim pojavljuje se i stvara mi problem u indeksiranju moje stranice od strane Googla. Kada uđem u File Manager svog sajta ne mogu nigdje da pronađem robots.txt. Blokira mi reklame i ne znam kako da ga uklonim. Evo sadržaj tog robots.txt:User-Agent: *
Allow: /ads/preferences/
Allow: /gpt/
Allow: /pagead/show_ads.js
Allow: /pagead/js/adsbygoogle.js
Allow: /pagead/js/*/show_ads_impl.js
Allow: /static/glade.js
Allow: /static/glade/
Disallow: /
Noindex: /
Link tog robots.txt je https://googleads.g.doubleclick.net/robots.txt
Napomena: Ovaj sam problem pronašao preko Googleovog testa obogaćenih rezultata. Također navedeno je da imam greški u javascript kodu. Za greške u javascript kontaktirat ću autora teme međutim vi ste mi potrebni za rješenje ovog problema sa robots.txt. Želja mi je da ga uklonim. Ove greške su navedene kao greške koje otežavaju Google-u indeksiranje moje stranice.
Ovaj robots.txt ti ne mozes kontrolirati, jedino ako si vlasnik Googla :).
Ne brini za ovo, a javascript probleme ima skoro svaka stranica, ponekad se crawleru ne da cekat pa izbacuje tu gresku.
Ako je wp onda ide automatski virtual file
Super prijatelju, hvala ti na odgovoru. Jedna briga manje 
. Ma brine me samo da mi ti problemi neće uticati za GoogleAdsense. Aplicirao sam ponovno. Ispravio sam greške koje sam mogao ispraviti tako da se nadam pozitivnom ishodu.
Ma nije uopšte moj robots.txt već Google-ov. Hvala ti što si mi odgovorio na post. Btw wordpress je u pitanju.
Da ne otvaram novu temu, imam problem sa google adsense.
“Vrste problema = Alat za indeksiranje: nije moguće dosegnuti datoteku robots.txt”
3 stranice mi tako oznacene pod tim, kao ne krse pravila, ali Ograničena potražnja
I fora sto su mi klikovi i RPM pali 90%, kad pogledam na “sajt.com/robots.txt” sve je normalno.
Šta može biti razlog?
I ja od pre neki dan na jednom sajtu imam taj problem. Da google bot ne moze da pristupi robots.txt
Takodje iz search console ne moze da se uradi url inspect jer je deindeksiran.
koristite li neki security plugin za wordpress?
Koristio sam buletrproof ali sam ga disable i isto.
jesi li provukao robots.txt link kroz link checker u google webmaster tools?
Jesam i ne može da mu pristupi. Sad sam obrisao robots.txt a i dalje mu pristupam preko linka što je čudno. A cache sam obrisao i probao iz više brwsera incognito.
koji caching plugin koristis?
W3T cache plugin. Iskljucen je trenutno.
Iako si ga izbrisao ostao ti je virtualni robots.txt koji kreira WP
Problem resen kod mene. Bio problem do hosta, promenio za drugi hosting i sve je ok.