Pozdrav sivma, imam problem sa worpdresom sajtom, naime imam problem sa sitemapom jer nece da mi indeksira postove a razlog tome je " robots.txt " kako sam ja shvatio, naime nije moguce preuzeti robots.txt iako nisam danima nista podesavao na sajtu samo ubacivao postove… Evo slike iz web master toolsa sta kaze… Sta sad da radim kako da rijesim ovo ?
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://imesajta.com/sitemap.xml
SAMO MI TO OTVORI
Probaj napraviti u public_html datoteku robots.txt sa tim istim tekstom.
pa moze pristupiti tom fajlu, gdje se drugo nalazi nego u public_html … ovo sitemap znaci da je link do sitemape naveden u robots fajlu, ne da je to sitemap
mozes li c/p ovdje sta ti pise u .htaccess fajlu?
.htaccess mi je malo poduži. Implementirao sam neke zaštite i cache da bi koristio što manje wp pluginova. Pošaljem ti kada dođem doma.
robots.txt ti ne postoji kao datoteka ako koristiš Yoast. Ima neki virtualni robots.txt. i meni prikazivalo da ga ima dok nisam trebao nešto urediti tu datoteku. Tražio je preko FTP i nisam je našao. Dok je nisam kreirao preko Yoast postavki u administraciji
mislio sam da autor teme ovdje objavi htaccess, mozda preko tog fajla blokira botovima pristup robots.txt
Ne znam kako ali dans je rijesen problem sa tobots.txt , sinoc sam svasta pokusavao i gledam maloprije sve je uredu 
Samo mi sad sitemap izbacuje neka eror i upozorenja iako je sve uredu, videcu sad sta li moze da bude hm …
Meni u public.html upste nema fajla robots.txt ili nesto slicno ne znam kako, ponekad radi ponekad ne robots.tct i u sitemap mi sad javlja sve gresek kao "
Мрежа је недоступна: Датотека robots.txt није доступнаНисмо били у могућности да попишемо ваш Sitemap јер смо у основи сајта пронашли датотеку robots.txt, али нисмо могли да је преузмемо. Проверите да ли је доступна или је уклоните у потпуности." Ako bilo ko zna sta bi mogao da bude problem neka javi, ja ne znma sta vise da radim jer pokusavam danima…
Takodje imam plugin “Google XML Sitemaps” i kada ukucam imesajta.com/sitemap.xml sve radi normalno, znaci samo robots.txt nesto pravi problem niti sam ista diro niti imam ideju do cega mi mogao da bude problem? Bilo ko ko bi znao da rijesi ovo ?
Bilo ko da predlozi neko resenje kako rijesiti ovaj problem, sitemap vec par dana kaze da nije moguce preuzeti robots.txt
Zar je moguce da niko ne zna ? Ponovo nije moguce preuzimanje robots.txt i sajt mi se bukvlano ne indeksira, izbacio sam neki clanak i vec par dana se ne indeksira? Da li je moguce ukolniti robotst.txt?
Evo htaccess, sliko sam jer kad kopiram ovde nesto nece da se sve pojavi ako treba mogu upludati nedje…
Pozdrav sivma, naime imam problem sa jedim sajtem u webmaster tools javlja greske, naime nije moguce preuzeti robots.txt i sa tim onda mi ne radi sitemap jer izbacuje greska i upozorenja da nije dostupan robots.txt i da nije moguce indeksirati sajt…
EVO STA SE DESI KAD UDJEM U ROBOTS.TXT
EVO STA SE DESAVA KAD UDJEM U SITEMAP
I dalje hitno potreban iskusan webmajstor…
koristiš li neki plugin koji obuhvata robots.txt?
Izbriso sam za sad ovaj prvi i zadnji plugin posto sam njih zadnje instaliro eto da nije slucajno do njih ali nije, probelm je sto google bot upste ne vidi moj site…