Zaštita od bota za masovnu krađu sadržaja stranica (kopiranja sajta)

Programiranje
1

Dakle, imam sajt sa velikom količinom podataka koje je moguće kopirati na hard disk koristenjem namjenskih programa za offline surfing.
Također, moguce je napraviti skritptu - php bot, koji pomocu file_get_contents ili curl-a, kopira te podatke sa stranica sajta masovno i sprema ih na hard disk.

Probao sam praviti provjere $_SERVER varijbali, cookija i sl. ali preko curl-a je moguce modifikovati bilo sta (http zaglavlja, cookie, itd…).
Ako stavim da se ti podaci ucitavaju preko ajaxa, onda nista od SEO…

Koja je vrsta zastite najbolja u ovoj situaciji i da li se uopste moguce zastititi od tih botova? - Šta bi mi vi preporučili?

Hvala unaprijed!

2

Preko .htaccess datoteke (potrebno znanje/rukovanje - bolje ne, ukoliko nisi siguran), ukoliko su te datoteke potrebne samo tebi, blokiraj pristup “svim ostalima”, a omogući “samom sebi”, odnosno vlastitoj trenutnoj IP adresi, sve dok datoteke ne prebaciš (ukoliko već nisi).

  • nemoj držati takve stvari na Web poslužitelju, jest možda “siguran” način, no bolje da ga “spriječiš, nego liječiš” od mogućih “provala” i krađa datoteka

Zaštiti datoteke, instaliraj alat ili aplikaciju koja ti nudi zaštitu i sigurnost od mogućih potencijalnih “krađa” datoteka.

P.S. Ukoliko ideš sa .htaccess datotekama, pažljivo rukuj s njima! :wink: