Scrapanje stranica i prodaja podataka

Programer sam i znam kako scrapeati web stranice i uzeti podatke koji su javno dostupni.

Mene zanima koje podatke scrapeati i kome ih prodati. Što mi pada na pamet su telefonski brojevi koji se onda prodaju call centrima. Ima li netko neku drugu ideju?

Imam ja ideju. Pogledaj malo jel to legalno, za pocetak :wink:

Nije legalno. To znam

Onda si dosao na pravi forum!

3 Likeova

A ako je to sve što znaš nisi programer već scrapper.

Zašto ne bi bilo legalno? To su javno dostupni podaci.
Može bilo kod da ih nađe.

Da bi napravio scrapper, treba da znaš programiranje.

Ima ljudi kaj znaju ući u tuđe kuće… pa nije legalno

Ako je nesto javno dostupno, ne znaci da ih moze bilo tko uzeti i prodati. Mozes za sebe, za dalje ne smijes, a sve pise u uvjetima koristenja.

Otisla tema u krivom smjeru

Moze se zaobići. Ne prodaješ direktno podatke, nego napraviš scraper koji će si netko iskoristiti za ono što želi.

I nož može biti oružje za zločin, što ne znači da je proizvodnja noževa ilegalna.
Tako i ovdje, legalno je napraviti alat koji je multi-primjenjiv i kao takvog ga prodati.
Nije da na tržištu već nema takvih alata…a sad, ima li prostora za nešto malo specijaliziranije? To uglavnom uvijek ima. :slight_smile:

Ja sam si osobno razvio takav alat da ne moram svaki puta roniti u code i sklepavat crawler. Ovako fino kroz sučelje mu zadam putanju linka, kroz regex mu objasnim kako će pratiti child linkove koje će dalje slijediti…isto tako regexom definiram kako će dohvatiti podatke sa stranice …i dalje spideri se sami granaju i odrađuju posao za mene…i po određenom scheduleru posjećuju stranice koje su ranije već posjetili i traže nove linkove. Uglavnom, jako praktično…i u dogledno vrijeme mislim taj alat unaprijedit i prodavat. :slight_smile: Ne smatram to ilegalnim.

A čuj, ako je ilegalno onda nije. Ne možeš baš online tražiti sastojke za bombu i slične stvari koje su na teret društva. Društvo samo po sebi nebi smjelo podupirati takve i ne boriti se protiv istih.
Al pošto je ovo siva zona, evo…dobio si čak savjet kako bi mogao prezaići preko zakonskih ograničenja.
Nije da Google i mnogi svakodnevno ne crawlaju na tone podataka…samo je ključ u načinu kako će se manipulirati tim podacima. Preprodaja tih podataka je sigurno nešto što bi te moglo skupo koštat.

1 Like

Legalno je napraviti scraper i prodati ga, ali nije legalno prodavati tudje podatke. Ili raditi scraper po narudzbi.

Ima gotovih scrapera za wp, pa za python itd…

Pa da, zato sam i napisao da se problem lako moze zaobići. Prodao ti nekom podatke …ili program gdje ce klijent prakticki jednim klikom gumba sam sebi scrapeati iste te podatke …jedno i drugo mozes isto prodati, a u jednom slučaju mičeš skroz odgovornost sa sebe. Jer ipak si prodao program, a ne podatke. :slight_smile:

Evo jedan test, lozinka od steela je geek2020& tko god pokusa, dobije ban i prijavu policiji :slight_smile:

Siva zona.
Ne može bravar napraviti master key za svaku bravu i vrata i naknadno se braniti da nije on lopov koji je otvar’o vrata već samo napravio ključ po narudžbi.
U svakom slučaju se slažem da bi bilo zanimljivo ispratiti tok takvog sudjenja.

Što je najgore, alati za univerzalno otključavanje brave se prodaju javno. Nerijetko na fb vidim placene oglase kako to prodaju pod izlikom kao da si ne moraš razvalit vrata ako izgubis kljuc… ne ulazim u to koliko je proizvođač takvog alata odgovoran za lopova koji ce koristit taj uredjaj.

Kod scrapanja je stvar jos kompleksnija, jer dok gornji alat ima vrlo rijetko praktičnu primjenu izvan zloupotrebe …scraperi imaju vrlo čestu praktičnu primjenu koja nije zloupotreba. Sumnjam tako da je proizvođač alata (scrapera) u ovom slučaju odgovoran.

Ali što se tiče suđenja, mislim da je ključ ipak u dokazivanju namjere. Mogu postojati svjedoci i pisani trag u razgovorima (tipa emailovi) pomoću kojih se može dokazati da je autor napravio alat u svrhu da ga proda naručitelju za zloupotrebu. No ako se ne može dokazati zla namjera, scraper sam po sebi sigurno nije ilegalan. Počmimo od Googlea i da nam cijeli internet zavisi od scrapeanja podataka…to je esencija interneta i umrezavanja podataka…

Good luck with that.
Zato kažem da bi bilo zanimljivo ispratiti kako sudstvo djeluje po pitanju i šta [kvalitetni] advokati mogu da ponude.

Niste mi nimalo pomogli al ajd

pa sta je gugl nego scrapp…to je korisno za ove price comparision stranice