View Page source cijele stranice

Radim skidanje gifova i slika sa pin stranica i ima jedan problem. Stranice su pin tipa(pinterest,sex.com)
Posto se stranica konstantno ucitava kako se skroluje prema dolje, bilo bi mi logicno da se tako i page source mjenja, tj popunjava novim sadrzajem ali to se ne desava. Kako ovo znam? Pa uporedim page source kada se stranica otvori i kada se nekoliko puta skroluje prema dolje ucitavajuci nove slike.

Postoji li nacin da se ucita kompletan page source code? Znaci, ne treba da uradim download cijele stanice, nego samo da imam souce kod onoga sto vidim na ekranu. Bez obzira koliko dugo se ucitava stranica source code je uvijek isti. Jel postoji neki fazon kod stanica pin tipa za skidanje ili tako nesto?

Procitao sam 5x ovo sto pitas i barem mislim da sam shvatio tvoje pitanje je… a ono je da li postoji nacin da ti se ucita citava stranica odmah bez da skrolas ili jos uvijek nisam dobro shvatio :)?

Infinite scroll funkcionira na način da kada je korisnik pri dnu stranice, preko Ajax metode čupa novi sadržaj negdje iz baze podatka, zato taj sadržaj nije vidljiv u sourceu. I tako mora biti, inače bi učitavanje stranice trajalo tko zna koliko.

1 Like

Hvala Horz! 123456789

Source možeš vidjeti s alatom kao što je Firebug, a ako radiš nekakav scraper treba ti “headless browser”

Pravim scraper. Upravo sam instalirao phantomjs pa cu lagano krenuti sa ucenjem i skidanjem.


Copyright © 2020 WM Forum - AboutContact - Sponsored by: Mydataknox & Profit Monkey