Izrada programa za reupload videa

Programiranje
#1

Pozdrav,

Ima li ovdje netko s iskustvom u automatizaciji internet procesa? Konkretno, trebao bi mi program koji bi :

  • skidao videe s unaprijed odredenih siteova, s mogusnoscu podesavanja kategorije iz koje se skida, ili barem kljucne rijeci ako ne moze kategorija
  • spremao video u formatu kojeg ja odaberem (.avi)
  • dodavao watermark na svaki video
  • promjenio ime svakom videu
  • dodao odredeni string na kraj svakog imena (moj url)
  • uploadao iste te videe na 3,4 unaprijed odredene stranice

Na svakoj od stranica na koje se uploadaju videi imali bi nekoliko profila, za svaki bi se koristio poseban proxy. Program bi se vrtio na VPSu, dnevni kapacitet bi trebao biti nekoliko tisuca videa.

Ovo je ugrubo opis kljucnih funkcionalnosti, kada krenemo u realizaciju sigurno cemo naici na neke sitnice i dodatnu potrebu za optimizacijom… na to uvijek treba racunati.

Procjene troskova izrade ovakvog programa su dobrodosle, a pogotovo sugestije vezane za VPS i nacin na koji bi se ovo na njemu vrtilo jer ja o tome ne znam nista.

Eto, prije nego postam na upwork volio bih provjeriti ima li ovdje netko tko je u stanju napraviti ovakav program :smile: .

#2

Ma ima ko je u stanju napraviti to, nego je problem sto ti ovo nece niko raditi ispod 1500 EUR :smile:

#3

Evo imam ja. I naravno to bi bilo skupo. Ali prije nego bi uopce prihvatio posao moram znat s kojih strnica se skida i na koje se uploada. Jer nisu sve stranice jako friendly sa ovakvim manipulacijama.

#4

Sve sto valja to i kosta, nije problem :smiley:
Da, unaprijed cemo definirati s kojih stranica se skida i na koje se uploada… trebam jos razraditi ideju jer ima tu puno detalja (caption images, tags, description itd itd.)

Pretpostavlja li tko sto cu raditi s ovim programom? :wink:

#5

Svasta se moze. Text je vrlo lako modificirat i podesavat, ali video automatski editirat je ultra tesko.

Vec sam radio na slicnom projektu, ali se radilo o slikama, covjek je htio da skinem slike, i watermarkam ih, te ih uploadam na ebay. Ovdje se radilo od ropshipping botu koji nije zazivio dan, jer smo bili JV partneri, a on je nestao u toku dok sam ja kodirao program.

Pa eto pripazite se JV partnerstva.

#6

Vjerojatno nešto što se ipak kosi sa autorskim pravima? :blush:

Ovo je nateži dio posla. Radi se o naprednom editiranju za koji služe profesionalni video editori.

Ipak, samo naprijed Ante, javi nam kako ide. :slight_smile:

1 Like
#7

Da, unaprijed cemo definirati s kojih stranica se skida i na koje se
uploada… trebam jos razraditi ideju jer ima tu puno detalja (caption
images, tags, description itd itd.)

Ako si stvarno zainteresovan i imas budzet za ovakav projetak javi mi se na pp, pa cemo se sve dogovoriti.
Samo da znas da ti za ovakve stvari treba bas jak i skup server, konvertovanje videa online jede puno resursa. :smile:

#8

Treba mu 8 jezgreni server barem. Mozda bi to trebao raditi offline. Ocu rec na desktop kompjuteru.

#9

Evo ti jedna mala statistika iz projekcije sa jednog sajta koji je testirao Tube Submitter, inače pored njega imaš i VideoSwiper (koji ima sve nabrojano što si naveo).

Amount of submitted videos: 20
Average time of one submission:
– manual part: 10 minutes
– auto part: 40-50 minutes (highly depends on the connection speed and video size)
Traffic source: (mostly) type-in traffic and clickable links/banners from tubes
Length of the videos: 3-5 minutes
Size of the videos: 17-40 MB

Ako baziraš računicu na nivou “nekoliko hiljada videa dnevno” koje ponovo treba konvertovati u određeni format, tebi treba server Quad Intel Xeon E5-4620 (32 Cores, 2.20 GHz) sa 64gb rama (kod konvertovanja ti je najvažniji CPU da to može sve lepo da izgura, da ne govorim da se tu ne radi o 100 snimaka pa da možeš odraditi sa nekim jeftinijim rešenjem npr. kao što Hetzner i slični provajderi. Ali pošto na tim “tube” sajtovima prilikom skidanja nećeš dobiti pravi format (već je konvertovan i prilagođen video), onda ti dolaziš na red sa ponovnim konvertovanjem tako da snimak već gubi dosta na kvalitetu, a samim tim i manje ti ide resursa.

Na red ti dolazi konekcija, pa sad zavisi od mnogo faktora i veličine materijala koji treba da ponovo uploduješ, ako je par hiljada (5000 dnevno) računaj na dnevnom nivou 300-400GB bandwidth, a prosečna veličina fajla za upload je 40mb, sa 100 Mbps za to ti treba nekih 7 sati i naravno najvažnije je da uzmeš UnMetered konekcije, jer 10TB podataka neki prosek ili čak i manje, ima da potrošiš za par dana.

Pored glavnog servera ti treba još jedan na kome ćeš taj program da pokrećeš, mislim ako uspeš sam da “izguraš” nekoliko hiljada klipova da edituješ i popuniš polja, osim ako to ne bude sve automatski kroz skriptu rađeno tj. da software sve sam kreira bez tvoje asistencije.

1 Like
#10

Predpostavljam da zelis napraviti neki porno sajt? :smiley:

1 Like
#11

@markoni82 , @dadaas Dakle dodavanje watermarka je najveci problem? Rado bih taj zahtjev izbacio ali u tom slucaju vecina stranica na koje cemo uploadati videe prepoznat ce da je video vec uploadan i nece ga prihvatiti…

@MojNalog Hvala ti, dao si mi predodzbu sto tocno da trazim kod servera… Da, apsolutno sve treba biti automatizirano, necu ja rucno popunjavati polja. Upravo zbog toga cemo se ograniciti na svega 3,4 stranice na koje cemo uplodati videe tako da se program moze optimizirati za svaku od njih.

Zanima me, moze li netko od domace ekipe @in4hr @serverlab @ControlEng ponuditi nesto sto bi zadovoljilo potrebe ovakvog projekta? Okvirna cijena je dobrodosla.

#12

sa @in4hr ti predlazem da ne radis, platio sam mu pre jedno godinu dana 50 eura da im ubaci jednostavan popup na image upload skriptu i nije uradio kako treba, kada sam mu pojasnio koje stavke treba da ispravi kulirao me je pa se javljao jednom mesecno na kraju nista nije odradio, znaci klasican programer u pokusaju koji kao zna nesto al mu se ne radi, tako da njega ne bi uzeo ni da mi izmeni footer na sajtu a kamo li nesto kompleksnije, ako bude potrebno prilozicu skype chat. Pozdrav :smile:

#13

Ne, najveci problem je convertiranje u druge formate. To ti nece funkcionirati kak treba. Onaj quad core gore navedeni mozda nece biti dovoljan, odnosno 100% sam sigurand a hiljadu videa u jednom danu s tim neces moci obraditi.

#14

Neće ovom serveru toliko predstavljati problem da izgura već konvertovane fajlove koji su izgubili na kvalitetu prilikom prvog upload-a, inače da se radi o snimcima u HD rezoluciji, ili snimcima od par GB, onda mu ni farma server ne bi pomogla da sve to izgura na nivou koji se spominje, ovako to može bez problema da prođe.

Evo ti primer: Jedan snimak na nekom od Tube sajtova pod promocijom HD, ima čitavih 47MB u 720p rezoluciji i trajanju od 9 minuta.

@Anteloff Samo mogu da ti kažem da te čeka jedna ozbiljna investicija, može se reći preko 5k eur za ovaj poduhvat, u to sam računao i zakup servera + software koji mora raditi sve automatski, a ne bi me čudilo da to bude čak i više… I ono što je najbitnije kakav je server “premium” ili nešto što se može nazvati premium ponuda, od 200-300$ mesečno… i na sve to dodaš administraciju i optimizaciju servera.

PS. Kad već ideš na novi projekat, možda investicija u WM forum, što da ne :wink:

#15

Dedicirani server uvijek možemo složiti -> up to 256 Gb RAM, up to 24-cores @3.16 GHz
SSD ili SAS @15k rpm (RAID 5/6 zbog bržeg čitanja/pisanja) su svakako preporuka.
Neograničen mjesečni promet i dedicirani link se za ovako nešto i podrazumijevaju.
Slobodno pogledaj službeni cjenik dediciranih servera: https://www.croweb.host/shop/dedicated-servers

Development - može se riješiti ali ne tako brzo i ne za sitne novce. Točno znam što trebaš. Zahtijeva ozbiljnu diskusiju.
Pozdrav ekipi :wink:

#16

Ja kodiram u ubotstudiu, to znaci da sam limitiran, ali debelo jeftiniji. Pa eto ako su ti ovi ostali preskupi javi se meni mozda mogu to napraviti sto trebas a mozda i nemogu, ali da ti to kazem moramo porazgovarat.

#17

I ja se slazem da je najveci problem konvertovanje, to ce povuci dosta resursa watermark nije problem…

Slazem se sa clanom MojNalog za server, takav server bi mogao to da radi ali je pitanje koliko bi mu trebalo vremena da konvertuje 1000 fajlova , za 1 dan , prosto nemoguce, nema vremena, lepo kaze dadaas.
Mada sa druge strane je i moguce , vreme konverzije zavisi od jacine servera ali i od duzine i kvaliteta samog videa.

Mislim da tebi treba sledecenje resenje.

Skripta koja vuce sve video linkove sa nekog servera i ponudi ti listu sa izmenjenim nazivima fajlova ili opciju da ti sam izmenis, zatim stikliras 1000 fajlova koje zelis i oni se 1 po jedan konvertuju i uploaduju na odredjenu lokaciju, tako da prilikom downloada korisnik ima video u avi formatu sa tvojim watermarkom , druim nazivom fajla i na kraju naziv url.

#18

Hvala svima na odgovorima, stvarno sam ugodno iznenaden kvalitetom diskusije.

Ja cu za mjesec dana testirati ovu metodu zarade, rucno cu uploadati 100tinjak videa pa vidjeti ide li to kako ja mislim da bi trebalo ici. Ukoliko ispuni moja ocekivanja, idemo u realizaciju… Sve cu vas kontaktirati pa cemo razgovarati o detaljima.

#19

Zašto ručno da uploduješ? Zakupiš RDP Encoding (20-40$) mesečno (zavisno od HDD-a), tražiš da ti instaliraju HandBrake software (ako već nije instaliran), konekcija 1 Gbps Full Duplex Connection, Win2008 i uživaš.

Inače ono što sam zaboravo kao i najvažnije da kažem jeste i sledeće: Verovatno si već analizirao te sajtove tj. u prevodu koliko je dozvoljeno dnevno dodati video snimaka, onda neki od njih imaju i ograničenja kao što je npr. jedan poznati sajt na svetu to imao od 500MB dnevno pa je ukinuo taj limit. Kada govorimo o proxy serverima oni ti neće biti problem kod kreiranja naloga, naprotiv to će odlično proći, ali će biti problem koliko taj proxy (ako je free varijanta) koristi ljudi. Ako budeš išao upload preko proxy onda možeš čekati svetlosnu godinu da okačiš bilo kakav snimak. Imaš i premium proxy varijante.

Svi i poznati “Tube” sajtovi imaju dosta limita kada je u pitanju upload snimaka, neki ograničavaju na MB, neki idu na dnevni limit i to moraš proveriti. Ako budeš direktno radio upload iz aplikacije velika je verovatnoća da će tvoja IP adresa biti na crnoj listi i onda novi problem…

PS. Inače ta fora sa snimcima dobro funkcioniše u “adult” industriji :sunglasses: Evo i za one koji nisu upućeni o čemu se tačno pričalo, nije nikakva tajna KLIK

#20

Da, na adult sam i mislio :smile: Vidim da ljudi vrte $1000+ dnevno na tome, s poluautomatiziranim programima…

Vidim da znas o cemu pricas, jesi radio mozda nesto vezano za ovo? Kako ide?


Copyright © 2020 WM Forum - About | Contact - Sponsored by: Mydataknox & Profit Monkey