Portal sažetih vijesti

Ovo je ipak ključ svega… ne zvuči nikako jednostavno raditi sumarizaciji teksta. Jel može neki rezime onoga što znaš o toj temi?

Nema sanse neko da napravi alat za sumarizaciju teksta a da taj tekst bude unikatan i smislen, moze eventualno da se skracuje, a i to AI ne bi valjano radio. Ko napravi takav alat da smisleno sumarizuje clanak sigurno nece praviti domaci portal skracenih vijesti. Pa gugl ne moze napraviti takvo sta kamoli neki individualac.

1 Like

Pa zapravo može se to napraviti, to se zove natural language processing. Za HR jezik je to malo teže, ali nije nemoguće.

Evo za vas koga zanima https://towardsdatascience.com/comparing-text-summarization-techniques-d1e2e465584e

Naravno da se sve moze napravit, samo je pitanje kalko dobro ce fercerati. Ajde daj mi neki primjer bilo kog alata koji to radi? Cak upola ili cak u samo 10% slucajeva da pogadja. A garantujem da se pokusava to napravit i da se investira tona u to. Svi AI alati oko clanaka su i dalje krsina teska i pored hvaljenja na sva zvona. A to za sazimanje bi trebalo da je jednako lako za napravit ko i alat za kreiranje clanaka. Ali ipak nema nidje nicega da fercera iole normalno. I sad reci da neki individualac koji oce napraviti domaci portal sa sazetim vjestima moze to napravit je poprilicno neozbiljno

Hvala svima. Odjavljujem se i bacam se na posao :slight_smile:

2 Likes

Nemoj biti baš tako samouvjeren… napravio je čovjek od kamena iphone … u suštini što čovjek može pomisliti, može i izvesti. :smiley:

S ovim se slažem. Zvuči preambiciozno da bi se pravilo za tako primitivnu svrhu. Ali ako on uspije to napraviti… sigurno neće stati na domaćem portalu, nego mu je nebo granica…

Ja mu želim svu sreću ako ima ideju kako bi to napravio… i ako programira 15g. vjerujem da ne lupeta baš bezveze. :slight_smile:

P.S. današnji jaki AI (neuronske mreže) rade čuda. Pitanje je samo jel ih netko upogonio na pravi način da odrade ovaj tip zadatka.

jesi li ti vidio najnaprednije dostupne opcije AI koje sastavljaju neki kao smislen članak? jesi li isprobao ijedan od tih alata? za sažimanje teksta treba slično napredan AI. možda zeru jednostavniji, ali ne baš mnogo. Dakle ulaže se tona u to i i dalje ne postoji ista sto bi davalo naznake da AI moze iole priblizno normalnom covjeku sklapat tekstove. Svi dostupni alati su katastrofalni. I sad ja treba da vjerujem da ce neko ko planira da sazima clanke i pravi domaci portal napraviti to. Nikako

Ne kazem da u buducnosti nece moc, ali svakako to nece napravit neki individualac no nedje dje se ulazu tone.

Ma ja sam se samo osvrnuo na tvoju raniju rečenicu …

… koja glasi kao da je to svima nedostišno, znači generalno ljudskom društvu da je nedostižno.
A to svakako nije. Prije ili kasnije ćemo pričati sa mašinama kao i sa ljudima…ako već nije neka mašina položila taj test, inače zvan “Turing test”. A pričanje i sumarizacija da se izvedu kratki i jasni zaključci iz pročitanog…sve je to ista podloga.

Inače, ja sam isto radio sumarizaciju za potrebe carpoolinga kada sam se time bavio …i bio je zadatak iz napisanog teksta zaključiti: (Gdje je tekst koji se obrađivao bio potencijalno potražnja ponuda prijevoza, oglas jel… )

  • da li osoba nudi ili traži prijevoz
  • kada osoba putuje
  • koliko traži ili nudi slobodnih mjesta
  • od kuda putuje do kuda (S time da su ljudi nabrajali masu gradova …alternativnih polazišta…alternativnih dolazišta…ma kombinacija svakakvih…)
  • i ako se vraća, trebalo je zaključiti isto tako kada se vraća

i svi ovdje na forumu su rekli da je nemoguće što želim postići …nisu mi davali šanse da će to raditi niti sa 50% točnosti. Ja na kraju napravio sa nevjerovatnih preko 97%. :slight_smile: + nekih 10% odustajanja kada se mašina nije usudila dati procjenu. (Ali i tada su njene sugestije bile izvanredno dobre)
Tako da ja neću podcjeniti momka…svaka mu dala ako može ikako to napraviti. :slight_smile:

A da ti ne pričam sa čime sam se sve bakćao …od toga da kada netko napiše HITNO tražim prijevoz …pa ako putuje za grad unutar HR to je značilo da želi poći danas/sutra …a ako je putovao u drugu državu, to je značilo da mu treba prijevoz unutar 30 dana, hehe.

Pa tipfeleri koji su se pisali…pa ovo pa ono… …pa otkriti što nekome znači “idući petak”. Uglavnom se na kraju pokazalo ako netko 2-3 dana prije subote kaže “iduću subotu” …to je značilo onu stvarno iduću subotu …a ako je netko početkom tjedna to rekao, onda je značilo prvu nadolazeću subotu…itd…itd…

Pa su ljudi masu pisali "Idem za Karlovac u petak, ide li tko"

Pa ti saznaj jel on vozač i nudi prijevoz ili putnik i traži prijevoz. No zanimljivo je bilo da su se ljudi međusobno razumjeli i za tako napisane oglase…i mašina je morala prokužiti i o čemu se tu radilo… i dobro kategorizirati i takve oglase…

Uglavnom, svašta se može.
Ovo moje je kada pogledaš isto sumerizacija teksta jer je trebalo izvuči nekoliko konkretnih podataka iz teksta koji je ponekada bio rečenica, ali vrlo često 5-6 rečenica koje je trebalo razumjeti.

Svakako, ovo je bila informacijski uska domena i zato je tu bilo ohoho manje posla nego ako poželiš sažimati informaciju iz velikog polja informacija koje se traže.

Ali u suštini isti problem rješava (kvalitativno) …samo ako ćeš se baviti sa više informacija, imaš kvantitativno ohoho više posla da naučiš mašinu što treba tražiti i koju logiku voditi nad time.

Naravno, za puni opseg informacije koji pokriva ljudski jezik…ima tu brdo posla, no nikako nedostižno… pogotovo ako se tome pristupi sa kvalitetnim metodama strojnog učenja…

da nedostižno je trenutno, bar na neki slično čak i poprilično glupom čoeku da mašina sumira svojim riječima neki tekst. da li će za 2-5-10 godina to bit moguće i oće li ljudi dronovima letiti na posao pojma nemam, no velim, da mašina ne može trenutno ni u nekoj jako bliskoj budućnosti savlladat jezik, logičko razmišljanje i sastavljanje rečenica ko što radi ljudski mozak, čak i na nekom nižem nivou.

pa to nije ni približno isto, ma ni slično. ovo tvoje što si naveo je poprilično jasno i kako radiš i šta radiš i to nije ni približno kompleksno kao sastavljanje nekog teksta od strane mašine a da to liči na ljudsko pisanje. ne podcjenjujem ja nikoga no je više no evidento koliki je problem napraviti mašinu koja mora savladati jezik mozak i logiku i to sve u jednom. a sve to je potrebno za kvalitetno sažimanje teksta. dakle u pitanju je otprilike alat - čoek bez emocija, da vjerujem da će to neko napravit uskoro, ne vjerujem. dal će nekad neko napraviti takvo šta, moguće, al opet skeptičan sam da će bit neko kome je prva ideja bila da to sažimanje koristi za pravljenje portala domaćeg sa sažetim vijestima.

ps. stvarno se izvinjavam ako je ič nekulturno od ovoga prema momku koji je imao ovu ideju i krenuo sa ovom pričom. nemam namjeru bit nekulturan il napadat nekog, samo djelim neko moje mišljenje.

Isključio sam se s foruma na par dana i napravio sam demo portala. Nazvao sam ga U Kratkim Crtama (https://ukratkimcrtama.com/)

Pa slobodno provjerite, nije savršeno, al za početak sasvim ok

4 Likes

Po mom mišljenju kratko i jasno u kratkim crama :smile: Pročitaš bitno a ako te zanima ostatak članka klik i pročitaš ostalo. Zanimljiv projekat verujem da bi mogao da ima uspeha kako si zamislio

Budući da sam programeri mogu automatizirati proces i bitne stvari i rečenice izvući programatski, tipa 5 najbitnijih rečenica.

P.S. Usput narode da pitam (mislim…ko zna ) da mi neko objasni -kaže, na koju foru (plugin ili skriptu) ili već šta …kako se objavljuju one vesti " na današnji dan /datum"?

Pa brz si. :slight_smile:

Sad sam tek otvorio link koji si gore stavio … onako letimice izgleda kvalitetan neki tekst. :wink:

Brz sam jer sam puno razmisljao i prije ove teme. Ostalo je samo implementirati zamisljeno :smiley:

1 Like

Copyright © 2020 WM Forum - AboutContact - Sponsored by: Mydataknox & Profit Monkey