Generale

Ovaj AI softver može generirati zastrašujuće realistične lažne video zapise sa audio isječaka


Istraživači sa Univerziteta u Washingtonu razvili su novu tehnologiju dubokog učenja koja im je omogućila da izrađuju visoko realistične video zapise preklapajući audio klipove sa autentičnim video referencama. Uspjeli su sinhronizirati audio snimke bivšeg američkog predsjednika Baraka Obame s četiri različita video scenarija u kojima se pojavio.

Usne sinhroniziraju 'divlji' video sadržaj za stvaranje sintetičkih, ali realističnih videozapisa

Prethodni pokušaji sinhronizacije audio uzoraka s video isječcima lako se smatraju lažnima i, najčešće, jezivima ili neugodnima za gledanje. Međutim, novi algoritam koji je razvio Univerzitet u Washingtonu uspio je glatko sinhronizirati audio i video isječke, što je prevladalo uobičajenu nevolju u stvaranju realističnih videozapisa poznatih kao neobična dolina. Supasorn Suwajanakorn, vodeći autor objavljenog rada, primijetio je složenost postupka sinhronizacije usana video zapisa.

"Ljudi su posebno osjetljivi na bilo koja područja vaših usta koja ne izgledaju realno. Ako zube ne ispravite ili se brada pomakne u pogrešno vrijeme, ljudi je mogu odmah uočiti i izgledat će lažno. moraju savršeno napraviti područje usta kako bi izašli izvan čudesne doline ".

[Izvor slike: Univerzitet u Washingtonu]

Suwajanakorn i njegov tim istraživača koristili su tehniku ​​u dva koraka u izradi svojih visoko realističnih video zapisa. Prvo su morali osposobiti neuronsku mrežu za obradu video zapisa određene osobe i usklađivanje različitih zvukova u osnovne oblike usta. Zatim su koristili tehnologiju iz prethodnog istraživanja UW-ove laboratorije za grafiku i slike kako bi se preklapali i kombinirali utvrđeni oblici usta povrh postojećih referentnih video zapisa. Jedan od ostalih trikova s ​​kojim su se uhvatili bio je dopuštanje malog vremenskog pomaka kako bi se omogućilo da neuronska mreža predvidi ono što će ispitanik reći. U osnovi, Suwajanakorn je uspio razviti algoritme koji imaju mogućnost učenja iz videozapisa pronađenih širom Interneta, ili kako su istraživači rekli, pronađeni "u divljini".

"Postoje milioni sati videozapisa koji već postoje iz intervjua, video ćaskanja, filmova, televizijskih programa i drugih izvora. A ti algoritmi za duboko učenje jako su gladni podataka, pa je dobro da to učinite na ovaj način", rekao je voditelj autor.

Potencijalna upotreba tehnologije dubokog učenja

Jedan od istraživača u timu smislio je vrstu tehnologije naučne fantastike. Ira Kemelmacher-Shlizerman, docentica na Univerzitetskoj školi za računarstvo i inženjerstvo, rekla je da se novi algoritam može koristiti za svakodnevne događaje, kao i u futurističkim postavkama.

"Realna konverzija audio-u-video ima praktične primjene poput poboljšanja video konferencija za sastanke, kao i futurističke, poput mogućnosti održavanja razgovora s povijesnom ličnošću u virtualnoj stvarnosti stvaranjem vizualnih materijala samo od zvuka. Ovo je vrsta proboj koji će pomoći u omogućavanju sljedećih koraka ".

Tehnologija dubokog učenja takođe se može koristiti za rješavanje uobičajenih problema sa virtualnom komunikacijom, gdje je streaming video zapisa često zaostao i frustrirajući. Dok se audio veza obično emitira u stvarnom vremenu bez zaostajanja.

"Kada gledate Skype ili Google Hangouts, često je veza mucava i niske rezolucije i zaista je neugodna, ali često je zvuk prilično dobar", rekao je Steve Seitz, koautor lista. "Dakle, ako biste mogli koristiti zvuk za proizvodnju mnogo kvalitetnijeg videa, to bi bilo sjajno", dodao je.

Tehnologija tima takođe se može razviti i poboljšati kako bi se opremila algoritmima koji mogu otkriti je li video zapis autentičan ili proizveden. Oni također nastoje unaprijediti svoju tehnologiju kako bi mogla proučavati i obrađivati ​​glas i govor pojedinca koristeći manje podataka. Na taj će način smanjiti vrijeme postupka na samo sat vremena, umjesto na oko 14 sati.

Rad o istraživanju tima bit će predstavljen na konferenciji SIGGRAPH 2017 u Los Angelesu 2. avgusta 2017.

Izvor istaknute slike: Supasorn Suwajanakorn / YouTube

ViaUniverzitet u Washingtonu

VIDI TAKOĐE: Ova nova tehnologija omogućava uređivanje zvuka baš kao i tekst


Pogledajte video: Izgubljeno Prijateljstvo (Decembar 2021).