Deepfakes ja syvät videokuvat - mitä ne ovat ja mitkä ovat niiden erot?

Tiedät ehdottomasti mitä Deepfake on, mutta et ehkä tiedä mikä se on tai mitä se oikeasti tarkoittaa. Et ehkä tiedä, että on olemassa erilaisia ​​tekniikoita, jotka voivat tuottaa vääriä videoita ja ääniä.

Olemme kaikki perehtyneet valokuvasuositettuihin kuviin ja siihen, kuinka pitkälle ne ovat menneet. Esittelemme myös videotehosteet (VFX) ja erikoistehosteet, joita on käytetty elokuvissa vuosikymmenien ajan. Mutta fake-medioiden vuoksi on tulossa uusi aikakausi.

Deepfake- ja Deep Video Portrait -tekniikat ovat kaksi samanlaista, mutta erilaista tekniikkaa, joita käytetään Hollywood-elokuvissa, YouTube-videoissa ja kyllä, pornografiassa. Mutta mikä tämä tekniikka oikeastaan ​​on ja miten se kaikki toimii?

Jos et vieläkään ole nähnyt Nicholas Cagen kasvojen herjaavaa videota toisesta elokuvanäyttelijästä, niin olet todennäköisesti nähnyt paljon sosiaalisen median "suodattimia" tai "naamioita", jotka tekevät sinusta kissan, lisää kokki. laita hattu päähän tai tee siitä yksivärinen.

Olet todennäköisesti nähnyt BuzzFeed-videoita, joissa koomikko ja impressionisti Jordan Pil näyttää videossa, kuinka joku voi manipuloida heidän kasvonsa (tässä tapauksessa entinen presidentti Barack Obama) ja näyttävän sanovan jotain mitä hän ei koskaan tehnyt.

Olet ehkä jopa kuullut, että Wonder Woman -tähti Gal Gadot esiintyy oletettavasti aikuisten videossa Redditin käyttäjän väärennetyssä elokuvassa nimeltään "Syvyydet". Gadotin kasvot lisättiin pornostaarin vartaloon viime joulukuussa. Deepfakes.

Joten mikä on Deepfake?

Saatat ajatella, että Deepfakesin perusta on "kasvojen korvaaminen".

Deepfake on AI-yhteensopiva video, joka luodaan ottamalla useita valokuvia (yleensä satoja tai tuhansia) lähdehenkilöstä. Näitä kuvia voi ladata useista lähteistä, kuten Instagramista, Facebookista, Snapchatista tai jopa Google-kuvahausta.

Deepfake AI kartoittaa lähdekuvien kasvot ja luo 3D-mallin katsomiesi valokuvien perusteella. Malli kartoittaa ohjaimen kasvot ja piirteet:

Lähde: https://hackernoon.com/building-a-facial-recognition-pipeline-with-deep-learning-in-tensorflow-66e7645015b8 kirjoittanut Cole Murray

Ohjelma tarjoaa myös lähdevideon, jolla on kohdepinta, jota käyttäjä haluaa muuttaa. AI kartoittaa myös videossa olevan henkilön kasvot ja luo uuden kolmiulotteisen karttamallin.

CMU: n tutkimusprofessori Simon Lucy käyttää itseään mallina esitelläkseen lasitavaransa vähittäismyyjälle kehitetyt kasvot kartoittavat ohjelmistot. Luotto: Simon Lucey / CMU

AI alkaa sovittaa lähdemalli kohdemalliin. Se "oppii" kasvot kuvien kautta (harjoitustiedot), joka näyttää vähän seuraavalta:

Esimerkki kasvojenvaihtoharjoituksista - Elon Musk ja Jeff Bezos, Adi Robertson, Lähde: https://www.theverge.com/2018/2/11/16992986/fakeapp-deepfakes-ai-face-swapping

AI poistaa sitten luodut kolmiulotteiset kasvot kohdevideon kolmiulotteisen mallin valokuvista ja tuottaa videon, joka vastaa kasvojen, suun, silmien ja niin edelleen liikettä. alkuperäinen kasvot.

Deepfaken lähde on kuvasarja, ja Deepfaken tulos on kasvokkain video, jota on muokattu esimerkiksi:

Mikä tekee tästä syvävideokuvan erilaiseksi?

Ero "Deepfake" ja "Deep Video Portrait" (DVP lyhennys) välillä on kahdessa erossa:

  1. DVP: stä peräisin oleva video ei korvaa kasvoja, vaan ohjaa vain ominaisuuksia
  2. DVP: n lähde ei tule henkilökohtaisista valokuvista, vaan live-näyttelijöiltä.

DVP ei korvaa kasvoja. Se on kasvot manipulointia. Video nukketeatteri.

Tämän artikkelin alussa linkitetty video osoitti, että Obama puhuu väärennetyistä videoista, ei väärennöksistä, vaan esimerkistä DVP: stä. On näyttelijä, jonka kasvot näytetään kartalla, ja jos et muuttanut kohdepintoja, vaan liikut vain kohdepintoja, tulokseen voi luottaa jopa enemmän kuin valokuvauksellinen syvyys.

DVP-luojat voivat tehdä esimerkiksi kohdennettua vilkkumista, suun avaamista, kulmien nostamista ja pään kääntämistä. Syvemmät äänet puolestaan ​​eivät voi häiritä alkuperäisiä videotoimintoja. Siksi DVP: hen voi luottaa enemmän kuin mihin tahansa syvään.

Tämä esimerkki antaa perusteellisemman kuvan tämän "kasvojen maalaamisen ja uudelleenintegroinnin" tekniikan toiminnasta:

Snapchat- tai Instagram-suodatinmaski on DVP, ei Deepfake. Tämä johtuu siitä, että sinä (kohde ei muuta kasvot), mutta kasvosi on kartoitettu ja sovellus vain sulkee jotain kasvosi:

Äärettömät ja syvät videokuvat

Eräs toinen väärennetty sisältö on hiljattain parantunut ja suosittua - äänen luominen.

Vuonna 2016 Adobe Max esitteli Adobe VoCon luovassa konferenssissa: äänisarjan, joka auttaa käyttäjiä kertomaan ihmisille, mitä he haluavat. Ajattele tekstin kääntämistä puheeksi, mutta perustua jonkun todelliseen ääneen.

Yhtiö väittää, että 20 minuutin kuuntelija antaa VoColle mahdollisuuden julkaista aito lähdemainen laulu. Lähtön tuottaa tietokone, joka käyttää ohjelmistoa.

Adobe VoCo -järjestelmää ei ole todella kuultu vuodesta 2016 lähtien, luultavasti sen jälkeen, kun yksityisyyttä ja yksityisyyttä koskevat kysymykset on nostettu esiin. Se esiteltiin "ideafoorumilla", jota ei ilmoitettu uudeksi tuotteeksi. Se herätti uteliaisuutta, jännitystä ja keskustelua, mutta ei juuri odottanut julkaisua.

Nyt kun ideoita ja tekniikkaa on saatavana, muut yritykset ovat julkaissut oman ääniteknologiansa. Lyrebird on julkaissut palvelun, joka luo sinulle "lauluhahmon" vain 30 lauseen perusteella (perustuen noin 20 minuutin VoCon tietoihin).

Vaikka VoCo tarvitsee paikallisia tietotekniikkaresursseja tuotteidensa tuottamiseksi, Lyrebird käyttää laajamittaisia ​​pilviresursseja ja nopeuttaa tuotantoa huomattavasti. Lyrebird vaatii myös 30 erityistä lausetta 20 minuutin peruspuhetyyliä vastaan, mikä voi vähentää turhautumista ja muita heikkouksia.

DVP: n äänipetokset voivat lisätä luottamusta. Tämä johtuu siitä, että et kuuntele vaikutelmaa, että joku saattaa menettää kuvan, vaan pikemminkin tarkemmin edustamaan kohdehenkilön omaa ääntä.

Hybridi-tekniikka

FaceSwap on ohjelma, jonka avulla voit yhdistää Deepfaken kasvotusten, mutta tuskin kenenkään muun kasvot reaaliajassa. Yhdistää syvän ja DVP: n.

johtopäätös

Näiden tekniikoiden kehittämistä jatketaan. Vaikka monet käyttötavat ovat hauskoja ja omituisia, tällä tekniikalla on valtava vaikutus.

Deepakes ja DVP vaikuttavat epäilemättä näkemyksiimme totuudesta, luottamuksesta ja yksityisyydestä. Mutta keskustelu moraalista, ongelmista ja sosiaalisista vaikutuksista (hyvistä ja huonoista) on tämän artikkelin ulkopuolella.

Toistaiseksi ainoa ratkaisu on kyseenalaistaa mitä olet nähnyt ja kuullut.

Kuva Mikes Pexels Pictures