Home » Forskning » Nu kan computeren gætte en grimasse
Nu kan computeren gætte en grimasse

Nu kan computeren gætte en grimasse

Share

Eksperimentalprogrammet Face2Face kan overføre ansigtsudtryk og mimik fra videooptagelser af én person til en anden

Der var engang, hvor det var meget svært at retouchere og redigere et fotografi, så det stadig så helt ægte ud, og ingen ændringer kunne ses. Så kom computeren og med den Photoshop og et væld af lignende softwareprogrammer til billedbehandling, og nu regnes et billede næsten for at være bearbejdet, hvis ikke andet er bevist. Det er dog stadig svært at manipulere levende billeder. Du kan lave computeranimationer af dinosaurer og talende dyr, der måske nok ser relativt overbevisende ud, men lider under det faktum, at alle ved, at dinosaurer og talende dyr ikke findes.

Gennem de seneste år har forskellige teknikker til overførsel af gestik og mimik hos skuespillere vundet indpas til brug for virkelighedstro og realistiske animationer af film- og gamer-figurer, men overførslen af data fra de levende aktører til de computerskabte animationer er generelt temmelig omstændelig. Men nu har et internationalt forskerteam udviklet en ny computerassisteret manipula-tionsteknologi, der hvor utroligt det end lyder, kan ”plante” en skuespillers mimik over på personer i eksisterende videooptagelser. Der er ikke blot tale om en slags ”cut-and-paste”, hvor ansigtstrækkene hos person A skæres ud og indsættes i ansigtet på person B billede efter billede hele videoen igennem.

Sammenligner pixel for pixel

Det drejer sig i stedet om en mere avanceret computerteknologi, der pixel for pixel sammenligner ansigtsbevægelserne hos en person A (kildepersonen) med ansigtsudtrykket hos en person B (målpersonen) og uden synlige fejl overfører kildepersonens mimik til målpersonen.

Teknologien kaldes Face2Face og er udviklet i et samarbejde mellem blandt andre professor Matthias Niessner fra Stanford University og Justus Thies fra Max Planck-instituttet samt forskere fra Friedrich-Alexander-Universität i Erlangen-Nürnberg.

”Computeren fodres først med den eksisterende videooptagelse af målpersonen, f.eks. hentet fra Youtube eller anden kilde og skaber ved hjælp af blandt andet mønstergenkendelse og ansigtsgenkendelse en 3D-model af målpersonens udseende på cirka 15 sekunder,” forklarer professor Niessner.

Kildepersonen A live-filmes via et webcam, og billederne streames til computeren, der nu sammenligner den pågældendes mund, trækninger, læbernes bevægelser, øjenbrynenes stilling samt øjnenes retning og grad af sammenknibning med computer-modellen og beregner, hvordan kildepersonens mimik bedst kan modelleres ind i ansigtet på målpersonen B.

Se også:  Huawei hjælper blinde med at aflæse ansigtsudtryk

Forskerne har benyttet et Logitech HD Pro C920, der kører med 30 Hz og en opløsning på 640 × 480 pixel til formålet. Men ethvert gængs webkamera vil kunne bruges, og den video, der skal manipuleres, kan sagtens foreligge i en højere opløsning som 1280 x 720, der ofte anvendes i YouTube.

”Computeren sammenligner faktisk de to ansigter pixel for pixel,” oplyser professor Niessner, ”og nøjes hele tiden med kun at udskifte de billedpunkter af person B, der giver den mindste afvigelse fra originaloptagelsen. Hele processen klares i realtid med en forsinkelse på bare 30 millisekunder, hvilket ikke kan ses med det menneskelige øje. Hastigheden skyldes dog ikke mindst det faktum, at programmet afvikles på flere computerprocessorer på en gang.” 

Eftersom computeren i forvejen er blevet fodret med videodata om person B og på det grundlag har skabt en 3D-model af pågældendes kontrafej under smil, latter, vrængen osv., kan computeren hurtigt finde og forme disse elementer i overensstemmelse med kildepersonens grimasser. Stikker kildepersonen eksempelvis i høj latter med åben mund og bredt smil, gengives målpersonen omgående med tilsvarende synlige tænder og tunge.

Kan Face2Face ikke opstøve et smil eller en åben mund i den originale videooptagelse, trækker programmet  blot passende elementer fra en database. Men det sker vel at mærke på en måde, så person B bibeholder alle sine karakteristiske grundtræk i modsætning til andre forsøg, hvor kildepersonens mund bare kopieres direkte over på målpersonen, hvilket i de fleste tilfælde meget tydeligt kan ses.

Som en virkelig optagelse

Effekten er virkelig forbløffende og tangerer noget, der slet ikke burde kunne lade sig gøre. På den måde kan du uden videre få Vladimir Putin til at ”mime” til hvad som helst og smile varmt eller fjoget. Alle kildepersonens udtryk, grin og grimasser overføres simpelthen glat og 100 procent troværdigt til målpersonen, der ”svarer” med de samme ansigtstrækninger og folder i realtid og med en fotorealisme, der stort set ikke er til at skelne fra en virkelig optagelse.

Se også:  Avanceret ansigtsgenkendelse ser hvad du føler

Den anvendte software er dog endnu ikke tilgængelig for alle og enhver, men dr. Niessner forudser, at blandt andet spilproducenter med software som Face2Face vil få et helt nyt værktøj, hvor du som spiller vil kunne overføre dine egne fagter og grimasser til din spilfigur online. Det samme kan dine med- og modspillere, og det vil kunne føje en ny og underholdende dimension mere til gameplayet.

”Virtual reality og augmented reality bygger for en stor del også på kunstigt skabte virkelighedselementer, og her vil teknologien kunne være et kærkomment redskab til endnu større livagtighed, ” mener professoren.

Endelig vil teknologier som Face2Face også med fordel kunne anvendes i forbindelse med eftersynkronisering til film og tv, hvor skuespillernes mundbevægelser og ansigtsudtryk vil kunne bringes til at matche de nye replikker mere fuldkomment.

Face2Face-teknologien kan også bruges til at at lave overbevisende mimik på avatarer.

Skype har allerede lanceret et system til næsten-simultan stemmeoversættelse under videosamtaler, og dr. Niessner forventer, at med lidt yderligere udviklingsarbejde vil dette kunne kombineres med Face2Face, så en franskmand eksempelvis kan tale med en kineser, så det vitterligt ser ud, som om begge personer taler hinandens sprog. Men hvis Putin pludselig skal sige noget helt andet, der passer til en ny mimik, kræver det enten en ekspert-imitator eller en ny teknologi, der gør for lyd, hvad Face2Face gør for videooptagelser.

Kritik mod projektet

Netop fordi processen forløber så naturtro og realistisk, at det stort set er umuligt at se, om der foreligger manipulation, har der naturligvis rejst sig kritiske røster. ”Men teknikken kan relativt let vendes om,” beroliger dr. Niessner.

”Alle menneskers mimik er unik, og ligesom grafologer med stor sikkerhed kan fastslå, om en håndskrift stammer fra en udpeget person, kan eventuelle videofalsknerier afsløres ved computersammenligning af forskellige optagelser af den samme målperson.”

Forskerne erkender da også, at deres teknik endnu ikke er 100 procent ufejlbarlig og overbevisende. Men set på baggrund af springet fra de første computerskabte effekter på film til det, publikum kan opleve i dag, vil også Face2Face-teknologien udvikle sig og måske på et tidspunkt blive noget nær perfekt.


TAGS
Ansigtsgenkendelse

DEL DENNE
Share

Seneste Tech test
Seneste konkurrencer

Mest populære
Populære
Nyeste
Tags

Find os på de sociale medier

Modtag dagligt IT-nyhedsbrev

Få gratis tech-nyheder i din mail-indbakke alle hverdage. Læs mere om IT-UPDATE her

Find os på FaceBook

Alt om DATA

Lautrupsgade 7,
DK-2100 København Ø
Telefon: 33 91 28 33
redaktion@altomdata.dk

Datatid TechLife

Lautrupsgade 7,
DK-2100 København Ø
Telefon: 33 91 28 33
redaktion@datatid.dk

Audio Media A/S

CVR nr. 16315648,
Lautrupsgade 7,
DK-2100 København Ø
Telefon: 33 91 28 33
info@audio.dk
Annoncesalg / Prislister:
Lars Bo Jensen: lbj@audio.dk Telefon: 40 80 44 53
Annoncer: Medieinformation


Alt om DATA, Datatid TechLife  © 2019
Privatlivspolitik og cookie information - Audio Media A/S