Artikel top billede

(Foto: Computerworld)

Billedmanipulation: Computeren kan både afsløre og tilsløre

En computer kan tydeliggøre ting i et billede, som du ikke kan se, og tilsløre ting, som du ikke vil se. Derfor inddrager både efterforskning, sundhedsforskning og filmproduktion rutinemæssigt alle de nyeste digitale muligheder for billedmanipulation.

Af Palle Vibe, Alt om Data

Denne artikel er oprindeligt bragt på Alt om Data. Computerworld overtog i november 2022 Alt om Data. Du kan læse mere om overtagelsen her.

Søndag den 10. juli sidste år forsvandt den unge 17-årig Emilie Meng sporløst på vej hjem fra en fest i nærheden af sin hjemby Korsør. Juleaftensdag blev hun fundet dræbt i en sø nær Borup. Politiets måske vigtigste spor var en overvågningsvideo fra Korsør Station, der på lang afstand viser en mistænkelig bil forsvinde syd om stationen og bort ad Storebæltvej på tidspunktet for hendes forsvinden. Men da optagelsen desuden var filmet gennem flere lag glas, var sekvensen desværre af så ringe kvalitet, at politiet end ikke kunne skelne bilmærket.

Korsør politi havde hverken de rette eksperter med den rette viden eller havde mulighed for at udvikle eller tilpasse billedsoftware, der kunne håndtere opgaven. De digitale overvågningsbilleder skulle desuden først oversættes til et brugbart format, da videoovervågnings-
anlæg tit og ofte kører efter sit helt eget system med hensyn til blandt andet komprimering og dataformat.

Efterforskningen valgte at sende optagelsen til ekspertanalyse i udlandet for at kunne være sikker på at få bilmærket identificeret. Undersøgelsen og billedbehandlingen tog sin tid, men til sidst stod politiet med en optagelse, der rimelig tydeligt indikerede, at den pågældende personbil var en lys (dvs. hvid eller sølvgrå) hatchback formentlig af mærket Hyundai I30 model 2011-2016.

Dit ansigt afspejler din livslængde

billedeforbedring Denne mands virkelige alder er 29 år, men hans ansigt er efterfølgende gjort ældre med software udviklet af Face Aging Group ved universitetet i Carolina.

Tidligere forskning har påvist, at nogle mennesker viser synlige aldringstegn tidligere end andre. Men nu kan et program udviklet af forskere fra University of North Carolina i samarbejde med National Security Agency, CIA og FBI udlede, hvor hurtigt du vil ældes og ultimativt, hvor længe du dermed sandsynligvis vil leve.

Resultatet tager hensyn til race, køn og hudsammensætning og er helt specifikt for den pågældende i modsætning til lignende værktøjer, der blot føjer tilfældige rynker og linjer til ansigtet efter bestemte retningslinjer. Programmet kan ud fra en computerscanning af et ansigtsfoto kortlægge personens aldringstegn og ved at sammenligne med personer på samme alder og med pågældendes generelle sundhedstilstand og livsførelse i øvrigt anslå, hvordan og hvor hurtigt personen vil ældes og dermed komme til at se ud som ældre.

Programmets intelligente algoritmer har studeret en database på titusinder af ansigter på forskellige alderstrin, hvoraf nogle siden er døde. Og dette har i høj grad været med til at lære programmet, hvor langt et liv en person kan forvente. Det er dog ikke fuldt godtgjort, om aldringstegn i ansigt og ansigtshud alene kan afsløre personens livslængde. Eksempelvis tager programmet ikke hensyn til personens vigør og aktivitetsniveau.

Eksempelvis lever mange amerikanske præsidenter længere end gennemsnittet, selv om de i løbet af embedet udviser dybe og hurtige aldringstegn. Det er heller ikke endegyldigt klarlagt, at personer med unge ansigter også lever tilsvarende længere. Teknologien har bl.a. vist sig interessant for forsikringsselskaber, der herved kan vurdere livslængden for deres kunder. Men resultaterne kan også være et incitament til at gøre sin livsstil sundere.

Nummerpladen, der forsvandt

Digital billedforbedring er i tidens løb blevet et så effektivt redskab for både myndigheder, organisationer og institutioner, at der i dag nærmest er tale om en disciplin i sin egen ret. Men der er naturligvis forskel på, hvordan teknologien bruges, da det afhænger af de resultater, man ønsker.

Retsteknisk billedforbedring kan uddrage information, hvis denne information er til stede i billedet. Men retsteknikere kan og må under ingen omstændigheder tilføje eller skabe information, der ikke er der. Det tager man til gengæld ikke så tungt i filmbranchen, men mere om det om lidt.
Særligt forstærkning af utydelige nummerplader er en hyppig opgave for retstekniske billedanalytikere. Og her er det efterhånden blevet en uomgængelig regel, at hvis den lodrette opløsning på en normal overvågningsvideo er under 12-15 pixels, vil ingen billedbehandlingsprodcedure kunne frembringe noget brugbart.

Hvis billederne imidlertid er foretaget med HD-kamera og er skarpe og fejlfri, kan den lodrette opløsning godt gå under 10 pixels og alligevel kunne afgive læselig information, men det er undtagelsen snarere end reglen. Det betyder på den anden side heller ikke, at enhver lodret opløsning over 15 pixels er brugbar, for det afhænger stadig af mange forskellige forhold.

Desværre har biograffilm og tv-serier givet publikum den opfattelse, at politiet bare kan zoome tilstrækkeligt ind på ethvert mørkt overvågningsbillede og til sidst ikke bare se morderens ansigt, men også tælle hans skægstubbe og læse hans avis. Det er sandt, at der eksisterer billedsoftware, der er i stand til at få ansigter til at træde tydeligere frem ud fra elementære regler om ansigtsgeometri og menneskeansigtets udseende i almindelighed. Men det er vigtigt at holde sig for øje, at der i bund og grund blot er tale om data.

Det kan godt være, at der kan dukke et ansigt frem i et tåget billede, men det er jo i virkeligheden kun et arrangement af pixels og langt fra nødvendigvis forbryderens sande og måske langt fra gennemsnitlige ansigt. Derfor forlader retstekniske billedanalytikere sig nødigt alene på billedbehandlingssoftware, men inddrager også omregninger, motivopmåling, sammenligning og rekvirerer billeder fra andre overvågningssystemer til sammenligning, prioritering og lignende.

Til gengæld har retstekniske billedeksperter efterhånden opøvet en imponerende rutine i hurtigt at vurdere, om der er information nok i et givent billede til, at det er umagen (foruden tiden og omkostningerne) værd at forsøge en billedforbedring. Nogle gange kan oplagte råbilleder, der ellers tilsyneladende blot synes at skulle kantforstærkes en anelse for eksempelvis at gøre en nummerplade læselig eller et ansigt genkendeligt, vise sig komplet ”uforbederlige”, mens tilsyneladende umulige og utydelige billeder kan ende med at give den ønskede information. Du vil nok kunne udvikle forskellige former for AI-software, der muligvis kan fremsætte mere eller mindre kvalificerede gæt. Men ville du bryde dig om at blive identificeret som flugtbilist på det grundlag?

Tiden er også en alvorlig faktor. Ikke alle videoovervågningssystemer er ganske nye, og selv om datalagerplads er rigelig og billig i dag, var den det ikke engang. Derfor er mange videoovervågningsanlæg skabt til at bruge så lidt lagerplads som muligt, hvilket kan betyde, at billederne både komprimeres kraftigt og slettes igen efter bare 24 eller 48 timer. Kan materialet ikke umiddelbart bruges, har billedteknikerne derfor ikke meget tid til at forsøge at skaffe sig supplerende materiale (måske fra et overvågningsanlæg i nærheden). Der findes ganske vist specialister, der er i stand til at genskabe slettede data, men det er tidsrøvende ekspertarbejde, der er kostbart og i sig selv tager tid.

To fiaskoer og en succes

billedeforbedring8

Intet at gøre

I dette billede er nummerpladen fuldstændig mættet af hvidt lys (dvs. alle pixels har en værdi på 255), og det er komplet umuligt at hente nogen information overhovedet.

billedeforbedring7

Intet at gøre I

dette billede er den lodrette opløsning af nummerpladen blot 8 pixels, og samtidig er komprimeringen høj. Billedet er derfor for dårligt til at kunne afgive nogen brugbar information.

billedeforbedring5

HAPS!

Nummerpladen i dette billede er forvrænget af bevægelsesflimmer. Men opløsningen er til gengæld høj nok, og kompressionen lav nok til, at et nummer kan aflæses. De mest effektive teknologier kombinerer de mest tydelige dele af flere billeder i sammenhæng.

billedeforbedring6

Selv om du næsten ikke skulle tro, det kan retsmedicinske billedanalytikere faktisk få fornuft ud af både utydelige og rystede billeder.

Hvilken farve har mon den blanke pixel mellem de to sorte?

Interpolation er en anden kendt teknik, der har været brugt i over hundrede år. Teknikken består i at erstatte blanke pixels med nabopixels. Interpolation kan på den måde gøre et billede klarere, men ikke nødvendigvis sandere, for teknikken tilføjer jo ikke detaljer, som ikke er der. Det kan jo være, at de pixels på hagen, du erstatter med pixels fra kinden, i virkeligheden er et ar eller modermærke, som kunne identi-ficere gerningsmanden over al tvivl.

Ofte hører kriminaltekniske afdelinger, at en given optagelse skam er fotograferet med HD-videokamera (og så må kvaliteten da også være i orden). Sandheden er imidlertid, at der ikke kan gives nogen mindstekrav inden for billedanalyser, og brugbarheden af en op-tagelse afhænger af mange forhold. Ofte er det lige så galt at bruge det forkerte udstyr og software til en given opgave som at bruge rigtigt udstyr forkert, og i begge tilfælde kan det ende med, at en uskyldig bliver arresteret, eller du får en morder på fri fod. Her er de forhold, du som retsteknisk billedanalytiker må tage i betragtning:

1. Formålet med billedforbedringen Det fordrer sædvanligvis ikke så høj billedkvalitet at bestemme en bils farve (bortset fra hvid eller sølvgrå) som dens registreringsnummer.

2. Opløsningen af det aktuelle billed-område Den generelle opløsning er her mindre vigtig end antallet af farveforskellige pixels i det område, der skal undersøges. Det er selvsagt bedre at have et lavopløst billede af en nummerplade tæt på end et højopløst af en, der er meget langt væk.

3. Graden af videokompression Ofte betyder den sædvanligvis betragtelige komprimering af det enkelte billede, men også fra billede til billede alt efter billedmotivets bevægelser, at du ikke bare kan køre en billedforbedrings-algoritme, og så er alt godt. Det kan godt være, at opløsningen synes høj på papiret, mens er de enkelte pixels i virkeligheden grupperet i blokke med samme farveværdi, har høj komprimering eller andre fejl, bliver opløsningen langt ringere i praksis. Selv om det måske lyder besynderligt, var billedforbedring nemmere i de gode gamle VHS-dage, hvor billederne ikke blev komprimeret.

4. Antal af billeder. Den relative position og størrelse af motivet i hvert billede foruden videoens billedhastighed er andre vigtige faktorer. Men langt det vigtigste for at opnå gode resultater, er at du har flere forskellige billeder at vælge mellem. Derfor er videosekvenser bedre end enkeltbilleder.

5. Generel billedkvalitet. Tilstedeværelsen og kombinationen af støj, flimren, lysstyrke, kontrast og farvegengivelse er andre afgørende forhold. En billedsensor, der er mættet af lys og genskin, så en bils nummerplade kun består af 3 hvide pixels, vil ikke tilbyde meget information, hvad du end foretager dig.

billedeforbedring4 Digital efterbehandling af både spillefilm og tv-serier er i dag så udbredt, at det snarere er reglen end undtagelsen. Men ingen taler højt om det.

Billedforbedring eller billedforskønnelse

Helt modsat retsteknisk billedforbedring anvendes kommerciel billedforbedring, der primært henvender sig til reklame- og filmbranchen, hvor alle tricks gælder. På et lærred eller en skærm skal alting bare se bedst muligt ud. Det vil i første række sige skuespillere og medvirkende, men faktisk efterhånden i lige så høj grad omgivelser og genstande.

billedeforbedring Den fra engelsksprogede
X-factor-programmer så
navnkundige dommer
Simon Cowells søn Eric
vurderer programmet bliver en ganske køn 20-årig. Han begynder angiveligt først at blive synligt ældre som 40-årig og få vigende hårgrænse som 60-årig på trods af hans fars tykke måtte af mørkt hår. Så dette hårgen må han have efter sin mor Lauren Silverman.

Denne form for billedforbedring eller rent ud billedforskønnelse kaldes derfor også “beauty work” (skønhedsbehandling) og består i, at rutinerede grafikere går ind i efterproduktionen og computerforandrer billederne med alle softwaretricks til rådighed. Med de digitale muligheder filmgrafikere har i dag, kan de ikke bare forskønne til det groteske, men også tilføje alt både tænkeligt og utænkeligt. Teknologien hedder CGI (Computer Generated Imagery) og har været kendt helt tilbage fra 1973, men fik sit helt store gennembrud i 1993, da computeren skabte den første vandrende dinosaur siden kridttiden i filmen Jurassic Park.

Du kan slanke, forynge og style skuespillernes krop (og klæder), som du vil, ligesom du kan gøre omgivelserne ekstra flotte og imponerende og få genstande til at tage sig meget bedre ud end de gør i virkeligheden. Og det er bestemt også noget, der værdsættes og vel også næsten skambruges af reklame-industrien.

Du kan ikke zoome ind på noget, der ikke findes

Hvis du bare kunne zoome ind på hvad som helst, ville du også med et højopløst kamera kunne tage et billede af himlen og zoome ind på overfladen af Saturn. At det ikke kan forholde sig sådan, er egentlig let nok at indse. Forestil dig, at du har et billede af en flugtbil, men taget på så stor afstand, at nummerpladen kun er tre pixels høj.

Det kan du gengive med tre kvadrater oven på hinanden, hvor hvert kvadrat repræsenterer en pixel. Men da langt de fleste bogstaver og tal er bredere, end de er høje, vil de altså kunne repræsenteres af to rækker à tre kvadrater. Men prøv at tegne et bogstav eller tal ind i disse seks felter ved at farve et eller flere kvadrater.

Det er den situation, retsteknikere kan komme til at stå over for, når de bliver bedt om at zoome ind på en nummerplade. Ingen teknologi hverken nu eller i fremtiden vil nogensinde kunne genskabe information, der ganske enkelt ikke er der.

Skuespiller på tyve år med fyrre års erfaring

Selv om filmstjerner kan nå langt med makeup, plastiskkirurgi, muskeltræning, hårtransplantationer, tandarbejde og pedicure mv. vælger stort set alle at lægge sig under den digitale kniv, når de nu kan eller fordi de ofte er nødt til det af karrieremæssige grunde. Ved at foretage en håndholdt scanning af skuespillernes kroppe og hud, får computeren rede på hver enkelt lille muskel, hudpore og hårsæk, og det er navnlig blevet en rutine for unge upcoming talenter, der på den måde kan sikre sig en digital ungdommelighed, fordi computeren altid vil kunne føre dem tilbage til deres udseende under denne scanning, selv om de siden er blevet både rynket og ældet.

På den måde vil en ældre skuespillerinde, der er fyldt fyrre, nemt portrættere en tyveårig, uden at nogen vil lægge specielt mærke til det. Og skal det endelig være, kan grafikerne bare sætte skuespillerens hoved på en anden krop. I de fleste tilfælde er der dog tale om ren forfængelighed, og lige så mange eller flere mænd end kvinder lader sig blive digitalt forskønnet.

MIT-algoritme udleder opskrift og ingredienser ud fra billeder af færdige retter

billederobedring2 Et enkelt snapshot på din mobil er alt, hvad der skal til, for at få at vide indholdet i en madret.

Du behøver ikke længere at spørge værtinden om opskriften på aftenens dessert. Tag et billede af den og lad et program fra MIT’s Computer Science and Artificial Intelligence Laboratory (CSAIL) give dig ingredienslisten. I samarbejde med Qatar Computing Research Institute (QCRI) kan programmet Pic2Recipe både udlede bestanddelene i de madvarer, der ses på billedet og foreslå anvisning på, hvordan de er tilberedt.

Som database til optræning af den kunstige intelligens har forskerne benyttet billeder og opskrifter på nettet og sociale medier, der er rige på netop sådanne emner. Foreløbig virker Pic2recipe bedst til kager og desserter, mens mere sammensatte gryderetter, variationer af lasagne, supper og lignende endnu forekommer lige så vanskelige at gennemskue for programmet som for os andre.

Fuldt virkende vil programmet eksempelvis kunne oplyse allergikere, hvis en madret indeholder uønskede fødevarer, og skaffe værdifuld viden om folks spisevaner til gavn for folkesundheden. I den mere grænse-søgende afdeling vil programmet kunne afsløre særlige restauranters hemmelige opskrifter over for nysgerrige kokke og madanmeldere.

Blandt de meget anvendte softwareværktøjer er Flame, der er udviklet af firmaet Autodesk, der ud over software til grafiske designere i almindelighed også for tyve år siden udviklede den første realtime forskønnelsespakke til billedindustrien ved navn Inferno, der dengang kostede 50.000 dollar. Med den slags software kan du stort set foretage dig alt med et ansigt eller en krop selv i ultranærbillede.

Du kan erstatte en ældre skuespillers mere markerede smilerynker med et yngre talents knapt så fremtrædende og alt, hvad du ellers kan se og forestille dig. Men det kræver viden, og kan du se det, er det ikke godt nok. Processen fordrer endvidere stor viden om menneskeansigtets og menneskekroppens aldring, så du ved, hvor du skal sætte ind, så det virker naturligt. Det eneste, som selv Flame endnu ikke rigtigt kan, er at ændre øjnene særlig meget. Øjnene er ansigtets mest markante træk. Flyt et øje to mm, og personen bliver en anden.

Men ingen taler naturligvis særlig højt om disse teknologier. Samtidig er det tidskrævende og kostbart og kan let koste flere tusinde kroner pr. billede i en totimers biograffilm, der kører med 25 billeder pr. sekund.

Fra 0-100 og retur

billedeforbedring3 Disse billeder viser, hvor tæt aldringssoftware i dag kan komme, når de behandlede billeder sammenlignes med autentiske billeder af samme person.

På internettet svirrer et hav af forskellige face-apps, der på forskellig vis kan ændre et billede, så personen kommer til at se ud på forskellig måde. Ældre som yngre, sur eller smilende og med forskellig tosset frisure. Men disse apps manipulerer kun billederne overfladisk ud fra nogle stive regler og er i realiteten blot underholdning. Dog findes der enkelte professionelle aging-programmer, der kan lægge år til en persons udseende, men kun i forhold til hvordan personen ser ud her og nu.

Universitetet i Bradford (nær Leeds i England) har imidlertid skabt en algoritme baseret på seriøs analyse af tusindvis af ansigter. Oprindelig var det hensigten, at programmet skulle indkredse potentielle terrorister i en menneskemængde og genkende længe savnede personer. Men algo-ritmen kan også bruges til at lancere en app, der kan vurdere, hvordan børn og unge kommer til at se ud som ældre.

Programmet vil seriøst kunne hjælpe til at genkende og opspore længe savnede personer. Hver dag verden over meldes adskillige tusinder af mennesker savnet, og som årene går kan de oprindelige billeder ikke længere bruges som grundlag for sikker identifikation, da de kan have forandret sig meget. Den nye software er udviklet af Hassan Ugail, der er leder af Bradford Universitetets center for Visual Computing.

Virkemåden bygger lidt på den videnskabelige kendsgerning, at vores forældres gener udgør en slags skabelon for, hvordan vi selv kommer til at se ud. Programmet har gennemgået tusinder af fotografier af personer i forskellig alder og kortlagt, hvordan ansigtstræk som mund, hage, kinder, pande og hår ændrer sig gennem livet. Ud fra disse forandringer kan programmets kunstige intelligens vurdere, hvilke af barnets træk, der mest sandsynligt bliver videreført fra forældrene, og hvordan de ændres op gennem livet.

Desuden blander programmet barnets udseende med forældrenes træk og kan også inddrage søskende som del af processen samt endog komme med et kvalificeret skøn på, hvordan et forældrepars kommende barn vil komme til at se ud. Programmets snedige neurale algoritme kan lægge fra få år op til årtiers alder til en person, hvad enten vedkommende er barn, ung eller voksen.

Programmet kan således forudsige et barns udseende til helt op som 60-årig. Forskerholdet bag programmet hævder, at træfsikkerheden ligger på omkring 80 %. Der kan i sagens natur gå fra ca. 40-55 år, før det er muligt at evaluere programmets resultater, men som led i udviklingen har forskerholdet også ladet algoritmen arbejde ”omvendt” gennem en ”de-aging”proces, hvor de ud fra billeder af en person i voksen alder kunne føre vedkommende tilbage til barndommen og sammenligne resultatet med autentiske fotografier af personen som barn med bemærkelsesværdig præcision.

Ved på den måde at kunne virke begge veje har programmet demonstreret sin duelighed i praksis. Bliver programmet en dag til en smartphone- app vil forældre kunne se, hvordan deres barn kommer til at se ud som både ung, voksen og ældre ved blot et tryk på en knap. Blot kan programmet naturligvis ikke forudsige, hvordan den skiftende mode vil få indflydelse på udseende og fremtræden.