Artikel top billede

(Foto: Computerworld)

Nyt mobilkamera ser alt det, du ikke ser

I dag ser dit mobilkamera i det store og hele det samme, som du selv gør med dine øjne. Men en ny multispektral kamerateknik vinder frem, og snart vil du kunne afsløre en usynlig verden omkring dig.

Af Palle Vibe, Alt om Data

Denne artikel er oprindeligt bragt på Alt om Data. Computerworld overtog i november 2022 Alt om Data. Du kan læse mere om overtagelsen her.

Det kan være svært at afgøre, om frugterne hos grønthandleren eller grøntsagerne i supermarkedet er friske eller er ved at blive overmodne og dårlige under overfladen. Men et billede taget med såkaldt multispektral teknik, der både udnytter synligt og ikke synligt lys til at opfange skjulte detaljer, kan lynhurtigt afsløre ikke bare det, men en mængde andre spændende og nyttige ting.
Multispektrale kameraer er som sådan ikke noget nyt, men de er kostbare og omstændelige og bruges derfor næsten kun professionelt. Men nu arbejder et hold forskere fra University of Washington og Microsoft Research i forening på at udvikle et multispektralt kamera, der skal gøres så billigt og kompakt, at det kan indbygges i alt fra spillekonsoller til mobiltelefoner. Og forskerne har sat som mål, at kameraet skal kunne massefremstilles for omkring 250-300 kroner.

Lys fra flere spektre
Et digitalt kamera fungerer ved at opfange det lys, der kastes tilbage fra genstande og omgivelser. Lyset opfanges af en billedsensor, der er indstillet til at reagere på lys inden for den del af det elektromagnetiske spektrum, som det menneskelige øje kan se. Det er det spektrum, som sollys er sammensat af, og som du kan se i en regnbue eller skabe på væggen med en prisme. I praksis er billedsensoren indrettet til at modtage de tre hovedfarver rød, grøn og blå (de såkaldte RGB-farver), som kan blandes til alle synlige farver. Man taler også om, at billedsensoren har tre ”farvekanaler”, og formatet kaldes bitmap.

Et multispektralt kamera kan derimod, som betegnelsen siger, udnytte lys inden for flere spektre og kan altså både drage fordel af det ultraviolette og det infrarøde spektrum, som øjet normalt ikke kan se. På den måde kan kameraet frembringe billeder, der viser genstande og omgivelser i ”et helt nyt lys”, og derfor bruges denne teknik også professionelt inden for billed- og farveanalyse, retsmedicin, industriel kvalitetskontrol, geologiske og arkæologiske undersøgelser og til analyse af satellitbilleder. Et multispektralt foto kan for eksempel afsløre, om kornet på marken er sundt eller ramt af sygdom, og om et kunstværk er ægte eller ej. Det kan også vise, om et par blå stofbukser er fremstillet af blå denim eller blåt bomuld. En slags omvendt brug af den multispektrale billedteknik kendes inden for film og reklame til at eksperimentere med forskellige belysninger og farvetoning af et motiv ud fra en række multispektrale billeder.

Når en frugt belyses med multispektralt lys, kan man tydeligt se, om den er frisk eller har begyndende skavanker under skindet (til højre). Når en frugt belyses med multispektralt lys, kan man tydeligt se, om den er frisk eller har begyndende skavanker under skindet (til højre).

Det er alene et spørgsmål om at udforme de enkelte punkter (pixels) i billedsensoren til at kunne registrere flere farvekanaler end de sædvanlig tre. Desuden anvender professionelle multispektral kameraer også forskellige optiske filtre og belysning af emnet med lys af de ønskede bølgelængder. Hvis antallet af farvekanaler overstiger 50, taler man om et hyperspektralt billede. Fil-formatet for multispektrale billeder i bitmap hedder .hips.

Men den avancerede teknik gør multispektral fotografering både kostbar og omstændelig, ligesom opsætning og opstilling ofte er både besværlig og tidskrævende. Billederne undergår sædvanligvis også omfattende softwareanalyse for at fremhæve de ønskede detaljer og dæmpe eller udelukke andre.

Multispektrale undersøgelser af gamle manuskripter kan afsløre flere skrifttegn oven på hinanden. Her er en anden skrift (rød) endda skrevet fra højre mod venstre. Multispektrale undersøgelser af gamle manuskripter kan afsløre flere skrifttegn oven på hinanden. Her er en anden skrift (rød) endda skrevet fra højre mod venstre.



Blitz med 17 lysdioder
Prototypen på det nye mobilkamera, der kaldes ”HyperCam”, benytter 17 forskellige lysdioder, som for hvert billede belyser motivet med forskellige bølgelængder. Resultatet bliver 17 billeder af samme motiv taget lynhurtigt efter hinanden, men belyst med 17 både synlige og usynlige bølgelængder. Det afstedkommer et vist sorteringsarbejde at finde netop det eller de billeder, der bedst viser de detaljer ved motivet, som et almindeligt RGB-foto ikke viser. Forskerne arbejder derfor også sideløbende på at udvikle en intelligent app, der analyserer billederne og finder de billeder, der bedst fremhæver ellers usynlige detaljer og egenskaber ved motivet.

De samme motiver fotograferet i multispektralt lys kan ved sammenligning vise højst forskellige detaljer. De samme motiver fotograferet i multispektralt lys kan ved sammenligning vise højst forskellige detaljer.

På den måde har HyperCam kunnet afsløre graden af modenhed for 10 forskellige frugttyper fra jordbær til avocado, og det med 94 procents sikkerhed. Multispektrale billeder af personers hænder fremhæver også blodårerne og deres placering samt det hudmønster, der er unikt for hver eneste person og derfor også kan bruges som sikker ID-kontrol. Forskerholdet forestiller sig derfor, at HyperCam vil kunne anvendes i spillekonsoller og pc-spil, hvor der er brug for at kunne skelne mellem to forskellige spillere. Faktisk har en test af disse egenskaber vist, at kameraet og den tilhørende software kan skelne 25 forskellige personer fra hinanden med 99 procents sikkerhed. Teknologien vil dermed også kunne genkende retsmæssige brugere til hardware og software.

Et af de problemer, der skal løses før en lancering, er, at kameraet ikke virker særlig godt i alt for klart lys, fordi de tre dagslysfarver har en tendens til at maskere de bølgelængder, der ligger i udkanten af spektret. Desuden er det en udfordring at skrumpe teknikken så meget, at kameraet vil kunne indbygges i en smartphone og i andre bærbare enheder.  
”Men når vi har overvundet disse vanskeligheder, ligger vejen åben for, at vores mobiltelefoner eller tablets snart vil kunne hjælpe os med at afsløre dårlige fødevarer i supermarkedet og vise mange andre spændende og ellers usynlige ting,” spår Shwetak Patel, der er professor i computervidenskab og med i forskerteamet.

Eksperimentalkameraet består af en lille separat kameraenhed og en ”blitz” med 17 forskelligt  lysende dioder. Forskerne tester alle mulige emner i lys af forskellige bølgelængder. Eksperimentalkameraet består af en lille separat kameraenhed og en ”blitz” med 17 forskelligt
lysende dioder. Forskerne tester alle mulige emner i lys af forskellige bølgelængder.

Fotos af friske fisk
Herhjemme har forskere på DTU gjort forsøg med at afsløre kvaliteten af  lakse- eller ørredfileter ved hjælp af multispektrale digitale fotos. Da kemiske komponenter reagerer forskelligt på forskellige bølgelængder, kan multispektrale fotos give meget nøjagtig viden om fedt og kødtekstur og eksempelvis røbe, om der er skader på fis-ken, eller om fiskekødet har den rette røde farve, er for fed eller har for megen brusk, hvilket alt sammen er afgørende for varens kvalitet og forbrugernes tilfredshed.

Til forsøget anvendte DTU-forskerne et multispektralt kamera fra VideometerLab udviklet på DTU Informatik. Kameraopstillingen var bygget op omkring en ring af lysdioder, der gjorde det muligt at belyse prøven med 20 forskellige bølgelængder. Hvert foto tog det seks sekunder at eksponere, men skal teknologien kunne anvendes til automatisk kvalitetskontrol af fødevarer i industrien, skal denne tid naturligvis reduceres betragteligt. Forskerne fortsætter forsøgene og håber, at et brugbart system vil kunne være klar inden for fem år.