Artikel top billede

(Foto: Computerworld)

Nu kan alle sportskampe optages uden kameramand

Farvel til kameramanden. Nu kommer det kunstigt intelligente kamera, som selv kan sende live fra fodbold, tennis eller basket.

Af Aksel Brinck, Alt om Data

Denne artikel er oprindeligt bragt på Alt om Data. Computerworld overtog i november 2022 Alt om Data. Du kan læse mere om overtagelsen her.

Kameramanden har altid været der. Lige siden de allerførste sort-hvide tv-transmissioner af sportsbegivenheder i 1930’erne i Tyskland og USA – og i Danmark fra 1960’erne. Han stod der i sin hvide skjorte og grå bukser og sikrede, at kameraets objektiv var rettet mod begivenhedernes centrum – der hvor bolden var, eller atletikheltene sprintede af sted. Men det kan snart være slut.

For nu er kunstig intelligens ved at overtage jobbet som kameramand. Faktisk vælder det frem med løsninger til automatisk sportstransmission. Og de bliver billigere og billigere. Om ikke længe kan selv den mindste serie 5-klub transmittere søndagens kamp direkte til fansene i lokalsamfundet. Helt uden kameramand.

Men hvordan kan kunstig intelligens afløse en kameramand i kød og blod? Alle de nye løsninger er bygget op omkring et eller – som regel – flere kameraer. Kameraerne opstilles på strategiske punkter i sportshallen eller på stadionet. Disse kameraer er forbundet til en centralcomputer, som ikke befinder sig på sportsanlægget, men i skyen, dvs. på en eller flere computere et helt andet sted i verden.

Nu kan bolden følges

Disse computere er hjernen i hele systemet. De er nemlig ”kunstigt intelligente” – det vender vi tilbage til – så de på afstand kan styre kameraerne. På den måde kan kameraerne hele tiden følge de centrale begivenheder, for eksempel bolden, på spillepladsen. Og det er det nye. Indtil for få år siden havde man ingen løsning på, hvordan kameraerne skulle kunne fokusere på det vigtige i en kamp her og nu. Den nød har en lang række udviklere knækket nu.

Der findes både professionelle systemer og systemer, som retter sig mod små idrætsforeninger. Det israelske firma PlaySight tilbyder begge muligheder. Siden virksomheden blev stiftet i 2010 har næsten 1000 sportsklubber og flere tv-stationer verden over taget virksomhedens AI-baserede teknologi til sig. Den gør det muligt at automatisere kameraer, så de helt af sig selv kan følge de vigtigste begivenheder i mange forskellige sportsgrene – det kan være inden for tennis, basketball eller fodbold. For eksempel har den britiske basketball-liga taget teknologien til sig, og for fire måneder siden blev den første, automatiserede livestreaming fra en kamp til virkelighed – kampen stod mellem Sheffield Sharks og Newcastle Eagles.

Flere kameraer dækker banen

Opgøret, der blev spillet i Sheffield, blev filmet ved hjælp af PlaySights automatiserede tv-system SmartCourt. Fire kameraer var placeret i hallen. Hovedkameraet var placeret i loftet over arenaens midterlinje, og kameraet brugte maskinlæring til at følge bolden og zoome ind på begivenhederne, når bolden kom tæt på kurven. Derudover var to kameraer placeret i hver sin ende af banen, og systemet skiftede mellem disse kameraer og hovedkameraet afhængigt af aktionerne på gulvet. Det fjerde kamera var fokuseret på måltavlen og uret, og dette feed blev lagt oven på transmissionen.

PlaySights system har også en operatørbrugerflade, så man kan følge algoritmens arbejde.

Ud over livestreaming genererer systemet selv langsom gengivelse af kampens højdepunkter undervejs, og en time efter kampen kan SmartCourt producere en videopakke med højdepunkter fra basketballkampen, ligesom der løbende streames videoklip til sociale medier.

”Streaming” er nøgle-ordet her. For med SmartCourt-systemet og andre automatiserede kamerasystemer handler det ikke så meget om tv-skærmen, men mere om smartphones, tablets og til dels pc’er. En gratis app fra PlaySight gør det nemlig muligt at følge de forskellige transmissioner fra SmartCourt, og der er nærmest ikke et tidspunkt i døgnet, hvor man ikke kan få adgang til en
basketballkamp eller en anden direkte streamet sportsbegivenhed.

PlaySights systemer kan også bruges til at efteranalysere kampe, så eksempelvis professionelle tennisspillere kan forbedre deres spil. For at bruge SmartCourt med fire-seks kameraer betaler man cirka 70.000 kroner for at komme i gang og derefter cirka 5000 kroner om måneden i abonnement. Det kan man ikke få mange kameramænd for.

Danmark er med

Andre firmaer tilbyder klubber og ligaer lignende løsninger – for eksempel Malmø-virksomheden Spiideo og endnu et israelsk firma, Pixellot. Men også på dansk grund sker der noget. Med hjælp fra Datalogisk Institut på Københavns Universitet har firmaet VEO Technologies fra København sat et intelligent fodboldkamera i produktion. Kameraet følger automatisk bolden rundt på banen. En lang række danske og udenlandske fodboldklubber skal have købt kameraet, som koster cirka 10.000 kroner.

Kameraet, der indeni er udstyret med to GoPro-actionkameraer ligner en grøn madkasse med to øjne. Det står på et fire meter højt stativ, hvorfra det kan spejde ud over en fodboldbane. Kameraets panoramiske syn filmer hele banen i høj opløsning. Samtidig har det lært at følge bolden og spillerne, i takt med at spillet skifter tempo og placering.

Men hvordan kan det overhovedet lade sig gøre at følge spillets gang? Det er her den kunstige intelligens – eller snarere maskinlæring – kommer ind i billedet. Den styrende computer har simpelt hen lært, hvordan bolden og spillerne på banen ser ud, hvilke løbemønstre spillerne har, og hvordan bolden bevæger sig. Derfor kan den forudsige spillets bevægelser og dreje sig efter det. Det forklarede postdoc Oswin Krause, fra Datalogisk Instituts Image Section, da kameraet blev lanceret sidste sommer.

Millioner af klik

For at træne kameraet har det været nødvendigt at få rigtige mennesker til manuelt at klikke på bolden og spillerne utallige gange. Indtil videre baserer intelligensen i kameraet sig på 1,5 millioner klik. De er indsat i et koordinatsystem på banen, som computeren løbende udfylder med forskellige placeringer af bolden og spillerne, hvilket den lærer af.

Computeren i kameraet er et neuralt netværk, som forsøger at efterligne menneskets nervesystem med en række små receptorer, der modtager informationer og reagerer på dem med et outputsignal. Når computeren ser bolden bevæge sig, udregner den, hvor det er mest sandsynligt, at bolden er på vej hen og kan dermed flytte sig i den rigtige retning.

Det israelske SmartCourt-system fungerer på næsten samme måde – bortset fra, at her arbejder flere kameraer sammen, og ”hjernen” bagved skal også skifte mellem kameraerne. Den kunstige intelligens bliver aldrig færdig med at blive klogere. Algoritmerne, der styrer computerne bag systemet, er skrevet, så PlaySight-systemet bliver mere og mere klogt for hver kamp, kameraerne følger.

Der er store perspektiver i automatiseret kamerastreaming. For nu kan selv små klubber vise sig frem på onlinescenen. Den kunstige intelligens ender måske med at afskaffe kameramanden, men den demokratiserer også sporten. Transmissionerne er ikke længere forbeholdt de få, de store klubber og tv-netværk, der har adgang til kostbar teknologi.

Kameraerne lærer gradvist at følge spillet

 

Når kameraer i dag kan skabe brugbare transmissioner af sportsbegivenheder uden hjælp fra en kameramand, er det, fordi de er forbundet til computere, der fungerer efter maskinlærings-princippet, hvor de gradvist bliver klogere, nærmest som den menneskelige hjerne. Menneskehjernen rummer neuroner, som danner et neuralt netværk. I et kunstigt netværk er neuronerne lagt i op til 150 lag. Jo flere lag, des dybere er netværket. Derfor taler man om ”deep learning”. Deep learning-modeller kan trænes ved at bruge store sæt såkaldt annoteret data. Det kalder man ”hjulpet maskinlæring”.

For at identificere en bold skal man have et datasæt med hundredtusinder af unikke billeder, som er mærket af mennesker. De er systemets basisviden. Resultatet er en ”trænet model”, der kan identificere de objekter, den blev trænet på. Den har kort sagt lært at kende forskel på en basketkurv og en bold.

PlaySight-systemet kan følge bolden og de individuelle spillere og forudsige, hvor begivenhederne flytter sig hen.

For at systemet kan genkende bolden og spillerne i mange forskellige situationer – og adskille spillere fra dommere og trænere – bliver området, de kamera-pixels, der udgør banen, defineret. Billedpunkterne kan så oversættes til fysiske figurer baseret på koordinater. Derved kan systemet følge bevægelser og forsøge at forudsige dem ud fra tidligere erfaringer. Det sidste er ”uhjulpet maskinlæring”, hvor systemet ud fra nogle kendte data selv skaber sig et dybere billede af det observerede.

Smutveje og belønning

I stedet for at mennesker med hjulpet maskinlæring skal annotere samtlige basisforhold, kan en algoritme mærke spillere og andre fysiske realiteter ved hjælp af forskellige genveje. Det kan være Google- eller YouTube-billeder, hvor man kan øge datasættet ved at søge ”fodboldspillere”. Dette vil give rammer eller billeder, der omfatter fodboldspillere, eller med andre ord er blevet ”forud-annoteret” som fodboldspillere. Spillere i billedet kan også findes med automatiseret billedredigering, hvor baggrunden klippes ud.

Der findes belønningssystemer, hvor computeren for eksempel tildeler sig selv point ud fra, hvor god den er til at følge et bestemt objekt – det kan være en bold. Det kalder man forstærket indlæring. Ved at gå efter så høj en score som muligt, lærer systemet af sig selv at blive bedre. Lavet på den rigtige måde vil det langsomt, men sikkert skabe den perfekte kameramand.