Home » Andet » Danske forskere vil løse pladsproblemerne i skyen
Danske forskere vil løse pladsproblemerne i skyen

Danske forskere vil løse pladsproblemerne i skyen

Share

Det er en allerede kendt og effektiv metode til at give øget lagerplads og egner sig særligt til store mængder af filer og data. Samtidig er deduplikering typisk transparent forstået på den måde, at du som bruger ikke lægger mærke til, at der foregår en komprimeringsproces i baggrunden, og du kan få adgang til filen og også ændre i den, uden at foretage hverken dekomprimering eller ny komprimering. Desuden er deduplikering generelt en tabsfri proces.

Daniel Lucani Rötter illustrerer princippet ved at pege på det ganske almindelige JPEG-format for billeder. Så snart billedet er knipset, bliver det komprimeret. Men for at gemme et billede, behøver du strengt taget ikke at gemme hele billedfilen, da der er masser af redundans i fotografiet.

Derfor kan du faktisk nøjes med en slags indholdsfortegnelse for, hvordan billedet skal bygges op af forskellige datagrupper ligesom samleanvisningen til en Lego-model.

Komprimering som eksempelvis zip-komprimering omfatter derimod typisk en enkelt fil eller en lille gruppe af filer. Hvis en gruppe af filer bliver komprimeret, er det ikke muligt at dekomprimere og ændre dem én ad gangen. Det er kun muligt ved at dekomprimere alle filerne igen. Hvis indholdet af en komprimeret fil bliver ændret, er det også nødvendigt at genkomprimere hele filen.

Scale-IoT-projektet tager sigte på at komprimere alle data konsekvent og ensartet og på en måde, så det er muligt at læse filerne uden at dekomprimere dem først. Lidt populært forklaret tager de danske forskere en fil og sprænger den i tusind små data-stykker, som de bagefter sorterer i grupper med visse ligheder. Det behøver ikke engang være tætte ligheder.

Der kan for store datamængder være tale om op til millioner af datablokke, der kan have lighedspunkter med flere tusinde eller ligefrem millioner af andre datablokke, selvom de ikke er ens. Det er sådanne en smule uens datablokke, som den nye komprimeringsteknik forsøger at matche og komprimere.

Se også:  Cisco køber ungarsk firma der gør det nemmere at rulle cloud-apps ud

Forskellen eller ligheden bliver så lagret og indgår i ”samleanvisningen”. På den måde står du til sidst med en række indekserede datablokke, der er kendetegnet af visse fælles uoverensstemmelser eller ligheder og tilsammen leverer en opskrift på, hvordan du kan gendanne de lagrede filer uden fejl. Teknikken går med andre ord ud på at finde datablokke, som har ligheder, men ikke er helt identiske.

Gør det lettere at være datacenter

Med andre ord og ifølge Daniel Lucani Rötter er det eneste, som behøves for at lave et brugbart match mellem de forskellige blokke, en kortlægning af, hvor datablokkens data stammer fra, hvad indholdet er, eller hvordan de to databidder adskiller sig fra hinanden.

For at deduplikere og komprimere datablokke, som ikke er helt identiske, skal de to datablokkes forskelligheder nemlig bare registreres på én eller anden måde inkl. oplysning om, hvordan de to næsten ens datablokke adskiller sig fra hinanden. For med den information vil du altid kunne gå tilbage til det oprindelige udgangspunkt.

Denne metode til forbedret deduplikering kan på den måde medvirke til at løse fremtidens problemer med begrænset cloud-plads, da den vil kunne mindske den nødvendige lagringsplads betydeligt.

Et internationalt dansk projekt

Daniel Lucani Rötter er lektor på Institut for Ingeniørvidenskab ved Aarhus Universitet og leder det igangværende projekt.

Projektet med ny komprimeringsteknik startede i august 2018 og løber fire år frem. Ud over lektor Daniel Lucani Rötter er der tre Ph.d-studerende tilknyttet projektet, der er en del af det internationale Scale-IoT-projekt. Derudover er UCLA, University of Neuchatel, Schweiz, Nokia Bell Labs, Kamstrup A/S og Steinwurf Aps partnere på projektet.
Budgettet er på i alt 5,9 millioner kroner.

Se også:  Drop papir og underskriv i skyen - ny Dropbox-tjeneste rykker ind i Danmark

I praksis er der dog grænser for, hvor uens de sammenholdte datablokke kan være, hvis teknikken stadig skal være brugbar. Der er en afgørende balance, for hvis du sammenholder meget uens data til komprimering, vil du godt nok kunne komprimere flere data, men det vil samtidig kræve en mere omfattende registrering af forskellighederne.

I simpleste tilfælde adskiller de to datablokke sig kun med en enkelt bit. Til gengæld er de danske forskeres nye metode i modsætning til tidligere deduplikeringsmetoder ikke særligt datakrævende og kan derfor bruges effektivt på selv relativt begrænsede datamængder.

I øjeblikket er Daniel Lucani Rötter og hans medarbejderhold ret spændte på projektet, der ikke i lignende form har været forsøgt før. Det teoretiske grundlag er på plads, og forskerne er også klar med et lille system, som de kan fodre med data.

Indtil videre går processen forholdsvis langsomt, men potentialet er til stede, og ingen af de involverede i projektet er nervøse for, at Scale-IoT-projektet ikke hurtigt vil kunne udmønte sig i en enormt hurtig og effektiv komprimeringsmetode. Og de er yderligere overbeviste om, at der ligger et meget stort potentiale i at lagre data på denne måde, og det gælder ikke kun i forbindelse med IoT- og cloud data.

Med enkle modifikationer kan princippet såmænd også benyttes til almindelig hjemmecomputer datalagring, hvor du så pludselig vil kunne få langt mere ud af din konventionelle 256 GB harddisk.

TAGS
cloud-computing
langerplads
skyen

DEL DENNE
Share


Mest populære
Populære
Nyeste
Tags

Find os på de sociale medier

Modtag dagligt IT-nyhedsbrev

Få gratis tech-nyheder i din mail-indbakke alle hverdage. Læs mere om IT-UPDATE her

Find os på FaceBook

AOD/AOD.dk

Brogårdsvej 22
DK-2820 Gentofte
Telefon: 33 91 28 33
redaktion@aod.dk

Audio Media A/S

CVR nr. 16315648,
Brogårdsvej 22
DK-2820 Gentofte
Telefon: 33 91 28 33
info@audio.dk
Annoncesalg:
Lars Bo Jensen: lbj@audio.dk Telefon: 40 80 44 53
Annoncer: Se medieinformation her


AOD/AOD.dk   © 2020
Privatlivspolitik og cookie information - Audio Media A/S