Etikettarkiv: CDA

Dataanalys i realtid för framtidens smarta lösningar

Paris Carbone, senior forskare och ansvarig för projektet vid RISE och Seif Haridi, professor i datorsystem vid KTH. Foto: Johan Marklund
Paris Carbone, senior forskare och ansvarig för projektet vid RISE och Seif Haridi, professor i datorsystem vid KTH. Foto: Johan Marklund

Digitaliseringen sker med hisnande fart och kräver helt nya lösningar för att vi i realtid ska kunna analysera data och fatta beslut. Forskare på KTH och RISE samverkar för att ta fram banbrytande nya datasystem och programspråk, som möjliggör det smarta samhället.

Det digitala samhället, där ofattbart stora mängder data genereras från sensorer och andra enheter, ger helt nya möjligheter att skapa intelligenta lösningar. Det kan exempelvis gälla för trafik- och samhällsplanering, smarta bostäder eller kritiska affärsbeslut. Idag drivs utvecklingen av detta inte minst av utbyggnaden av 5G, som möjliggör sakernas internet (IoT). Men data åldras snabbt och gammal data duger inte som kunskapsstöd eller som underlag för tidskritiska beslut. Dagens teknologi, där data samlas i stora datacentra och moln, ger retrospektiva svar som inte möter morgondagens behov av realtidslösningar. Idag finns dessutom ett brokigt lapptäcke av lösningar, med olika koder och programspråk, som inte harmoniserar.
I det stora forskningsprojektet Kontinuerlig Djup Analys, CDA, arbetar ett team tvärdisciplinära forskare och doktorander från KTH och RISE (Research Institutes of Sweden) med att ta fram teknologi i den absoluta framkanten för att adressera denna utmaning. Arbetet spänner över ett brett spektrum av datavetenskap och ingenjörsvetenskap och omfattar såväl grundforskning som tillämpad forskning.

Blixtsnabb analys
Fokus ligger på att utveckla ett nytt programvarusystem, som är robust, energieffektivt, skalbart och datadrivet för nästa generations mjukvaruplattformar. Genom systemet kan data analyseras och bearbetas blixtsnabbt i realtid, samtidigt som den strömmas.
– Vi skapar programspråk för datadriven ”work-flow”, där vi kan sända frågor och få svar och kunskap om verkligheten i realtid. På så sätt kan vi göra omedelbara förutsägelser eller fatta beslut, förklarar Paris Carbone, senior forskare och ansvarig för projektet vid RISE.
Forskningen svarar väl mot ”sky computing”, som är en av de stora trenderna inom datavetenskap. I denna samverkar resurserna från jättelika molncentra i en storskalig, distribuerad infrastruktur, med programmeringsspråk som har fokus på vad som ska göras, snarare än på hur det ska göras.
– Vi har en helt annan IT-infrastruktur idag jämfört med tidigare. Informationen finns inte längre i varje separat enhet, exempelvis en PC. Istället utgör de olika små enheterna fönster till stora, distribuerade molnsystem som de är integrerade delar av. För att effektivt utnyttja de stora molnsystemens enorma datamängder måste programspråk och teknologi anpassas, förklarar projektledare Seif Haridi, som är professor i datorsystem vid KTH.

Goda resultat hittills
Projektet startade 2017 och har kommit drygt halvvägs. Pandemin har inneburit ett avbräck för internationella anställningar och samarbeten, men nu börjar dessa åter komma igång. Seif Haridi och Paris Carbone är mycket nöjda med resultaten hittills. Forskarna har utvecklat system med enkelt gränssnitt som passar för olika typer av befintlig hårdvara och byggt bibliotek där komplex data lagras i form av kunskapsgrafer eller maskininlärningsmodeller för realtidsbearbetning. Det finns planer på samverkan med flera företag, bland annat Luftfartsverket, som visat intresse för att tillämpa teknologin för att övervaka och styra flygtrafik. Andra tillämpningar är att styra trafik på våra vägar, snabbt upptäcka cyberattacker eller för att göra förutsägelser om olika typer av biomarkörer inom livsvetenskaperna. Dynamisk prissättning och energieffektivisering är ytterligare exempel på möjliga användningsområden.
– Vi arbetar med ena foten i framtiden och vet ännu inte alla potentiella tillämpningar som den här teknologin kan få. Men för att kunna ta steget in i morgondagens genomdigitaliserade samhälle, med alla de möjligheter som det innebär, är innovativa, hållbara modeller och system för dataanalys i realtid helt nödvändiga, säger Seif Haridi.
CDA finansieras av Stiftelsen för strategisk forskning, SSF, inom ramen för programmet Big data och beräkningsvetenskap. Det är ett område som SSF identifierat som strategiskt viktigt där Sverige har goda förutsättningar att ta en ledande roll.

KTH – CDA realtidsintelligens

Projektet CDA finansieras av Stiftelsen för strategisk forskning, SSF, och är ett forskningssamarbete mellan KTH och RISE, för att skapa framtidens lösningar för att analysera data i realtid. CDA är en fortsättning på ett tidigare forskningsprojekt där Seif Haridi och hans team utvecklade öppenkällkod-programvara, Apache-Flink, för analys av strömmande data, samt Hopsworks, som är den första kompletta europeiska plattformen för dataanalys och maskininlärning. Apache-Flink har kommersialiserats och används av flera ledande aktörer, bland annat taxitjänstföretagen Uber och Lyft. Hopsworks har lett till ett svenskt spinn-off, logicalclocks.com.
Stiftelsen för strategisk forskning finansierar excellent forskning inom naturvetenskap, teknik och medicin som har strategisk relevans för svensk konkurrenskraft. Prioriterade områden är Informations-, kommunikations- och systemteknologier (ICT), Livsvetenskap samt Materialforskning.

cda-group.github.io

Realtidsintelligens för det smarta samhället

Lars Kroll, senior forskare vid RISE, Seif Haridi, professor i datasystem vid KTH och Paris Carbone, senior forskare och ansvarig för projektet vid RISE. Foto: Johan Marklund
Lars Kroll, senior forskare vid RISE, Seif Haridi, professor i datasystem vid KTH och Paris Carbone, senior forskare och ansvarig för projektet vid RISE. Foto: Johan Marklund

Vi står på tröskeln till framtidens smarta samhälle. Men för att de mängder data som ständigt genereras ska göra verklig nytta som kritiskt beslutsstöd måste de kunna bearbetas och analyseras i realtid. Ett forskningssamarbete mellan KTH och RISE uppfinner lösningar för att skapa nytta av framtidens strömmade data.

Den snabbt ökande digitaliseringen genererar enorma mängder data från olika enheter. Idag lagras dessa data framför allt i stora molndatacentra, där de senare kan bearbetas och analyseras. Denna metod har emellertid stora brister. Data blir snabbt gammal och därmed har lagrad data begränsat värde som stöd för kunskapsinhämtning och tidskritiska affärsbeslut. I dagens nuvarande lösningar sammanlänkas olika hårdvaror och system av ett komplicerat lapptäcke av olika teknologier, koder och programspråk. Detta omöjliggör effektiv konstruktion av sådana system.
I framtidens snabbrörliga, digitala samhälle är miljontals olika enheter sammankopplade, inte minst genom 5G, edge-moln och sakernas internet, IoT. För detta krävs ny teknologi som gör det möjligt att fatta beslut i realtid, eller ”on the fly”, som det engelska uttrycket lyder. Kontinuerlig Djup Analys, CDA, är ett stort forskningsprojekt som adresserar detta. Projektet drivs i samverkan mellan KTH och RISE (Research Institutes of Sweden).

Nästa generations teknologi
Syftet med CDA är att utveckla nästa generations mjukvaruplattformar för skalbara, datadrivna tillämpningar, där information bearbetas och analyseras blixtsnabbt, samtidigt som den strömmas. Det är en kombination av grundforskning och tillämpad forskning inom datavetenskap och ingenjörsvetenskap, som utförs av ett tvärdisciplinärt team. Avancerade algoritmer och nya programvarusystem tas fram för att skapa lösningar för optimala analyser och beslut i realtid.
– En sådan plattform kan användas för utveckling av smarta tillämpningar som organiserar smarta städer, styr trafik optimalt, effektiviserar energiproduktion och skapar dynamiska prissättningssystem. Det genomdigitaliserade framtida samhället kräver skalbar, robust och snabb teknologi för att i realtid kunna nyttja data för beslut och strategier. Med dagens system får vi retrospektiva svar på våra frågor. Vårt mål är att skapa en teknologi för framtidens behov, med hållbara och uthålliga lösningar som är enkla att använda, förklarar projektledare Seif Haridi, professor i datasystem vid KTH.

”CDA tar den här forskningen till nästa steg”

Inkorporerar AI
CDA är en fortsättning på ett tidigare omfattande forskningsprojekt där Seif Haridi och hans team medverkade till att utveckla öppenkällkod-programvara, Apache-Flink, för analys av strömmande data, samt HOPS, som är den första kompletta europeiska plattformen för dataanalys och maskininlärning. Dessa system används av en rad ledande aktörer i olika sektorer och har haft en stor påverkan på deras kommersiella digitala lösningar. Exempelvis används Apache-Flink bland annat av Uber och Lyft för dynamisk prissättning.
– CDA tar den här forskningen till nästa steg, där vi kombinerar tekniker för AI (artificiell intelligens) med traditionell dataanalys för att fatta komplexa beslut i realtid. En tillämpning som har stor relevans just nu kan exempelvis vara att på ett enkelt och smidigt sätt skapa en skalbar tjänst för avancerad och detaljerad spårning och analys av smittspridning av covid-19, berättar Paris Carbone, senior forskare och ansvarig för projektet vid RISE.

Anpassas till hårdvara
Ett viktigt fokus för CDA är att teknologin som utvecklas ska fungera på ett brett spektrum av befintlig hårdvara, som exempelvis i moln- och edgedatacentra, speciella hårdvaruacceleratorer, 5G-enheter eller som ett chip i mobiltelefoner.
– Det finns stora skillnader mellan olika typer av hårdvara och det är en utmaning att skapa lösningar som är agnostiska och oberoende av i vilken hårdvara de används. Vi skapar mjukvara med ett enkelt gränssnitt, som lätt anpassas till alla typer av hårdvara, säger Paris Carbone.
CDA finansieras av Stiftelsen för strategisk forskning inom ramen för programmet Big data och beräkningsvetenskap. Området har identifierats som strategiskt viktigt, där Sverige har goda förutsättningar att ta en ledande roll.
– Finansieringen från SSF är oerhört viktig och jag vill verkligen ge dem en eloge för att de ser vikten av forskning inom det här området, säger Seif Haridi.
– Tack vare deras forskningsbidrag har vi kunnat bygga en stor och högt kompetent forskningsgrupp och snabbare får resultat som kan göra nytta.

KTH – CDA Realtidsintelligens

Kontinuerlig Djup Analys, CDA, är ett forskningssamarbete mellan KTH och RISE, för att skapa framtidens lösningar för att analysera data i realtid, för det smarta, hållbara samhället. Det består av expertis inom både datavetenskap och ingenjörsvetenskap. Projektet arbetar i två forskningsspår: 1) Algoritmer som effektivt bygger högre ordningens representationer och kausala modeller av världen från data och 2) En beräkningsmodell som stödjer en enkel deklarativ programmeringsparadigm som förenar relationsalgebra, linjär algebra och grafbearbetning. CDA finansieras av Stiftelsen för strategisk forskning.

www.cda-group.github.io