Optimerar cacheminnet för snabbare internettjänster

Utvecklingen av 5G, IoT och den digitala omvandlingen av industrin ökar pressen på miljontals servrar i världens datacenter att kunna hantera den snabbt ökande mängden data. Genom att utnyttja cacheminnet på helt nya sätt har forskare på KTH hittat sätt att snabba på befintlig hårdvara.

Data paketeras i datapaket som skickas mellan olika applikationer och servern där data bearbetas, ju snabbare nätverk desto fler datapaket kan skickas per tidsenhet.
– I ett nätverk med 100 Gbps skickas kort datapaket var 6:e nanosekund, vilket är 10 gånger snabbare än vad minnet klarar av att hantera. De data som minnet inte hinner skicka vidare till processorn måste buffras, något som i sin tur orsakar fördröjningar, förklarar Alireza Farshin, doktorand på Institution för Datavetenskap vid KTH.

Vill förstå cacheminnet bättre
Det är ett problem som man försöker lösa på olika sätt men ingen har hittills tittat närmare på själva cacheminnet för att förstå dess roll i höghastighetsnätverk och om det finns möjliga vägar till att det kan optimeras.
– Cacheminnet är uppdelat i olika nivåer och i dag går datapaketen alltid genom dem innan de skickas vidare. Vi bestämde oss för att gå mer på djupet och verkligen försöka förstå hur inkommande datapaket interagerar på olika nivåer och hur cacheminnet hanterar dem. Syftet var att därigenom hitta sätt att snabba på hanteringen av datapaketen, berättar professor Gerald Q. Maguire Jr, Institution för Datavetenskap vid KTH.
Deras resultat kan delas upp i tre delar, där den första fokuserar på hur datapaketen hanteras i cacheminnet.
– Vi har nu betydligt bättre kunskaper om hur uppdelningen i cacheminnets olika nivåer kan utnyttjas för att placera datapaket mer effektivt. Processorn får därigenom snabbare åtkomst till data vilket i sin tur snabbar upp datorns funktion, konstaterar professor Dejan Kostic, Institution för Datavetenskap vid KTH.

Kan styra datapaketen
Den andra delen fokuserar på den Data Direct I/O (DDIO)-teknik som i dag skickar paket till cache på ett ineffektivt sätt.
– Genom att förstå hur inkommande datapaket hanteras i cacheminnet har vi sett att det går att styra datapaketen dit man vill ha dem. Det gör att vi kan optimera cacheminnet och även bestämma vad som faktiskt ska gå via cacheminnet och vad som kan skickas direkt till andra platser. Ibland är det faktiskt bättre för funktionen i datorn att datapaketen hoppar över cacheminnet, berättar Alireza Farshin.
Det kommer att vara slutanvändaren som själv kan bestämma vilka applikationer som ska prioriteras och vars data ska gå genom cacheminnet, vilket ger en snabbare process, och vilka som kan hoppa över cachedelen.

Har skapat en PacketMill
Den tredje delen i deras resultat handlar om en specialiserad mjukvara de utvecklat som hanterar datapaketen och adresserar dem till olika delar.
– Vi har visat att med den mjukvaran kan man hantera samma mängd data med bara en enda CPU-kärna som de datorer som idag använder ett flertal kärnor, förklarar han vidare.
Kombinationen av den nya mjukvaran och ett effektivt utnyttjande av den befintliga datastrukturen blir som en datapaketfabrik, PacketMill.
– Våra utvärderingsresultat visar att vår PacketMill ökar genomströmningen med upp till 70 procent och minskar latensen med upp till 28 procent, säger professor Gerald Q. Maguire Jr.

Klicka här för att läsa mer om PacketMill

Resultaten har väckt stort intresse
Den nytta vi vanliga användare av datorer kan få av deras forskningsresultat, förutom kortare väntetider, är att många funktioner i samhället kan bli snabbare, säkrare och mer hållbara. Molnet skapar ju möjligheter att skicka och ta emot data för tidskritiska beslut inom exempelvis transporter eller industrin, men flaskhalsar i datahanteringen har blivit alltmer problematiska.
– Vi har visat att de tidskritiska molntjänsterna beror mycket på hur effektivt processorns cacheminne kan fås att fungera, och att det går att göra betydligt mer med färre CPU-kärnor om man utnyttjar cacheminnet optimalt, förklarar Dejan Kostic.
Deras forskning har väckt stort intresse och de har blivit kontaktade av bland annat Intel som ser en potential i deras resultat.