Amazon bouwt efficiëntere datacenters zonder kabelchaos

Al decennia worden datacenters ingericht volgens het principe van de fat tree (dikke boom). Dit netwerkmodel lijkt op een organigram van een bedrijf: servers onderin communiceren met elkaar door signalen omhoog te sturen via opeenvolgende lagen van routers, om vervolgens via een andere tak weer af te dalen. Hoewel dit ontwerp overzichtelijk en eenvoudig te implementeren is, kent het grote nadelen. De bovenste lagen zijn gevoelig voor opstoppingen (congestie) en het uitvallen van één cruciale router kan grote delen van het netwerk platleggen zo meldt AWS in een blog.

De kracht van quasi-willekeur

Netwerkwetenschappers weten al sinds de jaren negentig dat een ‘plat’ netwerk – waarin routers direct en willekeurig met elkaar verbonden zijn – theoretisch veel efficiënter is. In zo'n structuur zijn er talloze alternatieve routes beschikbaar en leidt het uitvallen van een router slechts tot een minimaal, evenredig capaciteitsverlies. Tot voor kort was dit in de praktijk echter onuitvoerbaar: het berekenen van routes in een willekeurig netwerk vreet te veel rekenkracht en het fysiek aanleggen van miljoenen kriskras door elkaar lopende kabels is een logistieke nachtmerrie.

Onderzoekers van het AWS Networking Lab in Californië hebben deze barrière nu doorbroken met een zogeheten quasi-random (quasi-willekeurige) netwerktopologie, genaamd RNG (resilient network graphs). Het netwerk combineert willekeurige verbindingen met een vaste, voorspelbare structuur.

Om het dataverkeer soepel te sturen zonder het routergeheugen te overbelasten, ontwikkelde AWS het algoritme Spraypoint. Dit protocol ‘sproeit’ datapakketjes eerst willekeurig naar directe buren, waarna ze via slimme virtuele ringen en vaste tussenstations (waypoints) efficiënt naar de eindbestemming worden geleid. Dit levert twee keer zoveel onafhankelijke routes op als traditionele technieken, waardoor opstoppingen makkelijk worden omzeild.

De ShuffleBox: orde in de kabelchaos

De grootste doorbraak is echter fysiek van aard. Om te voorkomen dat datacenters veranderen in een onontwarbare kluwen van kabels, introduceert AWS de ShuffleBox. Dit is een passief optisch component dat fungeert als een soort voorgeprogrammeerde verdeeldoos.

Aan de ene kant pluggen technici de lokale routers in; aan de andere kant verbindt de ShuffleBox met andere ShuffleBoxes in het datacenter. Omdat de interne bekabeling van de box volgens een specifiek, complex patroon is geweven, ontstaat er automatisch een quasi-willekeurig netwerk zodra de boxen aan elkaar worden gekoppeld. Voor de technicus op de vloer is het installatiewerk hierdoor net zo eenvoudig als bij een traditionele fat tree.

Grootschalige uitrol

AWS heeft het nieuwe ontwerp niet over één nacht ijs ingevoerd. De werking is vooraf getoetst met simulaties die gelijkstaan aan 530 processor-jaren. Eind 2024 ging het eerste platte netwerk live in een datacenter nabij het Ierse Dublin.

Inmiddels is de quasi-willekeurige architectuur de standaard geworden voor vrijwel alle nieuwe AWS-datacenters die wereldwijd worden gebouwd. Omdat het netwerk volledig transparant onder bestaande applicaties draait, merken klanten niets van de verandering, behalve dat de infrastructuur achter hun clouddiensten en AI-modellen een stuk stabieler, sneller en energiezuiniger is geworden.