Om aan de behoeften van cloudservices te voldoen, wordt het netwerk geleidelijk opgesplitst in een onderlaag (underlay) en een overlaag (overlay). Het onderlaagnetwerk bestaat uit de fysieke apparatuur, zoals routers en switches, in traditionele datacenters. Deze apparatuur is nog steeds gebaseerd op het concept van stabiliteit en biedt betrouwbare mogelijkheden voor gegevensoverdracht. De overlaag is het bedrijfsnetwerk dat daarop is ingekapseld en dichter bij de service staat. Door middel van VXLAN- of GRE-protocolinkapseling biedt dit gebruikers gebruiksvriendelijke netwerkdiensten. Het onderlaagnetwerk en de overlaag zijn enerzijds gerelateerd en anderzijds losgekoppeld. Ze kunnen zich onafhankelijk van elkaar ontwikkelen.
Het onderliggende netwerk vormt de basis van het netwerk. Als het onderliggende netwerk instabiel is, is er geen SLA voor de business. Na de drielaagse netwerkarchitectuur en de Fat-Tree netwerkarchitectuur maakt de datacenternetwerkarchitectuur de overgang naar de Spine-Leaf architectuur, wat de derde toepassing van het CLOS-netwerkmodel inluidt.
Traditionele netwerkarchitectuur voor datacenters
Ontwerp met drie lagen
Van 2004 tot 2007 was de drielaagse netwerkarchitectuur erg populair in datacenters. Deze bestaat uit drie lagen: de kernlaag (de snelle switching-backbone van het netwerk), de aggregatielaag (die zorgt voor op beleid gebaseerde connectiviteit) en de toegangslaag (die werkstations met het netwerk verbindt). Het model ziet er als volgt uit:
Drie-laags netwerkarchitectuur
Kernlaag: De kernswitches zorgen voor snelle doorsturing van pakketten van en naar het datacenter, connectiviteit met de verschillende aggregatielagen en een robuust L3-routeringsnetwerk dat doorgaans het gehele netwerk bedient.
Aggregatielaag: De aggregatieswitch is verbonden met de accessswitch en biedt andere diensten, zoals firewall, SSL-offload, inbraakdetectie, netwerkanalyse, enz.
Toegangslaag: De toegangsswitches bevinden zich meestal bovenaan het rack (Top of the Rack), vandaar de naam ToR-switch (Top of Rack), en zijn fysiek verbonden met de servers.
Doorgaans vormt de aggregatieswitch het scheidingspunt tussen L2- en L3-netwerken: het L2-netwerk bevindt zich onder de aggregatieswitch en het L3-netwerk erboven. Elke groep aggregatieswitches beheert een Point of Delivery (POD), en elke POD is een onafhankelijk VLAN-netwerk.
Netwerklus en Spanning Tree-protocol
Het ontstaan van lussen wordt meestal veroorzaakt door verwarring als gevolg van onduidelijke bestemmingspaden. Wanneer gebruikers netwerken bouwen, gebruiken ze, om de betrouwbaarheid te garanderen, doorgaans redundante apparaten en redundante verbindingen, waardoor lussen onvermijdelijk ontstaan. Het Layer 2-netwerk bevindt zich in hetzelfde broadcastdomein en de broadcastpakketten worden herhaaldelijk in de lus verzonden, wat een broadcaststorm veroorzaakt. Dit kan in een oogwenk leiden tot poortblokkering en het uitvallen van apparatuur. Om broadcaststorms te voorkomen, is het daarom noodzakelijk om de vorming van lussen te voorkomen.
Om de vorming van lussen te voorkomen en de betrouwbaarheid te waarborgen, kunnen redundante apparaten en redundante verbindingen alleen worden omgezet in back-upapparaten en back-upverbindingen. Dat wil zeggen dat redundante apparaatpoorten en -verbindingen onder normale omstandigheden geblokkeerd zijn en niet deelnemen aan het doorsturen van datapakketten. Alleen wanneer het huidige doorstuurapparaat, de poort of de verbinding uitvalt, wat leidt tot netwerkcongestie, worden de redundante apparaatpoorten en -verbindingen geopend, zodat het netwerk weer normaal kan functioneren. Deze automatische besturing wordt geïmplementeerd door het Spanning Tree Protocol (STP).
Het Spanning Tree Protocol (STP) werkt tussen de toegangslaag en de sinklaag. De kern ervan is een Spanning Tree-algoritme dat draait op elke STP-compatibele bridge. Dit algoritme is specifiek ontworpen om bridging loops te voorkomen in aanwezigheid van redundante paden. STP selecteert het beste datapad voor het doorsturen van berichten en blokkeert verbindingen die geen deel uitmaken van de Spanning Tree. Hierdoor blijft er slechts één actief pad over tussen twee netwerkknooppunten en wordt de andere uplink geblokkeerd.
STP heeft veel voordelen: het is eenvoudig, direct te gebruiken en vereist zeer weinig configuratie. De machines binnen elke pod behoren tot hetzelfde VLAN, waardoor de server de locatie binnen de pod willekeurig kan wijzigen zonder het IP-adres en de gateway aan te passen.
STP kan echter geen gebruik maken van parallelle doorstuurpaden, waardoor redundante paden binnen het VLAN altijd worden uitgeschakeld. Nadelen van STP:
1. Trage topologieconvergentie. Wanneer de netwerktopologie verandert, heeft het spanning tree protocol 50-52 seconden nodig om de topologieconvergentie te voltooien.
2. Het biedt geen functie voor taakverdeling. Wanneer er een lus in het netwerk is, kan het Spanning Tree Protocol (STP) de lus alleen blokkeren, waardoor de verbinding geen datapakketten meer kan doorsturen en netwerkbronnen worden verspild.
Virtualisatie en de uitdagingen van oost-westverkeer
Na 2010 begonnen datacenters virtualisatietechnologie te gebruiken om de benutting van computer- en opslagbronnen te verbeteren, waardoor er een groot aantal virtuele machines in het netwerk verscheen. Virtualisatietechnologie transformeert een server in meerdere logische servers. Elke VM kan onafhankelijk draaien, heeft zijn eigen besturingssysteem, applicatie, MAC-adres en IP-adres, en maakt verbinding met de buitenwereld via een virtuele switch (vSwitch) binnen de server.
Virtualisatie brengt een bijkomende vereiste met zich mee: live migratie van virtuele machines, de mogelijkheid om een systeem van virtuele machines van de ene fysieke server naar de andere te verplaatsen, terwijl de normale werking van de services op de virtuele machines behouden blijft. Dit proces is ongevoelig voor eindgebruikers; beheerders kunnen flexibel serverbronnen toewijzen of fysieke servers repareren en upgraden zonder de normale werking van gebruikers te beïnvloeden.
Om ervoor te zorgen dat de service tijdens de migratie niet wordt onderbroken, is het vereist dat niet alleen het IP-adres van de virtuele machine ongewijzigd blijft, maar ook de operationele status van de virtuele machine (zoals de TCP-sessiestatus) behouden blijft. Dynamische migratie van de virtuele machine kan daarom alleen binnen hetzelfde Layer 2-domein worden uitgevoerd, en niet tussen Layer 2-domeinen. Dit creëert de noodzaak voor grotere Layer 2-domeinen, van de toegangslaag tot de kernlaag.
Het scheidingspunt tussen L2 en L3 in de traditionele, grootschalige Layer 2-netwerkarchitectuur ligt bij de core-switch. Het datacenter onder de core-switch vormt een volledig broadcastdomein, oftewel het L2-netwerk. Op deze manier kan de implementatie en locatie van apparaten naar wens worden aangepast, zonder dat de configuratie van IP-adressen en gateways hoeft te worden gewijzigd. De verschillende L2-netwerken (VLAN's) worden via de core-switch gerouteerd. De core-switch moet in deze architectuur echter een enorme MAC- en ARP-tabel onderhouden, wat hoge eisen stelt aan de capaciteit van de core-switch. Bovendien beperkt de Access Switch (TOR) de schaalbaarheid van het gehele netwerk. Dit beperkt uiteindelijk de schaalbaarheid, de uitbreidingsmogelijkheden en de elasticiteit van het netwerk. Het probleem van vertragingen in de planning over de drie lagen kan niet voldoen aan de behoeften van toekomstige bedrijven.
Aan de andere kant brengt het oost-westverkeer dat door virtualisatietechnologie wordt gegenereerd ook uitdagingen met zich mee voor het traditionele drielaagse netwerk. Het dataverkeer in datacenters kan grofweg in de volgende categorieën worden verdeeld:
Noord-zuidverkeer:Verkeer tussen clients buiten het datacenter en de datacenterserver, of verkeer van de datacenterserver naar het internet.
Oost-westverkeer:Verkeer tussen servers binnen een datacenter, maar ook verkeer tussen verschillende datacenters, zoals noodherstel tussen datacenters en communicatie tussen private en publieke clouds.
De introductie van virtualisatietechnologie zorgt ervoor dat applicaties steeds meer gedistribueerd worden ingezet, met als "neveneffect" een toename van het oost-westverkeer.
Traditionele drielaagse architectuur is doorgaans ontworpen voor verkeer in noord-zuidrichting.Hoewel het gebruikt kan worden voor oost-westverkeer, voldoet het mogelijk uiteindelijk niet aan de vereisten.
Traditionele architectuur met drie verdiepingen versus Spine-Leaf-architectuur
In een drielaags architectuur moet oost-westverkeer via apparaten in de aggregatie- en kernlaag worden doorgestuurd. Dit gaat onnodig via veel knooppunten. (Server -> Access -> Aggregatie -> Kernswitch -> Aggregatie -> Accessswitch -> Server)
Als er dus veel oost-westverkeer door een traditionele drielaagse netwerkarchitectuur loopt, kunnen apparaten die op dezelfde switchpoort zijn aangesloten met elkaar concurreren om bandbreedte, wat resulteert in trage reactietijden voor eindgebruikers.
Nadelen van de traditionele drielaagse netwerkarchitectuur
Het is duidelijk dat de traditionele drielaagse netwerkarchitectuur veel tekortkomingen heeft:
Bandbreedteverspilling:Om lussen te voorkomen, wordt het STP-protocol meestal uitgevoerd tussen de aggregatielaag en de toegangslaag, zodat slechts één uplink van de toegangsswitch daadwerkelijk verkeer transporteert en de andere uplinks worden geblokkeerd, wat resulteert in bandbreedteverspilling.
Moeilijkheden bij de aanleg van grote netwerken:Door de schaalvergroting van netwerken zijn datacenters verspreid over verschillende geografische locaties. Virtuele machines moeten overal worden aangemaakt en gemigreerd, terwijl hun netwerkkenmerken zoals IP-adressen en gateways ongewijzigd blijven. Dit vereist ondersteuning van een robuuste Layer 2-architectuur. In de traditionele structuur is migratie niet mogelijk.
Gebrek aan oost-westverkeer:De drielaagse netwerkarchitectuur is voornamelijk ontworpen voor noord-zuidverkeer, hoewel oost-westverkeer ook wordt ondersteund. De nadelen hiervan zijn echter duidelijk. Bij grootschalig oost-westverkeer neemt de druk op de switches in de aggregatielaag en de kernlaag sterk toe, waardoor de netwerkgrootte en -prestaties beperkt worden tot deze lagen.
Hierdoor komen bedrijven voor het dilemma te staan van kosten en schaalbaarheid:Het ondersteunen van grootschalige, krachtige netwerken vereist een groot aantal apparatuur voor de convergentielaag en de kernlaag. Dit brengt niet alleen hoge kosten met zich mee voor bedrijven, maar vereist ook dat het netwerk van tevoren zorgvuldig wordt gepland. Bij een kleine netwerkschaal leidt dit tot verspilling van middelen, en bij een groeiende netwerkschaal wordt uitbreiding steeds lastiger.
De Spine-Leaf netwerkarchitectuur
Wat is de Spine-Leaf netwerkarchitectuur?
Als reactie op de bovengenoemde problemen,Er is een nieuw datacenterontwerp ontstaan, de Spine-Leaf netwerkarchitectuur, wat we ook wel een leaf-ridge netwerk noemen.
Zoals de naam al doet vermoeden, bestaat de architectuur uit een Spine-laag en een Leaf-laag, die beide spine-switches en leaf-switches bevatten.
De ruggengraat-bladarchitectuur
Elke leaf-switch is verbonden met alle ridge-switches, die niet rechtstreeks met elkaar verbonden zijn, waardoor een volledig mesh-netwerk ontstaat.
Bij een spine-and-leaf-architectuur loopt een verbinding van de ene server naar de andere via hetzelfde aantal apparaten (Server -> Leaf -> Spine Switch -> Leaf Switch -> Server), wat zorgt voor een voorspelbare latentie. Een datapakket hoeft immers slechts door één spine-switch en één leaf-switch te gaan om de bestemming te bereiken.
Hoe werkt Spine-Leaf?
Leafswitch: Deze is vergelijkbaar met de accessswitch in de traditionele drielaags architectuur en is rechtstreeks verbonden met de fysieke server als TOR (Top of Rack). Het verschil met de accessswitch is dat het scheidingspunt tussen het L2- en L3-netwerk zich nu op de leafswitch bevindt. De leafswitch bevindt zich boven het drielaags netwerk en onder het onafhankelijke L2-broadcastdomein, wat het BUM-probleem (Back-Up Module) van grote tweelaags netwerken oplost. Als twee leafservers met elkaar moeten communiceren, moeten ze L3-routing gebruiken en het verkeer via een spineswitch doorsturen.
Spine-switch: equivalent aan een core-switch. ECMP (Equal Cost Multi Path) wordt gebruikt om dynamisch meerdere paden te selecteren tussen de spine- en leaf-switches. Het verschil is dat de spine-switch nu simpelweg een robuust L3-routeringsnetwerk biedt voor de leaf-switch, waardoor het noord-zuidverkeer van het datacenter via de spine-switch kan worden gerouteerd in plaats van rechtstreeks. Noord-zuidverkeer kan vanaf de edge-switch parallel aan de leaf-switch naar de WAN-router worden gerouteerd.
Vergelijking tussen de Spine/Leaf-netwerkarchitectuur en de traditionele drielaagse netwerkarchitectuur
Voordelen van stekelblad
Vlak:Een plat ontwerp verkort het communicatiepad tussen servers, wat resulteert in een lagere latentie en daardoor de prestaties van applicaties en services aanzienlijk kan verbeteren.
Goede schaalbaarheid:Als de bandbreedte ontoereikend is, kan het verhogen van het aantal ridge-switches de bandbreedte horizontaal uitbreiden. Wanneer het aantal servers toeneemt, kunnen we leaf-switches toevoegen als de poortdichtheid onvoldoende is.
Kostenbesparing: Noordwaarts en zuidwaarts verkeer, dat ofwel via de leaf-nodes ofwel via de ridge-nodes vertrekt. Oost-westverkeer, verdeeld over meerdere paden. Op deze manier kan het leaf-ridge-netwerk gebruikmaken van switches met een vaste configuratie, zonder de noodzaak van dure modulaire switches, waardoor de kosten worden verlaagd.
Lage latentie en het vermijden van congestie:In een Leaf Ridge-netwerk hebben datastromen hetzelfde aantal hops over het netwerk, ongeacht de bron en de bestemming. Twee willekeurige servers zijn via een Leaf -> Spine -> Leaf-netwerk met drie hops bereikbaar. Dit zorgt voor een directere verkeersroute, wat de prestaties verbetert en knelpunten vermindert.
Hoge beveiliging en beschikbaarheid:Het STP-protocol wordt gebruikt in de traditionele drielaagse netwerkarchitectuur. Wanneer een apparaat uitvalt, vindt er een herconvergentie plaats, wat de netwerkprestaties beïnvloedt of zelfs tot een netwerkuitval kan leiden. In de leaf-ridge-architectuur is herconvergentie niet nodig wanneer een apparaat uitvalt; het verkeer blijft via andere normale paden lopen. De netwerkconnectiviteit wordt niet beïnvloed en de bandbreedte wordt slechts via één pad verminderd, met minimale impact op de prestaties.
Load balancing via ECMP is zeer geschikt voor omgevingen waar gecentraliseerde netwerkbeheerplatformen zoals SDN worden gebruikt. SDN vereenvoudigt de configuratie, het beheer en de omleiding van verkeer in geval van blokkering of verbindingsuitval, waardoor de intelligente load balancing full mesh-topologie relatief eenvoudig te configureren en te beheren is.
De Spine-Leaf-architectuur kent echter enkele beperkingen:
Een nadeel is dat het aantal switches de omvang van het netwerk vergroot. Het datacenter van een leaf-ridge-netwerkarchitectuur moet het aantal switches en netwerkapparatuur evenredig met het aantal clients uitbreiden. Naarmate het aantal hosts toeneemt, zijn er meer leaf-switches nodig om verbinding te maken met de ridge-switch.
De directe verbinding van ridge- en leaf-switches vereist afstemming, en over het algemeen kan de redelijke bandbreedteverhouding tussen leaf- en ridge-switches niet hoger zijn dan 3:1.
Stel, er zijn 48 clients met een snelheid van 10 Gbps aangesloten op de leaf-switch met een totale poortcapaciteit van 480 Gb/s. Als de vier 40G uplinkpoorten van elke leaf-switch zijn verbonden met de 40G ridge-switch, heeft deze een uplinkcapaciteit van 160 Gb/s. De verhouding is 480:160, oftewel 3:1. Uplinks in datacenters zijn doorgaans 40G of 100G en kunnen in de loop der tijd worden gemigreerd van een beginpunt van 40G (Nx 40G) naar 100G (Nx 100G). Het is belangrijk om te weten dat de uplink altijd sneller moet zijn dan de downlink om te voorkomen dat de poortverbinding wordt geblokkeerd.
Spine-Leaf-netwerken hebben ook duidelijke bekabelingsvereisten. Omdat elk leaf-knooppunt met elke spine-switch moet worden verbonden, moeten er meer koper- of glasvezelkabels worden aangelegd. De afstand van de interconnectie drijft de kosten op. Afhankelijk van de afstand tussen de verbonden switches, is het aantal hoogwaardige optische modules dat nodig is voor de spine-leaf-architectuur tientallen keren hoger dan dat van de traditionele drielaagse architectuur, wat de totale implementatiekosten verhoogt. Dit heeft echter geleid tot een groei van de markt voor optische modules, met name voor snelle optische modules zoals 100G en 400G.
Geplaatst op: 26 januari 2026
