Datadeduplicatie is een populaire opslagtechnologie die de opslagcapaciteit optimaliseert. Het elimineert redundante gegevens door dubbele gegevens uit de dataset te verwijderen, zodat er slechts één kopie overblijft. Zoals weergegeven in de onderstaande afbeelding. Deze technologie kan de behoefte aan fysieke opslagruimte aanzienlijk verminderen om te voldoen aan de groeiende vraag naar dataopslag. Deduplicatietechnologie biedt vele praktische voordelen, met name de volgende:
| (1) | Voldoe aan de ROI (Return On Investment) / TCO (Total Cost of Ownership)-vereisten; |
| (2) | De snelle groei van data kan effectief worden beheerst; |
| (3) | Vergroot de effectieve opslagruimte en verbeter de opslagefficiëntie; |
| (4) | Bespaar op de totale opslagkosten en beheerkosten; |
| (5) | Bespaar op de netwerkbandbreedte van de gegevensoverdracht; |
| (6) | Bespaar op operationele en onderhoudskosten, zoals ruimte, stroomvoorziening en koeling. |
Deduplicatietechnologie wordt veel gebruikt in back-up- en archiveringssystemen, omdat er na meerdere back-ups vaak veel dubbele gegevens ontstaan. Deze technologie is hiervoor uitermate geschikt. Deduplicatietechnologie kan in feite in veel situaties worden toegepast, waaronder online, nearline en offline dataopslagsystemen. Het kan worden geïmplementeerd in bestandssystemen, volumemanagers, NAS-systemen en SANS-systemen. Deduplicatie kan ook worden gebruikt voor dataherstel na een ramp, datatransmissie en -synchronisatie, en als datacompressietechnologie voor het verpakken van gegevens. Deduplicatietechnologie kan veel toepassingen helpen om de dataopslag te verminderen, netwerkbandbreedte te besparen, de opslagefficiëntie te verbeteren, de back-upinterval te verkorten en kosten te besparen.
Deduplicatie kent twee hoofdaspecten: deduplicatieratio's en prestaties. De prestaties van deduplicatie zijn afhankelijk van de specifieke implementatietechnologie, terwijl de deduplicatieratio wordt bepaald door de kenmerken van de data zelf en de toepassingspatronen, zoals weergegeven in de onderstaande tabel. Opslagleveranciers rapporteren momenteel deduplicatieratio's variërend van 20:1 tot 500:1.
| Hoge ontdubbelingsratio | Lage deduplicatiesnelheid |
| Gegevens aangemaakt door de gebruiker | Gegevens uit de natuur |
| Gegevens lage veranderingssnelheid | Gegevens met een hoge veranderingssnelheid |
| Referentiegegevens, inactieve gegevens | Actieve gegevens |
| Toepassing met lage gegevenswijzigingsfrequentie | Toepassing met hoge gegevenswijzigingsfrequentie |
| Volledige back-up van de gegevens | Incrementele back-up van gegevens |
| Langdurige gegevensopslag | Gegevensopslag op korte termijn |
| Breed scala aan data-applicaties | Beperkt aantal data-applicaties |
| Continue dataverwerking voor bedrijven | Algemene gegevensverwerking |
| Kleine datasegmentatie | Big data-segmentatie |
| Langwerpige gegevenssegmentatie | Datasegmentatie met vaste lengte |
| Waargenomen gegevensinhoud | Gegevensinhoud onbekend |
| Tijdgegevens ontdubbelen | Ruimtelijke gegevens ontdubbelen |
Implementatiepunten voor deduplicatie
Bij de ontwikkeling of toepassing van deduplicatietechnologie moet rekening worden gehouden met diverse factoren, aangezien deze factoren de prestaties en effectiviteit ervan direct beïnvloeden.
| (1) | Wat | Welke gegevens worden minder zwaar meegewogen? |
| (2) | Wanneer | Wanneer zal het gewicht verdwenen zijn? |
| (3) | Waar | Waar blijft de gewichtsafname? |
| (4) | Hoe | Hoe kan ik afvallen? |
Deduplicatie van sleuteltechnologie
Het deduplicatieproces van een opslagsysteem verloopt over het algemeen als volgt: allereerst wordt het gegevensbestand opgedeeld in datablokken. Voor elk datablok wordt een vingerafdruk berekend. Vervolgens wordt op basis van de hash van de vingerafdruk een zoekopdracht uitgevoerd met behulp van trefwoorden. Bij een overeenkomst wordt alleen het indexnummer van het datablok opgeslagen; anders wordt het betreffende datablok als nieuw beschouwd. Het datablok wordt opgeslagen en er wordt relevante meta-informatie gegenereerd. Op deze manier komt een fysiek bestand in het opslagsysteem overeen met een logische representatie van een set FP-metadata. Bij het lezen van een bestand wordt eerst het logische bestand gelezen. Vervolgens wordt, op basis van de FP-volgorde, het corresponderende datablok uit het opslagsysteem gehaald en een kopie van het fysieke bestand hersteld. Uit bovenstaand proces blijkt dat de belangrijkste technologieën voor deduplicatie bestaan uit het segmenteren van datablokken, het berekenen van de vingerafdruk van het datablok en het ophalen van het datablok.
(1) Segmentatie van bestandsgegevensblokken
(2) Berekening van de vingerafdruk van het datablok
(3) Ophalen van gegevensblokken
Om deze aanbevolen modellen te vinden waarmee u kunt beginnen met het dedupliceren van netwerkpakketten:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, max. 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maximaal 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gbps, Function Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, maximaal 480 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-2410P24*10GE SFP+, maximaal 240 Gbps, DPI-functie
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Geplaatst op: 18 oktober 2022
