Datadeduplicatie is een populaire opslagtechnologie die de opslagcapaciteit optimaliseert. Het elimineert redundante gegevens door dubbele gegevens uit de dataset te verwijderen, zodat er slechts één kopie overblijft. Zoals weergegeven in de onderstaande afbeelding, kan deze technologie de behoefte aan fysieke opslagruimte aanzienlijk verminderen om te voldoen aan de groeiende vraag naar gegevensopslag. Deduplicatietechnologie kan veel praktische voordelen opleveren, waaronder voornamelijk de volgende aspecten:
| (1) | Voldoen aan de ROI (Return On Investment)/TCO (Total Cost of Ownership)-vereisten; |
| (2) | De snelle groei van data kan effectief worden gecontroleerd; |
| (3) | Vergroot de effectieve opslagruimte en verbeter de opslagefficiëntie; |
| (4) | Bespaar de totale opslagkosten en beheerkosten; |
| (5) | Bespaar de netwerkbandbreedte van de gegevensoverdracht; |
| (6) | Bespaar op operationele en onderhoudskosten zoals ruimte, stroomvoorziening en koeling. |
Dedupetechnologie wordt veel gebruikt in databack-up- en archiveringssystemen, omdat er na meerdere back-ups veel dubbele gegevens zijn, wat zeer geschikt is voor deze technologie. Dedupetechnologie kan in veel situaties worden gebruikt, waaronder online data, near-line data en offline dataopslagsystemen. Het kan worden geïmplementeerd in bestandssystemen, volumemanagers, NAS-systemen en Sans-systemen. Dedupe kan ook worden gebruikt voor dataherstel na een ramp, gegevensoverdracht en synchronisatie, aangezien datacompressietechnologie kan worden gebruikt voor datapackaging. Dedupetechnologie kan veel applicaties helpen de dataopslag te verminderen, netwerkbandbreedte te besparen, de opslagefficiëntie te verbeteren, de back-upperiode te verkorten en kosten te besparen.
Deduplicatie kent twee hoofddimensies: deduplicatieverhoudingen en prestaties. Deduplicatieprestaties zijn afhankelijk van de specifieke implementatietechnologie, terwijl de deduplicatiesnelheid wordt bepaald door de kenmerken van de gegevens zelf en toepassingspatronen, zoals weergegeven in de onderstaande tabel. Leveranciers van opslag rapporteren momenteel deduplicatiesnelheden van 20:1 tot 500:1.
| Hoge deduplicatiesnelheid | Lage deduplicatiesnelheid |
| Door de gebruiker aangemaakte gegevens | Gegevens uit de natuurlijke wereld |
| Gegevens lage veranderingssnelheid | Gegevens met een hoge veranderingssnelheid |
| Referentiegegevens, inactieve gegevens | Actieve gegevens |
| Toepassing met lage gegevensveranderingssnelheid | Toepassing met hoge gegevensveranderingssnelheid |
| Volledige gegevensback-up | Incrementele gegevensback-up |
| Gegevensopslag op lange termijn | Gegevensopslag op korte termijn |
| Breed scala aan data-applicaties | Klein bereik aan datatoepassingen |
| Continue gegevensverwerking voor bedrijven | Algemene gegevensverwerking voor bedrijven |
| Kleine datasegmentatie | Big data-segmentatie |
| Verlengde datasegmentatie | Gegevenssegmentatie met vaste lengte |
| Waargenomen gegevensinhoud | Gegevensinhoud onbekend |
| Tijdsgegevensdeduplicatie | Ruimtelijke gegevensdeduplicatie |
Dedupe-implementatiepunten
Bij het ontwikkelen of toepassen van Dedupe-technologie moet u rekening houden met diverse factoren, aangezien deze rechtstreeks van invloed zijn op de prestaties en effectiviteit.
| (1) | Wat | Welke gegevens worden gedewogen? |
| (2) | Wanneer | Wanneer zal dit gewicht verdwijnen? |
| (3) | Waar | Waar blijft de gewichtsvermindering? |
| (4) | Hoe | Hoe kan ik afvallen? |
Dedupe Key-technologie
Het deduplicatieproces van opslagsystemen verloopt in het algemeen als volgt: allereerst wordt het gegevensbestand verdeeld in een set gegevens, voor elk gegevensblok wordt de vingerafdruk berekend en vervolgens op basis van de vingerafdruk-hashzoekwoorden geeft matching de gegevens aan voor de dubbele gegevensblokken, slaat alleen het indexnummer van het gegevensblok op, anders betekent dit dat het gegevensblok het enige onderdeel is van een nieuw, opslag van gegevensblok en creëert relevante metagegevens. Een fysiek bestand in het opslagsysteem komt dus overeen met een logische representatie van een set FP-metagegevens. Bij het lezen van het bestand wordt eerst het logische bestand gelezen en vervolgens wordt volgens de FP-reeks het overeenkomstige gegevensblok uit het opslagsysteem gehaald en de kopie van het fysieke bestand hersteld. Uit het bovenstaande proces blijkt dat de belangrijkste technologieën van Dedupe voornamelijk segmentatie van bestandsgegevensblokken, berekening van gegevensblokvingerafdrukken en ophalen van gegevensblokken omvatten.
(1) Segmentatie van bestandsgegevensblokken
(2) Berekening van de vingerafdruk van het gegevensblok
(3) Ophalen van gegevensblokken
Om deze aanbevolen modellen te vinden om uw netwerkpakketdeduplicatie te starten:
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maximaal 1,8 Tbps
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maximaal 560 Gbps
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gbps, Function Plus
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-481048*10GE SFP+, maximaal 480 Gbps
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gbps, DPI-functie
Mylinking™ Netwerkpakket Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Plaatsingstijd: 18-10-2022
