Gegevensdeduplicatie is een populaire en populaire opslagtechnologie die de opslagcapaciteit optimaliseert. Het elimineert overtollige gegevens door dubbele gegevens uit de dataset te verwijderen, waardoor er slechts één kopie overblijft. Zoals weergegeven in de onderstaande afbeelding. Deze technologie kan de behoefte aan fysieke opslag aanzienlijk verminderen ruimte om aan de groeiende vraag naar gegevensopslag te voldoen. Dedupe-technologie kan veel praktische voordelen bieden, waaronder voornamelijk de volgende aspecten:
| (1) | Voldoe aan de ROI (Return On Investment)/TCO (Total Cost of Ownership)-vereisten; |
| (2) | De snelle groei van data kan effectief worden beheerst; |
| (3) | Vergroot de effectieve opslagruimte en verbeter de opslagefficiëntie; |
| (4) | Bespaar de totale opslagkosten en beheerkosten; |
| (5) | Bespaar de netwerkbandbreedte van datatransmissie; |
| (6) | Bespaar bedrijfs- en onderhoudskosten zoals ruimte, stroomvoorziening en koeling. |
Dedupe-technologie wordt veel gebruikt in databack-up- en archiveringssystemen, omdat er veel dubbele gegevens zijn na meerdere back-ups van gegevens, wat zeer geschikt is voor deze technologie. Dedupe-technologie kan zelfs in veel situaties worden gebruikt, inclusief online data, near-line data en offline dataopslagsystemen. Het kan worden geïmplementeerd in bestandssystemen, volumemanagers, NAS en sans. Dedupe kan ook worden gebruikt voor gegevensherstel, gegevensoverdracht en synchronisatie, omdat datacompressietechnologie kan worden gebruikt voor het verpakken van gegevens. Dedupe-technologie kan veel toepassingen helpen het aantal toepassingen te verminderen gegevensopslag, bespaar netwerkbandbreedte, verbeter de opslagefficiëntie, verkort de back-upperiode en bespaar kosten.
Dedupe heeft twee hoofddimensies: deduplocatieverhoudingen en prestaties. Dedupe-prestaties zijn afhankelijk van de specifieke implementatietechnologie, terwijl de deduplicatiesnelheid wordt bepaald door de kenmerken van de gegevens zelf en applicatiepatronen, zoals weergegeven in de onderstaande tabel. Opslagleveranciers rapporteren momenteel deduplicatiepercentages variërend van 20:1 tot 500:1.
| Hoog deduplicatiepercentage | Laag deduplicatiepercentage |
| Gegevens aangemaakt door de gebruiker | Gegevens uit de natuurlijke wereld |
| Gegevens lage veranderingssnelheid | Gegevens hoge veranderingssnelheid |
| Referentiegegevens, inactieve gegevens | Actieve gegevens |
| Toepassing met lage gegevenswijzigingssnelheid | Toepassing met hoge gegevenswijzigingssnelheid |
| Volledige gegevensback-up | Incrementele gegevensback-up |
| Gegevens voor lange termijn opslag | Gegevensopslag op korte termijn |
| Breed scala aan datatoepassingen | Klein aantal datatoepassingen |
| Continue gegevensverwerking door bedrijven | Algemene gegevens bedrijfsverwerking |
| Kleine datasegmentatie | Big data-segmentatie |
| Verlengde datasegmentatie | Gegevenssegmentatie met vaste lengte |
| Gegevensinhoud waargenomen | Gegevensinhoud onbekend |
| Deduplicatie van tijdgegevens | Ontdubbeling van ruimtelijke gegevens |
Ontdubbel implementatiepunten
Bij het ontwikkelen of toepassen van Dedupe-technologie moet rekening worden gehouden met verschillende factoren, omdat deze factoren rechtstreeks van invloed zijn op de prestaties en effectiviteit ervan.
| (1) | Wat | Welke gegevens worden niet gewogen? |
| (2) | Wanneer | Wanneer wordt het gewicht geëlimineerd? |
| (3) | Waar | Waar is de gewichtseliminatie? |
| (4) | Hoe | Hoe het gewicht verminderen? |
Dedupe Key-technologie
Het ontdubbelingsproces van het opslagsysteem is in het algemeen dit: allereerst wordt het gegevensbestand opgedeeld in een reeks gegevens, voor elk gegevensblok om de vingerafdruk te berekenen, en vervolgens op basis van vingerafdruk-hash-zoekwoorden, geeft het matchen de gegevens voor het duplicaat aan datablokken, slaat alleen het indexnummer van het datablok op, anders betekent dit dat het datablok het enige stuk is van een nieuw, opslag van datablok en relevante meta-informatie creëert. Een fysiek bestand in het opslagsysteem komt dus overeen met een logische weergave van een set FP-metagegevens. Bij het lezen van de bestand, lees eerst het logische bestand en verwijder vervolgens volgens de FP-reeks het overeenkomstige datablok uit het opslagsysteem en herstel de kopie van het fysieke bestand. Uit het bovenstaande proces blijkt dat de belangrijkste technologieën van Dedupe voornamelijk omvatten segmentatie van bestandsgegevensblokken, berekening van vingerafdrukken van gegevensblokken en ophalen van gegevensblokken.
(1) Segmentatie van bestandsgegevensblokken
(2) Berekening van vingerafdrukken van gegevensblokken
(3) Ophalen van gegevensblokken
Om deze aanbevolen modellen te vinden om uw netwerkpakketdeduplicatie te starten:
Mylinking™ Network Packet Broker (NPB) ML-NPB-640048*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-56606*40GE/100GE QSFP28 plus 48*10GE/25GE SFP28, maximaal 1,8 Tbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-506048*10GE SFP+ plus 2*40GE QSFP, maximaal 560 Gbps
Mylinking™ Network Packet Broker (NPB) ML-NPB-486048*10GE SFP+, max. 480 Gbps, Functie Plus
Mylinking™ Network Packet Broker (NPB) ML-NPB-481048*10GE SFP+, maximaal 480 Gbps
Mylinking™ Network Packet Broker(NPB) ML-NPB-2410P24*10GE SFP+, max. 240 Gbps, DPI-functie
Mylinking™ Network Packet Broker (NPB) ML-NPB-6400
48*10GE SFP+ plus 4*40GE/100GE QSFP28, maximaal 880 Gbps
Posttijd: 18 oktober 2022
