https://xinux.net/index.php?action=history&feed=atom&title=Deduplikation 2026-08-24T00:38:31Z Versionsgeschichte dieser Seite in Xinux Wiki MediaWiki 1.35.1 https://xinux.net/index.php?title=Deduplikation&diff=72906&oldid=prev 2026-08-20T05:13:10Z

<p>Die Seite wurde neu angelegt: „&#039;&#039;&#039;Deduplikation&#039;&#039;&#039; bezeichnet das Erkennen und Zusammenfassen identischer Datenblöcke. Statt denselben Inhalt mehrfach zu speichern, wird er nur einmal abgel…“</p> <p><b>Neue Seite</b></p><div>'''Deduplikation''' bezeichnet das Erkennen und Zusammenfassen identischer Datenblöcke. Statt denselben Inhalt mehrfach zu speichern, wird er nur einmal abgelegt; alle weiteren Vorkommen verweisen auf denselben Block. Das spart Platz, ohne dass für den Nutzer etwas anders aussieht – jede Datei bleibt als eigene Datei sichtbar.<br /> <br /> =Wie es funktioniert=<br /> *Über jeden Block wird eine Prüfsumme (Hash) gebildet.<br /> *Treffen zwei Blöcke auf denselben Hash, wird der zweite nicht neu geschrieben, sondern durch einen Verweis auf den ersten ersetzt.<br /> *Ändert sich später einer der Blöcke, wird dank Copy-on-Write eine eigene Kopie angelegt – die anderen Verweise bleiben unberührt.<br /> <br /> =Zwei Zeitpunkte=<br /> ;Inline<br /> *Die Prüfung läuft schon beim Schreiben. Doppelte Blöcke landen gar nicht erst auf der Platte. Kostet Rechenzeit und Arbeitsspeicher während des Schreibens.<br /> ;Offline (nachgelagert)<br /> *Die Daten werden zunächst normal geschrieben, ein späterer Lauf sucht die Dubletten und räumt auf. Belastet das laufende Schreiben nicht, braucht aber zwischenzeitlich den vollen Platz.<br /> <br /> =Bei Btrfs=<br /> Btrfs beherrscht keine automatische Inline-Deduplikation im Kernel. Stattdessen arbeitet man nachgelagert mit Zusatzwerkzeugen wie &lt;code&gt;duperemove&lt;/code&gt; oder &lt;code&gt;bees&lt;/code&gt;, die das Dateisystem nach gleichen Blöcken durchsuchen und sie über den Reflink-Mechanismus zusammenlegen.<br /> <br /> =Abgrenzung=<br /> *'''Deduplikation''' entfernt ''gleiche'' Blöcke über Dateigrenzen hinweg – auch zwischen völlig verschiedenen Dateien.<br /> *'''Kompression''' verkleinert die Blöcke selbst, unabhängig davon, ob sie doppelt vorkommen.<br /> *Beides lässt sich kombinieren.<br /> <br /> =Wo es sich lohnt=<br /> *Viele ähnliche virtuelle Maschinen oder Container-Images.<br /> *Backup-Server mit vielen fast identischen Ständen.<br /> *Weniger sinnvoll bei bereits einzigartigen Daten (Fotos, Videos, verschlüsselte Dateien) – dort findet die Deduplikation kaum Dubletten und kostet nur Rechenzeit.</div>

Thomas.will