Deduplication重复删除技术应用在Windows10 2004版本

最近经济不行,没米买硬盘,但是要开启多个虚拟机,遂想起了此技术。节省空间率不错,如下

场景内容典型的空间节省率
用户文档Office 文档、照片、音乐、视频等30-50%
部署共享软件二进制文件、cab 文件、符号等70-80%
虚拟化库ISO、虚拟硬盘文件等80-95%
通用文件共享以上都是50-60%

1,首先下载这个扩展包。

2,以管理员运行 PowerShell,输入如下

#跳转到你解压的目录下
cd C:\Users\LimkServer\Desktop\dedup-10.0.19041.1 

#安装第一个包
dism /online /add-package /packagepath:Microsoft-Windows-FileServer-ServerCore-Package-amd64-10.0.19041.1.cab /packagepath:Microsoft-Windows-FileServer-ServerCore-Package-amd64-en-US-10.0.19041.1.cab

#安装第二个包
dism /online /add-package /packagepath:Microsoft-Windows-Dedup-Package-amd64-10.0.19041.1.cab /packagepath:Microsoft-Windows-Dedup-Package-amd64-en-US-10.0.19041.1.cab

#开启重复删除功能
dism /online /enable-feature /featurename:Dedup-Core /all

3,到对应盘符下开启重复删除功能。还是在管理员运行下的PowerShell下运行

Enable-DedupVolume -Volume d: -UsageType Default #有三种模式选择,默认开启这个就行

Enable-DedupVolume -Volume d: -UsageType Backup  #此模式针对Windows自带备份文件

Enable-DedupVolume -Volume d: -UsageType HyperV  #此模式针对虚拟机HyperV的磁盘文件

#上面只是开启功能,下面才是执行重复删除

Start-DedupJob -Type Optimization -Volume d:

#如果需要停止执行,输入如下

Stop-DedupJob -Type Optimization -Volume d:

#如果需要取消优化,输入如下

Start-DedupJob -Type Unoptimization -Volume d:

4,此功能在Windows10 2004版本下运行正常,在新版本Windows上重启会打不开文件,但数据没有丢失。(如果你安装了2004版本的Windows请谨慎升级)你需要把硬盘外接到安装了Windows Server 2019的机器上,并安装系统的重复删除。即可按上面的取消优化。也可以开启共享拷贝出来。

此文参考 数据重复删除概述 | Microsoft Learn

Windows下超大动态磁盘93TB数据恢复

起因:单分区磁盘容量不够,我铤而走险使用多卷组合成动态磁盘。某天看zabbix发现D盘不见了,然后日志报磁盘错误。我骚操作转换了基本磁盘,然后就没有然后了。动态磁盘是由一个物理卷加一个VHDX的iscsi挂载卷组成的。

操作分析:

1,开始我是想转换基本磁盘,把物理卷这边转换成功。但由于数据已经写满了磁盘,无法保存分区操作。虽然也能读取到数据。由于我又开了重复删除,必须得整卷恢复才能完整恢复数据。

2,因为整个分区是93TB,所以我必须购买了100TB的磁盘回来。本来是打算用100TB的服务器磁盘创建VHDX用iscsi挂载,然后扇区拷贝过来转为基本磁盘。发现VHDX最大只能64TB。这个只能放弃。

3,然后想到用多个VHDX挂载组成动态磁盘进行扇区复制。但发现工具Diskgunius不支持这么做。后来发现是没有更新,加上这个Diskgunius注册版失效了。(磁盘这里出了点小插曲,第一次买的服务器R740是8个12TB,发现容量完全不够,害得我厚着脸皮又申请了个Dell硬盘柜16TB*7。但是没那么快到,我只好做两手准备,一是利用现有的磁盘空间组成动态磁盘先进行恢复,看Windows能否识别动态分区对分区的扇区复制。二是等硬盘柜到了,直接进行扇区复制,转为基本磁盘。)

4,方案确定后。我先进行了第一个方案。大约过了一天24小时,复制了一半,硬盘柜就到了。遂停止了复制,因为觉得第二个方案靠谱点。然后就折腾了硬盘柜。发现DELL H840的扩展卡 不能支持超微UEFI启动下进行初始化。等改完设置通过自检进入系统后,我发现刚复制的扇区的分区竟然能看到数据了。我兴奋之余,就没折腾硬盘柜,继续复制了。这里要赞一下Diskgunius,他竟然关机后能保存之前扇区复制的进度,我就不用从头开始复制了。

5,其实折腾到这里已经过了五天了,我跟所有公司的同事说下周一一定能搞定的。到了星期六,所有数据复制完毕。我一大早就发布了消息,数据恢复完成。心里的石头总算落下了。

具体操作写起来太麻烦,看过程吧。这里要感谢Diskgunius技术支持。