如何在Linux中数据去重 Linux fdupes重复查找
发布时间 - 2025-09-14 00:00:00 点击率:次fdupes 是 Linux 下用于查找和删除重复文件的高效工具,通过比较文件大小和 MD5 签名识别重复内容。需通过包管理器安装,如 Ubuntu 使用 sudo apt install fdupes。基本用法为 fdupes /path/to/directory,常用选项包括 -r(递归扫描)、-S(显示大小)、-f(忽略每组首个文件)、-d(交互式删除)。推荐先预览结果再删除,避免误操作。可结合 find 限制文件类型或导出结果到文件,适用于文档、照片等去重场景。面对大量文件时性能可能受限,可考虑 fclones 或 duff 作为替代。关键步骤:先查重,再删除,确保数据安全。
在Linux中处理重复文件时,fdupes 是一个简单高效的命令行工具,能帮助你快速查找并删除重复文件,释放磁盘空间。它通过比较文件的大小和MD5签名来识别内容完全相同的文件,适合用于整理文档、照片、下载目录等场景。
安装 fdupes
fdupes 并非所有Linux发行版默认安装,可通过包管理器轻松获取:
Ubuntu/Debian:
sudo apt install fdupes
CentOS/RHEL(需启用 EPEL):
sudo yum install epel-release && sudo yum install fdupes
Fedora:
sudo dnf install fdupes
Arch Linux:
sudo pacman -S fdupes
基本用法:查找重复文件
使用 fdupes 最基础的命令是扫描某个目录中的重复文件:
fdupes /path/to/directory
例如,扫描家目录下的重复文件:
fdupes ~/Documents
输出会列出所有内容重复的文件组,每组文件以空行分隔。
常用选项增强功能:
-r
:递归扫描子目录-f
:忽略一个文件组中第一个重复项(常用于删除时保留一份)-d
:显示重复文件,并提示是否删除(交互式)-n
:忽略空文件-S
:显示每个文件的大小
示例:递归查找并显示文件大小
fdupes -r -S ~/Downloads
去重操作:删除重复文件
使用
-d参数可以交互式删除重复文件,系统会保留第一个,其余可选择删除:
fdupes -rd ~/Pictures
执行后,fdupes 会列出每组重复文件,编号显示,你可以输入数字删除指定文件,或按回车保留所有。
若想自动删除所有重复项(除每组第一个外),可结合标准输入:
fdupes -r -f . | tr '\n' '\0' | xargs -0 rm
⚠️ 警告:此操作不可逆,请先备份重要数据或使用 -d 交互模式确认。
实用技巧与注意事项
fdupes 适合中小规模文件去重,面对大量文件时可能较慢。建议:
- 先用
fdupes -r path
查看结果,确认无误再执行删除 - 结合 find 使用,限定文件类型,如只查图片:
find ~/Pictures -type f $$ -name "*.jpg" -o -name "*.png" $$ -exec fdupes -r {} +
fdupes -r ~/data > duplicates.txt
如果 fdupes 性能不足,可考虑替代工具如 fclones 或 duff,它们支持更高效的去重策略。
基本上就这些。fdupes 简单直接,适合日常使用,掌握几个关键参数就能高效管理重复文件。不复杂但容易忽略的是:别忘了先预览,再删除。
# linux
# centos
# ubuntu
# 工具
# dnf
# Directory
# 递归
# tr
# debian
# 第一个
# 每组
# 管理器
# 的是
# 是一个
# 几个
# 文档
# 你可以
# 就能
相关栏目:
【
网站优化151355 】
【
网络推广146373 】
【
网络技术251813 】
【
AI营销90571 】
相关推荐:
微博html5版本怎么弄发超话_超话进入入口及发帖格式要求【教程】
C#如何调用原生C++ COM对象详解
laravel怎么通过契约(Contracts)编程_laravel契约(Contracts)编程方法
如何解决hover在ie6中的兼容性问题
关于BootStrap modal 在IOS9中不能弹出的解决方法(IOS 9 bootstrap modal ios 9 noticework)
矢量图网站制作软件,用千图网的一张矢量图做公司app首页,该网站并未说明版权等问题,这样做算不算侵权?应该如何解决?
5种Android数据存储方式汇总
装修招标网站设计制作流程,装修招标流程?
魔方云NAT建站如何实现端口转发?
谷歌浏览器下载文件时中断怎么办 Google Chrome下载管理修复
javascript如何操作浏览器历史记录_怎样实现无刷新导航
ChatGPT回答中断怎么办 引导AI继续输出完整内容的方法
如何用低价快速搭建高质量网站?
成都网站制作公司哪家好,四川省职工服务网是做什么用?
Java遍历集合的三种方式
制作公司内部网站有哪些,内网如何建网站?
Laravel如何使用集合(Collections)进行数据处理_Laravel Collection常用方法与技巧
在centOS 7安装mysql 5.7的详细教程
Laravel Blade组件怎么用_Laravel可复用视图组件的创建与使用
微信h5制作网站有哪些,免费微信H5页面制作工具?
深圳网站制作设计招聘,关于服装设计的流行趋势,哪里的资料比较全面?
Bootstrap整体框架之CSS12栅格系统
Mybatis 中的insertOrUpdate操作
Android GridView 滑动条设置一直显示状态(推荐)
java获取注册ip实例
jQuery 常见小例汇总
如何打造高效商业网站?建站目的决定转化率
西安市网站制作公司,哪个相亲网站比较好?西安比较好的相亲网站?
Laravel队列由Redis驱动怎么配置_Laravel Redis队列使用教程
网站制作壁纸教程视频,电脑壁纸网站?
如何快速配置高效服务器建站软件?
详解Android中Activity的四大启动模式实验简述
如何在IIS服务器上快速部署高效网站?
高防服务器:AI智能防御DDoS攻击与数据安全保障
如何在七牛云存储上搭建网站并设置自定义域名?
如何安全更换建站之星模板并保留数据?
Swift中swift中的switch 语句
如何使用 jQuery 正确渲染 Instagram 风格的标签列表
Laravel Artisan命令怎么自定义_创建自己的Laravel命令行工具完全指南
php静态变量怎么调试_php静态变量作用域调试技巧【解答】
Java Adapter 适配器模式(类适配器,对象适配器)优缺点对比
如何快速搭建高效可靠的建站解决方案?
详解ASP.NET 生成二维码实例(采用ThoughtWorks.QRCode和QrCode.Net两种方式)
HTML5空格和margin有啥区别_空格与外边距的使用场景【说明】
浅述节点的创建及常见功能的实现
Laravel如何使用Eloquent ORM进行数据库操作?(CRUD示例)
如何正确下载安装西数主机建站助手?
DeepSeek是免费使用的吗 DeepSeek收费模式与Pro版本功能详解
猎豹浏览器开发者工具怎么打开 猎豹浏览器F12调试工具使用【前端必备】
Laravel如何处理CORS跨域问题_Laravel项目CORS配置与解决方案
下一篇:js实现图片加载淡入淡出效果
下一篇:js实现图片加载淡入淡出效果


nux 下用于查找和删除重复文件的高效工具,通过比较文件大小和 MD5 签名识别重复内容。需通过包管理器安装,如 Ubuntu 使用 sudo apt install fdupes。基本用法为 fdupes /path/to/directory,常用选项包括 -r(递归扫描)、-S(显示大小)、-f(忽略每组首个文件)、-d(交互式删除)。推荐先预览结果再删除,避免误操作。可结合 find 限制文件类型或导出结果到文件,适用于文档、照片等去重场景。面对大量文件时性能可能受限,可考虑 fclones 或 duff 作为替代。关键步骤:先查重,再删除,确保数据安全。