本文实例讲述了Python实现字典去除重复的方法。分享给大家供大家参考，具体如下：

#!/usr/bin/env python
# encoding: utf-8
#字典去重小代码
import sys
import os
import platform
try:
  pass 
except:
  print '''you have something wrong this is a simple jiaoben '''
  sys.exit()
why = 'why.txt'
for i in xrange(len(sys.argv)):
  if(i>=1):
    other = sys.argv[i]
    if os.path.exists(other):
      pass
    else:
      print other + ' file not find'
      sys.exit()
    if 'Windows' in platform.system():
      os.system("type "+other+" >> "+why)
    else:
      os.system("cat "+other+" >> "+why)
yuan = open('why.txt','r')
dirc = open('whynot.txt','w')
for line in set(yuan.readlines()):
  if line == '' or line == '\r\n':
    pass
  else:
    dirc.writelines(line)

很简单的思路 把文件放入到why.txt中 然后再去重得到whynot.txt
Usage: quchong.py 1.txt 2.txt 3.txt 等等

PS：本站还有两款比较简单实用的在线文本去重复工具，推荐给大家使用：

在线去除重复项工具：
http://tools./code/quchong

在线文本去重复工具：
http://tools./aideddesign/txt_quchong

更多关于Python相关内容可查看本站专题：《Python字典操作技巧汇总》、《Python字符串操作技巧汇总》、《Python常用遍历技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》及《Python入门与进阶经典教程》

希望本文所述对大家Python程序设计有所帮助。

# Python  # 字典  # 去除重复  # Python合并字典键值并去除重复元素的实例  # Python 字符串去除空格的五种方法  # Python去除、替换字符串空格的处理方法  # Python去除字符串两端空格的方法  # python去除文件中空格、Tab及回车的方法  # Python去除字符串前后空格的几种方法  # Python切片操作去除字符串首尾的空格  # Python 5种常见字符串去除空格操作的方法  # Python去除字典键中空格的多种方法  # 进阶  # 操作技巧  # 相关内容  # 遍历  # 数据结构  # 给大家  # 很简单  # 推荐给  # 再去  # 两款  # 更多关于  # 所述  # 程序设计  # 使用技巧  # 讲述了  # print  # wrong  # simple  # pass  # sys 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 标题：Vue + Vuex 项目中正确使用 JWT 进行身份认证的实践指南  iOS验证手机号的正则表达式  php 三元运算符实例详细介绍  Laravel怎么创建自己的包(Package)_Laravel扩展包开发入门到发布  制作企业网站建设方案,怎样建设一个公司网站？  HTML 中如何正确使用模板变量为元素的 name 属性赋值  javascript中数组（Array)对象和字符串（String)对象的常用方法总结  如何快速搭建安全的FTP站点？  七夕网站制作视频,七夕大促活动怎么报名？  小米17系列还有一款新机？主打6.9英寸大直屏和旗舰级影像  如何在香港免费服务器上快速搭建网站？  Laravel如何实现模型的全局作用域？（Global Scope示例）  php打包exe后无法访问网络共享_共享权限设置方法【教程】  图册素材网站设计制作软件,图册的导出方式有几种？  深入理解Android中的xmlns:tools属性  Google浏览器为什么这么卡 Google浏览器提速优化设置步骤【方法】  新三国志曹操传主线渭水交兵攻略  JavaScript Ajax实现异步通信  如何在云主机快速搭建网站站点？  最好的网站制作公司,网购哪个网站口碑最好，推荐几个？谢谢？  Laravel如何为API生成Swagger或OpenAPI文档  Laravel N+1查询问题如何解决_Eloquent预加载(Eager Loading)优化数据库查询  Laravel怎么集成Log日志记录_Laravel单文件与每日日志配置及自定义通道【详解】  三星网站视频制作教程下载,三星w23网页如何全屏？  动图在线制作网站有哪些,滑动动图图集怎么做？  Laravel怎么实现模型属性转换Casting_Laravel自动将JSON字段转为数组【技巧】  微信小程序 canvas开发实例及注意事项  怎么用AI帮你设计一套个性化的手机App图标？  网站视频制作书签怎么做,ie浏览器怎么将网站固定在书签工具栏？  如何在橙子建站中快速调整背景颜色？  东莞市网站制作公司有哪些,东莞找工作用什么网站好？  打开php文件提示内存不足_怎么调整php内存限制【解决方案】  网站制作怎么样才能赚钱,用自己的电脑做服务器架设网站有什么利弊，能赚钱吗？  如何用y主机助手快速搭建网站？  Laravel如何设置定时任务（Cron Job）_Laravel调度器与任务计划配置  米侠浏览器网页图片不显示怎么办 米侠图片加载修复  消息称 OpenAI 正研发的神秘硬件设备或为智能笔，富士康代工  html文件怎么打开证书错误_https协议的html打开提示不安全【指南】  手机钓鱼网站怎么制作视频,怎样拦截钓鱼网站。怎么办？  如何快速登录WAP自助建站平台？  Laravel Blade模板引擎语法_Laravel Blade布局继承用法  再谈Python中的字符串与字符编码（推荐）  音响网站制作视频教程,隆霸音响官方网站？  laravel怎么通过契约（Contracts）编程_laravel契约（Contracts）编程方法  今日头条微视频如何找选题 今日头条微视频找选题技巧【指南】  Laravel如何获取当前登录用户信息_Laravel Auth门面使用与Session用户读取【技巧】  Python文件异常处理策略_健壮性说明【指导】  JavaScript如何实现路由_前端路由原理是什么  IOS倒计时设置UIButton标题title的抖动问题  如何自定义建站之星网站的导航菜单样式？