如何在 Pandas 中按行识别并提取重复值_网络技术

如何在 Pandas 中按行识别并提取重复值

发布时间 - 2026-01-21 00:00:00 点击率：次

本文介绍如何使用 `pandas.dataframe.apply()` 配合自定义逻辑，高效实现**逐行检测重复值**，并以字符串或集合形式返回每行中出现频次大于 1 的所有元素。

在 Pandas 中，默认的 duplicated() 方法作用于列（即纵向），常用于标记或筛选列方向上的重复行；但当需求变为横向识别每行内部的重复值（例如：某一行中 "bar" 出现两次，则提取 "bar"），就需要转向 apply(axis=1) 的行级操作。

核心思路是：对每一行（Series 对象），统计各元素出现次数，筛选出频次 > 1 的值，并去重汇总。以下是推荐的实现方式：

import pandas as pd

df2 = pd.DataFrame({
    "A": ["foo", "foo", "foo", "bar"],
    "B": [0, 1, 1, 1],
    "C": ["A", "foo", "B", "bar"],
    "D": ["bar", "bar", "B", "foo"],
    "E": ["bar", "bar", "B", "foo"]
})

# ✅ 推荐方案：返回 set（自动去重 + 无序），语义清晰且性能合理
df2["dup"] = df2.apply(
    lambda row: {val for val in row if row.tolist().count(val) > 1},
    axis=1
)

输出结果为：

     A  B    C    D    E         dup
0  foo  0    A  bar  bar       {bar}
1  foo  1  foo  bar  bar  {foo, bar}
2  foo  1    B    B    B         {B}
3  bar  1  bar  foo  foo  {foo, bar}

如需与示例中一致的逗号分隔字符串格式（如 "foo, bar"），可进一步转换：

df2["dup"] = df2["dup"].apply(lambda s: ", ".join(sorted(map(str, s))) if s else "")

⚠️ 注意事项：

row.tolist().count(val) 在大数据集上效率较低（时间复杂度 O(n²)），若处理超万行数据，建议改用 collections.Counter 优化：
```
from collections import Counter
df2["dup"] = df2.apply(
    lambda row: {val for val, cnt in Counter(row).items() if cnt > 1},
    axis=1
)
```
混合数据类型（如 int 和 str）时，Counter 更健壮；而 == 比较在 NaN 存在时需额外处理（NaN != NaN），如含缺失值，建议先用 row.fillna("MISSING") 统一占位。
若需保留首次出现顺序，可用 dict.fromkeys(...) 去重后转 li
st，再过滤。

该方法灵活、可读性强，适用于探索性分析及清洗阶段的行级模式识别任务。

# 大数据 # app # pandas # 数据类型 # count # 字符串 # int # 对象 # 首次 # 两次 # 适用于 # 自定义 # 较低 # 并以 # 如需 # 再过 # 先用 # 如何使用

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：GitHub Copilot 如何在 VS Code 中激活

下一篇：百度浏览器启动慢怎么办百度浏览器性能优化技巧

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：GitHub Copilot 如何在 VS Code 中激活

下一篇：百度浏览器启动慢怎么办百度浏览器性能优化技巧