如何在Python中去重并按分组转换为JSON格式字典_网络技术

如何在Python中去重并按分组转换为JSON格式字典

发布时间 - 2025-12-30 00:00:00 点击率：次

本文介绍如何使用pandas对dataframe中指定列组合去重后，按主键（如name）聚合series值为无重复列表，并最终输出标准json兼容的字典结构。

在数据处理中，常需将扁平化的表格结构（如含重复项的Name-Series映射）转换为嵌套的键值结构——即每个唯一Name对应一个去重后的Series值列表，最终以Python字典（可直接json.dumps()序列化）形式呈现。核心步骤分为两步：去重 + 分组聚合。

✅ 推荐方案：drop_duplicates() + groupby().agg(list)

最简洁高效的方式是先全局去重，再按目标列分组并聚合为列表：

import pandas as pd

# 示例数据
df = pd.DataFrame({
    'Name': ['A', 'B', 'A', 'A', 'B'],
    'Series': ['A1', 'B1', 'A2', 'A1', 'B2']
})

# 去重后分组聚合 → 字典
result = df.drop_duplicates().groupby('Name')['Series'].agg(list).to_dict()
print(result)
# 输出: {'A': ['A1', 'A2'], 'B': ['B1', 'B2']}

⚠️ 注意：drop_duplicates() 默认对整行去重，确保 (Name, Series) 组合唯一；若DataFrame含其他无关列（如ID、时间戳），建议显式筛选关键列： result = df[['Name', 'Series']].drop_duplicates().groupby('Name')['Series'].agg(list).to_dict()

? 替代方案：groupby().agg(lambda x: x.unique().tolist())

若需保留原始分组逻辑（例如后续需同时聚合多列），可直接在agg中调用unique()：

result = df.groupby('Name')['Series'].agg(lambda x: x.unique().tolist()).to_dict()

此方式不依赖前置去重，语义更明确（“每组内Series去重后转列表”），但性能略低于先全局去重再分组。

? 进阶：排序与JSON导出

如需列表按字母/数值顺序排列，可在聚合时加入sorted()：

result = df.groupby('Name')['Series'].agg(
    lambda x: sorted(x.unique().tolist())
).to_dict()
# 输出: {'A': ['A1', 'A2'], 'B': ['B1', 'B2']}（已排序）

最终结果为标准Python字典，可直接用于JSON序列化：

import json
json_str = json.dumps(result, indent=2)
print(json_str)
# {
#   "A": ["A1", "A2"],
#   "B": ["B1", "B2"]
# }

✅ 总结：优先使用 df.drop_duplicates().groupby(...).agg(list).to_dict() —— 简洁、高效、可读性强；当需灵活控制每组去重逻辑或处理多列时，选用 x.unique().tolist() 方案。两者均能精准生成符合要求的嵌套JSON结构。

# python # js # json # 排列

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：小米网站制作干花视频,小米花怎么做干花？

下一篇：怎么解决安装laravel失败问题

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：小米网站制作干花视频,小米花怎么做干花？

下一篇：怎么解决安装laravel失败问题