如何在Python中正确合并多个CSV文件并动态添加列_网络技术

本文介绍如何使用pandas安全、高效地将多个csv文件按行对齐合并，并动态添加新列，重点解决因列索引误用（如`df[2]`）导致的keyerror问题，并提供健壮的循环处理方案。

您遇到的 KeyError: 2 错误并非源于f-string语法（f'column_{i}' 完全合法），而是因为 df_source2[2] 这一写法试图用整数 2 作为列标签（label） 去索引DataFrame，但您的CSV数据中列名实际为 0, 1, 2（字符串类型），而Pandas默认将首行当作列名读取——若未显式指定header=None，pd.read_csv()会把第一行当作列标题，此时列名是字符串'0', '1', '2'，而非整数0, 1, 2。因此 df_source2[2] 查找整数键失败，抛出KeyError。

✅ 正确做法是：明确指定列索引方式，并确保两文件行数严格对齐（否则赋值会引发长度不匹配错误）。以下是推荐的完整解决方案：

✅ 推荐方法：使用 pd.concat() 或 join() 实现安全列合并

import pandas as pd

# 读取基准文件（保留原始列名，避免歧义）
df_source1 = pd.read_csv("3_2_conv_perc_1.csv", header=None)  # 强制无表头，列名为0,1,2...

# 假设要循环合并 3_2_conv_perc_2.csv 到 3_2_conv_perc_10.csv
for i in range(2, 11):  # 从2开始到10
    try:
        filename = f"3_2_conv_perc_{i}.csv"
        df_temp = pd.read_csv(filename, header=None)

        # ✅ 安全提取第3列（索引为2）→ 使用 .iloc[:, 2]（位置索引）或 ['2']（标签索引，若列名为字符串）
        # 推荐用 .iloc 确保按位置取列，不受列名影响
        new_col = df_temp.iloc[:, 2]  # 第三列，所有行

        # ✅ 检查行数是否一致（关键！防止静默截断或广播错误）
        if len(df_source1) != len(new_col):
            raise ValueError(f"行数不匹配：{filename} 有 {len(new_col)} 行，基准文件有 {len(df_source1)} 行")

        # ✅ 动态添加新列（列名含i）
        df_source1[f'column_{i}'] = new_col
        print(f"✓ 已添加 {filename} 的第3列 → column_{i}")

    except FileNotFoundError:
        print(f"⚠ 警告：文件 {filename} 不存在，已跳过")
    except Exception as e:
        print(f"❌ 处理 {filename} 时出错：{e}")

# 最终保存结果
df_source1.to_csv("combined_result.csv", index=False, header=False)
print("✅ 合并完成，结果已保存至 combined_result.csv")

⚠️ 关键注意事项：

永远显式指定 header=None：当CSV无真实表头（仅纯数字矩阵）时，避免Pandas误将首行当列名。
优先使用 .iloc[:, n] 而非 [n]：.iloc 基于整数位置，[] 基于标签；对于无表头数据，列标签是字符串，整数索引会失败。
务必校验行数一致性：大数据量下，缺失文件或格式异常易导致行数错位，引发静默错误或NaN填充。

内存优化建议：若文件极大（>90万行），可考虑分块读取或改用 Polars（答案中提及的高性能替代库），其API更函数式且内存更友好：

import polars as pl
df1 = pl.read_csv("3_2_conv_perc_1.csv", has_header=False)
for i in range(2, 11):
    df_i = pl.read_csv(f"3_2_conv_perc_{i}.csv", has_header=False)
    df1 = df1.with_columns(df_i.select(pl.col("column_2")).rename({ "column_2": f"column_{i}" }))

此方案兼顾健壮性、可读性与工程实践，彻底规避原始代码中的索引陷阱。

# python # 大数据 # csv # ai # csv文件

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】