如何在Pandas中高效处理缺失值并完成行级计算_网络技术

如何在Pandas中高效处理缺失值并完成行级计算

发布时间 - 2026-01-09 00:00:00 点击率：次

本文介绍如何使用pandas的`fillna(0)`方法批量将dataframe中的nan值替换为0，并结合向量化操作替代低效的`iterrows()`循环，显著提升数据处理性能与代码可维护性。

在数据分析实践中，频繁遇到含缺失值（NaN）的CSV表格需进行数值计算——例如按行加权求和、条件赋值等。原始代码中采用iterrows()逐行遍历并手动float()转换，不仅性能低下（尤其对万行以上数据），还易因NaN引发ValueError或TypeError，且嵌套的try-except掩盖了真正的数据质量问题。

最优解：向量化预处理 + 向量化计算
首先，用df.fillna(0)一次性将所有NaN替换为0（若仅需特定列，可传入字典：df.fillna({'first column': 0, 'second column': 0})）。随后，直接通过列名索引获取数值列，利用Pandas内置的向量化运算完成计算，彻底避免Python循环：

import pandas as pd
import numpy as np

# 读取数据（推荐添加dtype参数避免类型推断错误）
df = pd.read_csv('documents/doc.csv', 
                 error_bad_lines=False,  # 已弃用，建议改用on_bad_lines='skip'
                 on_bad_lines='skip')

# 步骤1：统一填充NaN为0（安全且高效）
df = df.fillna(0)

# 步骤2：提取目标列并转为数值类型（自动处理空字符串等异常）
cols = ["first column", "second column", "third column", "fourth column", "fifth column"]
df[cols] = df[cols].apply(pd.to_numeric, errors='coerce').fillna(0)

# 步骤3：向量化计算（无需循环）
var1, var2, var3 = df["first column"], df["second column"], df["third column"]
var4, var5 = df["fourth column"], df["fifth column"]

# 构建布尔掩码：var4为0或原为NaN（现已被fill为0）
mask_var4_zero = (var4 == 0)

# 分别计算两种逻辑下的结果
final_grade = np.where(
    mask_var4_zero,
    np.round(0.25 * (var1 + var2 + var3) / 3 + 0.75 * var5, 1),
    np.round(0.166 * (var1 + var2 + var3) / 3 + 0.33 * var4 + 0.5 * var5, 1)
)

# 将结果写入新列
df['final_grade'] = final_grade

关键优势与注意事项：

✅ 性能提升：向量化操作比iterrows()快10–100倍，且内存友好；
✅ 健壮性增强：pd.to_numeric(..., errors='coerce')将非法字符串转为NaN，再经fillna(0)统一处理，避免float()抛异常；
⚠️ 避免隐式类型转换：勿依赖row["col"]自动转float，原始CSV中数字可能被读为字符串；
⚠️ 跳过首行？ 若首行为标题，read_csv默认已处理，无需i==0: continue；若确需跳过首数据行，用skiprows=1参数更清晰；
? 调试建议：用df.isna().sum()检查各列缺失值分布，用df.dtypes确认列数据类型，再决定是否需要astype(float)。

最终，该方案将冗长易错的循环逻辑压缩为几行声明式代码，兼具可读性、可维护性与生产级鲁棒性。

# python # app # csv # 隐式类型转换

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：如何在 WebClient 异常时返回自定义 Respons

下一篇：Golang并发发送HTTP请求的实现方案

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：如何在 WebClient 异常时返回自定义 Respons

下一篇：Golang并发发送HTTP请求的实现方案