如何正确过滤Pandas DataFrame中非数值的收入数据-Python教程-PHP中文网

本文详解python中因布尔逻辑错误导致条件判断失效的典型问题，重点剖析if variable == "a" or "b"的陷阱，并提供高效、地道的pandas向量化过滤方案。

本文详解python中因布尔逻辑错误导致条件判断失效的典型问题，重点剖析if variable == "a" or "b"的陷阱，并提供高效、地道的pandas向量化过滤方案。

在使用Pandas处理结构化数据时，一个常见却极易被忽视的错误是错误的条件表达式写法，它会导致if语句永远为真，从而跳过本应保留的有效数据。你提供的代码中，关键问题出在这一行：

if variable == "Unknown" or 'Unavailable':

这段代码并非检查variable是否等于 "Unknown" 或 "Unavailable"，而是等价于：

if (variable == "Unknown") or ("Unavailable"):

由于非空字符串 "Unavailable" 在布尔上下文中恒为 True（Python中所有非空容器/字符串/数字均视为真值），整个条件永远成立，因此程序无一例外地执行 print('Passed ...') 和 pass，所有行都被跳过——哪怕variable实际是 45000 这样的合法数值。

✅ 正确的显式写法有两种：

# 方式1：重复变量名（清晰但略冗长）
if variable == "Unknown" or variable == "Unavailable":

# 方式2：推荐！使用成员检查（简洁、可扩展、易读）
if variable in ["Unknown", "Unavailable"]:

然而，更根本的问题在于：手动遍历DataFrame索引（for i in range(len(df))）违背了Pandas的设计哲学。它低效、易错，且无法利用底层优化。专业实践中，应始终优先采用向量化操作（vectorized operations）。

以下是推荐的现代Pandas解决方案：

import pandas as pd

# 读取数据（保持原路径，但建议使用相对路径或with语句）
df = pd.read_excel('C:/Users/Miles/PycharmProjects/pythonProject1/Reservation Data.xlsx')

# ✅ 步骤1：创建布尔掩码，筛选出"Median Income"为有效数值的行
# ~ 表示逻辑非；isin() 判断是否属于指定列表；astype('number') 可选，用于后续数值计算
mask = ~df['Median Income'].isin(["Unknown", "Unavailable"])

# ✅ 步骤2：直接用掩码过滤DataFrame，获取干净子集
filtered_df = df[mask].copy()  # .copy() 避免SettingWithCopyWarning

# ✅ 步骤3：安全提取所需列（自动对齐，无需逐行append）
result_list = filtered_df[
    ['Native American Population', 'Median Income']
].values.tolist()  # 转为嵌套列表，等效于你的another_list

print("成功提取有效记录数：", len(result_list))
print("示例数据：", result_list[:3])

? 额外增强建议（提升鲁棒性）：

若“Median Income”列混有NaN、空字符串或空白格，可扩展掩码：

mask = (
    ~df['Median Income'].isin(["Unknown", "Unavailable"]) &
    df['Median Income'].notna() &
    df['Median Income'].astype(str).str.strip().ne('')
)

如需后续对Median Income做数值运算，可统一转换并填充异常值：

df['Median Income'] = pd.to_numeric(df['Median Income'], errors='coerce')
# 此时"Unknown"/"Unavailable"自动转为NaN，再用dropna()或fillna()处理

⚠️ 重要提醒：
避免使用df.at[i, col]在循环中反复索引——这是O(n)操作，而向量化过滤是接近O(1)的底层优化。对于万级数据，性能差异可达数十倍。同时，pass在条件分支中通常冗余，直接省略更符合Python风格。

总结：修正布尔逻辑是基础，拥抱向量化思维才是写出高效、可维护数据分析代码的关键。