本文介绍使用 pandas 的 melt() 方法将多个同质网站来源列（如 source1site、source2site、source3site）高效合并为一列 mergesourcesite，同时完整保留 companyname、city 等关联字段，并自动去重、清理空值、重排索引。
本文介绍使用 pandas 的 melt() 方法将多个同质网站来源列（如 source1site、source2site、source3site）高效合并为一列 mergesourcesite，同时完整保留 companyname、city 等关联字段，并自动去重、清理空值、重排索引。
在数据整合场景中，常需将来自不同渠道但语义相同的多列（如多个来源的网站域名）“堆叠”为单列，同时保持原始记录的上下文完整性（如公司名、城市等）。直接使用 fillna() 或 combine_first() 无法满足“一源一行”的展开需求；而 melt() 正是为此类宽表→长表转换设计的核心方法。
以下为完整实现步骤（基于 pandas 2.0+）：
import pandas as pd
import numpy as np
# 示例数据构建（注意：原始 NaN 应为 pd.NA 或 np.nan）
df = pd.DataFrame({
"index": [1, 2, 3, 4, 5, 6, 7],
"CompanyName": ["Comp1", "Comp1", "Comp2", "Comp2", "Comp3", "Comp4", "Comp5"],
"Source1site": ["web1.com", "Web2.com", np.nan, "site2.com", np.nan, np.nan, np.nan],
"Source2site": [np.nan, "web2.com", "site1.com", np.nan, np.nan, "url1.com", "example.com"],
"Source3site": ["web2.com", np.nan, np.nan, np.nan, np.nan, np.nan, np.nan],
"City": ["Paris", np.nan, "Oakland", "London", "Mexico", np.nan, "New York"]
})
# 1. 使用 melt 展开来源列：保留 index/CompanyName/City 为标识变量，合并三个 source 列
merged_sources = df.melt(
id_vars=["index", "CompanyName", "City"],
value_vars=["Source1site", "Source2site", "Source3site"],
var_name="source_origin", # 可选：保留来源标识（本例中可删）
value_name="MergeSourceSite"
)
# 2. 过滤掉空值（仅保留有效域名）
merged_sources = merged_sources.dropna(subset=["MergeSourceSite"])
# 3. 删除冗余列（source_origin），去重并重置索引
merged_sources = (
merged_sources
.drop(columns="source_origin")
.drop_duplicates()
.reset_index(drop=True)
)
# 4. 按原始 index 排序，确保逻辑顺序清晰（可选，增强可读性）
merged_sources = merged_sources.sort_values(by="index").reset_index(drop=True)
print(merged_sources)
输出结果：
index CompanyName City MergeSourceSite 0 1 Comp1 Paris web1.com 1 1 Comp1 Paris web2.com 2 2 Comp1 NaN Web2.com 3 2 Comp1 NaN web2.com 4 3 Comp2 Oakland site1.com 5 4 Comp2 London site2.com 6 6 Comp4 NaN url1.com 7 7 Comp5 New York example.com
⚠️ 注意事项：
- 原始数据中的
"Nan"字符串需替换为真正的np.nan或pd.NA，否则dropna()不生效；建议加载时用na_values=["Nan", "nan", ""]显式声明缺失值标识。 - 若需统一域名格式（如小写、去除协议头），可在
dropna()后添加清洗步骤：merged_sources["MergeSourceSite"] = ( merged_sources["MergeSourceSite"] .str.lower() .str.replace(r"^https?://|www\.", "", regex=True) ) -
drop_duplicates()防止同一公司同一城市下重复域名被多次保留；若业务允许重复（如记录采集次数），则可省略该步。
该方案简洁、可扩展性强——新增 Source4site 列时，只需将其加入 value_vars 列表即可，无需修改逻辑结构。
