
本文详解因缩进错误导致字典仅追加一次的问题,提供规范的循环内字典构建与列表累积方案,并强调变量命名、异常处理及 beautifulsoup 选择器的最佳实践。
本文详解因缩进错误导致字典仅追加一次的问题,提供规范的循环内字典构建与列表累积方案,并强调变量命名、异常处理及 beautifulsoup 选择器的最佳实践。
在使用 Python 解析网页数据(如通过 BeautifulSoup)时,一个常见误区是:将 append() 语句错误地置于循环体外,导致仅最后一个(或第一个,取决于执行逻辑)字典被写入列表。您提供的代码中,list.append(dictionary) 缺少正确缩进,实际位于 for 循环之外——这意味着它只在循环结束后执行一次,且此时 dictionary 仅保留最后一次迭代的值。
更关键的是,原代码还存在三个潜在风险点:
- 使用 list 作为变量名,覆盖了 Python 内置类型 list,可能引发后续不可预期的错误;
- try: except: pass 过于宽泛,掩盖了缺失字段的真实状态,不利于调试与数据完整性保障;
- 多次调用 .find() 容易因元素不存在而抛出 AttributeError,应改用更健壮的选择方式。
以下是修正后的专业写法:
# ✅ 正确做法:使用语义化变量名 + 合理缩进 + 安全元素提取
properties = [] # 避免 shadowing built-in 'list'
for item in data:
entry = {} # 每次迭代新建空字典
# 必填字段(假设始终存在)
entry["Address"] = item.find("div", {"class": "property-address"}).get_text().replace(" ", "").strip()
entry["Locality"] = item.find("div", {"class": "property-city"}).get_text().replace(" ", "").strip()
entry["Beds"] = item.find("div", {"class": "property-beds"}).find("strong").get_text().strip()
entry["Price"] = item.find("a", {"class": "listing-price"}).get_text().replace("\n", "").replace(" ", "")
# 可选字段:使用 CSS 选择器 + 条件赋值,避免异常
baths_elem = item.select_one("div.property-baths strong")
entry["Baths"] = baths_elem.get_text().strip() if baths_elem else "N/A"
sqft_elem = item.select_one("div.property-sqft strong")
entry["Square Feet"] = sqft_elem.get_text().strip() if sqft_elem else "N/A"
# ✅ 关键:append 必须在 for 循环内部,且与 entry 构建同级缩进
properties.append(entry)
# 最终输出为包含全部解析结果的字典列表
print(properties)
注意事项总结:
- 缩进即逻辑:properties.append(entry) 必须与 entry = {} 对齐(即处于 for 循环内),否则仅执行一次;
- 命名规范:禁用 list, dict, str 等内置名称作变量,推荐 properties, records, items_list 等具描述性名称;
- 安全提取:优先使用 select_one() 或 find() 后判空,而非裸 try/except,既提升可读性,又明确表达“字段可能缺失”的业务意图;
- .get_text() 替代 .text:更鲁棒,能自动处理嵌套标签与空白;
- 默认值设计:对可选字段统一设为 "N/A" 或 None,便于后续 Pandas 处理或 JSON 序列化。
遵循以上模式,即可稳定生成结构一致、字段完整、可扩展的字典列表,真正实现“每条数据一个字典,全部数据一个列表”的目标。











