如何高效匹配有序词表与字典文件：Python 中的哈希预处理优化方案-Python教程-PHP中文网

如何高效匹配有序词表与字典文件：Python 中的哈希预处理优化方案

本文介绍一种通过一次预加载字典构建哈希映射的高效查找方法，替代原始嵌套循环逐行扫描，将时间复杂度从 o(n×m) 降至 o(n+m)，显著提升多词批量查询性能。

本文介绍一种通过一次预加载字典构建哈希映射的高效查找方法，替代原始嵌套循环逐行扫描，将时间复杂度从 o(n×m) 降至 o(n+m)，显著提升多词批量查询性能。

在处理两个已按字母序排序的文本文件（如 wordlist.txt 和 dictionary.txt）时，若采用“对每个查询词遍历整个字典”的朴素方式，会导致严重的性能瓶颈——尤其当词表含数百词、字典含数千行，且需重复查询多个字典时，总时间呈线性叠加式增长。

原始代码的问题核心在于重复 I/O + 无索引遍历：每次外层循环都重新打开并逐行读取 dictionary.txt，即使文件本身有序，也未利用该特性；内层循环中仅靠字符串相等判断和状态标记（isfound）来提前终止，逻辑脆弱（如空行、换行符未清理易导致匹配失败），且无法复用前序搜索位置。

更优解是空间换时间：利用 Python 的哈希表（dict 或 defaultdict）实现 O(1) 平均查找。由于 dictionary.txt 中同一单词可对应多条定义（如 "at" 出现两次），我们使用 collections.defaultdict(list) 构建「单词 → 定义列表」的映射，一次性完成字典预处理：

from collections import defaultdict

# 一步构建倒排索引：单词为键，所有定义组成列表为值
dictionary_map = defaultdict(list)
with open('dictionary.txt', 'r', encoding='utf-8') as f:
    for line in f:
        line = line.strip()
        if not line:  # 跳过空行
            continue
        parts = line.split('\t', 1)  # 仅分割第一个制表符，避免定义中含\t导致错误
        if len(parts) == 2:
            word, definition = parts[0].strip(), parts[1].strip()
            dictionary_map[word].append(definition)

# 批量查询：对 wordlist 中每个词 O(1) 查找其所有定义
with open('wordlist.txt', 'r', encoding='utf-8') as f:
    for line in f:
        word = line.strip()
        if not word:  # 跳过空行或仅含空白符的行
            continue
        definitions = dictionary_map.get(word)  # 返回 None（若不存在）或 list
        if definitions:
            print(f"{word}: {' | '.join(definitions)}")
        else:
            print(f"{word}: (not found)")

✅ 关键优势：