本文介绍如何科学评估t5等编码器-解码器模型在实体关系抽取任务中的表现，重点推荐采用面向三元组的精确率、召回率与f1值（含忽略已见事实的ign f1），并给出可落地的实现逻辑与关键注意事项。
本文介绍如何科学评估t5等编码器-解码器模型在实体关系抽取任务中的表现，重点推荐采用面向三元组的精确率、召回率与f1值（含忽略已见事实的ign f1），并给出可落地的实现逻辑与关键注意事项。
在基于T5等序列到序列（Seq2Seq）框架的关系抽取任务中，模型通常将输入文本映射为结构化三元组（如 "A | B | Acquired-Acquiree"），而非传统分类或标注任务。此时，直接套用ROUGE等文本生成指标存在本质缺陷：ROUGE衡量n-gram重叠，无法识别三元组的语义结构完整性（如主语/宾语顺序错误、关系标签错位）、也无法区分真假阳性（例如将 "B | A | Acquirer-Acquiree" 视为部分正确）。因此，必须回归关系抽取的本质——结构化事实识别，采用面向三元组的严格匹配策略。
核心评估指标：三元组级精确率、召回率与F1
定义每个预测三元组为 (head, tail, relation)，真实标注三元组同理。评估需满足全匹配（exact match）：仅当 head、tail 和 relation 三者完全一致（包括大小写与标准化形式），才计为真阳性（TP）。由此可计算：
- Precision = TP / (TP + FP)
- Recall = TP / (TP + FN)
- F1 = 2 × (Precision × Recall) / (Precision + Recall)
def compute_triple_f1(predictions, golds):
pred_set = set(tuple(p.strip().split(" | ")) for p in predictions if " | " in p)
gold_set = set(tuple(g.strip().split(" | ")) for g in golds if " | " in g)
tp = len(pred_set & gold_set)
fp = len(pred_set - gold_set)
fn = len(gold_set - pred_set)
precision = tp / (tp + fp) if (tp + fp) > 0 else 0.0
recall = tp / (tp + fn) if (tp + fn) > 0 else 0.0
f1 = 2 * precision * recall / (precision + recall) if (precision + recall) > 0 else 0.0
return {"precision": round(precision, 4), "recall": round(recall, 4), "f1": round(f1, 4)}
进阶指标：Ign F1（Ignore Seen Facts）
在DocRED等主流基准中，常采用 Ign F1（Ignored F1）——即在计算F1时，排除所有在训练集中已出现过的（head, relation, tail）组合。该指标更聚焦模型对未见关系模式的泛化能力，避免高估过拟合表现。实现时需预构建训练集三元组集合 train_triples，并在匹配前过滤：
# 在 compute_triple_f1 基础上扩展
filtered_gold_set = {t for t in gold_set if t not in train_triples}
filtered_pred_set = {t for t in pred_set if t not in train_triples}
# 后续用 filtered_*_set 计算 TP/FP/FN
关键注意事项
- 标准化预处理：统一空格、标点、命名实体归一化（如 "Apple Inc." → "Apple"），否则微小格式差异将导致假阴性；
- 去重与排序无关性：同一句子中重复三元组只计一次；三元组输出顺序不影响匹配（建议集合操作）；
- 边界案例处理：对模型输出中格式错误（如缺失 |、字段数≠3）的样本，应作无效过滤或降权处理，不可强制解析；
- 对比基线：除F1外，建议同步报告每类关系的细粒度F1及宏平均（Macro-F1），以诊断模型偏差；
- 与SOTA对齐：PapersWithCode上Relation Extraction榜单（如DocRED、FewRel）均以F1/Ign F1为默认指标，确保评估协议一致。
综上，摒弃ROUGE，坚定采用三元组级F1及其变体Ign F1，辅以严谨的标准化与过滤逻辑，方能真实反映编码器-解码器模型在关系抽取任务中的结构化理解能力。
