预测精度高达0.98，清华、深势科技等提出基于Transformer的MOF材料多功能预测框架

编辑 | X

气体分离在工业生产和环境保护中扮演着关键角色，金属有机框架（MOF）凭借其独特性能，在气体分离领域展现出巨大潜力。

传统的模拟方法，比如分子动力学，虽然复杂且计算量要求高，但在模拟系统行为方面具有很高的准确性。与之相比，基于特征工程的机器学习方法在处理复杂系统时表现更出色，然而由于标记数据的稀缺性，很容易导致过度拟合的问题。此外，这些机器学习方法通常是为了解决单一任务而设计的，缺乏对多任务学习的支持。因此，在选择合适的方法时，需要权衡精确性、数据要求和任务复杂性等因素，以找到最适合特定问题的解决方案。

为了应对这些挑战，由清华大学、加州大学、中山大学、苏州大学、深势科技和北京科学智能研究院（AI for Science Institute，Beijing，AISI） 组成的多机构团队，合作提出了 Uni-MOF，一种用于大规模三维 MOF 表示学习的创新框架，专为多用途气体预测而设计。Uni-MOF 既适合科学研究又适合实际应用。

Uni-MOF可被视为MOF材料的多功能气体吸附预测器，在模拟数据方面展现出卓越的预测准确性，标志着机器学习在气体吸附研究中的重要应用。

该研究以「A comprehensive transformer-based approach for high-accuracy gas adsorption predictions in metal-organic frameworks」为题，于 2024 年 3 月 1 日发布在《Nature Communications》上。

论文链接：https://www.nature.com/articles/s41467-024-46276-x

需要一个统一的吸附框架

金属有机框架（MOF）因其可调节的结构特性和化学成分被广泛应用于气体分离等领域。

虽然 MOF 在气体吸附方面的潜力很大，但准确预测其吸附容量仍然是一个挑战。

分子动力学、蒙特卡罗（MC）等计算方法，计算成本高且实施复杂，限制了它们在大规模、多气体和高通量计算。此外，气体吸附的操作条件范围广，使预测变得更加复杂。

图神经网络和 Transformers 已被证明可以成功预测 MOF 属性。

尽管现有的预测吸附特性的模型具有高性能和强大的预测能力，但它们通常是为单一任务而设计的，特别是预测特定条件下特定气体的吸附吸收率。然而，这些单一任务预测的可用数据集通常是有限的，从而阻碍了模型的通用性。

另一方面，来自不同温度和压力环境下的各种吸附气体的标记数据的组合可以创建适合整个工作条件下训练的大量数据集。增加的数据量还可以增强模型的泛化能力，并改善其实际工业用途。因此，需要一个统一的吸附框架来推进这些模型。

此外，针对大规模未标记 MOF 结构集成表示学习，或预训练，可以进一步提高模型性能和表示能力。

Uni-MOF 框架：既适合科学研究又适合实际应用

受此启发，研究团队提出 Uni-MOF 框架作为一种多用途解决方案，使用结构表示学习来预测不同条件下 MOF 的气体吸附。

与其他基于 Transformer 的模型（例如 MOFormer 和 MOFTransformer）相比，Uni-MOF 作为基于 Transformer 的框架，不仅可以在预训练中识别和恢复纳米多孔材料的三维结构，从而大大提高了纳米多孔材料的稳健性。而且微调任务还进一步考虑了温度、压力和不同气体分子等操作条件，这使得 Uni-MOF 既适合科学研究又适合实际应用。

Uni-MOF 作为 MOF 材料的综合气体吸附估计器，仅需要 MOF 的晶体信息文件 (CIF) 以及相关气体、温度和压力参数，就可以在广泛的操作条件下预测纳米多孔材料的气体吸附特性。Uni-MOF 框架易于使用并允许模块选择。

此外，通过将各种跨系统吸收标记数据与大量未标记结构数据的表示学习相结合，有效解决了过度拟合的问题。这弥补了高质量数据和数据不足的不足，最终提高了气体吸附预测的准确性。

Uni-MOF 框架实现了原子级别的材料识别精度，而集成模型使 Uni-MOF 更适用于工程问题。毫无疑问，实现真正统一的模型是材料领域未来的方向，而不仅仅是专注于专业领域。 Uni-MOF 是机器学习在气体吸附领域的开创性实践。

Uni-MOF 框架概述

Uni-MOF 框架包括三维纳米多孔晶体的预训练和下游应用中多任务预测的微调。

图 1：Uni-MOF 框架的示意图。 （来源：论文）

三维晶体材料的预训练显着增强了下游任务的预测性能，特别是对于大规模未标记数据。

为了解决训练数据集监督不充分的问题，研究人员收集了大量的 MOF 结构数据集，并使用 ToBaCCo.3.0 生成了超过 300,000 个 MOF。基于材料基因组策略和准反应组装算法 (QReaxAA) 的 COF 的高通量构建是可行的，从而建立一个全面的 COF 库。通过材料的空间构型，Uni-MOF 能够很好地学习材料的结构特性，最重要的是化学键信息。

为了使 Uni-MOF 能够学习更多样化的材料，从而提高对更广泛材料的泛化能力，在预训练过程中通过虚拟和实验方式引入了 MOF 和 COF。与 BERT 和 Uni-Mol 中的掩蔽标记任务类似，Uni-MOF 采用掩蔽原子的预测任务，从而促进预训练模型深入了解材料空间结构。

为了增强预训练的稳健性并推广学习到的表示，研究人员向 MOF 的原始坐标引入了噪声。在预训练阶段，设计了两个任务。 （1）从噪声数据中重建原始三维位置，（2）预测屏蔽原子。这些任务可以增强模型的稳健性并提高下游预测性能。

除了多样化的空间构型之外，一套全面的材料属性数据点对于模型训练也至关重要。为了丰富数据集，研究人员建立了自定义数据生成流程（如图 1b 所示）。

Uni-MOF 的微调基于通过预训练获取的表示的提取，以及使用自制工作流程生成和收集大量数据集。在微调过程中，使用 MOF 和 COF 各种吸附条件下的约 3,000,000 个标记数据点来训练模型，从而能够准确预测吸附容量。

凭借跨系统目标数据的多样化数据库，经过微调的 Uni-MOF 可以预测 MOF 在任意状态下的多系统吸附特性。因此，Uni-MOF 是一个统一且易于使用的框架，用于预测 MOF 吸附剂的吸附性能。

最重要的是，Uni-MOF 无需额外的人工来识别人类定义的结构特征。相反，MOF 的 CIF 以及相关气体、温度和压力参数就足够了。自监督学习策略和丰富的数据库确保 Uni-MOF 能够预测纳米多孔材料在各种操作参数下的气体吸附特性，从而使其成为一种熟练的 MOF 材料气体吸附估计器。

预测精度高达 0.98，可跨系统预测

该研究对包含超过 631,000 个 MOF 和 COF 的数据库进行了自监督学习，预测精度高达 0.98。这表明基于三维预训练的表示学习框架有效地学习了 MOF 的复杂结构信息，同时避免了过拟合。

应用 Uni-MOF 对三大数据库（hMOF_MOFX-DB，CoRE_MOFX-DB 和 CoRE_MAP_DB）的气体吸附性能进行了预测，在数据充足的数据库中取得了高达 0.98 的预测精度。

图 2：Uni-MOF 在大规模数据库中的整体性能。 （来源：论文）

在数据集充分采样的情况下，Uni-MOF 不仅保持了0.83 以上的预测精度，而且仅通过预测低压下的吸附，就能准确选择高压下的高性能吸附剂，与实验筛选结果一致。因此，Uni-MOF 代表了材料科学领域在机器学习技术应用方面的重大突破。

图 3：基于低压预测和高压实验值的吸附等温线，每条曲线代表 Langmuir 拟合。 （来源：论文）

此外，与单系统任务相比，Uni-MOF 框架在跨系统数据集上表现出优越的性能，可以准确预测未知气体的吸附特性，预测精度高达0.85，展示了其强大的预测能力和通用性。

图 4：Uni-MOF 跨系统预测案例。（来源：论文）

研究表明，预训练的自监督学习策略可以有效提高 Uni-MOF 的稳健性和下游预测性能。

图 5：Uni-MOF 和 Uni-MOF 无预训练比较。（来源：论文）

通过对三维结构进行广泛的预训练，Uni-MOF 有效地学习了 MOF 的结构特征，实现了 hMOF 的 0.99 的高决定系数。

图 6：结构特征预测与分析。（来源：论文）

此外，t-SNE（t 分布随机邻域嵌入）分析证实，微调阶段可以进一步学习结构特征，并且可以很好地识别具有不同吸附物行为的结构，这表明学习的表示与气体吸附目标之间存在很强的相关性。

图 7：hMOF 和 CoRE_MOF 数据集中 MOF 结构表示的可视化，低维嵌入通过 t-SNE 方法计算。（来源：论文）

总之，Uni-MOF 框架作为 MOF 材料的多功能预测平台，充当 MOF 的气体吸附估计器，在预测不同操作条件下的气体吸附方面具有很高的精度，在材料科学领域具有广泛的应用前景。

以上是预测精度高达0.98，清华、深势科技等提出基于Transformer的MOF材料多功能预测框架的详细内容。更多信息请关注PHP中文网其他相关文章！