【机器学习+材料】npj Comput. Mater.：利用深度学习模型解释材料中结构-性质关系

成果简介

材料科学领域的核心是利用经验和理论来探索具有特定性质材料的成分和结构，并随后通过实验进行验证。但材料的研发是一项耗时的工作，往往依赖于偶然发现。目前在材料研究中使用的深度学习（DL）模型理解结构与材料特性之间的关系方面存在一定的局限性。为了解决这些局限性，北陆先端科学技术大学院Hieu-Chi Dam等人提出了一种可解释的深度学习架构，结合了注意力机制来预测材料属性并深入了解其结构与属性之间的关系，通过预测材料特性并明确识别相应结构中的关键特征，在加速材料设计方面显示出巨大潜力。

研究亮点

1.本文提出了一种可解释的自洽注意力神经网络（SCANN）架构预测材料属性并深入了解其结构与属性之间的关系。

2.本研究使用两个著名的数据集（QM9和Materials Project数据集）以及三个内部开发的计算材料数据集对所提出的架构进行了评估。训练-验证-测试集的结果证实所提出的DL架构具有很强的预测能力，可与当前最先进的模型相媲美。

3.基于第一原理计算的验证表明，在解释与物理性质有关的结构-性质关系时，原子局部结构对材料结构表示的关注程度至关重要，包括分子轨道能和晶体的形成能。

深度学习方法

本研究采用DL架构下的SCANN和其他深度学习模型用于材料数据集分析，每个模型都在具有不同目标特性的不同数据集上独立训练，目的是评估架构在预测目标特性方面的性能，以及它在五个分子和晶体结构数据集上提供有关结构-特性关系的信息能力。在数据集中的性质来源于第一性原理计算，并将数据以80:10:10的比例进行训练-验证-测试分割，然后在训练集上训练模型，并对其进行优化，在验证集上采用平均绝对误差（MAE）评价测试集上的目标特性。

图文导读

图1 局部结构和材料结构的图示

图2 SCANN架构的全面描述

SCANN专注于用学习的权重从原子的局部结构中表示材料结构，其关键是将递归注意力应用于相邻的局部结构（如图1a所示），然后将其组合表示材料结构的整体。这种方法可以通过对来自其他局部结构的注意力得分求和来测量应该给予局部结构的注意力（GA得分）（如图1b所示）。SCANN架构的设计包含完全连接层，是为了捕捉其表示和属性之间非线性关系。此外，从全局注意力获得的局部结构有助于理解材料结构-性能关系的关系（SCANN架构全面描述如图2）。

表1 评估实验中使用的数据集汇总

本文使用QM9和MP 2018.6.1版数据集（如表1），通过与七个DL模型的比较，评估了SCANN模型的预测性。SCANN模型的可解释性是通过对比局部结构的学习GA分数与第一性原理计算的相应结果之间的关系来评估的。结果表明，SCANN模型能够在四种情况下提供有关材料结构-性质关系的有价值信息：局部结构和HOMO/LUMO分子轨道、变形能量ΔU和铂/石墨烯结构的变形以及产生SmFe₁₂基化合物的晶体形成能和取代原子的种类与位置。

表2 使用QM9数据集预测五种物理性质的SCANN、SCANN+和其他六种DL模型的比较评估。

表3 SCANN和其他四个DL模型在MP 2018.6.1数据集上预测两种物理性质的比较评估

表2显示了从SCANN模型五次训练中获得的平均MAE分数，以及QM9数据集上不同模型的MAE分数。ALIGNN的性能优于其他模型，相比之下，SCANN模型的MAE是ALIGNN模型的2到2.5倍。SCANN模型在MP 2018.6.1数据集上的预测结果详见表3，结果与QM9数据集的类似，ALIGNN模型产生了最高的预测精度。同时，用于预测形成能（ΔE）和带隙（Eg）的SCANN模型的MAE分别达到29meV atom⁻¹和260meV。为了提高对分子或晶体几何结构的描述性，本文开发了另一个版本的SCANN，即SCANN⁺，SCANN⁺模型在预测对分子或晶体的几何结构的电子性质方面优于除ALIGNN模型外的所有其他模型（表2和表3）。然而，由于训练阶段数据集划分存在不准确，可能会引入了更高的维度，导致模型带来偏差，进而阻碍对结构-性能关系的清晰理解，因此本文将其作为研究的主要目标。

图3 QM9数据集中分子结构-性质关系的可视化

对于QM9数据集中的小分子，SCANN模型证明了所获得局部结构的GA分数与通过DFT计算获得的分子轨道结果之间的显著对应性。图3显示了局部结构的GA分数与从四个分子的DFT计算中获得的HOMO/LUMO轨道之间的比较。值得注意的是，二甲基丁二烯分子局部结构的GA分数和HOMO轨道之间的对应关系比较明显（如图），胸腺嘧啶分子局部结构的HOMO轨道和GA分数之间的对应关系也比较明显（图3b），丙烯酸甲酯和富马酸二甲酯局部结构的LUMO轨道和GA分数之间存在明显的对应关系（图3c，d）。进一步说明了SCANN模型的注意力分数为解释分子的结构-性质关系提供了有价值的见解。

图4 QM9数据集中获得的碳、氮和氧原子位点的GA分数与分子结构的分子轨道之间的对应关系

对QM9数据集中的所有碳、氮和氧原子位点进行统计分析，进一步评估SCANN模型获得的GA得分。由于原子位点的GA得分标准化为1，因此采用每个分子中sp³-杂化碳原子的平均GA得分来计算相对GA得分。具体而言，与sp²-杂交或sp-杂交的碳位点相比，sp³-杂交的碳位置具有较低的影响（图4a），这与元素的电负性和键合特性一致。相反，LUMO能量的GA分数在三个元素之间没有显著差异，这一观察结果与未占据轨道主要影响LUMO能量的理解相同，导致电负性与其对HOMO能量的影响相比差异不明显（图4b）。

图5 富勒烯分子结构-性质关系的可视化

为了进一步评估所提出的方法的可解释性，检查了富勒烯分子的局部结构的GA分数和从DFT计算中获得的分子轨道之间的对应关系。图5显示了局部结构的GA分数与从C₇₀和C₇₂分子的DFT计算中获得的HOMO和LUMO结果之间的显著对应关系。SCANN模型揭示了C₇₀分子的HOMO和局部结构GA分数之间具有明确对应关系（图5a），以及LUMO和它们相应的GA分数。此外，C₇₂分子的LUMO和HOMO的形状与使用SCANN模型获得局部结构的GA分数完全对应（图5b）。

图6 Pt/石墨烯局部结构与结构变形的对应关系可视化

图6a显示了通过SCANN模型获得局部结构的GA分数，用于预测包括吸附在石墨烯薄片上Pt的变形能量。对所获得GA分数的分析表明，高GA分数的局部结构具有相对细长的碳-碳键（图6b）。此外，在sp²-杂化键合网络的平面结构形成凸起时，形成的高局部曲率碳原子获得了高GA分数（图6c）。

图7 SmFe₁₂基晶体结构局部结构注意事项与稳定性的对应关系可视化

随后，本文通过分析原子位点的GA得分，评估了SCANN模型预测SmFe₁₂基晶体结构形成能的能力，分析了元素取代对形成能和晶体结构稳定性的影响。图7a显示了使用SCANN模型获得局部结构的GA分数预测SmFe₁₂、SmFe₁₁Mo、SmFe₁₁Co和SmFe₁₁Al的形成能。结果表明，Mo和Fe取代晶体结构的GA得分相比于Co或Al取代较低，表明在SmFe₁₁Co和SmFe₁₁Al晶体结构的形成能时，Co和A1位点应该是中心。随后，计算每个晶体结构取代位点的GA得分与Fe位点中最小GA得分的比率，并使用DFT计算研究了该比率与结构预估形成能之间的关系。图7b显示，被单一类型元素取代的晶体结构可分为两组：一组具有Cu、Zn和Mo取代，另一组具有Al、Ti、Co和Ga取代。通过对比，发现SCANN模型在估计局部结构的GA分数方面具有潜力，可以用于分析SmFe₁₂取代的晶体结构及其形成能。

文献信息

Vu T S, Ha M Q, Nguyen D N, et al. Towards understanding structure–property relations in materials with interpretable deep learning[J]. npj Computational Materials, 2023, 9(1): 215.

https://www.nature.com/articles/s41524-023-01163-9

原创文章，作者：计算搬砖工程师，如若转载，请注明来源华算科技，注明出处：https://www.v-suan.com/index.php/2024/03/11/49872f3104/

【机器学习+材料】npj Comput. Mater.：利用深度学习模型解释材料中结构-性质关系

2.本研究使用两个著名的数据集（QM9和Materials Project数据集）以及三个内部开发的计算材料数据集对所提出的架构进行了评估。训练-验证-测试集的结果证实所提出的DL架构具有很强的预测能力，可与当前最先进的模型相媲美。

相关推荐