【AI+材料】JPCA：SLI-GNN新型图神经网络框架用于晶体与分子性质预测

研究背景

近年来，许多研究者提出了基于图神经网络（graph neural network，GNN）的框架来预测晶体和分子的性质。具有代表性的晶体图卷积神经网络（crystal graph convolutional neural network，CGCNN），提供了灵活的框架来预测晶体材料的性能；后续发展的iCGCNN结合了Voronoi划分的晶体结构信息，明确了由临近原子组成的三体之间的相关性，以及优化了原子间键的化学表示，预测性能得到了进一步的提升。与仅针对晶体或分子开发的GNN相比，MEGNet是提出的用于分子和晶体性质预测的通用框架，其强调了结构的全局状态属性。

为了进一步增强GNN对于晶体和分子性质预测的通用能力，苏州大学李有勇和纪玉金等人开发了一个适用于晶体和分子的通用自学习输入GNN框架（self-learning-input GNN，SLI-GNN），该框架加入了动态的特征嵌入层，利用消息传递神经网络（message passing neural network，MPNN）的迭代来自动更新图中节点与边的特征，并加入了最大信息熵（Infomax）机制来最大化局部特征与全局特征之间的平均交互信息。SLI-GNN的核心优势在于：（i）可以获得与基准相当的预测性能；（ii）加入的MPNN层是动态可调的；（iii）仅需少量的原始输入特征就能实现高性能的模型训练。

结果与讨论

（1）SLI-GNN框架

SLI-GNN的整体框架如图1a所示。模型训练需要晶体/分子的结构数据与目标性质数据，并将结构转化为图特征表示，经过动态的特征嵌入层后得到特征向量，并使用MPNN、池化层、全连接层与目标性质进行映射。

与大部分GNN类似，图特征表示由以原子表示的节点和以键表示的边组成。对于给定的分子或晶体，该模块首先从输入文件中读出结构信息，生成图特征表示。对于每一个原子，使用原子序数来表示节点信息；对于每一条化学键，使用键长来表示边信息。与之前的GNN框架使用静态的特征嵌入层不同的是，作者引入了一个动态的特征嵌入层（图1b），将MPNN的参数与节点信息和边信息进行迭代乘积，并使节点信息与边信息的维度保持固定。

MPNN的参数更新使用了聚合函数，在前向传播过程中，每个原子的信息将与其相邻原子的信息聚合在一起，形成一个表示局部特征的向量。在MPNN层之后，常见的聚合函数只利用最后一层的向量，忽略了其他层，而每一层通过聚集前一层的邻域来增加影响分布的大小。为了解决这个问题，作者引入了Infomax 机制，将前一层的所有向量信息汇总为后一层的输入，通过这种方式，模型可以适应每个节点的有效邻域大小，从而准确地获得所需的适应性（图1c）。晶体/分子的局部特征可以从近邻中学习，而整个晶体/分子的全局特征将倾向于来自高层特征。简而言之，通过Infomax机制，最大化了节点和边之间的交互信息，从而被下游的学习任务重用。在MPNN层之后，特征向量聚合成一个整体的特征向量。全局池化层将一批晶体/分子映射拆分为多个小映射，通过max、mean或add 操作将多个原子矢量转换为一个晶体/分子矢量。作者在MPNN层的输出上使用了平均池化。

图1.（a）SLI-GNN框架（b）动态特征嵌入层（c）MPNN层

（2）SLI-GNN在晶体材料上的预测性能

作者使用Materials Project中的晶体数据来评估SLI-GNN的性能，从Materials Project收集了大约3万个无机晶体材料及其性质。如图2a所示，对于形成能，使用SLI-GNN的平均绝对误差是0.061 eV/atom，处于基准0.04-0.1 eV/atom之间，这表明预测的形成能与DFT计算的形成能吻合度良好，证明SLI-GNN对晶体性质预测具有较高的预测精度。在训练过程中的训练/验证误差如图2b所示，这表明在训练过程中，训练集和验证集的性能匹配良好。也可以看出，经过20次 epoch的训练，SLI-GNN达到了理想的精度。在预测绝对能量和带隙时，平均绝对误差分别为0.07 eV和0.32 eV，绝对能量的预测精度与其他模型接近 (~ 0.07 eV)，而带隙的预测精度略高于已有模型（0.33 eV）。

除了SLI-GNN在回归任务外，作者还测试了导体和非导体分类的性能。作者将带隙等于0 eV的晶体归类为导体并标记为1，而将其他晶体的标记设置为0。分类任务的性能通过使用receiver operating characteristic area under the curve （ROC-AUC）来评估，如果ROC-AUC接近1.0，则表明分类性能优异。从图2c的ROC 曲线可以看出，SLI-GNN达到了很高的预测精度（94%），意味着SLI-GNN的分类效果也是可以接受的。

为了深入理解SLI-CNN学习的晶体特征与性质之间的联系，作者使用了t-distributed stochastic neighbor embedding（t-SNE）来可视化池化层的输出，如图2d所示。其中同一簇中的邻近点在组成或结构上应该是相似的。从2D映射中，可以观察到许多局部团簇都有相似的颜色，这表明它们可能具有相似的形成能，而SLI-GNN可以很好地捕捉到这一点。

图2.（a）DFT计算的形成能与预测的形成能对比（b）训练迭代过程（c）ROC曲线（d）t-SNE特征可视化

（3）SLI-GNN在分子上的预测性能

作者也使用了QM9数据集来评估SLI-GNN在分子性质预测中的性能，数据集包含133885个有机小分子，其分布如图3a所示。作者以四种常见的分子性质作为训练目标，包括 0 K时的内能（U₀）、能隙、最高的已占据分子轨道（HOMO）的能量和最低的未占据分子轨道（LUMO）的能量，平均绝对误差分别为0.032 eV/atom，0.065 eV，0.046 eV，0.045 eV，如图3b所示。这四个性质的预测性能可以从它们对应的误差分布中很好地反映出来。

从图3c可以清楚地看出，对能隙的预测在能隙值的整个范围内都仅有很小的误差。SLI-GNN的精度与之前的GNN模型接近，表明SLI-GNN可以获得理想的分子性质预测性能。图3d中的损失曲线反映了验证集性能与训练集的性能一致，从而避免了训练过程中的过拟合，而且，训练集和验证集的平均绝对误差仅在20个训练周期内就降到了一个低值。

图3.（a）分子中原子数量的统计直方图（b）四种性质的预测误差分布（c）DFT计算的能隙与预测的能隙对比（d）训练迭代过程

（4）动态特征嵌入层与Infomax机制的重要性

动态特征嵌入层的引入使得原子特征和化学键特征随着神经网络的迭代而自动更新。为了证明动态特征嵌入层的优势，作者研究了随着原子特征数量的减少，参数的变化对预测性能的影响。如图4a所示，以CGCNN为进行比较，作者尝试减少原子特征，发现当只使用一个原子特征时，平均绝对误差从0.10 eV/atom增加到0.16 eV/atom，预测性能下降；而使用SLI-GNN时，原子特征数从9个减少到 1个，平均绝对误差在0.06 eV/atom和0.07 eV/atom之间波动，预测性能几乎没有变化。由于在训练过程中引入了自更新机制，无论选择哪一种原子特征，SLI-GNN模型都能获得理想的精度。这意味着 SLI-GNN不依赖于特征选择，并且只需要更少的输入来获得适当的精度。

Infomax机制的引入使得SLI-GNN可以扩展到更多的 MPNN层。为了解释这一优势，作者通过改变MPNN层的数量来考察模型的性能，并和以前的模型性能进行对比。在图4b中，当增加一定数量的MPNN层后，CGCNN的预测精度下降，当使用10层MPNN层时，平均绝对误差变为0.17 eV/atom。相比之下，使用SLI-GNN时，11层MPNN的平均绝对误差与使用3层MPNN的结果接近，约为0.065 eV/atom，从而证明了SLI-GNN良好的可扩展性。

图4.（a）原子特征数变化对SLI-GNN和CGCNN的性能影响（b）MPNN层数对SLI-GNN和CGCNN的性能影响

表1. SLI-GNN在晶体和分子数据库上的预测性能及其与基准的对比

（5）与其他框架的对比

作者总结了六种先前报道的模型的输入、算法、特征嵌入和应用，以突出SLI-GNN的新颖性。在这些模型中，原子序数是区分原子类型的常用输入（如SpookyNet、AimNet和SLI-GNN）。在SchNet、REANN、PhysNet中，原子序数用原子核的电荷来代替，它们具有相同的功能来标记不同的元素类型。

此外，还可以引入一些其他与原子相关的性质来丰富原子性质的描述，如SpookyNet中的总电荷和自旋态，CGCNN中的电负性和电子亲和性等，但这同时也导致输入的复杂性提高以及训练数据的适用性降低。由于GNN框架的优势，SLI-GNN的应用范围涵盖了分子和晶体性质，而深度神经网络框架（PhysNet、SpookyNet、AimNet）仅适用于分子体系。总体而言，SLI-GNN 的新颖之处集中在两个方面，即动态特征嵌入层和 MPNN层中的Infomax机制。

表2. SLI-GNN与其他在原子水平建模的神经网络模型对比

总结展望

作者开发了一个通用的GNN框架SLI-GNN，用于分子/晶体的性质预测。SLI-GNN引入动态特征嵌入层可以对输入的特征进行优化，即在神经网络迭代过程中对原子特征和键特征进行自更新，以获得原子间和原子内的相关关系以及键的相关关系。SLI-GNN中的Infomax机制最大化局部特征和全局特征之间的平均交互信息，并随着MPNN层数的增加仍然保持合理的预测性能。所提出的SLI-GNN具有巨大的潜力来提升材料性能预测的能力，从而加速新分子和晶体的发现。

文献信息

Zhihao Dong, Jie Feng, Yujin Ji, Youyong Li. SLI-GNN: A Self-Learning-Input Graph Neural Network for Predicting Crystal and Molecular Properties. J. Phys. Chem. A (2023)

https://doi.org/10.1021/acs.jpca.3c01558

点击阅读原文，报名计算培训！

原创文章，作者：计算搬砖工程师，如若转载，请注明来源华算科技，注明出处：https://www.v-suan.com/index.php/2023/10/30/ead626ca48/

【AI+材料】JPCA：SLI-GNN新型图神经网络框架用于晶体与分子性质预测

相关推荐