圣光机大学Small Methods: 迁移学习+轮廓检测进行手绘图的逆向材料搜索

各种形态和成分的纳/微米材料在许多不同领域都有广泛的用途。然而，寻找具有所需结构、形状和尺寸的定制纳米材料仍然是一个挑战，并且通常通过在文献中进行人工筛选来实现。

在此，俄罗斯圣光机大学Vladimir Vinogradov等人首次开发了扫描/透射电子显微镜逆向图像搜索和基于手绘图的迁移学习搜索，即通过将在超过1400万张图像上预训练的VGG16卷积神经网络（CNN）重新用于图像特征提取（FE）和图像相似性（IS）确定。其中，VGG16 CNN由卷积层、池化层和全连接密集层组成，所有这些层都代表了输入图像像素强度的数学变换。卷积层表示将滤波器应用于像素组，从而考虑相邻像素之间的相互关系。

池化层用于压缩图像，从而产生更紧凑的图像表示。密集层通常用于进一步的分类任务，以向量的形式产生一个或多个单独的输出，其分类精度与从图像中提取高级特征的有效性高度相关。结果表明，这种方法允许搜索具有最接近的形状丰度、尺寸分布及材料表面形态的材料，其中所有搜索结果在所有这些参数之间的折衷下进行排序。

图1. VGG16 CNN的逐层架构及逆向SEM图像搜索

此外，该方法在超过200种通过随机高通量筛选手动合成的>20种不同形状、尺寸和表面形态的CaCO₃基纳米材料及从研究文章中提取的超过6种形状的Au纳米粒子的案例使用中得到证明，从而验证了该方法的多功能性。

更重要的是，Canny轮廓检测能够实现基于手绘图的查询，该查询引入了具有所需形状、尺寸和表面形态的定制逆向材料搜索。这些发现表明，从显微镜图像中提取的特征可作为纳米材料的形状、大小和形态的通用描述符。这项研究所开发的方法不仅可用于高级纳米材料搜索、合成过程验证和描述符生成，还可以进一步配备机器学习解决方案，从而在考虑形态特性的同时提供数据驱动的新型纳米材料发现。

图2. 基于手绘的逆向图像搜索展示

Inverse Material Search and Synthesis Verification by Hand Drawings via Transfer Learning and Contour Detection, Small Methods 2022. DOI: 10.1002/smtd.202101619

原创文章，作者：v-suan，如若转载，请注明来源华算科技，注明出处：https://www.v-suan.com/index.php/2023/10/13/0f1b3a95ee/

圣光机大学Small Methods: 迁移学习+轮廓检测进行手绘图的逆向材料搜索

相关推荐