机器学习(ML)有望解决化学领域的重大挑战,并加快研究假设的生成、改进和排序。尽管ML的工作流程具有总体适用性,但当前ML评估技术和指标的异质性导致难以比较和评估新算法的相关性。最终,这可能会延缓化学的大规模数字化,并使开发、实验人员、审稿人和期刊编辑感到困惑。
为此,葡萄牙里斯本大学Tiago Rodrigues等人批判性地讨论了一套针对不同类型的基于ML的出版物的方法开发和评估指南,重点强调了监督学习。
作者提供了来自不同研究人员和化学学科的各种示例,在考虑不同研究组的不同可访问性的同时,建议侧重于报道完整性和工具之间的标准化比较。
作者希望通过提出回顾/前瞻性测试清单并剖析其重要性以进一步提高ML透明度和可信度。具体来说,作者讨论了特定支撑实验的相关性,并分析了“该做和不该做”。通过推荐广泛适用的指南,旨在提高对专注于化学科学中新概念、基准或新发现的ML出版物的期望。考虑到实用性、问责制和易于执行性,本文的建议分为不同的类别:
1)数据/代码报告;
2)回顾性评估;
3)与基准比较;
4)前瞻性评估和模型解释,从而提高三种ML研究类型中每种方法的质量、可转移性和重用性。
图1. ML中的回顾性评估
作者希望ML能够加快化学科学的进步,并完全独立于人为干预或作为专家推理的助手。随着为应对特定挑战而开发的ML方法数量的增加,统一的标准程序在短期内十分必要。作者建议,每种手稿类型都需要不同的评估研究,如在某些情况下可能需要进行彻底的前瞻性评估,但在其他情况下则不需要。此外,将评估与真正的ML前瞻性验证分开是关键,在短时间内几乎不可能进行适当的验证且只能通过多次迭代、经过大量和多年研究来实现。
考虑到这一点,作者构建并讨论了化学科学中ML的推荐回顾/前瞻性评估研究列表,并重申了没有通用的方法,每个ML实施都可能需要特定的调查和控制,这在拟议的研究中施加了一定程度的灵活性。总之,ML评估指南是化学科学界亟需的一步,作者也期待有吸引力的讨论和指南的持续更新。
图2. 根据稿件类型所需的评估研究总结
Evaluation guidelines for machine learning tools in the chemical sciences, Nature Reviews Chemistry 2022. DOI: 10.1038/s41570-022-00391-9
原创文章,作者:v-suan,如若转载,请注明来源华算科技,注明出处:https://www.v-suan.com/index.php/2023/10/08/991b0ef3e3/