PNAS：基于多视角融合机器学习的电子衍射图样自动识别晶体系统

一、 【导读】 

最近，自动化材料发现领域在高通量实验方面取得了显著进展，重点是迅速识别定义材料性质的关键结构-功能关系。聚合物笔印刷光刻（PPL）作为一种无悬臂的合成方法，在单次实验中成功合成了数十亿个独特的纳米材料。然而，PPL的高通量导致其超过了表征和分析的速度。引入四维扫描透射电子显微镜（4D-STEM）作为一种识别纳米尺度晶体结构的工具，特别适用于试样上的任意位置，包括巨型文库中的纳米颗粒。自主实验整合了机器学习（ML），通过实时自动提取电子衍射图案（DPs）中的晶体学信息指导后续测量。然而，使用卷积神经网络（CNNs）在DPs的背景下受到限制，因为数据必须从特定的低阶区域轴收集。为了克服这些挑战，需要开发能够解释来自任意方向的DPs信息的ML模型，以实现无需物理倾斜样品即可直接重建3D结构信息。相较之下，专家在电子衍射中确定单一晶体样品结构时采用的方法是将样品倾斜到低阶区域轴，记录DPs，并不断倾斜以获取额外DPs，直到对晶体结构有信心的程度。由于人工智能旨在模仿人类智能，研究人员正在努力开发由人脑操作原则引导的ML算法，用于晶体系统识别。

二、【成果掠影】

近日，美国西北大学陈卫教授团队介绍了一种名为多视角观点融合机器学习（MVOF-ML）框架的方法，用于晶体系统分类，其适用于纳米颗粒巨型文库平台，并无需对样品进行倾斜处理。该框架通过使用矢量化的位置和强度信息来表示电子衍射图案（DPs），相较于传统图像，这种更紧凑的表示形式提高了机器学习的效率。研究中采用了经过定制的多流卷积神经网络（CNN），其角色相当于人类专家，从具有任意区域轴的DPs中进行预测。通过基于来自多个视角的部分信息集的顺序决策过程，确定了晶体系统的分类及其相应的不确定性。最终，各个视角的分类及其相关不确定性进行融合，以反映最终分类决策的信心水平，并指导是否继续收集额外的DPs输入数据。该框架在模拟数据上取得了高达0.94的测试准确度，并在面对模拟真实实验条件的不同噪声源时表现出鲁棒性。研究还将该框架应用于实验数据，证明了其在纳米颗粒文库的4D-STEM实验中的有效性。与通常的机器学习方法不同，研究采用了自定义的CNN模型，其中卷积操作经过修改，以合并特定物理原理，突显了以物理为基础的网络机器学习架构的价值，以及将其纳入人类科学推理过程的框架中，以促进跨多个领域的数据分析和处理。相关成果以“Automated crystal system identification from electron diffraction patterns using multiview opinion fusion machine learning”为题发表在PNAS上。

 三、【核心创新点】

该研究提出了一种适用于纳米颗粒巨型文库的多视角观点融合机器学习框架，通过使用矢量化的位置和强度信息实现电子衍射图案的高效分类，展示了其在模拟和实验数据上的鲁棒性和准确性。

四、【数据概览】

图1. 从具有任意区域轴的衍射图案中实现的晶体结构自动识别。© 2023 National Academy of Science

图2. 卷积神经网络架构和数据集。© 2023 National Academy of Science

图3. 分类和不确定性量化的结果。© 2023 National Academy of Science

图4. 决策制定和对噪音的容忍度的图示。© 2023 National Academy of Science

图5. 实验数据和结果。© 2023 National Academy of Science

五、【成果启示】

总的来说，本研究成功开发了一个用于从具有任意区域轴的衍射图案中自动识别晶体系统的框架，以促进高通量材料发现。受到人类多角度推理过程的启发，研究者将问题建模为一个多视角意见融合的顺序决策过程。通过从DPs图像中提取Bragg disks的位置和强度信息，并设计一个定制的CNN捕捉嵌入在DPs中的物理参数，成功训练了这个框架。该框架在证据深度学习的背景下提供意见和量化不确定性，通过融合来自多个区域轴的意见，并通过量化的不确定性进行自动决策。在噪声环境中表现出鲁棒性，本研究的框架在模拟数据上取得了高测试准确性，并在真实实验数据上展示了其有效性。这项工作为将机器学习框架整合到高通量实验工作流中奠定了基础，为实验材料发现提供了自主决策的基础。未来的工作将进一步提高该方法对更深层次晶体结构的分类的适用性。

原文详情：Chen, J., Zhang, H., Wahl, C.B., Liu, W., Mirkin, C.A., Dravid, V.P., Apley, D.W., Chen, W., 2023. Automated crystal system identification from electron diffraction patterns using multiview opinion fusion machine learning. Proceedings of the National Academy of Sciences 120(46), e2309240120.

https://doi.org/10.1073/pnas.2309240120