北科大宿彦京教授团队 | Acta Materialia：大模型赋能钢铁材料设计

近日，北京科技大学宿彦京教授团队在金属材料领域顶刊《Acta Materialia》发表了研究论文，题为”Steel design based on a large language model”， 这是《Acta Materialia》首次刊载基于大语言模型进行材料设计的研究成果。北京科技大学为第一完成单位，北京科技大学田少晗博士为第一作者，姜雪副教授、Turab Lookman教授和宿彦京教授为论文共同通讯作者。
论文链接：https://doi.org/10.1016/j.actamat.2024.120663

【导读】
近年来，人工智能和机器学习方法在材料科学领域已经被广泛应用，成功加速了新材料发现和材料关键性能提升。然而，它们的成功在很大程度上依赖于高质量结构化数据和特征工程，对研究人员的专业知识提出了极高的要求。基于Transformer架构的大语言模型，通过大规模数据、庞大的神经网络、自监督学习和强大的硬件，展现出通用智能能力，并为直接利用历史文本知识，转变传统机器学习驱动的材料研究方式提供了崭新的途径。

本研究提出了一种基于大语言模型的从海量历史文本知识中定量预测材料性能的端到端策略，该策略由材料自然语言编码器SteelBERT和多模态深度学习框架组成，以成分和工艺文本为输入，定量预测力学性能。其中，SteelBERT在包含约420万篇材料科学相关摘要和55,000篇钢铁材料文献全文上预训练，将化学元素、制备加工工艺等钢铁知识的准确表示为上下文感知向量，通过深度学习框架成功预测了文献中新报道的18种不同钢种、不同工艺路线下的材料力学性能，屈服强度、极限抗拉强度和延伸率的决定系数（R2）分别为78.17%（±3.40%）、82.56%（±1.96%）和81.44%（±2.98%）。进一步地，通过在实验室特定钢种的小样本数据（64个15Cr奥氏体不锈钢数据集）上微调，屈服强度、极限抗拉强度和延伸率的R² 分别达89.85%（±6.17%）、88.34%（±5.95%）和87.24%（±5.15%）。最终，通过优化钢铁工艺流程，成功制备出屈服强度为960 MPa、抗拉强度为1138 MPa及延伸率为32.5%的新型15Cr奥氏体不锈钢，超越了该体系下已报道不锈钢的综合力学性能。

图 1 基于 SteelBERT 模型的力学性能定量预测 (a) 数据准备工作流程示意图。该工作流程包括科学文献下载、语料预处理、表格和文本信息抽取等阶段。(b) SteelBERT 是专注于钢铁材料领域的语言模型，能够捕捉材料相关的上下文信息。 (c) 通过 SteelBERT，将文本描述的工艺路线和化学成分嵌入为 768 维的特征向量，为模型提供准确的输入表征。(d) 基于自然语言文本的力学性能预测采用深度学习网络构建模型，以嵌入的成分特征和加工路线文本为输入，预测屈服强度、极限抗拉强度及总延伸率。通过在实验室数据集上微调后，成功设计并优化出一种综合力学性能优异的新型奥氏体不锈钢。

图 2. 抽取数据的语料分布和可视化

图3 预测模型网络架构

图 4. SteelBERT 的可解释性 (a) 利用 SteelBERT 模型进行摘要嵌入聚类的可视化效果。 (b) 使用 c-TF-IDF 方法生成主题，以识别每个聚类中的主题。(c) 利用二维 t-SNE 投影来描述 100 种化学元素的词嵌入 (不同颜色表示各类元素的化学周期表)。

图 5. YS、UTS 和 EL 的训练、验证集和测试集性能预测表现

图 6. 新型钢铁的研发设计 (a) 在探索奥氏体不锈钢的小型实验数据集上进行微调的过程。(b) 微调模型与使用 15 至 50 个不同数量的训练数据训练，与传统机器学习模型的比较。 (c) 已报道 15Cr 奥氏体不锈钢、初始试样和优化后试样对比。

图 7. 拉伸试验和表征 (a) 初始钢与优化后钢在25°C、应变速率为1×10-4 s-1 条件下的应力-应变对比。 (b) 优化后钢 1-1 的电子背散射衍射（EBSD）图及其晶粒尺寸分布(轧制方向用垂直箭头标出）。

【结论】

钢铁设计需要对物理、化学和冶金学有深入的理解，尽管钢铁研究历史悠久，但设计高性能钢铁仍需大量计算资源和实验数据支持。我们探索了一种主要利用文本特征编码预测钢铁力学性能的策略。这种方法基于文献和实验数据进行验证，有助于开发新材料。与传统的机器学习方法相比，我们的方法为抽取钢铁制造工艺中结构化数、工艺序列对齐以及高维稀疏等通常需要耗费大量时间的难题。此外，该方法在定量回归任务中的表现优于纯Transformer解码器的大语言模型。它相对易于实现，用户只需输入成分和工艺的文本序列即可输出力学性能。这种基于自然语言文本特征开发的机器学习模型具有巨大的潜力，不仅适用于钢铁，还可用于预测各种材料的性能。

【其它相关文献】

[1] Wang, Weiren, Xue Jiang, Shaohan Tian, Pei Liu, Depeng Dang, Yanjing Su, Turab Lookman, and Jianxin Xie. 2022. “Automated Pipeline for Superalloy Data by Text Mining.” Npj Computational Materials 8(1):9. doi: 10.1038/s41524-021-00687-2.
[2] Wang, Weiren, Xue Jiang, Shaohan Tian, Pei Liu, Turab Lookman, Yanjing Su, and Jianxin Xie. 2023. “Alloy Synthesis and Processing by Semi-Supervised Text Mining.” Npj Computational Materials 9(1):183. doi: 10.1038/s41524-023-01138-w.
[3] Yan, Rongen, Xue Jiang, Weiren Wang, Depeng Dang, and Yanjing Su. 2022. “Materials Information Extraction via Automatically Generated Corpus.” Scientific Data 9(1):401. doi: 10.1038/s41597-022-01492-2.

【作者介绍】

宿彦京，博士，教授，博士生导师。2000年在北京科技大学获博士学位，同年入选北京市科技新星计划，2005年入选教育部新世纪人才计划。现任北京科技大学新材料技术研究院材料失效与控制研究所所长，兼任“十三五”工业与信息化部产业发展促进中心“材料基因工程关键技术与支撑平台”和“制造基础技术与关键部件”重点专项专家委员会委员，“十四五”科技部“稀土新材料”重点研发计划实施方案编写专家，国家自然基金委“可解释、可通用下一代人工智能技术”重大研究计划专家指导委员会委员。

主要从事材料数据库和大数据技术，以及材料腐蚀和环境断裂研究，在Nat. Commun.、Acta Mater.、Corr. Sci.和npj Comput. Mater. 等刊物共发表论文200余篇，合作出版专著4部，获省部级科技进步一、二等奖四项。“十三五”期间，主持“材料基因工程专用数据库和大数据”国家重点研发计划项目，研发出了材料复杂异构数据存储技术，建成了我国首个集数据库、数据采集和机器学习软件一体化的材料数据库系统；研发出了多主元合金自适应多目标优化算法、量纲约束的符合回归算法、基于自然语言处理的科技文献数据自动抽取技术和程序等。2019年在Acta Mater. 首次发表金属材料机器学习优化设计文章，Elsevier进行了专题报导，被认为是该领域开创性工作。

【团队招生】

论文通讯作者宿彦京教授团队长期招收机器学习方向的硕士、博士研究生。团队研究方向主要聚焦于大模型、深度学习和强化学习等领域，特别欢迎具备扎实编程能力并对材料科学与人工智能交叉研究感兴趣的优秀学生加入。

邮箱：yjsu@ustb.edu.cn