LLM破局泛化诊断难题，MSSP刊登北航PHM实验室健康管理大模型交叉研究 AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com 论文作者来自杭州北航国新院、北航，主要作者：陶来发、刘海菲、宁国澳、曹文燕、黄博昊、吕琛（通讯作者）。吕琛教授：国家级领军人才、英国皇家航空学会会士；陶来发教授：国家级青年人才。 近日，《Mechanical System and Signal Processing》（MSSP）在线发表刊登北航 PHM 团队最新研究成果：基于大语言模型的轴承故障诊断框架（LLM-based Framework for Bearing Fault Diagnosis）。 这是北航 PHM 实验室在健康管理大模型领域的成功尝试，研究团队提出了基于大语言模型的轴承故障诊断框架，提升预训练大模型对振动数据的解析与泛化能力。 以轴承为例，他们探索并打通了基于预训练大语言模型解决泛化故障诊断难题的技术路线，初步展现了对跨工况、小样本、跨对象等泛化诊断任务的综合解决能力。 北航 PHM 实验室为业界学者应对故障诊断领域泛化痛点问题提供了新思路，也是深入开展大模型与健康管理交叉研究并建立健康管理大模型的重要基础与参考。 论文原文：https://doi.org/10.1016/j.ymssp.2024.112127（MSSP 期刊）https://arxiv.org/abs/2411.02718（arXiv 预印） 背景介绍 健康管理（Prognostics and Health Management，PHM）是避免设备故障导致人员安全和经济财产损失的重要技术手段，而算法模型泛化性不足等瓶颈问题严重制约着 PHM 技术的发展应用。作为健康管理的重要环节，传统故障诊断也面临着跨工况适应能力、小样本学习能力和跨对象泛化能力等诸多挑战。 大语言模型（LLM）通过千亿级参数化的先验知识与深层次的模式识别能力，为提升故障诊断模型的泛化性提供了新的可能性。因此，团队整合 LLM 与传统故障诊断技术优势，以轴承为例探索并打通基于预训练大语言模型解决泛化故障诊断难题的可能性和技术路线，初步展现了对跨工况、小样本、跨对象等泛化诊断任务的综合解决能力。 分别开展了单数据集跨工况实验和全量及少量样本的跨数据集迁移实验，验证所提出框架同时完成三种泛化故障诊断任务的能力，证明 LLM 对输入的模式和形式具有良好的适应性。 主要创新及成果 为解决泛化诊断难题，论文提出基于 LLM 的轴承故障诊断框架，创新点主要包括振动数据特征的文本化处理和预训练模型微调方法。 针对轴承故障诊断中振动数据难以挖掘语义信息的问题，基于传统故障诊断的统计学分析框架，提出了一种融合时域和频域特征提取的信号特征量化方法，将时序数据进行文本化处理，旨在通过精简的特征选择高效学习小样本和多工况下的共性特征。 针对 LLM 在解析振动数据特征时泛化能力不足的问题，该团队采用基于 LoRA 和 QLoRA 的振动数据微调方法，有效利用预训练模型的深层语义理解能力，提高故障诊断的精确度并增强模型的泛化性能。 针对创新点的实验验证。通过单数据集实验、单数据集跨工况实验以及全量、少量跨数据集实验，该团队证明了所提出框架同时具备跨工况、小样本、跨数据集故障诊断能力。 研究团队采用 CWRU、MFPT、JNU、PU 四个轴承故障诊断公开数据集，分别针对基于特征的 LLM 故障诊断和基于数据的 LLM 故障诊断方法进行验证。 案例实验验证了所提出框架在三种泛化任务上的适应性，且经过跨数据集学习的模型同比获得 10% 左右的精度提升。 未来研究方向 1. 该框架更多地在特征提取和故障模式判别阶段将 LLM 与故障诊断相结合，未来可充分利用诊断领域知识和大模型架构知识，实现大模型与装备故障诊断的深度融合。 2. 论文以轴承为例，探索了预训练 LLM 解决泛化故障诊断难题新思路。未来可将其作为基础与参考，特异性设计模型结构，将框架拓展至其他领域对象，如动力、控制系统的电源、功能电路等。 3. 论文以故障诊断为例展示了 LLM 对传统健康管理手段的扩展能力，未来还可将技术延拓到预测、评估等典型健康管理领域，打通 PHM 开发方案生成、数据生成、能力生成、解决方案生成、验证评价、方案更新等技术流程，支撑装备 PHM 设计、诊断、评估、预测、决策、推荐、验证、更新等下游任务。 4. 论文利用 LLM 的文本处理能力及泛化性能，初步实现了基于预训练 LLM 的泛化故障诊断功能；未来将在此基础上，构建以健康管理领域多模态信息为基础、以 PHM 各种功能需求为主要业务、以生成涌现能力为目标的垂直领域健康管理大模型，实现以通用化、判别式、实战性为主要特点的健康管理领域新生态及根本性技术转变（参考 An Outline of Prognostics and Health Management Large Model: Concepts, Paradigms, and Challenges, https://arxiv.org/abs/2407.03374）。 也欢迎关注北航 PHM 团队提出的健康管理大模型进阶研究范式 roadmap！ 论文链接：https://arxiv.org/abs/2407.03374 ?THE END转载请联系本公众号获得授权投稿或寻求报道：liyazhou@jiqizhixin.com