旋转机械红外智能状态监测与故障诊断

旋转机械红外智能状态监测与故障诊断 Infrared intelligent condition monitoring and fault diagnosis of rotating machinery 1 2 corresp first-author E-mail： 373647411@qq.com E-mail： 373647411@qq.com 王 洋（1986-），男，湖北英山人，硕士研究生，工程师，2009年于海军工程大学获得学士学位，现为海军工程大学硕士研究生，主要从事红外故障诊断方面的研究。Email：373647411@qq.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772882&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772891&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772886&type= 22.01333237 32.00399780 王 洋 （1986-），男，湖北英山人，硕士研究生，工程师，2009年于海军工程大学获得学士学位，现为海军工程大学硕士研究生，主要从事红外故障诊断方面的研究。Email： 373647411@qq.com 373647411@qq.com 1 杨 立（1962-），男，重庆人，博士，教授，博士生导师，1995年于海军工程大学获得博士学位，现为海军工程大学动力工程学院热力工程教研室教授，主要从事舰船红外特征与热尾流、红外故障诊断方面的研究。Email：lyang39@hotmail.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772894&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772896&type= 22.01332855 32.00399780 杨 立 （1962-），男，重庆人，博士，教授，博士生导师，1995年于海军工程大学获得博士学位，现为海军工程大学动力工程学院热力工程教研室教授，主要从事舰船红外特征与热尾流、红外故障诊断方面的研究。Email： lyang39@hotmail.com lyang39@hotmail.com 海军工程大学 动力工程学院，湖北 武汉 430033 海军工程大学 动力工程学院，湖北 武汉 430033 College of Power Engineering， Naval University of Engineering， Wuhan 430033， China College of Power Engineering， Naval University of Engineering， Wuhan 430033， China 中国人民解放军92840部队，山东 青岛 266500 中国人民解放军92840部队，山东 青岛 266500 No.92840 Troops of PLA， Qingdao 266500， China No.92840 Troops of PLA， Qingdao 266500， China 旋转机械是机械设备的核心部件，一旦发生故障将会造成重大损失，因此旋转机械的实时监测诊断十分必要，为此本文针对旋转机械监测诊断开展研究，提出了一种基于深度学习的旋转机械红外智能诊断方法。搭建了旋转机械故障模拟实验台，预置电动机正常、过载、短路三种状态以及转子系统正常、不平衡、不对中三种状态，使用红外热像仪采集旋转机械表面温度，然后进行红外成像与增强；使用目标检测算法对图像中的旋转机械部件进行识别和定位，并根据检测结果对部件区域进行红外图像重构；最后使用图像分类算法对两类部件进行状态分类，从而实现智能故障诊断。实验结果表明，该方法对于本文中的旋转机械系统智能故障诊断准确率为90.06%，取得了较好的智能诊断效果。此外，该方法和流程经过部件类型和故障种类的扩展后，对于旋转机械故障诊断乃至机械故障诊断具有一定的参考和应用价值。 Rotating machineries are core components of mechanical equipment， and faults in such machineries can cause significant losses； thus， the real-time monitoring and diagnosis of rotating machinery are highly necessary. Therefore， we study the monitoring and diagnosis of rotating machinery and propose an infrared intelligent diagnosis method for rotating machinery based on deep learning. In this study， we develop a rotating machinery fault simulation test-bed， with three preset motor states： normal， overloaded， and short-circuited and three rotor system states： normal， imbalanced， and misaligned. The surface temperature of the rotating machinery is recorded using an infrared thermal imager， followed by infrared imaging and enhancement. A target detection algorithm is used to identify and locate the rotating machinery parts in the image， and an infrared image of the part is reconstructed according to the detection results. Finally， an image classification algorithm is used to classify the two types of components， thus achieving intelligent fault diagnosis. The experimental results reveal that the accuracy of the intelligent fault diagnosis for rotating machinery is 90.06 %， and a good intelligent diagnosis effect can be realized. In addition， after the expansion of component and fault types， the method and process may be used as a reference for rotating machinery fault diagnosis and even mechanical fault diagnosis. 旋转机械 深度学习 红外故障诊断 rotating machinery deep learning infrared fault diagnosis 1 引 言 1 旋转机械的状态监测与故障诊断是早期发现故障隐患，避免遭受更大损失的重要途径，在保障工业生产和舰船装备运行的安全性、可靠性方面发挥着重要作用。国内外许多专家学者对此展开了广泛而深入的研究，常见的旋转机械监测与诊断技术主要有振动信号监测诊断技术、声信号监测诊断技术、温度信号监测诊断技术和油液分析诊断技术 ［ 1 1 ］ 。 红外监测诊断技术是一种温度信号监测诊断技术，是利用红外技术了解和掌握设备的工作状态、早期发现故障并能预报故障发展趋势的监测诊断技术 ［ 2 2 ］ 。对于运行中的旋转机械，通过热像仪可以探测到肉眼看不到的温度信息，可以大范围、全面地监测旋转机械各个部件的表面温度，通过温度的高低和温升的正常与否就可以判断旋转机械的故障情况。 近年来，深度学习技术发展迅速、应用广泛，在红外故障诊断中也取得了一定的进展。其主要分为两种，一种使用图像分类算法进行设备分类或者状态判别，一种使用目标检测算法直接检测故障。 图像分类算法主要有AlexNet、VGG（Visual Geometry Group）、GoogLeNet、ResNet等。文献［ 3 3 ］通过改进AlexNet模型对变电设备红外图像分类进行研究，识别不同设备的运行状态；文献［ 4 4 ］通过AlexNet模型提取电力设备图像的特征，结合随机森林算法实现电力设备智能识别；文献［ 5 5 ］基于VGG构建模型对电力设备红外图像进行缺陷智能检测；文献［ 6 6 ］利用VGG16卷积神经网络对电气设备红外图像进行特征提取和图像检索以实现智能诊断；文献［ 7 7 ］等基于VGG16构建卷积神经网络对散热器六种状态进行故障诊断和状态监测；文献［ 8 8 ］等用改进贝叶斯优化ResNet网络，并对变电站设备红外图像进行热故障诊断。 目标检测算法主要有R-CNN（Regions- Convolutional Neural Networks）、Fast R-CNN、Faster R-CNN、YOLO（You Only Look Once） v1、SSD（Single Shot MultiBox Detector）、YOLO v2、Mask R-CNN、YOLO v3等。文献［ 9 9 ］基于Faster R-CNN算法对七种变电设备进行目标检测，然后基于温度阈值判别法对设备区域进行缺陷识别；文献［ 10 10 ］通过改进Faster R-CNN的特征提取与锚帧选择来进行光伏组件热点缺陷检测；文献［ 11 11 ］基于Mask R-CNN迁移学习对红外图像电力设备进行检测研究，为设备分区和故障区域检测提供支撑。文献［ 12 12 ］通过改进YOLO算法预测流程，对电力设备红外图像的故障点快速识别进行研究；文献［ 13 13 ］通过优化YOLO v3网络结构，对高压开关设备进行故障点检测和定位；文献［ 14 14 ］使用Faster R-CNN和YOLO进行电力设施的远程故障检测分析；文献［ 15 15 ］将YOLO和ResNet相结合，实现红外视频多目标跟踪和分类。文献［ 16 16 ］基于SSD对电力设备红外图像异常进行自动检测研究，实现电力巡检设备智能化；文献［ 17 17 ］使用Faster R-CNN和SSD检测电力设备红外图像异常区域并对设备进行识别，以实现智能巡检；文献［ 18 18 ］使用BP神经网络进行温度修正，使用轻量化改进的SSD算法对电力设备红外热成像故障进行识别。 上述国内外研究工作中，图像分类算法主要用于对电气设备进行红外故障诊断；在目标检测算法中，也主要是对电气设备进行故障部位检测和定位，对旋转机械设备进行研究相对较少。此外，在电气设备的红外故障诊断中，一种主要进行电气设备故障类型分类，另一种主要对电气设备各种故障现象和部位直接检测定位或者简单通过部件区域温度进行故障判别。前者需要对红外图像各电气设备区域提前进行划分，后者受环境条件、测温距离、目标发射率等影响较大。在上述提出的红外智能诊断中，均未考虑测温因素对于红外成像及智能诊断的影响，且仅使用图像分类算法或者目标检测算法进行设备分类或者直接检测故障，未能将两类算法有机融合，发挥最大作用。 为此，本文综合两类算法进行旋转机械红外故障诊断研究。首先使用红外热像仪进行红外温度采集；然后使用局部自动伽玛变换对温度矩阵进行红外成像与增强，增强后的图像使用已训练过的目标检测网络自动识别部件类型、自动提取各部件区域，根据识别的部件类型和区域，针对可能存在的不同测温环境、不同发射率等因素对各部件表面温度进行重新换算，换算后再使用全局自动伽玛变换进行红外图像重构；最后将重构后的图像使用已训练过的各部件图像分类网络进行状态分类和故障判别，从而实现旋转机械故障诊断智能化、自动化，更好地应用于机械装备的日常管理与状态监测。 2 理论方法 1 2.1　红外成像算法 2 热像仪厂家的红外成像核心算法属商业机密，并未对外公开，比如FLIR公司使用的是一种数字细节增强技术（Digital Detail Enhancement， DDE）。因此，除非使用热像仪配套软件，否则难以从红外图像得到其温度数据。对于想要同时获取图像灰度与温度信息的研究者来说，直接提取温度信息，然后进行温度灰度转换，这样一张灰度图像就能满足同时研究温度、灰度的需要，特别是能够获取我们最关心的高温区域信息。红外成像算法有许多，由于伽玛变换具有广泛的适应性，能够增强图像，因此本文基于伽玛变换来进行红外成像。 2 . 1 . 1　伽玛变换 3 伽玛变换 ［ 19 19 ］ 又被称为指数变换或者幂次变换，其数学表达式为： <math display="block" id="M1"><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mi>c</mi><msup><mrow><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow><mrow><mi>γ</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772905&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772902&type= 20.48933220 4.82600021 ， 其中： g Gamma 为变换后的灰度值； c 为缩放系数，通常取1； g i，j 为变换前的灰度值； γ 为伽玛系数。 伽玛变换示意图如 图1 图1 所示，可以根据 γ 值大小增强灰度图像的不同区域。当 γ > 1时，图像的高灰度区域范围扩大，对比度增强；当 γ < 1时，图像的低灰度区域范围扩大，对比度增强；当 γ =1时，图像保持不变。 对于红外温度成像，伽玛变换可以直接使用温度值来转换，其数学表达式为： <math display="block" id="M2"><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><msup><mrow><mfenced separators="|"><mrow><mfrac><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>-</mo><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>-</mo><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow></mfrac></mrow></mfenced></mrow><mrow><mi>γ</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772923&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772919&type= 32.59666443 9.90600014 ， 其中： t i，j 为二维温度矩阵中第 i 行、第 j 列的温度值， g Gamma 为相对应的二维灰度值矩阵中的元素， t max 、 t min 分别为二维温度矩阵中的最大、最小温度值。 伽玛变换能平滑地增强红外图像，当低温数据较多，灰度图像整体较暗时，可以使用 γ < 1增强暗区灰度图像对比度；当高温数据较多，灰度图像整体较亮时，可以使用 γ > 1增强亮区灰度图像对比度。 2 . 1 . 2　全局自动伽玛变换 3 相对于直方图均衡化图像增强算法，伽玛变换具有更为平滑的图像增强效果，但是伽玛变换的难点在于合理的选取伽玛系数。为此，本文提出一个公式自动计算伽玛系数，该公式可以根据红外温度数据分布规律自动计算伽玛系数，从而实现红外图像自动成像并增强。其伽玛系数计算公式为： <math display="block" id="M3"><mi>γ</mi><mo>=</mo><mfrac><mrow><mover accent="true"><mi>t</mi><mo>¯</mo></mover></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></mfrac><mo>=</mo><mfrac><mrow><mfrac><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>m</mi><mo>,</mo><mi>n</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mrow></mrow><mrow><mi>M</mi></mrow></mfrac></mrow><mrow><mfrac><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow></msub><mo>+</mo><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">n</mi></mrow></msub></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772928&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772927&type= 32.00400162 22.86000061 ， 其中： t i，j 为红外图像某一点的温度值； m、n 为图像的像素大小（1≤ i ≤ m ，1≤ j ≤ n ）； M 为像素总个数（ M = mn ）； t max 、 t min 分别为所有温度值中的最大、最小值； t mid 为最大、最小温度值的平均值，称之为中间值。 该计算公式可以合理确定伽玛系数，适用于中间值不为零以及伽玛系数不为负的情况，否则先将温度值归一化后再根据上式计算伽玛系数。对于低温度值、低灰度值较多的红外图像，其平均值小于中间值，伽玛系数小于1，图像低灰度值区域得到拓展，对比度得到增强；对于高温度值、高灰度值较多的红外图像，其平均值大于中间值，伽玛系数大于1，图像高灰度值区域得到拓展，对比度得到增强；对于温度、灰度分布均匀的图像，伽玛系数约等于1，图像基本上保持不变。 2 . 1 . 3　局部自动伽玛变换 3 全局自动伽玛变换是从最低到最高温度值直接变换为最低到最高灰度值，此外，也可以将灰度图像中一定比例（如1%）的最高灰度值和最低灰度值分别转换为1和0，将其他灰度值按自动系数进行伽玛变换，即为局部自动伽玛变换，此时的头尾部灰度值分界线对应的温度值即为图像的温标值，其转换公式为： <math display="block" id="M4"><msub><mrow><mi>g</mi></mrow><mrow><mi mathvariant="normal">G</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi></mrow></msub><mo>=</mo><mfenced open="{" close="" separators="|"><mrow><mtable><mtr><mtd><mtable><mtr><mtd><mtable><mtr><mtd><mtable><mtr><mtd><mn mathvariant="normal">0</mn><mo>,</mo></mtd><mtd/></mtr></mtable></mtd><mtd/><mtd/></mtr></mtable></mtd><mtd><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>≤</mo><mi>a</mi></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mtable><mtr><mtd><mtable><mtr><mtd><mtext> </mtext><msup><mrow><mfenced separators="|"><mrow><mfrac><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>-</mo><mi>a</mi></mrow><mrow><mi>b</mi><mo>-</mo><mi>a</mi></mrow></mfrac><mtext> </mtext></mrow></mfenced></mrow><mrow><mi>γ</mi></mrow></msup><mo>,</mo></mtd><mtd><mi>a</mi><mo><</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>b</mi></mtd></mtr></mtable></mtd></mtr><mtr><mtd><mtable><mtr><mtd><mtable><mtr><mtd><mn mathvariant="normal">1</mn><mo>,</mo></mtd><mtd/><mtd/><mtd/></mtr></mtable></mtd><mtd><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub></mtd></mtr></mtable><mo>≥</mo><mi>b</mi></mtd></mtr></mtable></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772936&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772933&type= 54.77933884 21.92866707 ， 其中，伽玛系数为： <math display="block" id="M5"><mi>γ</mi><mo>=</mo><mfrac><mrow><mover accent="true"><mi>t</mi><mo>¯</mo></mover></mrow><mrow><msub><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">i</mi><mi mathvariant="normal">d</mi></mrow></msub></mrow></mfrac><mo>=</mo><mfrac><mrow><mfrac><mrow><mo>∑</mo><mfenced separators="|"><mrow><mtext> </mtext><mi>a</mi><mo><</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>b</mi></mrow></mfenced></mrow><mrow><mi>N</mi><mfenced separators="|"><mrow><mtext> </mtext><mi>a</mi><mo><</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>b</mi></mrow></mfenced></mrow></mfrac></mrow><mrow><mfrac><mrow><mi>a</mi><mo>+</mo><mi>b</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></mfrac></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772942&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772939&type= 42.67200089 20.48933220 ， 其中： <math id="M6"><mo>∑</mo><mrow><mo stretchy="false">(</mo></mrow><mi>a</mi><mo><</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>b</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772949&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772946&type= 23.11400032 4.48733330 代表图像中温度大于 a 小于 b 的所有数据之和， <math id="M7"><mi>N</mi><mfenced separators="|"><mrow><mi>a</mi><mo><</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>b</mi></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772954&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772952&type= 23.62199974 4.82600021 代表图像中温度大于 a 小于 b 的所有数据总个数， a 为所有温度数据中1%的最低温度上限值， b 为所有温度数据中1%的最高温度下限值，其数学含义为： <math display="block" id="M8"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>a</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>a</mi><mo stretchy="false">)</mo></mrow><mrow><mi>M</mi></mrow></mfrac><mo>=</mo><mn mathvariant="normal">1</mn><mi mathvariant="normal">%</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772959&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772958&type= 48.68333054 8.29733276 ， <math display="block" id="M9"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>></mo><mi>b</mi><mo stretchy="false">)</mo><mo>=</mo><mfrac><mrow><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>></mo><mi>b</mi><mo stretchy="false">)</mo></mrow><mrow><mi>M</mi></mrow></mfrac><mo>=</mo><mn mathvariant="normal">1</mn><mi mathvariant="normal">%</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772964&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772962&type= 48.51399994 8.29733276 ， 其中： <math id="M10"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>a</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772968&type= 16.76399994 4.48733330 、 <math id="M11"><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>></mo><mi>b</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772974&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772972&type= 16.76399994 4.48733330 分别代表图像中温度小于 a 的数据个数和大于 b 的数据个数， <math id="M12"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo><</mo><mi>a</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772979&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772977&type= 16.17133331 4.48733330 、 <math id="M13"><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>t</mi></mrow><mrow><mi>i</mi><mo>,</mo><mi>j</mi></mrow></msub><mo>></mo><mi>b</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772983&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=33772980&type= 16.08666801 4.48733330 分别代表图像中温度小于 a 的数据个数和大于 b 的数据个数在图像数据总数中的占比， M 为图像温度数据的总个数。 此外，也可以直接定义 a 、 b 的值，此时 a 、 b 值即为红外图像的温标值。 2.2　Faster R-CNN目标检测算法 2 Faster R-CNN ［ 20 20 ］ 是由Ross Girshick等人提出的更快、更准的目标检测网络，其结构框架如 图2 图2 所示，包含3个关键模块，即Feature Extraction（特征提取网络）、Region Proposal Network（区域建议网络，简称RPN）、Classification and Regression（区域分类与回归）。用一个神经网络将这3个模块结合起来，训练了一个端到端的网络。 图片输入Faster R-CNN网络后，首先由特征提取网络来提取特征图，然后在特征图上的每一个锚点上取多个候选的区域，并根据相应的比例将其映射到原始图像中；接着将这些候选的区域输入到区域建议网络中，RPN对这些区域进行分类，然后根据分类的得分对这些区域进行排序，给出比较准确的建议区域；接着对这些不同大小的建议区域进行RoI pooling（区域池化）操作，输出固定大小的特征图；最后将其输入区域分类与回归网络中，利用卷积进行区域分类，同时进行区域回归，精确调整区域，输出最优目标区域及区域得分，从而实现目标区域检测。 2.3　ResNet50图像分类算法 2 深度学习图像分类算法模型主要有AlexNet、VGG、GoogLeNet、ResNet等，其中ResNet ［ 21 21 ］ 采用残差学习，具有更好的分类准确率，因此采用ResNet50模型进行故障判别。通过Matlab分析ResNet50的网络结构可知：其总共包含177层，如 图3 图3 所示，其中卷积53层，池化2层、全连接1层、激活函数49层、批量归一化53层、加法16层、分类1层、输出1层、输入1层。 图片输入ResNet50网络后，卷积层使用卷积核对其进行卷积运算、提取特征；然后在批量归一化层使用小批量样本的方差和均值，对中间的网络层输出数据进行标准化处理，使各网络层输出数据更加稳定；再经过激活函数训练出适合进行样本分类的各项参数；而池化层的作用在于特征选取和信息过滤；全连接层的作用为信息聚合；分类层主要对目标图像进行分类。图像在经过上述一系列步骤训练后，可以达到一个适合进行目标图像分类的网络权重，从而对未知的图像进行预测分类。 2.4　红外智能故障诊断方法 2 针对红外故障诊断中存在的不智能问题，根据旋转机械各个部件的故障机理、表观温度、测温算法、温度阈值均不相同的现实情况，本文在旋转机械各部件准确检测的基础上，对每个部件区域根据不同的测温因素进行红外图像重构，然后对每个旋转机械部件分别进行状态分类，从而实现红外智能故障诊断与状态监测。 该方法步骤流程如 图4 图4 所示，依次为旋转机械红外温度采集、红外温度成像增强、旋转机械部件识别、部件红外图像重构、智能故障监测诊断。其中，旋转机械红外温度采集依据环境条件，正确设置热像仪的测温距离、环境温度、相对湿度、反射温度、发射率等参数，使用热像仪采集运行中的旋转机械表面温度；红外温度成像增强使用局部自动伽玛变换算法对上一步采集的温度数据进行红外成像，并且增强显示；旋转机械部件识别使用已经过训练的Faster R-CNN目标检测网络对上一步生成的红外图像进行目标检测，输出各个旋转机械部件的类型和图像中的坐标定位；部件红外图像重构根据识别出的部件类型来确定发射率，并通过不同的发射率等因素重新计算该部件表面真实温度，再经过全局自动伽玛变换，对各个部件单独进行红外成像；智能故障监测诊断根据检测出的旋转机械部件类型，以及重构的各个部件红外图像，使用已训练过的图像分类模型ResNet50进行各个部件的状态类别判断，从而实现旋转机械红外智能状态监测与故障诊断。 3 实验分析 1 旋转机械故障模拟实验台如 图5 图5 所示，由三相异步电动机1台、轴承座2个、转盘1个、联轴器2个、负载1台以及实验平台和支架组成。实验中使用的电动机型号为YE2-80M2-4，功率0.75 kW，电压380 V，频率50 Hz，电流1.88 A，转速1 390 r/min；转子系统由两个轴承座、一个转盘组成，两个轴承座型号均为UCPH204，内部轴承型号均为UC204，转盘半径为150 mm，厚度20 mm；联轴器型号为LM-40*50；支架、平台为定制。负载为磁粉制动器，型号为PB-A-1.2，额定扭矩12 N·m，通过KTC800A张力控制器调节扭矩大小。 3.1　实验数据采集与处理 2 转子系统故障预置示意图如 图6 图6 所示。转子系统故障实验预置三种状态：正常、不平衡、不对中。其中，通过在转盘外圈上加螺栓来模拟不平衡故障，如 图6 图6 （b）所示；通过在轴承座下加1.5 mm厚的硬皮垫来模拟不对中故障，如 图6 图6 （d）所示。 在准确设置热像仪参数后，通过FLIR tool+软件连接红外热像仪FLIR T650sc采集三种状态下转子系统的红外视频，每次采集前均将实验台冷却至室温，初始环境条件大致相同。间隔30 s分别从转子系统正常、不平衡、不对中状态的红外视频中提取1份红外温度数据，每种状态120份，共360份数据。 电动机故障实验预置三种状态：正常、过载、短路。其中，电动机定子绕组匝间短路故障通过随机磨损一部分线圈来模拟，如 图7 图7 所示。 正常定子三相绕组线圈电阻均为8.8 Ω，磨损后U相电阻变为7.9 Ω。电动机额定转矩经过计算为5.15 N·m，通过调节磁粉制动器输出扭矩为7 N·m来模拟电动机过载故障。在准确设置热像仪参数后，通过FLIR tool+软件连接红外热像仪FLIR T650sc采集电动机正常、过载、短路状态下的红外视频。每种状态采集完成后，均使电动机冷却至室温后再进行下一次采集。同样，间隔30秒分别从电动机正常、过载、短路状态的红外视频中提取1份红外温度数据，其中正常120份、过载120份，短路72份，共312份数据。 将两类实验采集得到的所有672份数据随机划分为训练集和测试集，比例为75%和25%，用于后续训练、检测、评估。由于随机数据划分具有不确定性，本文共进行了10次数据随机划分。 3.2　Faster RCNN网络训练 2 每次数据随机划分后，将所有数据使用局部自动伽马变换转换为红外灰度图像，人工标记转子系统和电动机区域位置，将训练集输入Faster R-CNN网络进行训练，使用测试集进行检测评估，10次随机划分的目标检测结果如 表1 表1 所示。表中mAP（mean Average Precison）表示目标检测的平均精度，mIoU（mean Intersection over Union）表示目标检测的平均交并比。从表中可以看出，已训练的网络模型可以准确地检测出目标以及目标位置，可以免去手动提取目标的繁琐，实现智能识别。 Random Group mAP mIoU 1 97.80% 83.30% 2 99.35% 82.33% 3 96.93% 81.30% 4 96.08% 78.29% 5 97.37% 80.23% 6 94.83% 80.01% 7 92.22% 80.63% 8 99.65% 80.02% 9 99.51% 84.89% 10 95.78% 80.15% 3.3　Resnet50网络训练 2 每次数据随机划分后，从中分别提取转子系统、电动机区域温度矩阵，使用全局自动伽玛变换将该区域温度矩阵转换为红外灰度图像。根据ResNet50输入层大小，更改所有样本图像尺寸，并转换为三通道均为灰度值的图像。使用ResNet50网络分别对转子系统和电动机三种状态的训练集图像进行训练，使用测试集进行检测评估，其分类准确率如 表2 表2 所示。 Random Group Rotor system Motor 1 100% 98.81% 2 99.40% 98.81% 3 100% 98.81% 4 100% 98.21% 5 99.40% 98.21% 6 100% 98.81% 7 100% 100% 8 100% 98.21% 9 100% 98.21% 10 100% 98.81% 从表中可以看出，ResNet50网络对于电动机和转子系统三种状态红外图像分类具有较好的效果，输出的网络模型可以用于故障判别。 3.4　红外智能故障诊断方法评估 2 上面对红外智能故障诊断方法中两个重要的网络进行了训练和评估，下面对整个智能故障诊断方法进行综合评估。 首先从随机划分的测试样本中取一份数据进行检验，单次红外智能故障诊断情况如 图8 图8 所示。图中输入为热像仪采集的红外温度矩阵，左数第一张图片为其三维网格图；经过局部自动伽玛变换红外成像增强后的灰度图像如第二张图所示，图中可以直观看到旋转机械部件；得益于此，Faster R-CNN网络准确识别定位电动机和转子系统，如第三张图所示，从而为两类部件真实温度换算与红外图像重构打下坚实基础。换算后的重构图像与原图像有细微的差别，主要在于图像各个像素点灰度值大小不同，在图像中难以看出重构前后的差别，但对于部件故障诊断非常重要，最后的诊断结果也与选取的红外温度数据类型相符。 从上述的单份数据检验中可以直观地看到智能诊断方法的处理流程，为更全面地评估该红外智能诊断方法的有效性，使用所有测试集数据进行验证分析，其智能故障诊断准确率如 表3 表3 所示。 Item Motor Rotor system Both 1 97.62% 95.24% 93.45% 2 90.48% 95.83% 86.90% 3 94.05% 97.62% 91.67% 4 95.24% 93.45% 88.69% 5 94.64% 92.86% 88.10% 6 93.45% 95.24% 89.29% 7 97.02% 89.29% 86.90% 8 94.05% 97.02% 91.67% 9 94.64% 98.81% 93.45% 10 95.83% 94.64% 90.48% Mean 94.70% 95.00% 90.06% 由表中可以看出，基于深度学习的旋转机械红外智能故障诊断方法能够准确诊断所研究的部件和状态，智能诊断平均准确率为90.06%。 4 结 论 1 本文针对旋转机械红外故障诊断开展了研究，将红外成像、图像增强、目标检测、图像重构、故障判别等技术融合在一起，提出了一套基于深度学习的旋转机械红外智能故障监测诊断方法，实现了从红外温度采集到红外智能故障诊断的技术方法和路线，并且通过故障实验、网络训练、分析测试，对提出的方法和流程进行了检验。结果表明，该方法能够在红外温度成像并增强后直观、准确地识别旋转机械部件类型和位置，并在部件识别的基础上再进行自动故障判别，智能故障诊断准确率为90.06%。该方法和流程经过部件类型和故障种类的扩展后，对于旋转机械故障诊断乃至机械故障诊断具有一定的参考和应用价值。 参考文献 张承亮 . 旋转机械故障诊断方法概述 ［J］. 科技情报开发与经济 ， 2008 （ 26 ）： 191 - 193 . doi: 10.3969/j.issn.1005-6033.2008.26.105 http://dx.doi.org/10.3969/j.issn.1005-6033.2008.26.105 旋转机械故障诊断方法概述 ZHANG C L . Summarization on the fault diagnosis of rotating machinery ［J］. Sci-Tech Information Development ＆ Economy ， 2008 （ 26 ）： 191 - 193 . （in Chinese） . doi: 10.3969/j.issn.1005-6033.2008.26.105 http://dx.doi.org/10.3969/j.issn.1005-6033.2008.26.105 Summarization on the fault diagnosis of rotating machinery 程玉兰 . 红外诊断技术与应用（一） ［J］. 设备管理与维修 ， 2003 （ 9 ）： 41 - 43 . doi: 10.3969/j.issn.1001-0599.2003.09.035 http://dx.doi.org/10.3969/j.issn.1001-0599.2003.09.035 红外诊断技术与应用（一） CHENG Y L . Lectures： infared diagnosis technique and application（1） ［J］. Plant Maintenance Engineering ， 2003 （ 9 ）： 41 - 43 . （in Chinese） . doi: 10.3969/j.issn.1001-0599.2003.09.035 http://dx.doi.org/10.3969/j.issn.1001-0599.2003.09.035 Lectures： infared diagnosis technique and application（1） 周可慧 . 基于改进AlexNet模型的关键变电设备红外图像智能分析 ［D］. 广州 ： 华南理工大学 ， 2020 . 基于改进AlexNet模型的关键变电设备红外图像智能分析 ZHOU K H . Intelligent Analysis of Infrared Images of Key Substation Equipment Based on Improved AlexNet Model ［D］. Guangzhou ： South China University of Technology ， 2020 . （in Chinese） Intelligent Analysis of Infrared Images of Key Substation Equipment Based on Improved AlexNet Model 李军锋 . 基于深度学习的电力设备图像识别及应用研究 ［D］. 广州 ： 广东工业大学 ， 2018 . 基于深度学习的电力设备图像识别及应用研究 LI J F . Research on Electric Equipment Image Recognition and its Application based on Deep Learning ［D］. Guangzhou ： Guangdong University of Technology ， 2018 . （in Chinese） Research on Electric Equipment Image Recognition and its Application based on Deep Learning 尹思宇 . 深度学习在变电站电力设备缺陷检测中的应用研究 ［D］. 成都 ： 电子科技大学 ， 2020 . 深度学习在变电站电力设备缺陷检测中的应用研究 YIN S Y . A Research on Application of Deep Learning in Defect Detection of Power Equipment in Substations ［D］. Chengdu ： University of Electronic Science and Technology of China ， 2020 . （in Chinese） A Research on Application of Deep Learning in Defect Detection of Power Equipment in Substations 杨浩 . 基于深度学习的电气设备红外图像检索系统的研究与实现 ［D］. 南昌 ： 华东交通大学 ， 2020 . 基于深度学习的电气设备红外图像检索系统的研究与实现 YANG H . Research and Implementation of Infrared Image Retrieval System for Electrical Equipment Based on Deep Learning ［D］. Nanchang ： East China Jiaotong University ， 2020 . （in Chinese） Research and Implementation of Infrared Image Retrieval System for Electrical Equipment Based on Deep Learning NASIRI A ， TAHERI-GARAVAND A ， OMID M ， et al . Intelligent fault diagnosis of cooling radiator based on deep learning analysis of infrared thermal images ［J］. Applied Thermal Engineering ， 2019 ， 163 ： 114410 . doi: 10.1016/j.applthermaleng.2019.114410 http://dx.doi.org/10.1016/j.applthermaleng.2019.114410 Intelligent fault diagnosis of cooling radiator based on deep learning analysis of infrared thermal images WEI C ， TAO F B ， LIN Y D ， et al . Substation equipment thermal fault diagnosis model based on ResNet and improved Bayesian optimization ［C］. 2019 9th International Conference on Power and Energy Systems （ICPES）. Perth ， WA ， Australia . IEEE ， 2019 ： 1 - 5 . doi: 10.1109/icpes47639.2019.9105594 http://dx.doi.org/10.1109/icpes47639.2019.9105594 Substation equipment thermal fault diagnosis model based on ResNet and improved Bayesian optimization 李文璞 ， 谢可 ， 廖逍 ， 等 . 基于Faster RCNN变电设备红外图像缺陷识别方法 ［J］. 南方电网技术 ， 2019 ， 13 （ 12 ）： 79 - 84 . 基于Faster RCNN变电设备红外图像缺陷识别方法 LI W P ， XIE K ， LIAO X ， et al . Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN ［J］. Southern Power System Technology ， 2019 ， 13 （ 12 ）： 79 - 84 . （in Chinese） Intelligent diagnosis method of infrared image for transformer equipment based on improved faster RCNN 郭梦浩 ， 徐红伟 . 基于Faster RCNN的红外热图像热斑缺陷检测研究 ［J］. 计算机系统应用 ， 2019 ， 28 （ 11 ）： 265 - 270 . 基于Faster RCNN的红外热图像热斑缺陷检测研究 GUO M H ， XU H W . Hot spot defect detection based on infrared thermal image and faster RCNN ［J］. Computer Systems ＆ Applications ， 2019 ， 28 （ 11 ）： 265 - 270 . （in Chinese） Hot spot defect detection based on infrared thermal image and faster RCNN 刘子全 ， 付慧 ， 李玉杰 ， 等 . 基于Mask-RCNN迁移学习的红外图像电力设备检测 ［J］. 数据采集与处理 ， 2021 ， 36 （ 1 ）： 176 - 183 . 基于Mask-RCNN迁移学习的红外图像电力设备检测 LIU Z Q ， FU H ， LI Y J ， et al . Electrical equipment detection in infrared images based on transfer learning of mask-RCNN ［J］. Journal of Data Acquisition and Processing ， 2021 ， 36 （ 1 ）： 176 - 183 . （in Chinese） Electrical equipment detection in infrared images based on transfer learning of mask-RCNN 周仿荣 ， 马仪 ， 马御棠 ， 等 . 基于电力设备红外图像的故障点快速识别算法 ［J］. 电力设备管理 ， 2019 ， （ 10 ）： 193 - 195 . 基于电力设备红外图像的故障点快速识别算法 ZHOU F R ， MA Y ， MA Y T ， et al . Algorithm of quick detection of fault locations based on electrical power equipment's infrared imagery ［J］. Electric Power Equipment Management ， 2019 （ 10 ）： 193 - 195 . （in Chinese） Algorithm of quick detection of fault locations based on electrical power equipment's infrared imagery 王永平 ， 张红民 ， 彭闯 ， 等 . 基于YOLO v3的高压开关设备异常发热点目标检测方法 ［J］. 红外技术 ， 2020 ， 42 （ 10 ）： 983 - 987 . doi: 10.3724/sp.j.7103116038 http://dx.doi.org/10.3724/sp.j.7103116038 基于YOLO v3的高压开关设备异常发热点目标检测方法 WANG Y P ， ZHANG H M ， PENG C ， et al . The target detection method for abnormal heating point of high-voltage switchgear based on YOLO v3 ［J］. Infrared Technology ， 2020 ， 42 （ 10 ）： 983 - 987 . （in Chinese） . doi: 10.3724/sp.j.7103116038 http://dx.doi.org/10.3724/sp.j.7103116038 The target detection method for abnormal heating point of high-voltage switchgear based on YOLO v3 KIM J S ， CHOI K N ， KANG S W . Infrared thermal image-based sustainable fault detection for electrical facilities ［J］. Sustainability ， 2021 ， 13 （ 2 ）： 557 . doi: 10.3390/su13020557 http://dx.doi.org/10.3390/su13020557 Infrared thermal image-based sustainable fault detection for electrical facilities KWAN C ， CHOU B ， YANG J ， et al . Deep learning based target tracking and classification for infrared videos using compressive measurements ［J］. Journal of Signal and Information Processing ， 2019 ， 10 （ 4 ）： 167 - 199 . doi: 10.4236/jsip.2019.104010 http://dx.doi.org/10.4236/jsip.2019.104010 Deep learning based target tracking and classification for infrared videos using compressive measurements 王旭红 ， 李浩 ， 樊绍胜 ， 等 . 基于改进SSD的电力设备红外图像异常自动检测方法 ［J］. 电工技术学报 ， 2020 ， 35 （ S1 ）： 302 - 310 . 基于改进SSD的电力设备红外图像异常自动检测方法 WANG X H ， LI H ， FAN S S ， et al . Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection ［J］. Transactions of China Electrotechnical Society ， 2020 ， 35 （ S1 ）： 302 - 310 . （in Chinese） Infrared image anomaly automatic detection method for power equipment based on improved single shot multi box detection 李浩 . 基于计算机视觉的电力设备红外检测研究 ［D］. 长沙 ： 长沙理工大学 ， 2019 . 基于计算机视觉的电力设备红外检测研究 LI H . Research on Infrared Detection of Power Equipment based on Computer Vision ［D］. Changsha ： Changsha University of Science & Technology ， 2019 . （in Chinese） Research on Infrared Detection of Power Equipment based on Computer Vision 王彦博 ， 陈培峰 ， 徐亮 ， 等 . 基于嵌入式深度学习的电力设备红外热成像故障识别 ［J］. 计算机系统应用 ， 2020 ， 29 （ 6 ）： 97 - 103 . 基于嵌入式深度学习的电力设备红外热成像故障识别 WANG Y B ， CHEN P F ， XU L ， et al . Fault recognition of power equipment in infrared thermal images based on deep learning with embedded devices ［J］. Computer Systems ＆ Applications ， 2020 ， 29 （ 6 ）： 97 - 103 . （in Chinese） Fault recognition of power equipment in infrared thermal images based on deep learning with embedded devices EKSTROM M . Digital image processing ［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing ， 1980 ， 28 （ 4 ）： 484 - 486 . doi: 10.1109/tassp.1980.1163437 http://dx.doi.org/10.1109/tassp.1980.1163437 Digital image processing REN S Q ， HE K M ， GIRSHICK R ， et al . Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2017 ， 39 （ 6 ）： 1137 - 1149 . doi: 10.1109/tpami.2016.2577031 http://dx.doi.org/10.1109/tpami.2016.2577031 Faster R-CNN： towards real-time object detection with region proposal networks HE K M ， ZHANG X Y ， REN S Q ， et al . Deep residual learning for image recognition ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . Las Vegas， NV， USA . IEEE ， 2016 ： 770 - 778 . doi: 10.1109/cvpr.2016.90 http://dx.doi.org/10.1109/cvpr.2016.90 Deep residual learning for image recognition 10.37188/OPE.20223016.1905 TK38 1004-924X（2022）16-1905-10 王洋,杨立.旋转机械红外智能状态监测与故障诊断[J].光学精密工程,2022,30(16):1905-1914. 王洋,杨立.旋转机械红外智能状态监测与故障诊断[J].光学精密工程,2022,30(16):1905-1914. WANG Yang,YANG Li.Infrared intelligent condition monitoring and fault diagnosis of rotating machinery[J].Optics and Precision Engineering,2022,30(16):1905-1914. WANG Yang,YANG Li.Infrared intelligent condition monitoring and fault diagnosis of rotating machinery[J].Optics and Precision Engineering,2022,30(16):1905-1914. 国家自然科学基金项目（No.51479203） 2021-06-10 2021-07-29 2022-08-25 2022-09-01 光学精密工程 16 30