基于改进双流时空网络的人体行为识别

基于改进双流时空网络的人体行为识别 Human action recognition based on improved two-stream spatiotemporal network corresp first-author E-mail： carole_zhang0716@163.com E-mail： carole_zhang0716@163.com 张红颖（1978-），女，天津人，博士，教授，分别于2001年、2004年、2007年在天津大学获得学士、硕士、博士学位，主要从事图像工程与计算机视觉方面的研究。E-mail： carole_zhang0716@163.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470619&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470656&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470633&type= 22.01333427 32.00399780 张红颖（1978-），女，天津人，博士，教授，分别于2001年、2004年、2007年在天津大学获得学士、硕士、博士学位，主要从事图像工程与计算机视觉方面的研究。E-mail： carole_zhang0716@163.com carole_zhang0716@163.com 安　征（1995-），男，河北唐山人，硕士研究生，2018年于河北科技大学获得学士学位，主要从事计算机视觉、人体行为识别方面的研究。E-mail： 2018021038@cauc.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470682&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470722&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470701&type= 22.01333618 32.00401306 安　征（1995-），男，河北唐山人，硕士研究生，2018年于河北科技大学获得学士学位，主要从事计算机视觉、人体行为识别方面的研究。E-mail： 2018021038@cauc.edu.cn 2018021038@cauc.edu.cn 中国民航大学 电子信息与自动化学院，天津 300300 中国民航大学 电子信息与自动化学院，天津 300300 College of Electronic Information and Automation， Civil Aviation University of China， Tianjin 300300， China College of Electronic Information and Automation， Civil Aviation University of China， Tianjin 300300， China 针对传统双流网络无法捕捉视频序列中的时序关系从而导致对时序依赖较大的行为识别效果不理想的问题，提出一种基于改进双流时空网络的人体行为识别算法。首先利用时间移位思想，使卷积神经网络对视频中的时序关系建模，从而高效地捕捉视频中的时空信息；同时使用注意力机制改善由于通道信息在时间轴上移动导致的空间特征学习能力下降的问题；在此基础上构建了一个包含时空表观信息流和时空运动信息流的双流网络结构；最后，采用加权平均的方式融合双流网络，得到最终的识别结果。在UCF101和HMDB51数据集上分别进行了实验，识别准确率为96.3%和77.7%，实验结果表明，与传统双流网络方法相比，识别准确率得到了一定的提升，验证了本文算法能够有效捕捉视频中的时序关系，增强网络的特征表达能力，提高对时序依赖较大的行为和近似行为的辨识能力。 Traditional two-stream networks cannot capture the temporal relationship in video sequences， which leads to poor performance of temporal-dependent action recognition. To solve this problem， a human action recognition method based on an improved two-stream spatiotemporal network is proposed. First， a convolutional neural network is used to model the temporal relationship by using the temporal shift idea to efficiently capture the spatiotemporal information in the video. Further， an attention mechanism is used to improve the downward learning ability of spatial features caused by the movement of channel information in the temporal dimension. On this basis， a two-stream network is designed that includes spatiotemporal apparent information flow and spatiotemporal motion information flow. Finally， the weighted average method is used to fuse the two streams to obtain the final result. Experiments on UCF101 and HMDB51 datasets exhibited accuracies of 96.3% and 77.7%， respectively. The results demonstrate improved accuracy compared with that of the traditional two-stream network method， which verifies that the proposed algorithm can effectively capture the temporal relationship， enhance the ability of network feature expression， and improve the accuracy of temporal-dependent action and similar actions. 计算机视觉 行为识别 双流网络 时间移位 注意力机制 computer vision action recognition two-stream convolution networks temporal shift attention mechanism 1 引　言 1 人体行为识别作为视频理解的关键部分，一直以来都是计算机视觉领域的研究热点，在视频监控、虚拟现实、智能人机界面和社交视频推荐等领域有很高的应用价值 ［ 1 1 - 3 3 1-3 ］ ，由于现实场景中存在着复杂背景、对象的外观差异和不同类别行为的相似性等问题，使行为识别仍然是一个具有挑战性的课题 ［ 4 4 ］ 。 视频行为识别主要可以分为基于手工设计特征的方法 ［ 5 5 ］ 和基于深度学习的方法 ［ 6 6 ］ ，而后者展现出了更好的性能，其中双流卷积网络 ［ 7 7 - 9 9 7-9 ］ 的方法能够有效地在视频中提取表观信息和运动信息，在行为识别任务中取得了较好的识别效果，但是仍存在难以有效利用视频中的时空信息的问题。为此，研究学者们提出了多种改进方法，在网络输入方面，Bilen等 ［ 10 10 ］ 在保留次序信息的条件下将视频序列压缩为动态图，将其作为深度网络的输入，从而提取视频中的时序信息，但是动态图的生成带来了复杂的计算过程；在网络结构方面，Feichtenhofer等 ［ 11 11 ］ 等使用残差网络构建双流网络模型，并提出在两个卷积流之间加入短连接，以增强双流网络间的信息交互；在网络融合方面，文献［ 12 12 ］在隐藏层中间对两个网络融合，使网络学习时间域特征和空间域特征的像素间关系，并提出了多种融合方式。虽然以上三个方面的改进能够使双流网络更好的利用视频中的时空间信息，提高了行为识别准确率，但是仍存在着无法捕捉视频序列中时序关系的问题。此外，基于三维卷积神经网络的方法 ［ 13 13 ］ 在人体行为识别中也有不俗的表现，但参数和计算量会大大增加。因此，Lin等 ［ 14 14 ］ 提出了一种时间移位思想（Temporal Shift Module， TSM），使用二维卷积神经网络提取视频中的时序信息，但降低了网络的空间特征学习能力。 综合上述分析，本文提出了一种基于改进双流时空网络的人体行为识别算法。受时间移位思想的启发，构建了一个包含时空表观信息流和时空运动信息流的双流网络结构，提取包含时序关系信息的行为表观特征和运动特征，从而提高对时序依赖较大行为识别的辨识能力。然而由于时间移位模块的加入使网络的空间特征学习能力下降，为解决此问题，将卷积注意力机制 ［ 15 15 ］ 加入到卷积神经网络，通过在通道和空间上将学习到的注意力特征图与网络中生成的特征图进行加权，加大对局部细节信息的关注，从而提高网络的特征学习和表达能力，最后对两个流的输出类别得分进行加权平均融合，得到最终的识别结果。 2 本文算法 1 2.1　整体架构 2 本文提出的基于改进双流时空网络（Improved Two-stream Spatiotemporal Convolutional Neural Network， ITS-CNN）的人体行为识别算法的整体结构如 图1 图1 所示，分为视频分段随机采样、改进双流时空网络和双流融合三部分。首先对输入视频进行分段随机采样，然后将采样得到的RGB视频帧和一组光流图像（ x 方向和 y 方向）送入改进双流时空网络，得到视频在时空表观信息流（Spatiotemporal Apparent Information Flow， SAI-flow）和时空运动信息流（Spatiotemporal Motion Information Flow， SMI-flow）上的初始类别得分，最后采用加权平均的方式对初始类别得分进行融合，经过Softmax得到最终的识别结果。 2.2　视频分段随机采样与网络融合 2 现有双流网络的方法在短时行为的识别中取得了较好的效果，但是由于只能从单张RGB视频帧（空间流）和堆叠光流图像（时间流）中学习表观特征和运动特征，因此在对时间跨度较长的行为识别过程中会丢失部分重要信息，导致学习到的特征不能准确的代表整个行为，从而对长时行为难以准确识别。为此采用视频分段随机采样策略，实现对整段行为视频的有效学习，同时稀疏采样的方式减少了视频中的冗余信息。具体地，将输入视频分成时间长度相等的 <math id="M1"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470801&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470782&type= 2.79399991 2.79399991 段 <math id="M2"><mo stretchy="false">{</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>S</mi></mrow><mrow><mi>K</mi></mrow></msub><mo stretchy="false">}</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470828&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470812&type= 23.19866753 4.48733330 ，然后对片段序列按如下方式进行建模： <math display="block" id="M3"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>H</mi></mrow><mrow><mi>α</mi></mrow></msub><mo>=</mo><mi>g</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>α</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>α</mi><mn mathvariant="normal">2</mn></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>P</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>α</mi><mi>k</mi></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>α</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470857&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470840&type= 61.72200012 9.99066734 ， <math display="block" id="M4"><mtable columnalign="left"><mtr><mtd><msub><mrow><mi>H</mi></mrow><mrow><mi>β</mi></mrow></msub><mo>=</mo><mi>g</mi><mo stretchy="false">(</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>β</mi><mn mathvariant="normal">1</mn></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><msub><mrow><mi>P</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>β</mi><mn mathvariant="normal">2</mn></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">)</mo><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>P</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>β</mi><mi>k</mi></mrow></msub><mo>;</mo><msub><mrow><mi>W</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470876&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470869&type= 61.72200012 9.99066734 ， <math display="block" id="M5"><mi>I</mi><mi>T</mi><mi>S</mi><mo>-</mo><mi>C</mi><mi>N</mi><mi>N</mi><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>k</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mo stretchy="false">(</mo><mi>δ</mi><mo stretchy="false">(</mo><mi>λ</mi><msub><mrow><mi>H</mi></mrow><mrow><mi>α</mi></mrow></msub><mo>+</mo><mi>μ</mi><msub><mrow><mi>H</mi></mrow><mrow><mi>β</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470899&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470886&type= 79.67133331 4.65666676 ， 其中：使用下标 <math id="M6"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470933&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470912&type= 1.94733334 2.79399991 和 <math id="M7"><mi>β</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470969&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470943&type= 1.94733334 3.81000018 区分时空表观信息流和时空运动信息流。 <math id="M8"><msub><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470991&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470979&type= 3.38666677 3.72533321 表示从对应的视频片段 <math id="M9"><msub><mrow><mi>S</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><mi>i</mi><mo>=</mo><mn mathvariant="normal">1,2</mn><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><mi>K</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471018&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7470999&type= 28.36333275 4.48733330 中随机采样得到的片段序列， <math id="M10"><msub><mrow><mi>T</mi></mrow><mrow><mi>α</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471042&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471028&type= 4.31799984 3.72533321 为视频帧， <math id="M11"><msub><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>β</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471084&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471066&type= 4.91066647 3.72533321 为光流图像； <math id="M12"><msub><mrow><mi>P</mi></mrow><mrow><mi>α</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471124&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471105&type= 3.64066648 3.72533321 和 <math id="M13"><msub><mrow><mi>P</mi></mrow><mrow><mi>β</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471159&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471145&type= 3.64066648 3.72533321 为计算 <math id="M14"><msub><mrow><mi>T</mi></mrow><mrow><mi mathvariant="normal">α</mi><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471181&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471172&type= 4.23333359 3.72533321 和 <math id="M15"><msub><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>β</mi></mrow></msub></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471218&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471192&type= 4.91066647 3.72533321 属于每个类别得分的函数， <math id="M16"><msub><mrow><mi>W</mi></mrow><mrow><mi>α</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471248&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471234&type= 4.99533367 3.72533321 和 <math id="M17"><msub><mrow><mi>W</mi></mrow><mrow><mi>β</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471271&type= 4.99533367 3.72533321 为时空表观信息流和时空运动信息流的网络参数； <math id="M18"><mi>g</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471331&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471310&type= 1.94733334 3.64066648 是一个融合函数，对所有 <math id="M19"><msub><mrow><mi>T</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471365&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471346&type= 3.38666677 3.72533321 属于同一类别的得分取平均值； <math id="M20"><msub><mrow><mi>H</mi></mrow><mrow><mi>α</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471395&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471382&type= 4.14866638 3.72533321 和 <math id="M21"><msub><mrow><mi>H</mi></mrow><mrow><mi>β</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471441&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471423&type= 4.14866638 3.72533321 分别为时空表观信息流和时空运动信息流的类别得分； <math id="M22"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471479&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471458&type= 1.77800000 2.79399991 和 <math id="M23"><mi>μ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471510&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471496&type= 1.94733334 3.64066648 为双流融合比例系数； <math id="M24"><mi>δ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471546&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471523&type= 1.94733334 2.79399991 为Softmax函数，用于预测整段视频属于每个行为类别的概率，将概率最高的类别判断为该视频的所属行为。 此外， <math id="M25"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471572&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471561&type= 2.79399991 2.79399991 段（文中将 <math id="M26"><mi>K</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471596&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471581&type= 2.79399991 2.79399991 取为3）之间的网络参数共享，结合标准交叉熵损失，最终的损失函数为： <math display="block" id="M27"><mi>L</mi><mo stretchy="false">(</mo><mi>y</mi><mo>,</mo><mi>H</mi><mo stretchy="false">)</mo><mo>=</mo><mo>-</mo><mover><mrow><munder><mrow><mi mathvariant="normal">Σ</mi></mrow><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder></mrow><mrow><mi>C</mi></mrow></mover><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>-</mo><mi mathvariant="normal">l</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">g</mi><mover><mrow><munder><mrow><mi mathvariant="normal">Σ</mi></mrow><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow></munder></mrow><mrow><mi>C</mi></mrow></mover><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mo stretchy="false">(</mo><msub><mrow><mi>H</mi></mrow><mrow><mi>j</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471630&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471621&type= 65.53199768 7.11199999 ， 其中： <math id="M28"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471658&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471640&type= 2.62466669 2.79399991 为行为类别个数， <math id="M29"><mi>H</mi><mo>=</mo><mi>g</mi><mo stretchy="false">(</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>;</mo><mi>W</mi><mo stretchy="false">)</mo><mo>,</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>;</mo><mi>W</mi><mo stretchy="false">)</mo><mo>,</mo><mo>⋅</mo><mo>⋅</mo><mo>⋅</mo><mo>,</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>T</mi></mrow><mrow><mi>k</mi></mrow></msub><mo>;</mo><mi>W</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471705&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471682&type= 72.64399719 4.65666676 ， <math id="M30"><msub><mrow><mi>y</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471733&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471713&type= 2.62466669 4.57200003 为第 <math id="M31"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471756&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471742&type= 1.10066664 2.79399991 类行为的真实标签， <math id="M32"><msub><mrow><mi>H</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471800&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471770&type= 3.72533321 3.72533321 为第 <math id="M33"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471831&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471819&type= 1.10066664 2.79399991 类行为的分类得分。文中改进双流网络的学习是一个非端到端的过程，即分别对两个网络进行训练及测试，再对两个网络进行融合。 结合标准反向传播算法，利用多个片段来联合优化网络参数 <math id="M34"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471863&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471846&type= 3.81000018 2.87866688 ，在反向传播过程中，网络参数 <math id="M35"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471889&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471879&type= 3.81000018 2.87866688 相对于损失值 <math id="M36"><mi>L</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471921&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471908&type= 2.45533323 2.79399991 的梯度可以表示为： <math display="block" id="M37"><mfrac><mrow><mo>∂</mo><mi>L</mi><mfenced separators="|"><mrow><mi>y</mi><mo>,</mo><mi>H</mi></mrow></mfenced></mrow><mrow><mo>∂</mo><mi>W</mi></mrow></mfrac><mo>=</mo><mfrac><mrow><mo>∂</mo><mi>L</mi></mrow><mrow><mo>∂</mo><mi>H</mi></mrow></mfrac><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>k</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>K</mi></mrow></munderover></mstyle><mrow><mfrac><mrow><mo>∂</mo><mi>g</mi></mrow><mrow><mo>∂</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow></mfrac><mfrac><mrow><mo>∂</mo><mi>P</mi><mfenced separators="|"><mrow><msub><mrow><mi>T</mi></mrow><mrow><mi>k</mi></mrow></msub></mrow></mfenced></mrow><mrow><mo>∂</mo><mi>W</mi></mrow></mfrac></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471944&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471933&type= 55.88000107 10.83733368 . 2.3　改进双流时空网络 2 2 . 3 . 1　时间移位模块 3 视频流的飞速增长给视频理解带来了巨大挑战，处理海量的视频就要求以较低计算成本实现较高的精度。目前三维卷积在提取时空特征时具有良好的性能，但是由于计算密集，使得其部署成本昂贵。为此，Lin提出了一种具有高效率和高性能的时间移位模块（Temporal Shift Module， TSM） ［ 14 14 ］ ，它能够以二维卷积的复杂性实现类似于三维卷积的性能。 时间移位模块将卷积过程解耦为两个步骤：分别为数据移动（shift）和乘累加（multiply-accurate）。其中卷积运算操作 <math id="M38"><mi mathvariant="bold-italic">Y</mi><mo>=</mo><mi mathvariant="normal">C</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">n</mi><mi mathvariant="normal">v</mi><mo stretchy="false">(</mo><mi>W</mi><mo>,</mo><mi mathvariant="bold-italic">X</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471970&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471957&type= 27.85533333 3.55599999 可以表示为： <math id="M39"><mi mathvariant="bold-italic">Y</mi><mo>=</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="normal">i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>+</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="normal">i</mi></mrow></msub><mo>+</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi mathvariant="normal">i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471995&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7471980&type= 47.32866669 3.81000018 ，卷积权重 <math id="M40"><mi>W</mi><mo>=</mo><mo stretchy="false">(</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472014&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472008&type= 26.24666595 4.48733330 ，输入 <math id="M41"><mi mathvariant="bold-italic">X</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472030&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472024&type= 2.70933342 2.79399991 是一个不定长度的一维向量。如 图2 图2 所示，在时间维度上对部分通道进行-1，0，+1的数据移动，使来自相邻帧的信息在移动后与当前帧的信息混合，从而实现对视频的时序建模，在形式上可以表示为 <math id="M42"><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi></mrow><mrow><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msubsup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472046&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472036&type= 53.25532913 4.40266657 ；再分别乘以权重 <math id="M43"><mo stretchy="false">(</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>,</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><mo>,</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472081&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472066&type= 17.52599907 4.48733330 ，得到 <math id="M44"><mi mathvariant="bold-italic">Y</mi><mo>=</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msup><mo>+</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">2</mn></mrow></msub><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msup><mo>+</mo><msub><mrow><mi>ω</mi></mrow><mrow><mn mathvariant="normal">3</mn></mrow></msub><msup><mrow><mi mathvariant="bold-italic">X</mi></mrow><mrow><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472095&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472088&type= 46.65133286 4.06400013 。第一步shift可以在没有任何乘法的情况下进行，但是第二步乘累加的计算成本较高，为了不添加额外参数和计算成本，TSM将multiply-accurate合并到卷积神经网络中，因此不会添加额外的计算量。 一个视频模型中的特征映射可以表示为： <math id="M45"><mi mathvariant="bold-italic">A</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>N</mi><mo>×</mo><mi>C</mi><mo>×</mo><mi>T</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472156&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472143&type= 27.60133362 3.38666677 ，其中 <math id="M46"><mi>N</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472191&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472173&type= 2.87866688 2.87866688 为批量大小， <math id="M47"><mi>C</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472233&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472209&type= 2.62466669 2.79399991 为通道数， <math id="M48"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472261&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472246&type= 2.53999996 2.79399991 是时间维度， <math id="M49"><mi>H</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472271&type= 2.96333337 2.79399991 和 <math id="M50"><mi>W</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472315&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472297&type= 3.81000018 2.87866688 为空间分辨率。二维卷积在时间维度 <math id="M51"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472333&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472323&type= 2.53999996 2.79399991 上单独工作，各通道的信息独立存在，因此不具有时序建模能力。为此，本文引入TSM ［ 14 14 ］ 模块，通过沿着时间维度 <math id="M52"><mi>T</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472351&type= 2.53999996 2.79399991 向前和向后移动部分通道，使来自相邻片段序列的图像 （在时空表观信息流中为RGB视频帧，在时空运动信息流中为光流图像）的通道信息混合，实现对视频时序关系的建模，从而提取包含时序信息的行为表观特征和运动特征。 2 . 3 . 2　卷积注意力模块 3 为了解决时间移位带来的空间特征学习能力下降的问题，本文引入卷积注意力模块（Convolutional Block Attention Module， CBAM） ［ 15 15 ］ ，通过在通道和 空间维度应用通道注意力和空间注意力使网络学习到视频图像中关键的局部细节信息，从而增强网络的特征学习与表达能力。 CBAM的结构如 图3 图3 所示，给定一个中间特征映射 <math id="M53"><mi mathvariant="bold-italic">F</mi><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472365&type= 19.55799866 3.38666677 作为输入，依次输入一维通道注意力映射 <math id="M54"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472417&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472403&type= 19.72733307 4.23333359 和二维空间注意力映射 <math id="M55"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472440&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472427&type= 20.99733353 4.23333359 ，总体注意力的计算过程可以概括为： <math display="block" id="M56"><mtable columnalign="left"><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mfenced separators="|"><mrow><mi mathvariant="bold-italic">F</mi></mrow></mfenced><mo>⊗</mo><mi mathvariant="bold-italic">F</mi><mo>,</mo></mtd></mtr><mtr><mtd><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mo>″</mo></mrow></msup><mo>=</mo><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mfenced separators="|"><mrow><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup></mrow></mfenced><mo>⊗</mo><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi>'</mi></mrow></msup><mo>,</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472458&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472448&type= 30.56466866 9.90599918 其中： <math id="M57"><mo>⊗</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472476&type= 3.72533321 3.55599999 表示元素乘法，在乘法期间，注意力值相应地被广播，通道注意值沿着空间维度广播，空间注意值沿着通道维度广播， <math id="M58"><msup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mo>″</mo></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472499&type= 3.72533321 3.04799986 是最终的精确输出。 通道注意力模块使用全局最大和平均池化，聚合特征映射的空间信息，以生成两个不同的空间上下文描述： <math id="M59"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472563&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472557&type= 5.58799982 3.97933340 和 <math id="M60"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472572&type= 6.18066692 3.97933340 ；然后使用由多层感知器（Multi-Layer Perceptron， MLP）组成的共享网络对这两个不同的空间上下文描述进行计算得到通道注意力特征映射 <math id="M61"><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>×</mo><mn mathvariant="normal">1</mn><mo>×</mo><mn mathvariant="normal">1</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472598&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472589&type= 19.72733307 4.23333359 ，具体计算过程如 式（7） 式（7） 所示. <math display="block" id="M62"><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><mi>M</mi><mi>L</mi><mi>P</mi><mo stretchy="false">(</mo><mi>A</mi><mi>v</mi><mi>g</mi><mi>P</mi><mi>o</mi><mi>o</mi><mi>l</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><mi>M</mi><mi>L</mi><mi>P</mi><mo stretchy="false">(</mo><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>+</mo></mtd></mtr><mtr><mtd><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo stretchy="false">(</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi mathvariant="normal">c</mi></mrow></msubsup><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472613&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472603&type= 68.41066742 15.40933418 ， 其中： <math id="M63"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472633&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472623&type= 1.69333339 2.79399991 表示Sigmoid函数， <math id="M64"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>/</mo><mi mathvariant="normal">r</mi><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472650&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472642&type= 18.71133423 4.23333359 ， <math id="M65"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mi>C</mi><mo>/</mo><mi mathvariant="normal">r</mi><mo>×</mo><mi>C</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472662&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472657&type= 18.71133423 4.23333359 ， <math id="M66"><mi>r</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472684&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472670&type= 1.52399993 2.79399991 为约简比；MLP的权值 <math id="M67"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472707&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472695&type= 4.99533367 3.72533321 和 <math id="M68"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472725&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472715&type= 4.99533367 3.72533321 对于两个输入都是共享的，并且在 <math id="M69"><msub><mrow><mi>W</mi></mrow><mrow><mn mathvariant="normal">0</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472749&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472742&type= 4.99533367 3.72533321 后面接ReLU激活函数。 空间注意力模块将通道注意力模块输出的特征映射作为此模块的输入，在通道维度使用全局最大和平均池化，得到两个不同的特征描述： <math id="M70"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472758&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472753&type= 22.09799957 4.23333359 和 <math id="M71"><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi>S</mi></mrow></msubsup><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472779&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472772&type= 22.69066620 4.23333359 ，然后通过级联的方式将两个特征描述符合并，并使用卷积操作生成空间注意力特征映射 <math id="M72"><msub><mrow><mi>M</mi></mrow><mrow><mi mathvariant="normal">S</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo>∈</mo><msup><mrow><mi mathvariant="bold-italic">R</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>×</mo><mi>H</mi><mo>×</mo><mi>W</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472795&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472788&type= 27.60133362 4.65666676 ，空间注意力的计算过程为： <math display="block" id="M73"><mtable><mtr><mtd><msub><mrow><mi mathvariant="bold-italic">M</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msub><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo>=</mo><mi>σ</mi><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup><mo stretchy="false">(</mo><mo stretchy="false">[</mo><mi mathvariant="normal">A</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo>;</mo></mtd></mtr><mtr><mtd><mi mathvariant="normal">M</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">P</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">o</mi><mi mathvariant="normal">l</mi><mo stretchy="false">(</mo><mi mathvariant="bold-italic">F</mi><mo stretchy="false">)</mo><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo><mo>=</mo></mtd></mtr><mtr><mtd><mi>σ</mi><mo stretchy="false">(</mo><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup><mo stretchy="false">(</mo><mo stretchy="false">[</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">a</mi><mi mathvariant="normal">v</mi><mi mathvariant="normal">g</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msubsup><mo>;</mo><msubsup><mrow><mi mathvariant="bold-italic">F</mi></mrow><mrow><mi mathvariant="normal">m</mi><mi mathvariant="normal">a</mi><mi mathvariant="normal">x</mi></mrow><mrow><mi mathvariant="normal">s</mi></mrow></msubsup><mo stretchy="false">]</mo><mo stretchy="false">)</mo><mo stretchy="false">)</mo></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472812&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472801&type= 52.91666412 15.83266640 ， 其中： <math id="M74"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472825&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472819&type= 1.69333339 2.79399991 表示Sigmoid函数， <math id="M75"><msup><mrow><msup><mrow><mi>f</mi></mrow><mrow><mn mathvariant="normal">7</mn></mrow></msup></mrow><mrow><mo>×</mo><mn mathvariant="normal">7</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472834&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=7472827&type= 6.51933336 3.89466667 表示卷积核大小为7×7的卷积运算。 2 . 3 . 3　网络结构 3 时空表观信息流和时空运动信息流的具体的网络结构如 图4 图4 所示，两个流均以ResNet50 ［ 16 16 ］ 为基础网络，采用残差移位（residual shift）的方式将TSM添加到残差块（residual block）中，将CBAM在时空表观信息流放置到残差块中，在时空运动信息流引入到最后一个卷积层后的位置，在实验中发现这种效果最好。分析原因可能是残差移位的方式能够使网络更好的捕捉时序信息，而且在一定程度上缓解了由于捕捉时序信息而带来的空间特征学习能力退化的问题。由于时空表观信息流输入的RGB视频帧包含复杂的场景信息，将CBAM加入到残差块中对特征校准能够使网络学习到更加精准的空间表观特征。在时空运动信息流中，由于输入的光流图像中只包含人体运动信息，采用原有网络便能完成特征提取，使用CBAM对高层次特征进行微调能够使网络获取更精准的特征表达。 3 实验与结果分析 1 3.1　行为识别数据集 2 在UCF101 ［ 17 17 ］ 和HMDB51 ［ 18 18 ］ 数据集上对所提出算法进行评估，并将实验结果与当前主流的行为识别算法相比较以验证有效性。UCF101中的数据主要是来自YouTube的现实视频，包含相机运动、复杂场景、光照变化、遮挡、视频画质模糊等影响因素，包含101种行为类别，共有13 320段视频组成，根据视频中的行为类型可以划分为5种：人与人交互、人与物品对象交互、身体运动、乐器演奏和体育运动项目。HMDB51主要由电影片段构成，共包含6 766段视频，共51个行为类别，每类至少包含100段视频，包含的类别有单人行为、面部表情和操纵对象行为、人与人交互的行为、人与物交互等。 根据两个数据集官方提供的方式划分3组训练集和测试集，将在3种划分方式的测试集上得到的识别准确率取平均值作为本文算法的最终识别结果。 3.2　实验设置 2 实验在Ubuntu18.04系统下基于PyTorch 1.4.0+CUDA10.0+cudnn7.6.5实现，计算机配置为Intel Xeon（R）Sliver 4112 CPU 2.6 GHz，NVIDA GeForce 2080Ti显卡。采用小批量随机梯度下降法，动量为0.9。根据计算机的内存大小和GPU利用率，将批量大小设置为8。初始学习率为0.001，训练25 epoch，每经过10个epoch衰减一次，衰减率为0.1。光流图像采用OpenCV库中的TVL1，结合denseflow工具库和GPU计算得到。 由于实验所用数据集容量较小，为避免在训练过程中出现过拟合，网络采用在ImageNet + Kinetics行为数据库上训练的权重初始化，利用角落裁剪和多尺度裁剪方法进行数据增广，对随机采样得到的340×256的图像进行裁剪。在角落裁剪中，对图像从中心和4个对角裁剪为224×224大小；在多尺度裁剪中，从中心和4个对角上分别从｛168，192，224，256｝中随机抽取两个值作为图像的宽度和高度进行裁剪，再将像素调整为224×224大小。此外冻结除第一层外其他卷积层的BN中的均值和方差参数。测试时对每个视频段进行两次采样，每次采样8组RGB帧或光流图像，将采样图像缩放后裁剪左右边角和中心，使用具有较短边为256像素的全分辨率图像进行测试评估。 3.3　TSM和CBAM的消融实验 2 为了验证时间移位模块和卷积注意力模块两者在改进双流时空网络中的相对重要性，进行了如下消融实验： 为了验证时间移位模块的有效性，对加入该模块前后本文算法在UCF101 （split1）和HMDB51 （split1）数据集上的识别准确率进行比较，将分段数 K 设置为3，按照时间移位模块的原始参数设置将移位比例倒数设置为8，实验结果如 表1 表1 所示。 2 Backbone network 2 UCF101 2 HMDB51 SAI- flow SMI- flow SAI- flow SMI- flow ResNet50 88.2 89.8 58.4 70.8 ResNet50+TSM 92.2 93.4 66.1 73.2 % 由 表1 表1 结果可知，加入TSM模块后时空表观信息流和时空运动信息流在UCF101上的识别准确率分别提高了4.0%和3.6%，在HMDB51上分别提高了7.7%和2.4%。 在实验结果中发现有些行为的识别准确率出现了上升，而有些则出现了下降，为了便于分析，选取了准确率上升和下降幅度最大的5个行为，其类别名称及准确率变化情况如 表2 表2 所示。 2 UCF101(RGB) 2 HMDB51(RGB) Actions ΔAccuracy Actions ΔAccuracy Jump Rope 52.6 Clap 30.0 Front Crawl 48.6 Wave 23.3 Jumping Jack 45.9 Climb 23.3 Nun Chucks 45.7 Run 23.3 High Jump 40.5 Push 20.0 Baseball Pitch -25.5 Kick ball -16.7 Brushing Teeth -25.0 Stand -10.0 Shaving Beard -18.6 Ride horse -10.0 Tennis Swing -14.3 Sword -6.7 Ski Jet -14.2 Kiss -6.7 % 分析出现上述现象的原因可能是时间移位模块加入后，卷积神经网络能够提取到视频中的时空信息，但是在捕获时序信息的同时损失了一些空间特征学习能力，导致对空间场景信息依赖大的行为辨识效果下降，如在Baseball Pitch和Tennis Swing中，依靠场景中的棒球场和网球场就能够得到较好的识别结果，而加入TSM后识别准确率出现了下降。但是Jump Rope，Jumping Jack，High Jump等对时序信息的依赖性较强，其准确率的提升证明了通过引入时间移位模块来使卷积神经网络提取行为视频中的时空信息是可行的。 为了验证CBAM的有效性，在相同实验设置下与ResNet50和ResNet50+TSM进行了对比测试，实验结果如 表3 表3 所示，当采用方式（c）和（a）连接时得到了最好的识别结果。 注： 其中(a),(b),(c)分别表示CBAM加在ResNet50的最后一个卷积层后、第一个卷积层和最后一个卷积层后、残差块中最后一个卷积层后的位置。 2 Backbone network 2 UCF101 2 HMDB51 SAI-flow SMI-flow SAI-flow SMI-flow ResNet50 88.2 89.8 58.4 70.8 ResNet50+CBAM (a) 88.1 90.0 59.2 71.2 ResNet50+CBAM (b) 88.4 89.7 59.8 70.2 ResNet50+CBAM (c) 88.4 89.2 60.3 69.3 ResNet50+TSM 92.2 93.4 66.1 73.2 ResNet50+ TSM +CBAM (a) 92.4 93.7 66.5 73.8 ResNet50+ TSM +CBAM (b) 92.5 93.6 66.5 73.4 ResNet50+ TSM + CBAM (c) 92.8 93.3 66.7 73.2 % 表4 表4 所示为加入卷积注意力模块后准确率提升最大的十个行为及其提高量，由结果可知，对Baseball Pitch，Shaving Beard，Tennis Swing，Kick Ball和Ride Horse等行为的识别准确率都有了较大提升，在一定程度上解决了由于TSM的引入而带来的空间特征学习能力下降的问题。同时对Laugh，Drink，Throw，Catch等面部和手部局部运动的行为以及Climb Stairs和Climb、Throw和Catch 等相似行为的识别更加准确，证明本文提出的结合注意力机制的方法能够增强网络的特征学习和表达能力，使网络学习到更加精细的行为特征，提高了对近似行为的识别能力。 2 UCF101(RGB) 2 HMDB51(RGB) Actions ΔAccuracy Actions ΔAccuracy Hammering 30.3 Throw 30.0 Wall Pushups 25.7 Laugh 16.7 Baseball Pitch 23.3 Climb Stairs 13.3 Shaving Beard 23.3 Fall floor 13.3 Tennis Swing 22.4 Drink 13.3 Skate Boarding 18.7 Kick Ball 13.3 Rafting 17.8 Catch 10.0 Tai Chi 17.8 Ride horse 10.0 Skiing 15.0 Climb 6.7 BoxingPunchingBag 14.3 Dribble 6.7 % 3.4　双流网络的融合 2 最后对时空表观信息流和时空运动信息流的分类得分进行加权平均融合，通过实验寻找最优的比例系数，由于在时空运动信息流上的准确率更高，因此尝试给其更大的权重系数，由 表5 表5 可知，当融合比例为1：1.8时准确率不再上升，此时得到了最高的平均准确率。 2 Fusion ratios 4 UCF101 4 HMDB51 Split1 Split2 Split3 Average Split1 Split2 Split3 Average 1:1 95.6 96.4 95.8 95.9 76.3 76.7 76.2 76.4 1:1.2 95.7 96.5 96.0 96.0 77.1 77.1 76.8 77.0 1:1.4 95.9 96.5 96.1 96.1 77.6 77.1 77.6 77.4 1:1.6 96.0 96.5 96.3 96.2 77.9 77.3 77.9 77.7 1:1.8 96.1 96.4 96.4 96.3 78.1 77.2 77.8 77.7 1:2.0 96.0 96.3 96.5 96.2 77.8 76.8 77.7 77.4 1:2.2 95.8 96.2 96.4 96.1 77.7 76.6 77.6 77.3 1:2.4 96.0 96.2 96.3 96.1 77.6 76.7 77.6 77.3 % 为了体现本文算法在识别准确率方面的优势，选取UCF101和HMDB51数据集进行实验，将本文算法与现有主流人体行为识别算法进行比较，各算法在上述两个数据集上的识别准确率如 表6 表6 所示。 Algorithm UCF101 HMDB51 IDT [ 5 5 ] 85.9 59.1 Two-stream [ 7 7 ] 88.8 59.4 Two-Stream fusion [ 11 11 ] 93.5 69.2 ST-multiplier network [ 12 12 ] 94.2 68.9 C3D [ 13 13 ] 85.2 51.6 LRCN [ 19 19 ] 82.9 — TSN [ 8 8 ] 94.0 68.5 P-TSN [ 9 9 ] 94.6 69.4 I3D [ 20 20 ] 95.6 74.8 ITS(Proposed) 96.3 77.7 由 表6 表6 可知，本文算法的识别准确率较现有人体行为识别算法具有一定的优势。分析原因在于文中提出的改进双流时空网络能够有效利用视频中的时序关系信息和空间信息，提高了对时序依赖较大行为的识别能力，以及增强了网络学习空间局部细节特征的能力，对相似行为能够更好地辨识，从而提升了识别准确率。 4 结　论 1 本文提出了一种基于改进双流时空网络的人体行为识别算法，通过结合时间移位思想与注意力机制，构建了一个包含时空表观信息流和时空运动的信息流的双流网络结构，实现了对视频中时间特征和空间特征的有效提取，同时采用卷积注意力模块在通道和空间上强调关键细节特征，增强了网络的特征表达能力，从而提高了对时序关系依赖较大行为和相似行为的辨识能力，实验结果证明：本文算法在人体行为识别数据集UCF101和HMDB51上的识别准确率分别为96.3%和77.7%，相比已有算法取得了更高的识别准确率。为进一步提升算法的识别性能，今后还可以从构建端到端的双流网络的角度进行改进。 参考文献 李庆辉 ， 李艾华 ， 崔智高 ， 等 . 结合限制密集轨迹与时空共生特征的行为识别 ［J］. 光学 精密工程 ， 2018 ， 26 （ 1 ）： 230 - 237 . 结合限制密集轨迹与时空共生特征的行为识别 LI Q H ， LI A H ， CUI ZH G ， et al . . Action recognition via restricted dense trajectories and spatio-temporal co-occurrence feature ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 1 ）： 230 - 237 . （in Chinese） . Action recognition via restricted dense trajectories and spatio-temporal co-occurrence feature 马世伟 ， 刘丽娜 ， 傅琪 ， 等 . 采用PHOG融合特征和多类别Adaboost分类器的行为识别 ［J］. 光学 精密工程 ， 2018 ， 26 （ 11 ）： 2827 - 2837 . 采用PHOG融合特征和多类别Adaboost分类器的行为识别 MA SH W ， LIU L N ， FU Q ， et al . . Using PHOG fusion and multi-class Adaboost classifier for human behavior recognition ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2827 - 2837 . （in Chinese） . Using PHOG fusion and multi-class Adaboost classifier for human behavior recognition 张红颖 ， 王汇三 ， 胡文博 . 基于双模型的相关滤波跟踪 ［J］. 光学 精密工程 ， 2019 ， 27 （ 11 ）： 2450 - 2458 . 基于双模型的相关滤波跟踪 ZHANG H Y ， WANG H S ， HU W B . Correlation filter tracking algorithm based on double model ［J］. Opt. Precision Eng. ， 2019 ， 27 （ 11 ）： 2450 - 2458 . （in Chinese） Correlation filter tracking algorithm based on double model 罗会兰 ， 王婵娟 ， 卢飞 . 视频行为识别综述 ［J］. 通信学报 ， 2018 ， 39 （ 6 ）： 169 - 180 . 视频行为识别综述 LUO H L ， WANG CH J ， LU F . Survey of video behavior recognition ［J］. Journal on Communication ， 2018 ， 39 （ 6 ）： 169 - 180 . （in Chinese） Survey of video behavior recognition WANG H ， SCHMID C . Action recognition with improved trajectories ［C］. Proceedings of the IEEE International Conference on Computer Vision. Los Alamitos ： IEEE Computer Society Press ， 2013 ： 3551 - 3558 . Action recognition with improved trajectories 朱煜 ， 赵江坤 ， 王逸宁 ， 等 . 基于深度学习的人体行为识别算法综述 ［J］. 自动化学报 ， 2016 ， 42 （ 6 ）： 848 - 857 . 基于深度学习的人体行为识别算法综述 ZHU Y ， ZHAO J K ， WANG Y N ， et al . . A review of human action recognition based on deep learning ［J］. Acta Automatica Sinica ， 2016 ， 42 （ 6 ）： 848 - 857 . （in Chinese） . A review of human action recognition based on deep learning SIMONYAN K ， ZISSERMAN A . Two-stream convolutional networks for action recognition in videos ［C］. Proceedings of Advances in Neural Information Processing Systems . Cambridge ： MIT Press ， 2014 ： 568 - 576 . Two-stream convolutional networks for action recognition in videos WANG L M ， XIONG Y J ， WANG Z ， et al . Temporal segment networks： towards good practices for deep action recognition ［C］. Proceedings of European Conference on Computer Vision . Heidelberg ： Springer ， 2016 ： 20 - 36 . Temporal segment networks： towards good practices for deep action recognition 石跃祥 ， 曾智超 . 基于特征传播的时域分割网络行为识别 ［J］. 计算机辅助设计与图形学学报 ， 2020 ， （ 32 ） 4 ： 582 - 589 . 基于特征传播的时域分割网络行为识别 SHI Y X ， ZENG Z C . Temporal segment network based on feature propagation for action recognition ［J］. Journal of Computer-Aided Design & Computer Graphics ， 2020 ， （ 32 ） 4 ： 582 - 589 . （in Chinese） Temporal segment network based on feature propagation for action recognition BILEN H ， FERNANDO B ， GAVVES E ， et al .. Action recognition with dynamic image networks ［C］. Proceedings of IEEE Conference on Computer Vision and Pattern Recognition ， 2016 ： 3034 - 3042 . Action recognition with dynamic image networks FEICHTENHOFER C ， PINZ A ， WILDES R P . Spatiotemporal multiplier networks for video action recognition ［C］. Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Honolulu ， Hawaii ， USA ： IEEE ， 2017 ： 7445 - 7454 . Spatiotemporal multiplier networks for video action recognition FEICHTENHOFER C ， PINZ A ， ZISSERMAN A . Convolutional two-stream network fusion for video action recognition ［C］. Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， USA ： IEEE ， 2016 ： 1933 - 1941 . Convolutional two-stream network fusion for video action recognition TRAN D ， BOURDEV L ， FERGUS R ， et al .. Learning spatiotemporal features with 3D convolutional networks ［C］. Proceedings of the IEEE International Conference on Computer Vision. Los Alamitos ： IEEE Computer Society Press ， 2015 ： 4489 - 4497 . Learning spatiotemporal features with 3D convolutional networks LIN J ， GAN C ， HAN S . TSM： Temporal shift module for efficient video understanding ［C］. 2019 IEEE/CVF International Conference on Computer Vision. Seoul ， Korea. New York： IEEE ， 2019 ， 2 （ 11 ）： 19410282 . TSM： Temporal shift module for efficient video understanding WOO S ， PARK J ， LEE J ， et al .. CBAM： Convolutional block attention module ［C］. European Conference on Computer Vision ， Munich ， Germany： Spring ， 2018 ： 3 - 19 . CBAM： Convolutional block attention module He K ， ZHANG X ， REN S ， et al .. Deep residual learning for image recognition ［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas ， NV： IEEE ， 2016 ： 770 - 778 . Deep residual learning for image recognition SOOMRO K ， ZAMIR A R ， SHAH M . UCF101： A dataset of 101 human actions classes from videos in the wild ［J］. arXiv：1212 . 0402 ， 2012 ： 1 - 7 . UCF101： A dataset of 101 human actions classes from videos in the wild KUEHNE H ， JHUANG H ， GARROTE E ， et al .. HMDB： A large video database for human motion recognition ［C］. Proceedings of the 2011 IEEE International Conference on Computer Vision. Barcelona ， ES： IEEE ， 2011 . 2556 - 2563 . HMDB： A large video database for human motion recognition DONAHUE J ， HENDRICKS L A ， ROHRBACH M ， et al . . Long-term recurrent convolutional networks for visual recognition and description ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2014 ， 39 （ 4 ）： 677 - 691 . . Long-term recurrent convolutional networks for visual recognition and description CARREIRA J ， ZISSERMAN A . Quo vadis， action recognition？ A new model and the kinetics dataset ［C］. IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu ， HI ， 2017 . 4724 - 4733 . Quo vadis， action recognition？ A new model and the kinetics dataset 10.37188/OPE.20212902.0420 TP394.1 A 1004-924X（2021）02-0420-10 张红颖,安征.基于改进双流时空网络的人体行为识别[J].光学精密工程,2021,29(02):420-429. 张红颖,安征.基于改进双流时空网络的人体行为识别[J].光学精密工程,2021,29(02):420-429. ZHANG Hong-ying,AN Zheng.Human action recognition based on improved two-stream spatiotemporal network[J].Optics and Precision Engineering,2021,29(02):420-429. ZHANG Hong-ying,AN Zheng.Human action recognition based on improved two-stream spatiotemporal network[J].Optics and Precision Engineering,2021,29(02):420-429. 国家重点研发计划资助项目（No. 2018YFB1601200） 2020-09-21 2020-11-12 2021-02-15 2021-03-05 光学精密工程 2 29