Multi-stage boundary reference network for action segmentation

多阶段边界参考网络的动作分割 Multi-stage boundary reference network for action segmentation first-author 毛　琳（1977-），女，山东荣成人，博士，副教授，硕士生导师，2005年于黑龙江大学获得硕士学位，2011年于哈尔滨工程大学获得博士学位，主要从事机器视觉目标跟踪与多传感器信息融合的研究。E-mail： maolin@dlnu.edu.cn http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461214&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461218&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461216&type= 22.01332855 32.00399780 毛　琳 （1977-），女，山东荣成人，博士，副教授，硕士生导师，2005年于黑龙江大学获得硕士学位，2011年于哈尔滨工程大学获得博士学位，主要从事机器视觉目标跟踪与多传感器信息融合的研究。E-mail： maolin@dlnu.edu.cn maolin@dlnu.edu.cn corresp E-mail： cao_zhe@foxmail.com E-mail： cao_zhe@foxmail.com 曹　哲（1998-），男，内蒙古赤峰人，硕士研究生，2020年于大连民族大学获得学士学位，主要从事计算机视觉和视频动作分割算法的研究。E-mail： cao_zhe@foxmail.com http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461221&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461228&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461225&type= 22.01332855 32.00402832 曹　哲 （1998-），男，内蒙古赤峰人，硕士研究生，2020年于大连民族大学获得学士学位，主要从事计算机视觉和视频动作分割算法的研究。E-mail： cao_zhe@foxmail.com cao_zhe@foxmail.com 大连民族大学 机电工程学院，辽宁 大连 116600 大连民族大学 机电工程学院，辽宁 大连 116600 School of Electromechanical Engineering， Dalian Minzu University， Dalian 116600， China School of Electromechanical Engineering， Dalian Minzu University， Dalian 116600， China 针对现有动作分割算法中过分割问题导致预测错误、造成分割质量下降的现象，提出一种可调视频动作边界信息作为参考的多阶段参考网络，在基于多阶段时间卷积网络的主干网络中，为每个阶段独立引入视频动作边界信息作为参考。各阶段使用相同的边界信息会使模型固化，为使主干网络能够调整参与各阶段输出计算的边界值，对不同样本区分处理，提出多层并行卷积组成的权重调节单元。多阶段参考网络由于利用可调边界信息作为参考，按照时序平滑处理各阶段输出，能显著减少过分割错误。实验表明，该方法在三个视频动作分割数据集GTEA，50Salads和Breakfast中的性能优于现存同类方法，与BCN（Boundary-Aware Cascade Networks）算法相比，分割编辑分数平均提升1.7%，准确率与召回率的调和分数平均提升1.5%。 Over-segmentation leads to incorrect predictions and reduces segmentation quality in existing action segmentation algorithms. To address this， the reference from video action boundary information was independently introduced for each stage in the backbone， which was based on a multi-stage temporal convolutional network. To avoid the model solidification caused by the application of the same boundary information at all stages， a weight adjusting block composed of multilayer parallel convolution was proposed to adjust the boundary values involved in the output calculation of each stage and process various samples differently. The reference from the adjustable boundary information was used to smoothen the output of each stage according to the time sequence， significantly reducing the over-segmentation error. Experimental results show that the proposed method outperforms existing methods in the three video action segmentation datasets GTEA， 50Salads and Breakfast. Compared with the boundary-aware cascade networks（BCN） algorithm， the segmentation edit score is increased by 1.7% on average， and the reconciliation score between accuracy and recall rate is increased by 1.5% on average. 视频动作分割 时间卷积网络 视频动作边界 未裁剪视频 video action segmentation temporal convolutional networks video action boundary untrimmed video 1 引　言 1 针对未裁剪视频的动作分割是计算机视觉领域中最有挑战性的任务之一，应用前景包括行为分析、视频监控、人机交互以及视频审核等多个领域。现有的动作分割算法普遍存在过分割问题，即原本连续的长动作区间内预测出短暂或单帧的错误分割结果。过分割会明显降低动作分割质量，使算法在实际应用中的可靠性降低。 近年来，图像及短视频中的人体动作识别任务已经取得很大的进展 ［ 1 1 - 2 2 1-2 ］ ，但针对未裁剪的长视频中的动作分割任务尚未被广泛研究。解决长视频中的动作分割任务，需要很好地处理时序问题，传统的卷积神经网络不适合时序问题的建模，受卷积核大小的限制，不能很好抓取长时依赖关系。受语音合成领域中使用时间卷积网络的WaveNet ［ 3 3 ］ 的启发，研究人员尝试将类似思想用于视频动作分割任务中。Lea等人提出一种用于动作分割的时间卷积网络（Temporal Convolutional Networks，TCN） ［ 4 4 ］ ，在多种任务上效果甚至超过公认适用于处理时序问题的循环神经网络（Recurrent Neural Network，RNN） ［ 5 5 ］ 和（Long Short-Term Memory，LSTM） ［ 6 6 - 7 7 6-7 ］ 。在此基础上，Farha等人提出多阶段时间卷积网络（Multi-Stage Temporal Convolutional Network，MS-TCN） ［ 8 8 ］ ，每一阶段都采用感受野逐层递增的多层空洞卷积，随着层数加深获得的视野范围增加，可以更好地抓取长时信息。此后，视频动作分割算法大都采用多阶段网络结构。MS-TCN的改进工作聚焦于网络复杂度的提升，如MS-TCN++ ［9］ ，在MS-TCN的基础上添加感受野递减的反向多层空洞卷积，弥补感受野缺失。上述算法在处理过分割问题时，大都采用添加平滑损失函数的方法，但改善效果有限。 既然单纯依靠网络自身的调整能力很难解决过分割问题，一些学者就尝试通过引入外部信息来帮助网络减少过分割错误。Wang等人提出一种结合动作边界信息的级联型网络（Boundary-Aware Cascade Networks，BCN） ［ 10 10 ］ 。该网络使用具有动态建模能力的多阶段网络结构，根据样本的难易程度自适应地采用不同的子网进行处理，浅层子网处理简单样本，深层子网处理难样本，以此提高难例样本的分类精度。但强大的细分能力带来更严重的过分割现象，作者提出引入“动作边界”，结合特殊的池化方法，来对主干网络的输出结果进行平滑处理，减少过分割错误。但是引入“动作边界”对预测结果进行改善的方法，往往都只对主干网络的输出结果进行处理。 在一个多阶段网络中，仅添加单一的后处理过程难以促进网络进行调整，在每个阶段分别给予相应的参考信息，按照时间顺序优化各阶段输出而减少网络产生过分割错误成为一种可能。综上所述，本文在BCN基础上提出一种多阶段边界参考网络（Multi-Stage Boundary Reference Network，MBNet），将边界信息引入多阶段主干网络中，对边界信息的利用更加充分，并增加权重调整卷积层，改变参与各阶段计算的边界值，在赋予网络更多参考信息的同时，其可调性有助于避免多次使用相同边界信息而导致的模型固化，帮助多阶段网络降低过分割错误的可能性。 2 多阶段边界参考网络 1 动作分割任务适用于多种动作连续发生的细致场景，例如生产线上、视频监控等单一场景连续动作的检测与识别。分割过程需要对每一帧进行分类，但IOU（tIOU）在一维时序空间上计算时，会对小段孤立错误非常敏感，致使过分割问题影响输出的分割质量。过分割问题的产生是因为网络的细分能力过强，在长动作区间内产生短暂或单帧错误的预测结果。减少过分割错误的方法是保持动作类内部预测的一致性，这就需要确定不同动作类之间边界的时间位置，动作边界信息可以给网络提供规范性参考，减少过分割。 自MS-TCN提出多阶段时间卷积网络结构后，动作分割算法基本上沿用多阶段结构。采用多阶段结构的优点是能多次优化每一帧的预测结果，使结果趋于准确，这也表明过分割错误并不是有规律地由单一阶段产生，而是多层调整后仍然存在的，其产生由多阶段处理共同造成。引入动作边界信息的方法，致力于改善网络的最终预测结果，忽略了过分割产生的根本原因，效果有限。本文引用BCN结构，提出为多阶段网络的每个阶段引入边界信息，按时序优化各阶段输出。在处理不同样本时，网络各阶段需要的边界信息其实并不相同，调节不同阶段边界信息的参与度，能有针对性地减少过分割问题的产生。因此，一种可调节的边界信息参与特征序列计算方式，是实现多阶段参考方案的关键。 2.1　结合边界的池化方法 2 为使边界信息参与各独立阶段的输出计算，并赋予可调性，本文在BCN的局部边界池化方法（Local Barrier Pooling，LBP）基础上，提出带权重调整的结合边界池化方法（Weight-adjustment Local Barrier Pooling，WLBP）。 边界信息是由边界生成模块（借鉴于时序动作提名领域中BSN的TEM模块 ［ 11 11 ］ ）生成的一维序列，包含每一帧的边界概率，可表示为集合 <math id="M1"><msub><mrow><mi mathvariant="bold-italic">B</mi></mrow><mrow><mn mathvariant="normal">1</mn><mo>:</mo><mi>T</mi></mrow></msub><mo>=</mo><msubsup><mrow><mfenced open="{" close="}" separators="|"><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub></mrow></mfenced></mrow><mrow><mi>t</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>T</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461232&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461229&type= 21.25133324 6.18066692 。 LBP把动作边界作为池化中的限制条件，对于每一帧，在一个固定窗口下，以当前帧为中心，向两个方向计算权重，遇到障碍自适应地递减权重。其数学表达如下： <math display="block" id="M2"><mtable><mtr><mtd><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo></mtd></mtr><mtr><mtd><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></munder><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>β</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>β</mi><mo>,</mo><mi>c</mi></mrow></msub><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>β</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>j</mi></mrow></msub></mrow></mrow></mfenced></mrow></mrow></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></munder><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>β</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>β</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>j</mi></mrow></msub></mrow></mrow></mfenced></mrow></mrow></mrow></mfrac></mtd></mtr></mtable></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461237&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461234&type= 65.78600311 28.19400024 ， 其中：输出 <math id="M3"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461242&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461240&type= 4.31799984 4.82600021 是池化处理后第 <math id="M4"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461450&type= 1.10066664 2.79399991 帧的第 <math id="M5"><mi>c</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461251&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461248&type= 1.52400005 2.79399991 类分数， <math id="M6"><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461255&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461253&type= 4.31799984 4.57200003 是处理前的主干网络输出结果， <math id="M7"><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461410&type= 2.62466669 3.72533321 为第 <math id="M8"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461450&type= 1.10066664 2.79399991 帧边界值， <math id="M9"><mi>α</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461267&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461265&type= 1.94733346 2.79399991 控制权值衰减率，池化窗口大小为 <math id="M10"><mn mathvariant="normal">2</mn><mi>L</mi><mo>+</mo><mn mathvariant="normal">1</mn></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461271&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461269&type= 11.00666618 2.96333337 ， <math id="M11"><mi>s</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461275&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461273&type= 21.84399986 4.06400013 代表当前帧的前后两个方向。 边界值代表每一帧是否为动作边界帧的概率，表示为集合 B ，其元素的取值为 <math id="M12"><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461290&type= 15.32466698 4.48733330 。当边界值应用在LBP中时，由于经过卷积的线性变换，不再代表概率，而是作为LBP中调节池化窗口中各部分权重分配的参数，称为调权边界系数。权重计算部分为指数函数，结合指数函数特性，可以分析LBP权重计算方式的特点。 为简化权重计算过程，设池化窗口内第 t 帧权重为 <math id="M13"><msub><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461280&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461279&type= 2.62466669 3.72533321 ，则有： <math display="block" id="M14"><msub><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>=</mo><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo><mo>=</mo><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>β</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>j</mi></mrow></msub></mrow></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461283&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461281&type= 49.44533539 10.49866676 . BCN直接使用边界概率作为调权边界系数，权重计算函数 <math id="M15"><mi>U</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461288&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461285&type= 9.39799976 4.48733330 的定义域为 <math id="M16"><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461292&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461290&type= 15.32466698 4.48733330 ，对应的值域为 <math id="M17"><msub><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0,1</mn><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461296&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461294&type= 15.32466698 4.48733330 ，导致LBP池化窗口内的权重只能下降或保持不变，如 图1 图1 （a）所示。窗口内出现参考价值较大的帧时，LBP并不能增加权重，有益信息出现在距离中心相对较远的位置时，得到的可能是很小的权重。假设通过线性变换将调权边界系数映射到新的区间，得到 <math id="M18"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>∈</mo><mi mathvariant="bold">R</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461300&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461297&type= 9.05933285 4.23333359 ，不局限于0~1之间，对应的权重取值变为 <math id="M19"><msub><mrow><mi>u</mi></mrow><mrow><mi>t</mi></mrow></msub><mo>∈</mo><mo stretchy="false">[</mo><mn mathvariant="normal">0</mn><mo>,</mo><mo>+</mo><mi mathvariant="normal">∞</mi><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461304&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461302&type= 22.01333237 4.48733330 ，其中产生的负调权边界系数能够生成大于1的权重，达到权重上升效果，如 图1 图1 （b）所示。 1;2; 为简化 式（1） 式（1） ，设： <math display="block" id="M20"><mfenced open="{" close="" separators="|"><mrow><mtable columnalign="left"><mtr><mtd><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></munder><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>β</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>β</mi><mo>,</mo><mi>c</mi></mrow></msub><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>β</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>j</mi></mrow></msub></mrow></mrow></mfenced></mrow></mrow><mo>=</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr><mtr><mtd><munder><mo movablelimits="false">∑</mo><mrow><mi>s</mi><mo>∈</mo><mfenced open="{" close="}" separators="|"><mrow><mo>-</mo><mn mathvariant="normal">1</mn><mo>,</mo><mo>+</mo><mn mathvariant="normal">1</mn></mrow></mfenced></mrow></munder><mrow><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>β</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>L</mi></mrow></munderover></mstyle><mrow><mi mathvariant="normal">e</mi><mi mathvariant="normal">x</mi><mi mathvariant="normal">p</mi><mfenced separators="|"><mrow><mo>-</mo><mi>α</mi><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>j</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>β</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi><mo>+</mo><mi>s</mi><mo>⋅</mo><mi>j</mi></mrow></msub></mrow></mrow></mfenced></mrow></mrow><mo>=</mo><mi>Q</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mtd></mtr></mtable></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461331&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461327&type= 72.64399719 23.62199974 . 则 式（1） 式（1） 等效为： <math display="block" id="M21"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>+</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>Q</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461337&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461334&type= 34.37466812 9.48266602 . 为使参与计算的逐帧边界值 <math id="M22"><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461410&type= 2.62466669 3.72533321 变为可以调节的变量，需要设计一种能在网络训练中对边界信息作出调整的结构。本文提出多层卷积并行叠加的权重调节单元，等效于多个通道的卷积，如 图2 图2 所示。 设1×1卷积学习函数为 <math id="M23"><mi>g</mi><mo stretchy="false">(</mo><mi>λ</mi><mi>x</mi><mo>,</mo><mi>σ</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461356&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461354&type= 13.20800018 3.97933316 ， <math id="M24"><mi>λ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461362&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461360&type= 1.77800000 2.79399991 代表卷积运算中的权重， <math id="M25"><mi>σ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461368&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461365&type= 1.69333339 2.79399991 代表偏置项，则整体权重调节单元函数为： <math display="block" id="M26"><mi>G</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo><mo>=</mo><msub><mrow><mi>g</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">(</mo><msub><mrow><mi>λ</mi></mrow><mrow><mi>i</mi></mrow></msub><mi>x</mi><mo>,</mo><msub><mrow><mi>σ</mi></mrow><mrow><mi>i</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461374&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461371&type= 29.29466629 4.82600021 ， 其中 i =1，2，…， n 。将对 x 施加的每一次卷积作为一个权重 <math id="M27"><mi>θ</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461382&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461377&type= 1.77800000 2.79399991 ，则 式（5） 式（5） 等效为： <math display="block" id="M28"><msup><mrow><mi>x</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mi>n</mi></mrow></munderover></mstyle><mrow><msub><mrow><mi>θ</mi></mrow><mrow><mi>i</mi></mrow></msub><mi>x</mi></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461386&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461384&type= 17.01799965 8.55133343 . 输入 <math id="M29"><mi>x</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461394&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461391&type= 2.03200006 2.79399991 被分解为附带多个权重的多元形式，多权重参与调整，可以在训练过程中达到对边界值精细调整的目的。权重调节单元结合LBP方法组成WLBP，其结构如 图3 图3 所示。图中， I 为各阶段的逐帧计算结果， B 为逐帧边界值， <math id="M30"><msup><mrow><mi>B</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461400&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461397&type= 2.96333337 3.04800010 为调整后的边界调权系数， O 为WLBP输出。 经过多层卷积调整，在结合调权边界系数逐帧运算预测分数时，边界强度 <math id="M31"><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461413&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461410&type= 2.62466669 3.72533321 可以根据需要进行调整。经过权重调节单元运算后的调权边界系数为 <math id="M32"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mi>G</mi><mo stretchy="false">(</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461419&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461416&type= 16.51000023 4.65666676 ，带入 式（4） 式（4） 得到： <math display="block" id="M33"><msubsup><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo>=</mo><mfrac><mrow><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>+</mo><mi>P</mi><mo stretchy="false">(</mo><msub><mrow><mi>y</mi></mrow><mrow><mi>t</mi><mo>,</mo><mi>c</mi></mrow></msub><mo>,</mo><msubsup><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>Q</mi><mo stretchy="false">(</mo><msubsup><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup><mo stretchy="false">)</mo></mrow></mfrac></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461424&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461422&type= 34.37466812 8.97466660 ， 其中 <math id="M34"><msubsup><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461430&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461427&type= 2.62466669 3.97933316 为可调参数。通过 式（5） 式（5） ，随网络的训练，按照各阶段对边界信息的需求进行调整。如何引入及使用边界信息的问题得到解决，边界信息的引入位置也十分重要。 2.2　多阶段参考网络 2 为使多阶段网络对不同样本进行区分处理，即浅层网络处理简单的长动作片段，深层网络处理具有遮挡、模糊的难例样本，设置每一阶段输出的置信度分数 <math id="M35"><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461485&type= 3.38666677 3.72533321 来生成下一阶段所占的权重 <math id="M36"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461490&type= 8.12800026 3.72533321 。第一阶段中所有帧的权重均设置为1，后续 <math id="M37"><mi>i</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461447&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461444&type= 1.10066664 2.79399991 个阶段会自适应地为第 <math id="M38"><mi>t</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461454&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461450&type= 1.10066664 2.79399991 帧分配相应的权重 <math id="M39"><msubsup><mrow><mi>w</mi></mrow><mrow><mi>i</mi></mrow><mrow><mi>t</mi></mrow></msubsup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461459&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461457&type= 3.89466691 3.97933316 ，最后根据权重矩阵的分布，将所有单独阶段的预测聚合为融合阶段的输入。设多阶段网络中任意单个阶段计算过程为 <math id="M40"><mi>F</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461536&type= 8.46666718 3.55599999 ， <math id="M41"><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461470&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461467&type= 3.38666677 3.72533321 为每阶段输出的特征序列， <math id="M42"><mi>S</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461476&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461473&type= 8.04333401 3.55599999 代表Softmax处理，则置信分数的计算方式如下： <math display="block" id="M43"><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>=</mo><mi>S</mi><mo stretchy="false">[</mo><mi>F</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>i</mi><mo>-</mo><mn mathvariant="normal">1</mn></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461482&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461479&type= 28.53266525 4.48733330 . 每阶段的置信分数 <math id="M44"><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461488&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461485&type= 3.38666677 3.72533321 很关键，既用来生成下一阶段的权重 <math id="M45"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi><mo>+</mo><mn mathvariant="normal">1</mn></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461493&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461490&type= 8.12800026 3.72533321 ，又结合权重输入到最后融合阶段。所以将边界信息用来参与每阶段置信分数的生成，平滑处理每阶段潜在的过分割错误，关联整个网络，对边界信息的利用达到最大化。使用WLBP的任意单个边界参考结构如 图4 图4 所示。 前序各阶段的置信分数 <math id="M46"><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461508&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461506&type= 3.38666677 3.72533321 结合对应的权重 <math id="M47"><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461513&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461510&type= 4.57200003 3.72533321 生成融合阶段的输入 <math id="M48"><msub><mrow><mi>X</mi></mrow><mrow><mi>f</mi></mrow></msub></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461520&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461517&type= 3.38666677 3.72533321 ，计算方式如下： <math display="block" id="M49"><msub><mrow><mi>X</mi></mrow><mrow><mi>f</mi></mrow></msub><mo>=</mo><mstyle displaystyle="true"><munderover><mo largeop="true">∑</mo><mrow><mi>i</mi><mo>=</mo><mn mathvariant="normal">1</mn></mrow><mrow><mn mathvariant="normal">3</mn></mrow></munderover></mstyle><mrow><msub><mrow><mi>W</mi></mrow><mrow><mi>i</mi></mrow></msub><mo>⊙</mo><msub><mrow><mi>C</mi></mrow><mrow><mi>i</mi></mrow></msub></mrow></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461527&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461524&type= 24.55333328 8.55133343 ， 其中： <math id="M50"><mo>⊙</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461533&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461530&type= 3.72533321 3.47133350 为元素级相乘。融入阶段结构与前序每个阶段相同，计算过程同样设为 <math id="M51"><mi>F</mi><mo stretchy="false">(</mo><mi>x</mi><mo stretchy="false">)</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461539&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461536&type= 8.46666718 3.55599999 ，则主干网络的输出 <math id="M52"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461553&type= 2.87866688 2.79399991 为： <math display="block" id="M53"><mi>Y</mi><mo>=</mo><mi>S</mi><mo stretchy="false">[</mo><mi>F</mi><mo stretchy="false">(</mo><msub><mrow><mi>X</mi></mrow><mrow><mi>f</mi></mrow></msub><mo stretchy="false">)</mo><mo stretchy="false">]</mo></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461550&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461547&type= 24.46866608 4.48733330 . 对主干网络的预测结果 <math id="M54"><mi>Y</mi></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461556&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461553&type= 2.87866688 2.79399991 使用LBP方法，进一步减少过分割错误，根据 式（4） 式（4） ，网络的最终输出为： <math display="block" id="M55"><msup><mrow><mi>Y</mi></mrow><mrow><mi mathvariant="normal">'</mi></mrow></msup><mo>=</mo><mi>S</mi><mfenced open="[" close="]" separators="|"><mrow><mfrac><mrow><mi>Y</mi><mo>+</mo><mi>P</mi><mo stretchy="false">(</mo><mi>Y</mi><mo>,</mo><msub><mrow><mi>b</mi></mrow><mrow><mi>t</mi></mrow></msub><mo stretchy="false">)</mo></mrow><mrow><mn mathvariant="normal">1</mn><mo>+</mo><mi>Q</mi><mo stretchy="false">(</mo><mi>Y</mi><mo stretchy="false">)</mo></mrow></mfrac></mrow></mfenced></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461562&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461559&type= 35.98332977 9.82133293 . 总体来说，MBNet在多阶段网络的每个阶段使用WLBP引入可调边界信息，在处理不同样本时各阶段有针对性参考边界信息，在主干网络输出结果上使用LBP结合边界信息进一步减少预测结果中的过分割。网络整体结构如 图5 图5 所示。 算法流程如下： 第1步：使用训练好的I3D ［ 12 12 ］ 网络提取视频特征，分别输入主干网络与边界生成模块。 第2步：预训练边界生成模块，提前优化参数，使模块能够稳定生成可信边界值。 第3步：使用WLBP方法，让边界信息参与每阶段置信分数以及融合阶段输入的生成。使用LBP方法，结合边界信息优化分割结果。 第4步：将主干网络与边界生成模块联合训练，使边界模块提供更准确的边界信息辅助网络整体训练。 3 实验结果分析 1 3.1　数据集 2 本文在3个动作分割数据集上测试，分别是GTEA，50Salads和Breakfast，基本情况如 表1 表1 所示。其中，GTEA和Breakfast数据集都分为4批，使用4倍交叉验证，即取1批作为测试集，其余3批作为训练集，依次实验4次，取均值作为最终结果，50Salads数据集分5批，使用5倍交叉验证，取均值作为最终结果。 数据集 视频个数 动作类数 平均时长/min GTEA 50Salads Breakfast 28 50 1 712 11 17 48 1.5 7.5 2.7 3.2　实验参数 2 对GTEA，50Salads和Breakfast数据集分别使用大小为39，99和159的WLBP池化窗口。使用4阶段（3个前序阶段和1个融合阶段）的主干网络，网络的中间层传递特征通道数设为256。训练过程使用Adam优化器，对50Salads和GTEA数据集设置学习率为1× <math id="M56"><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">3</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461581&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461578&type= 6.60400009 3.04800010 ，并且每20次迭代乘以0.3；对Breakfast数据集设置学习率为 <math id="M57"><mn mathvariant="normal">5</mn><mo>×</mo><msup><mrow><mn mathvariant="normal">10</mn></mrow><mrow><mo>-</mo><mn mathvariant="normal">4</mn></mrow></msup></math> http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461587&type= http://html.publish.founderss.cn/rc-pub/api/common/picture?pictureId=24461584&type= 13.29266548 3.04800010 ，并且每30次迭代乘以0.3。 评估指标为帧级准确度（Acc）、分割编辑分数（Edit Score）和时间交叉阈值为0.1，0.25和0.5的F1分数（F1@｛10，25，50｝）。常用的精度指标没有考虑预测的时间结构，也没有反映过分割错误，即使含有大量不符合人类动作连续性的动作片段也能得到较高的分数。因此，本文采用TCN提出的Edit分数和MS-TCN提出的F1分数来惩罚过分割错误。 3.3　WLBP卷积层数分析 2 在提出的多层卷积并行融合结构中，虽然增加卷积层可以提升边界信息的调整效果，但不能无止境添加卷积层来提高效果。为明确卷积层数对改善过分割问题效果的影响，本文设置实验分析添加1到4层卷积对Edit分数和F1分数的影响，效果对比如 图6 图6 所示。 经测试对比发现，卷积层数为3时Edit分数和F1分数综合达到最佳效果，继续增加层数反而导致性能下降，所以卷积层数为3是综合性能提升的最佳层数。 为检验权重调节单元对调权边界系数是否进行了相应的调整，本文选择GTEA数据集中的一个视频，将网络第一阶段调整前后的调权边界系数可视化进行对比，如 图7 图7 所示。 相比于调整前的调权边界系数 B ，可以看出网络自适应调整后的调权边界系数 B' 的映射区间不局限于0~1之间，同时还进行细微调整，证明权重调节单元的有效性。 3.4　多阶段参考效果对比 2 为验证多阶段参考方案的有效性，利用消融实验，首先将LBP方法用于前序阶段，不使用添加权重调整结构的WLBP，仅测试多阶段参考方案的效果。使用中等规模的50Salads数据集进行测试，结果如 表2 表2 所示，最佳指标用粗体标出。 2 Method 3 F1 2 Edit 2 Acc 10 25 50 Baseline Multi-LBP Multi-WLBP 82.3 83.0 83.0 81.3 81.9 82.4 74.0 76.3 76.3 74.3 75.9 76.5 84.4 84.7 84.6 本文提出的多阶段参考方案相比于BCN，仅在最后输出上使用的单参考有显著提高。在50Salads数据集中，Edit分数提高1.6%，F1分数平均提高1.2%，准确度Acc也有小幅提升（0.3%）。对于同等条件的BCN，使用本文提出的多阶段参考方案后，由于在前序阶段引入边界信息，在网络学习过程中可利用的信息增加，结合边界信息进行学习，减少过分割错误。 为提升网络对边界信息使用的灵活性，对于前序阶段，简单采用相同边界信息会导致模型固化，因此，本文对前序阶段的参考中采用附加权重调节单元的WLBP。同样利用消融实验，验证WLBP方法的有效性。在中等规模的50Salads数据集上，测试结果如 表2 表2 所示，最佳指标加粗表示。 使用WLBP引入边界信息的MBNet，在F1分数和Edit分数上有更大的提高，因为权重调节单元的加入，可以对参与各阶段输出计算的边界值进行调整，消除固定边界对网络的限制。相较于LBP，WLBP方法能进一步减少过分割错误，对比原BCN，在50salads数据集中，Edit分数提高2.2%，F1分数平均提升约1.4%，准确度Acc有小幅提高（0.2%）。 3.5　实验结果 2 本文在3个动作分割数据集：GTEA、50Salads和Breakfast上，与此前的方法进行测试对比，结果如 表3 表3 ~ 表5 表5 所示。 2 GTEA 3 F1 2 Edit 2 Acc 10 25 50 Dilated TCN ［ 4 4 ］ 58.8 52.2 42.2 - 58.3 ED-TCN ［ 4 4 ］ 72.2 69.3 56.0 - 64.0 TDRN ［ 13 13 ］ 79.2 74.4 62.7 74.1 70.1 MS-TCN ［ 8 8 ］ 87.5 85.4 74.6 81.4 79.2 MS-TCN++ ［ 9 9 ］ 88.8 85.7 76.0 83.5 80.1 BCN ［ 10 10 ］ 88.5 87.1 77.3 84.4 79.8 Ours 90.6 89.2 78.7 86.4 80.2 2 50Salads 3 F1 2 Edit 2 Acc 10 25 50 Dilated TCN ［ 4 4 ］ 52.2 47.6 37.4 43.1 59.3 ST-CNN ［ 14 14 ］ 55.9 49.6 37.1 45.9 59.4 ED-TCN ［ 4 4 ］ 68.0 63.9 52.6 59.8 64.7 TDRN ［ 13 13 ］ 72.9 68.5 57.2 66.0 68.1 MS-TCN ［ 8 8 ］ 76.3 74.0 64.5 67.9 80.7 MS-TCN++ ［ 9 9 ］ 80.7 78.5 70.1 74.3 83.7 BCN ［ 10 10 ］ 82.3 81.3 74.0 74.3 84.4 Ours 83.0 82.4 76.3 76.5 84.6 2 Breakfast 3 F1 2 Edit 2 Acc 10 25 50 ED-TCN ［ 4 4 ］ - - - - 43.3 HTK ［ 15 15 ］ - - - - 56.3 GRU ［ 16 16 ］ - - - - 60.6 MS-TCN ［ 8 8 ］ 52.6 48.1 37.9 61.7 66.3 MS-TCN++ ［ 9 9 ］ 64.1 58.6 45.9 65.6 67.6 BCN ［ 10 10 ］ 68.7 65.5 55.0 66.2 70.4 Ours 69.5 66.8 56.6 67.1 71.2 相较于此前的视频动作分割算法，本文提出的MBNet各项性能指标均有提升。对比BCN，MBNet在GTEA数据集上，精度Acc提升0.4%，Edit分数提升2%，F1分数平均提升约1.9%。在50Salads数据集上，Acc提升0.2%，Edit分数提升2.2%，F1分数平均提升约1.4%。在最大规模数据集Breakfast上，Acc提升0.8%，Edit分数提升0.9%，F1分数平均提升约1.2%。 为方便结果展示，本文在3个数据集中各选择一个视频进行可视化结果对比，如 图8 图8 所示。其中一种颜色代表一种动作类别，BCN的错误段用红色线段标出区间，并添加序号。结果显示，BCN存在错误分割，包括小段错误分割和大段错误分割，其中小段错误分割占多数，大段错误分割占少数。 1;2;3; 小段分割错误如 图8 图8 （a）和8（b）所示，其产生原因包括网络本身性能有限，以及边界信息不准确，因为边界信息由边界生成模块训练得出，具备不准确性。本文提出的带权重调整的WLBP在使用边界信息时能够进行再调整，一定程度上降低了边界信息不准确的影响，更具鲁棒性。 大段分割错误的产生原因可能是，BCN中LBP仅用在网络的输出结果后，作为输出结果的后处理过程，其功能是平滑处理池化窗口内的向量，本身不具备对标签正确与否的判断能力。以 图8 图8 （c）中的第2与第3处错误来说，真值为煎鸡蛋动作，BCN错误识别为翻炒鸡蛋动作。考虑到视频的拍摄视角，这两种动作的表现十分相似，其特征具有很大的相似性，导致网络很难分辨。在前序阶段，出现的错误是微小的，但是并没有得到及时的校正，导致错误累积到最终输出时有了一定规模，而错误标签占据LBP窗口范围的一定比例后，LBP就不能将错误标签修正。本文提出多阶段参考方案，在每个阶段都引入边界信息进行平滑处理，在错误的产生阶段就进行处理，避免错误的发展，一定程度上减少输出结果中的大段分割错误。实验表明，使用可调边界信息的MBNet能够修正对原本连续动作中的错误动作分类，明显减少过分割错误。 4 结　论 1 本文针对视频动作分割领域普遍存在的过分割现象，提出多阶段参考结构。在多阶段主干网络中，为每个阶段独立引入视频动作边界信息作为参考，提出多层卷积并行融合的权重调整结构，使各阶段能够对引入的边界信息进行调整，消除固定边界对网络的限制性，使网络针对不同样本的处理可以调整各阶段参考信息的使用。实验结果表明，该方法能够明显减少过分割错误的产生，提升准确率。MBNet相比于BCN，分割编辑分数Edit平均提升1.7%，准确率与召回率的调和分数F1平均提升1.5%，分割精度Acc平均提升0.5%。本文在不影响分类精度的前提下，减少过分割错误，后续研究重点在于如何在减少过分割错误的同时又能大幅提升分类精度，提高视频动作分割算法的可靠性。 参考文献 张红颖 ， 安征 . 基于改进双流时空网络的人体行为识别 ［J］. 光学 精密工程 ， 2021 ， 29 （ 2 ）： 420 - 429 . doi: 10.37188/OPE.20212902.0420 http://dx.doi.org/10.37188/OPE.20212902.0420 基于改进双流时空网络的人体行为识别 ZHANG H Y ， AN ZH . Human action recognition based on improved two-stream spatiotemporal network ［J］. Opt. Precision Eng. ， 2021 ， 29 （ 2 ）： 420 - 429 . （in Chinese） . doi: 10.37188/OPE.20212902.0420 http://dx.doi.org/10.37188/OPE.20212902.0420 Human action recognition based on improved two-stream spatiotemporal network 马世伟 ， 刘丽娜 ， 傅琪 ， 等 . 采用PHOG融合特征和多类别Adaboost分类器的行为识别 ［J］. 光学 精密工程 ， 2018 ， 26 （ 11 ）： 2827 - 2837 . doi: 10.3788/ope.20182611.2827 http://dx.doi.org/10.3788/ope.20182611.2827 采用PHOG融合特征和多类别Adaboost分类器的行为识别 MA SH W ， LIU L N ， FU Q ， et al . Using PHOG fusion features and multi-class Adaboost classifier for human behavior recognition ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 11 ）： 2827 - 2837 . （in Chinese） . doi: 10.3788/ope.20182611.2827 http://dx.doi.org/10.3788/ope.20182611.2827 Using PHOG fusion features and multi-class Adaboost classifier for human behavior recognition OORD AVAN DEN ， DIELEMAN S ， ZEN H G ， et al . WaveNet： a generative model for raw audio ［J］. CoRR ， arXiv preprint arXiv： 1609.03499 ， 2016 . WaveNet： a generative model for raw audio LEA C ， FLYNN M D ， VIDAL R ， et al . Temporal convolutional networks for action segmentation and detection ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1003 - 1012 . doi: 10.1109/cvpr.2017.113 http://dx.doi.org/10.1109/cvpr.2017.113 Temporal convolutional networks for action segmentation and detection KUEHNE H ， RICHARD A ， GALL J . A hybrid RNN-HMM approach for weakly supervised temporal action segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 2018 ， 42 （ 4 ）： 765 - 779 . doi: 10.1109/cvpr.2018.00627 http://dx.doi.org/10.1109/cvpr.2018.00627 A hybrid RNN-HMM approach for weakly supervised temporal action segmentation 李庆辉 ， 李艾华 ， 郑勇 ， 等 . 利用几何特征和时序注意递归网络的动作识别 ［J］. 光学 精密工程 ， 2018 ， 26 （ 10 ）： 2584 - 2591 . doi: 10.3788/ope.20182610.2584 http://dx.doi.org/10.3788/ope.20182610.2584 利用几何特征和时序注意递归网络的动作识别 LI Q H ， LI A H ， ZHENG Y ， et al . Action recognition using geometric features and recurrent temporal attention network ［J］. Opt. Precision Eng. ， 2018 ， 26 （ 10 ）： 2584 - 2591 . （in Chinese） . doi: 10.3788/ope.20182610.2584 http://dx.doi.org/10.3788/ope.20182610.2584 Action recognition using geometric features and recurrent temporal attention network SINGH B ， MARKS T K ， JONES M ， et al . A multi- stream Bi-directional recurrent neural network for fine-grained action detection ［C］. 2016 IEEE Conference on Computer Vision and Pattern Recognition . 2730，2016 ， Las Vegas， NV， USA . IEEE ， 2016 ： 1961 - 1970 . doi: 10.1109/cvpr.2016.216 http://dx.doi.org/10.1109/cvpr.2016.216 A multi- stream Bi-directional recurrent neural network for fine-grained action detection FARHA Y A ， GALL J . MS-TCN： multi-stage temporal convolutional network for action segmentation ［C］. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. 1520，2019 ， Long Beach， CA， USA. IEEE ， 2019 ： 3570 - 3579 . doi: 10.1109/cvpr.2019.00369 http://dx.doi.org/10.1109/cvpr.2019.00369 MS-TCN： multi-stage temporal convolutional network for action segmentation LI S J ， ABUFARHA Y ， LIU Y ， et al . MS-TCN： multi-stage temporal convolutional network for action segmentation ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence ， 1756 ， 99 ： 1 . MS-TCN： multi-stage temporal convolutional network for action segmentation WANG Z Z ， GAO Z T ， WANG L M ， et al . Boundary-aware cascade networks for temporal action segmentation ［J］. Computer Vision-ECCV ， 2020 ， 2020 ： 34 - 51 . doi: 10.1007/978-3-030-58595-2_3 http://dx.doi.org/10.1007/978-3-030-58595-2_3 Boundary-aware cascade networks for temporal action segmentation LIN T W ， ZHAO X ， SU H S ， et al . BSN： boundary sensitive network for temporal action proposal generation ［J］. Computer Vision-ECCV ， 2018 ， 2018 ： 3 - 21 . doi: 10.1007/978-3-030-01225-0_1 http://dx.doi.org/10.1007/978-3-030-01225-0_1 BSN： boundary sensitive network for temporal action proposal generation CARREIRA J ， ZISSERMAN A . Quo vadis， action recognition？ A new model and the kinetics dataset［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 4724 - 4733 . doi: 10.1109/cvpr.2017.502 http://dx.doi.org/10.1109/cvpr.2017.502 Quo vadis， action recognition？ LEI P ， TODOROVIC S . Temporal deformable residual networks for action segmentation in videos ［C］. 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition . 1823，2018 ， Salt Lake City， UT， USA . IEEE ， 2018 ： 6742 - 6751 . doi: 10.1109/cvpr.2018.00705 http://dx.doi.org/10.1109/cvpr.2018.00705 Temporal deformable residual networks for action segmentation in videos LEA C ， REITER A ， VIDAL R ， et al . Segmental spatiotemporal CNNs for fine-grained action segmentation ［J］. Computer Vision-ECCV ， 2016 ， 2016 ： 36 - 52 . doi: 10.1007/978-3-319-46487-9_3 http://dx.doi.org/10.1007/978-3-319-46487-9_3 Segmental spatiotemporal CNNs for fine-grained action segmentation KUEHNE H ， GALL J ， SERRE T . An end-to-end generative framework for video segmentation and recognition ［C］. 2016 IEEE Winter Conference on Applications of Computer Vision . 710，2016 ， Lake Placid ， NY， USA . IEEE ， 2016 ： 1 - 8 . doi: 10.1109/wacv.2016.7477701 http://dx.doi.org/10.1109/wacv.2016.7477701 An end-to-end generative framework for video segmentation and recognition RICHARD A ， KUEHNE H ， GALL J . Weakly supervised action learning with RNN based fine-to- coarse modeling ［C］. 2017 IEEE Conference on Computer Vision and Pattern Recognition . 2126，2017 ， Honolulu， HI， USA . IEEE ， 2017 ： 1273 - 1282 . doi: 10.1109/cvpr.2017.140 http://dx.doi.org/10.1109/cvpr.2017.140 Weakly supervised action learning with RNN based fine-to- coarse modeling 10.37188/OPE.20223003.0340 TP391.4 A 1004-924X（2022）03-0340-10 毛琳,曹哲,杨大伟等.多阶段边界参考网络的动作分割[J].光学精密工程,2022,30(03):340-349. 毛琳,曹哲,杨大伟等.多阶段边界参考网络的动作分割[J].光学精密工程,2022,30(03):340-349. MAO Lin,CAO Zhe,YANG Dawei,et al.Multi-stage boundary reference network for action segmentation[J].Optics and Precision Engineering,2022,30(03):340-349. MAO Lin,CAO Zhe,YANG Dawei,et al.Multi-stage boundary reference network for action segmentation[J].Optics and Precision Engineering,2022,30(03):340-349. 国家自然科学基金资助项目（No.61673084）； 辽宁省自然科学基金资助项目（No.2020-MZLH-24，No.20180550866） 2021-04-20 2021-07-16 2022-02-15 2022-02-17 光学精密工程 3 30