基于时间序列建模的视频帧动作识别研究：以UCF101数据集为例
1. 摘要
计算机视觉与深度学习的快速发展推动了视频动作识别在智能监控、人机交互及自动驾驶等领域的应用。作为典型的时序数据形式，视频帧序列蕴含丰富的时空信息。
本文提出一种结合卷积神经网络（CNN）与多层长短期记忆网络（LSTM）的动作识别方法，采用深度ResNet50架构提取2048维空间特征，同时增强模型捕捉时序动态的能力。以公开数据集UCF101子集为实验对象，实验结果显示性能显著提升，测试准确率峰值达90.13%。这验证了在复杂视频动作识别中，先进特征提取与多层时间序列建模相结合的稳健有效性与可行性。
2. 引言
随着视频数据的爆炸式增长，高效准确地识别视频中的人类动作已成为人工智能研究的关键课题。视频本质上是由连续帧组成的时序数据，既包含丰富的空间信息，又蕴含行为随时间演变的动态特征。传统方法往往侧重静态图像处理而忽视时间建模，导致在识别复杂或连续动作时表现欠佳。
为解决此问题，近期研究引入LSTM和GRU等时间序列建模技术以捕捉时间特征，从而提升识别精度。
本文提出一种结合卷积神经网络（CNN）与时间序列模型的方法，旨在充分利用视频帧中的空间特征与时间动态特性，从而提升复杂动作的识别能力。
具体流程为：先提取并预处理视频帧，运用预训练的CNN从每帧中提取空间特征，再通过LSTM对帧序列建模以精准分类动作类别。
3. 相关研究
3.1 动作识别基础模型架构
当前主流方法主要分为以下几类：
二维卷积神经网络（2D CNN）：用于提取单帧空间特征，但无法建模时间维度。
三维卷积神经网络（3D CNN）：在时间维度扩展卷积核以提取局部时空特征，适用于短期动作建模。
图1 公式
其中W为三维卷积核，V为视频帧序列，σ为激活函数。
双流网络：分别处理RGB图像与光流图像，融合空间与运动信息以提升识别精度。
循环神经网络（RNN）及其变体：
LSTM（长短期记忆网络）：适用于长序列建模，有效缓解梯度消失问题。LSTM核心公式如下：
图2 LSTM核心公式
GRU（门控循环单元）：结构更简洁且计算效率更高，适用于实时识别任务。
3.2 模型融合趋势
近年来，研究者开始融合卷积神经网络（CNN）与LSTM构建端到端时空建模框架。例如梁晨伟等人提出的CNN+LSTM模型 在多个数据集上取得优异识别性能。该方法先通过CNN提取帧间空间特征，再将特征序列输入LSTM网络进行时序建模，最终输出动作类别。
此外，Transformer架构正逐步应用于视频分析任务，尤其擅长建模长期依赖关系。但其计算资源消耗巨大且部署困难。
3.3 数据集与评估指标
UCF101是视频动作识别领域最常用的基准数据集之一，包含体育运动、日常活动等场景下的101类动作类别。研究者通常采用准确率、精确率、召回率及F1分数等指标评估模型性能。
4. 研究方法
4.1 数据预处理
本研究选用UCF101数据集作为基准。受计算资源限制，经精心筛选处理约3,300个视频片段。每个视频均统一抽取30帧图像，调整为224×224像素尺寸，并采用ImageNet均值与标准差进行归一化处理。此预处理确保数据符合预训练卷积神经网络模型的输入要求。
图3相关软件包安装
图4 数据预处理
图4展示了测试集的混淆矩阵。结果表明，由于动作模式相似，诸如 的”奔跑”与”步行”等动作常被误分类。
4.2 特征提取
特征提取采用强大的预训练ResNet50模型（基于ResNet18升级而来）。移除最终的池化层与全连接层，仅保留卷积层以实现稳健的空间特征提取。通过全局平均池化将每帧图像转换为2048维特征向量。这些向量被整合为每个视频的(30, 2048)时间序列矩阵，并保存为.npy文件。数据加载时实施了形状验证机制，通过用零矩阵替换损坏的特征文件来处理异常情况，确保输入维度统一。
4.3 时间序列建模
采用优化版多层LSTM架构捕捉帧间时间依赖关系。模型结构包含：
输入层：帧级特征序列（30 × 2048）。
LSTM层：双层LSTM结构，隐藏层维度为512，层间设置0.5的dropout参数，以建模更复杂的时间模式。
Dropout层：在最终分类层前额外添加了一个0.5概率的Dropout层，以增强正则化效果并防止过拟合。
全连接层 + Softmax：输出101个动作类别的概率值。
训练设置：模型采用交叉熵损失函数与Adam优化器进行训练，初始学习率设为0.001，批量大小为32，训练50个 epoch。通过StepLR学习率调度器实现每20 epoch降低学习率0.1倍的策略，确保收敛阶段训练稳定。
5. 实验与结果
5.1 实验设置
处理后的数据子集包含约2,511个训练样本和1,017个测试样本。训练过程采用GPU加速以提升效率。
5.2 评估指标
为全面评估模型性能，采用多项指标：准确率作为核心指标衡量整体分类表现； 精确率与召回率用于评估模型识别正例的能力及减少假阴性的效果；同时计算F1分数以平衡精确率与召回率，该指标对处理UCF101数据集中的类不平衡问题尤为有效。图5混淆矩阵展示了五个动作类别的代表性子集以示清晰。
图5 混淆矩阵
5.3 实验结果
优化后的CNN+LSTM模型在训练过程中展现出快速强劲的收敛性。训练损失值急剧下降，接近零值（第15 epoch时训练损失为0.0026），表明学习效率极高。测试准确率迅速超越基线，在第15 epoch达到90.13%的峰值。
详细性能轨迹如下所示：
| 训练轮次 | 训练损失 | 测试准确率 | 学习率 (LR) |
| 5 | 0.4670 | 85.53% | 0.001000 |
| 10 | 0.0269 | 88.82% | 0.001000 |
| 15 | 0.0026 | 90.13% | 0.001000 |
| 20 | 0.0015 | 89.47% | 0.000100 |
| 50 | 0.0011 | 90.13% | 0.000010 |
表1 详细性能轨迹
图6 测试结果
图7 训练损失与测试准确率
5.4 性能分析
最终测试准确率达90.13%，标志着研究目标的圆满达成。如此高的准确率充分展现了深度空间特征提取（ResNet50）与增强时序建模（多层LSTM）协同作用的强大效能。引入StepLR学习率调度器成功实现了收敛控制，即使训练损失趋近于零时仍能保持模型的泛化能力。在第20轮训练前精度出现小幅波动（从90.13%降至89.47%）后趋于稳定，这凸显了正则化方法（如0.5概率的dropout和学习率衰减）在管理多层LSTM高容量模型中的重要性。与初期低精度结果不同，该优化模型能有效捕捉动作的特征性时间模式，包括细微变化。
5.5 对比分析
相较于现有尖端模型，本优化CNN+LSTM方案在保持计算效率优势的同时实现了具有竞争力的准确率。基于3D卷积神经网络的模型通常达到78-85%准确率，复杂的Transformer架构可突破90%，而本优化模型以90.13%的准确率跻身该数据集顶尖性能行列。该 证明：通过精心调优的CNN+LSTM架构结合强大的预提取特征，可在视频动作识别领域匹敌计算密集型模型的性能。
5.6 局限性与未来工作
本研究的主要局限在于数据集规模有限及时间建模方法过于简单。对损坏特征采用零矩阵替换可能引入序列噪声并限制潜在性能。未来工作将聚焦于处理完整的UCF101数据集，应用先进的数据增强技术，并整合注意力机制或基于Transformer的模型以增强时间表示能力。此外，引入光流和音频信号等多模态输入可显著提升复杂动作的识别准确率。
6. 结论
本研究验证了优化版CNN+LSTM框架在视频动作识别中的卓越效能。通过将特征提取器升级为ResNet50，并采用多层结构与正则化技术增强时序模型，最终测试准确率达90.13%。该结果印证了丰富特征表征与稳健时序建模在解决复杂视频分类任务中的关键作用。后续工作将聚焦于处理完整的UCF101数据集及探索多模态融合技术。
参考文献
- Li, D., & Wang, R. (2022). Context-LSTM: A robust classifier for video detection on UCF101. arXiv preprint arXiv:2203.06610.
- Arshiya, A., & Kumar, A. (2023). Comparative Analysis of Action Recognition Techniques. Engineering Proceedings, 107(1), 43.
- Fadaei, A. H., & Ghassemi, N. (2025). Enhancing Video Understanding: Deep Neural Networks for Spatiotemporal Analysis. arXiv preprint arXiv:2502.07277.
- Mao, M., & Zhang, Y. (2024). Deep Learning Innovations in Video Classification: A Survey. Electronics, 13(14), 2732.
- Schiappa, J., & Wang, L. (2023). A Large-scale Robustness Analysis of Video Action Recognition Models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).
- Soomro, K., Zamir, A. R., & Shah, M. (2012). UCF101: A Dataset of 101 Human Actions Classes From Videos in The Wild. Center for Research in Computer Vision, University of Central Florida.
- Zhang, X., Nyamasvisva, T. E., & Liu, C. (2025). A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition. IOSR Journal of Computer Engineering, 27(3), 21–29. Retrieved from
- Begum, S. S., Sathvik, J. A. A., Ahmed, M. E., & Kumar, K. V. V. S. M. (2025). Exploring CNN-Based Algorithms for Human Action Recognition in Videos. In Broadband Communications, Networks, and Systems (pp. 107–115). Springer.
- Panchal, P., & Prajapati, D. J. (2025). Advanced Video Action Recognition using Hybrid models of ConvLSTM with 3DCNN. Journal of Embedded Systems.
- Wang, Z., & Liu, Y. (2024). STAA: Spatio-Temporal Attention Attribution for Real-Time Interpreting Transformer-based Video Models. arXiv preprint arXiv:2411.00630.