2022-2023年度内蒙古大学应用成果信息

一种视频和无线融合的大规模人群分析方法

主要完成人：黄宝琦;郝利飞;贾冰

成果完成时间：2021年4月

技 术 领 域：通信

申请（专利）号：CN202110390587.1

成 果 类 型：专利技术

成 果 简 介：

    本发明公开了一种视频和无线融合的大规模人群分析方法，包括：获取视频和WiFi两种模态的原始数据；对两模态原始数据分别进行时空对准并得到两模态第一数据；对所述两模态第一数据进行特征提取得到两模态特征数据；对两模态特征数据进行特征融合并得到融合数据，对融合数据解码并输出人群统计结果；利用视频模态原始数据标注对所述WiFi模态原始数据进行标记；子模型及总体模型的训练。本发明针对视频数据创新地采用了结合注意力机制的CNN模型进行特征提取；利用兼顾时间单向和空间四向的2DRNN结构来建模二维输入特征数据，提高了人群分析精度；使用子模型预训练和单模态有限标注监督迁移的方法，解决大模型训练以及多模态标记数据获取成本过高的难题。同时，各子模型采用不同的有针对性的数据源进行预训练，整合后的模型通过微调进行优化。