视频AI分析平台大规模视频分析技术研究

在智慧城市建设持续纵深推进的过程中，智能视频分析技术已经广泛应用在城市公共安全管理、市容市貌治理和非现场式监督等场景。随着“雪亮工程”视频监控项目在全国范围内大面积推进，一、二、三类监控点位已经能够覆盖大部分城市公共区域。大量视频监控摄像头的视频数据汇聚接入和智能分析，对原有的视频监控系统提出了更高的要求。随着人工智能算法架构的不断升级以及预训练大模型等技术逐渐走向成熟，对于平台资源调度能力，峰值并发能力都带来了更大的挑战。本文重点介绍了浪潮视频AI分析平台，平台利用关键帧解码技术，节省90%的算力资源消耗，提升了通过云边协同的分布式架构，将任务流和数据流进行解耦，同时引入了大模型技术进行视频结构化分析和存储，大幅提升视频关键内容检索效率。平台实现了对百万级视频数据的实时分析，对智能分析任务的实时调度，可以在保证智能视频分析服务质量的同时降低资源消耗，满足实际应用需求。

在《中国安防行业“十四五”规划》和《超高清视频产业发展行动计划(2019-2022 年)》等国家和行业相关政策驱动下，视频监控、智能安防和计算机视觉等相关行业发展迅猛[1]。在后疫情时代背景下， 我国经济持续恢复，智能视频监控领域需求旺盛，政府企业投资额较大。传统人工视频监控方式成本上涨推动平台智能化升级佳速，居民消费升级也进一步促进家用视频监控成为智能视频市场的新增长点。

智能视频分析是视频监控向智能化演进的重要技术，如何从原始的视频数据中通过计算机算法分析并提取出复合人类认知的关键事件和语义信息，是智能视频分析的主要研究内容。郑雪原[2]等人对平台底层架构进行了优化以Kafka，MPP 数据库，Hbase 和Spark/Hive 集群为基础，可支持城市级的海量视频监控接入和存储。唐志鸿[3]等人结合了物联网技术采集环境数据，结合视频分析实现了对环保、水利和电力等行业的监管。叶逢春[4]等人通过视频分析技术，实现了对城市管理中的违规经营和违规占道等行为进行分析。目前大部分的智能视频分析应用场景主要通过集中式云化部署和分布式边缘部署两种方式对外提供服务，这两种方式都存在一定的局限性。其中，集中式云化部署适合应用在前端设备分布较为集中而且数量较多的情况，这种方式可以有效降低软硬件系统运维成本，同时提高算力利用效率，但是对于网络资源消耗和隐私数据安全等方面较难满足用户个性化需求。分布式边缘部署提供了更灵活的应用模式，可以保障数据不出局满足对时延要求或数据安全要求较高的场景，在工业互联网和公安执法等领域广泛应用。

针对上述两种方式所存在的局限性， 本文提出了一种基于云边协同方式实现的大规模视频分析技术， 并将该技术应用在视频AI 分析平台中。平台以“一云、二库、三中心”的基础架构，建立了云化的算力资源池，以及数据共享仓库和算法仓库快速支撑上层应用的灵活编排。同时将智能视频分析任务解耦为视频解析中心，任务编排中心和智能感知中心，通过“平台与设备”、“应用与算法”双解耦方式实现视频数据和AI 能力的协同调度，适配多种底层平台和运行环境，支持高并发、大规模的视频分析业务。