安防大数据涉及的数据类型较多,其特点是信息数据量大,信息密度小,目前市场上的安防大数据以非结构化数据为主,存储下来的数据之后都需要进行数据融合、数据清洗、数据挖掘分析等。
其类型主要包含结构化、半结构化和非结构化数据信息。结构化数据主要包括报警记录、系统日志、运维数据、摘要分析、结构化描述记录以及各种相关的信息数据库,如人口库、六合一系统信息等;半结构化数据如人脸建模数据、指纹信息等;而非结构化数据主要包括视频录像和图片记录,如监控、报警、视频摘要记录、录像信息和卡口人脸数据等。
1.NoSQL 数据库
如今物联网数据采集设备基本遍布整个城市,图像、视频、传感信息等数据种类繁多,量级大已经是目前的常态。现在业内采用的主流存储技术是NoSQL,全称 Not only SQL,有异与传统的 SOL关系型数据库,采用的是列式存储方式,属于非关系型数据库,主要用于存储处理种类繁多的大规模数据集,这些数据存储不需要固定的处理模式,无需多余操作就可以横向扩展。其中 Hbase 是广泛应用的 NoSQL 数据库,Hbase 是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用 Hbase 技术可在廉价 PC Server 上搭建起大规模结构化存储集群。
Hbase 的目标是存储并处理大型的数据,具体来说是仅需使用普通的硬件配置就能够处理由成千上万的行和列所组成的大型数据,能够满足安防大数据日常存储,降低存储硬件的投资成本。
2. 智能交通领域的应用现状
在智能交通领域,交通大数据具有体量大、种类多、数据更新频率快的特征,掌握并应用数据挖掘分析与多源数据融合技术显得日益迫切。
目前数据分析以采集的交通大数据为基础,利用 Hadoop、NoSQL、Hbase、流处理等数据挖掘技术,实现对海量交通数据的实时处理。针对乱闯红灯、违法变道等违章现象实时告警并记录,提高交警处理效率。
大数据技术本身具有强大的动态检测与预测能力,可以实时捕捉和动态掌握交通运行信息,能够基于人脸识别、车牌识别、GPS 定位技术等,掌握车辆的全天候出行规律,然后通过大量车辆数据进行汇总分析,精确预测高峰时段车流等情况,辅助交通管理者进行策略调整,提高城市交通运转效率等。
3. 公共安全领域的应用现状
在公共安全领域,公安信息化建设发展迅猛,公安机关掌握了社会人口库、机动车登记数据库、实名制住宿乘机记录、卡口机动车采集等,也包含了大量的结构化与非结构化数据,蕴含着人、事、物、组织和案件等丰富信息。
利用大数据技术进行关联分析能够在维护社会治安、打击违法、指挥决策等方面具有重要意义。基于公安大数据的多样性,结合现在的数据融合技术,采用分布式大数据协同技术,实现物理分布、逻辑统一的数据管理,解决数据资源分布在多个区域数据中心,开展数据资源综合应用的问题,合理运用流处理与批处理,提高对不同类型数据的处理效率。
同时基于数据分析挖掘技术,根据人物车辆信息实现卡口缉查布控、车辆落脚点分析、伴随车辆跟踪、以图搜图等案件业务的处理防范等。