软件定义大数据中心的关键技术研究及应用

一、项目研究背景 
中国移动江苏公司从2003年开始建设经营分析系统，随着数据的海量增长，视频等非结构化数据涌现，实时分析、精确营销、价值变现等市场需求涌现，经营分析系统面临缺乏海量大数据的存储能力，缺乏实时、非结构化数据处理能力，缺乏跨系统间关键数据的融合能力、平台被厂商绑定，能力无法内化等问题。2012年，中国移动江苏公司联合中移（苏州）软件技术有限公司（2014年初成立，前身为中国移动通信集团研究院云计算所），自主研发数据分级存储、软件定义存储、智能视频检测、大数据融合处理等核心技术，建设公司级大数据中心，于2014年正式上线应用。 
二、项目简介 
1、采用数据分级存储、软件定义存储等关键技术，打造自主知识产权的大数据中心基础设施。 
　　项目基于OpenStack架构研发了拥有完全自主知识产权的软件定义存储产品（BC-SDS），可为产品为上层大数据分析和应用提供对象存储、块存储、共享文件系统和虚拟机镜像等多种存储服务。通过结合前端缓存和多副本分布式存储集群的高可靠架构，以及高可靠技术和前端缓存的异步数据回刷技术，使得数据可靠性可以达到99.999999999%（11个9）的业界顶尖水平。累计申请专利29项，已获授权专利7项，近1年就向OpenStack、Ceph等开源社区贡献源代码补丁超300个，并基于此项目的贡献被评为OpenStack黄金会员，最近的贡献量排名全球第四国内第一。而且通过了工信部数据中心联盟可信云服务认证，还通过了中国电子技术标准化研究院“云计算参考框架”云服务认证。 
　　在项目研发过程中采用了灵活的调度策略算法及树形资源组织架构实现大规模计算资源池的弹性调度；在存储节点集群上可构建对象存储服务以及共享文件服务等多种存储服务协议。同时为解决海量数据增长带来的大存储要求，创新数据分级处理方式，针对数据类型、生命周期、访问频率要求等对数据进行分层分级。 
2、建设低成本、高速的大数据融合处理能力 
　　建设融合了批处理和实时处理的大数据中心平台架构，改进传统大数据平台双通道采集的方式，统一使用实时通道采集，后续根据应用需求再进行实时处理和批处理，达到了提升数据采集效率和降低IO资源消耗的效果。大数据中心以X86设备为主搭建新的硬件环境，现有各类服务器360台（X86设备300台），数据存储容量达到10PB。采用基于Flume+Kafka+JStrom+Redis的并行分布式架构实现实时处理，已具备每日20T，记录数过1000亿条的在线流处理能力。通过智能视频监测分析技术实现视频等非结构化数据处理，构建视频算法调度模块，自主研发火焰烟雾智能识别算法、国土违法占用智能识别算法、工地安全帽是否佩戴智能识别算法三大核心技术，算法准确率达到80%以上。  
3、建设并实践对内对外大数据应用，取得广泛的经济和社会效益 
　　项目成果已实际应用于公司市场运营、外部变现、社会服务等领域。项目推广应用后产生了良好的经济效益，对内实时精确营销每月日常开展活动550个，总目标用户8.5亿人次，营销成功率21%；对外数据价值变现2015年-2016年累计收入1.3亿元，已接入全国1600多家客户；视频智能检测分析行业产品已经在全省13个地市全部落地应用，其中蓝天卫士产品落地应用超过4000路、国土卫士（慧眼守土）产品应用超过6500路。