本项目研发目的: 1、建立以村-乡-县-州逐级填报审核、重点企业联网直报、第三方数据补充校准的全州农村电商大数据采取、分析系统,全面、真实反映全州电商发展现状,为政府提供决策依据。 2、电子商务数据具有数据量大、更迭频率快、数据颗粒多、维度复杂,关联性不稳定等特点。大数据技术能从庞大的数据集合中寻找、挖掘有价值的数据和规律,推动大数据技术在电子商务领域的实践和应用,对把握电子商务行业动态,区域发展,企业经营状况,消费者动向有直接意义;同时指导产业结构调整,科学布局有积极作用,帮助科学决策。 3、州级乡村电商大数据平台的建设以互联网技术为基础、以智慧乡村体系建设为导向、以电子商务村级服务站管理及乡村振兴信息服务为职责,整合各类电商线上线下资源,汇总各类电商平台数据资源的综合管理系统。系统由电子商务大数据和智慧乡村服务两个模块组成,构建一个多功能、全体系的农村电商综合服务平台。 4、建立州级大数据中心,对州、县、乡、村、企业各级实际运营数据进行数据采集、分析、展示。确保数据来源的真实性、即时性、关联性。系统完全采用自动采集,州数据中心通过接口方式,对各业务系统的数据进行及时的采集。 性能需求分析: 1、易用性 系统基于B/S架构,对于终端用户来说,极大简化了安装流程,减少系统磨合及人为阻力,保障软件系统的成功实施以及使用;对于系统管理员来说,减少了大量用户培训工作,及各个系统终端软件问题的维护工作。 2、可靠性 系统高稳健性包括系统的稳定性和数据的可靠性两方面的含义。系统的稳定性是指发生局部硬件故障和软件故障时有相应的旁路技术和容错技术,任意单点故障都不影响整个系统的运行;系统的数据可靠性是指保证备份数据和共享交换数据的一致性,发生故障时,数据不损失。可满足系统容量弹性、成本与实施效率。 3、扩展性 系统实现数据的集中化管理,即所有数据均存放在云服务器,各客户端均不存放任何数据,保证了数据的安全性的同时也便于数据的维护,可对下级单位出现的数据问题在服务器端直接解决,缩短了响应时间。软件基于B/S混合架构,后台统一管理版本、维护升级,无需对各个客户端出现的软件问题进行个别处理,降低了维护的难度。 4、安全性 系统安全对任何公司来说都非常重要,基于云端的大数据平台设计,可彻底确保用户数据的安全、稳定、可靠。可视化基于阿里云DATAV二次开发,系统安全性及稳定性有保障。 设计方案: 1、综合建设思路 建立州级大数据中心,对州、县、乡、村、企业各级实际运营数据进行数据采集、分析、展示。确保数据来源的真实性、即时性、关联性。系统完全采用自动采集,州数据中心通过接口方式,对各业务系统的数据进行及时的采集。 2、电商大数据数据源采集规划 ①、州、县、乡、村各级实体线下网点日常农产品上下行的经营数据(日常交易量、物流包裹数、品牌培育情况等); ②、州县两级电商运营中心工作动态(电商培训、品牌培育、物流服务等); ③、自动采集区域内重点企业(本地O2O企业)的日常交易情况; ④、自动采集各电商企业线上网店经营情况(本地平台、jd、taobao等对接平台) 3、API数据对接 通过API接口开发,对接国家商务部平台,实现数据自动上报; 4、大数据分析 按区域(州县两级)、按业务模式(上下行、物流、追溯)、按行业(企业行业)、按企业(某类企业、某企业)、按品类(产品品类)、按品牌(公用品牌)等,以多种形式对采集数据进行汇总分析,形成数据报表(增长率、占比、月报表、季度表、年报表)。 5、大数据展示 采用DATAV可视化技术,实现数据图表化、图形化、立体化展示;实现州县两级电商运维数据的可视化展示。确保展示数据的自动更新和即时性; 电商大数据系统的构架必须遵循商务部数据接口开发规范,具体数据格式及功能模块,遵循国家商务部业务系统。建立独立数据库,形成州级数据中心。数据采集之后,在本地形成数据存储,采用API接口数据传输开发模式,通过API接口,实时对接传输到国家商务部业务系统。系统的功能建设必须满足(州、县、乡、村)四级管理,各级管理用户拥有独立的数据采集后台。实现区域内电商相关数据、电商相关信息采集上报。企业无需登录国家商务部业务系统后台,只需在本地平台登录,即可完成数据采集和上报。 本次系统提升,我们采取以下四个主要开发方向展开工作: 1、规范报表:规范采集数据格式和标准,采用国家大数据平台数据格式; 2、规范API接口:遵循国家大数据平台API接口开发规范; 3、自动生成数据分析报告:按区域、品类、时间等自动生成各类报表汇总; 4、可视化展示优化:对接实时数据,数据加工,数据可视化,满足数字大屏开发。采用DATVA实现多维度,精细化的统计分析,秒级处理,实时采集建模,快速通过可视化图表展示海量数据。电商运营团队,可通过可视化大屏更加直观、实时的看到数据变化情况,能够第一时间做出反馈。 商务部业务系统统一平台,只有国家级、省级、县级、企业级共4级系统平台。本系统的开发,形成了州级平台,建立州级数据中心,实现州级电商大数据统筹。系统完成以下两个主要功能: 1、建立州级统筹农村电商大数据中心,各县级及企业上报数据,自动存储到州级大数据平台,形成独立的州级数据库,州级可查询和管理各县级各企业的上报数据; 2、企业日报通过API接口开发整合,企业日报上报后,自动存储到州级平台,并智能对接同步到国家平台,真正实现了“企业端、县级、州级、国家级“一次上报,多端数据同步。 |
1、功能满足:大数据系统基于云计算技术构建成熟稳定的大数据基础架构平台,平台扩展性和稳定性强,基于此平台扩展建设某个区域云端大数据中心安全快捷,不需要在本地落地物理设备。系统将数据采集、数据清洗、数据挖掘等数据处理工作按工作流方式自动化运行,能够监控各工作环节运行情况,并自动预警。 2、建设周期短,维护成本低:农村电商综合服务平台建立在云端,建设周期短。可以把更多的时间投入到更多的应用产品和数据服务上去。基于云计算技术建立云计算平台,资源得到充分优化,可扩展性极强,在此基础上建立的云端电子商务大数据中心建设成本比传统数据中心要低很多。 3、智能检测,动态跟踪:监测全州700多个站点上下行、建设情况等数据,同时,通过自主研发的智能搜索引擎,自动监测大理州电子商务交易平台,并及时纳入到监测范围。动态监测全省及各县区市网络零售数据,重要平台、重要企业数据,自定义动态监测对象榜单,跟踪数据动态处理流程,进一步突破时效的限制。 4、获得软件著作权2项。 |