农业行业大数据平台

以现有农业系统数据为基础,建成面向业务层的统一数据管理平台,通过业务数据抽取整合,实现数据共享交换,利用大数据处理方式提炼形成数据分析模型,为上层业务应用提供数据服务,同时为相关人员提供决策支持,实现业务数据的“可知、可视、可控、可评”。

用户需求

1)随着农业信息化建设和管理水平提高,亟需一个数据处理平台,来整合大量结构化和非结构化数据;

2)业务基础数据复用率越来越高,但数据缺乏有效统一规划管理,系统间数据联系不紧密;

3)多年积累的历史数据较多,有效利用率不充分,数据潜在价值没有被最大化利用;

4)农业政策决策和行业应用无法得到有效的数据支撑。

案例内容
以现有农业系统数据为基础,建成面向业务层的统一数据管理平台,通过业务数据抽取整合,实现数据共享交换,利用大数据处理方式提炼形成数据分析模型,为上层业务应用提供数据服务,同时为相关人员提供决策支持,实现业务数据的“可知、可视、可控、可评”。
技术架构

1)建立统一集群管理平台,方便运维管理人员实时监控集群状态,包括磁盘IO、内存使用、CPU处理、网络流量、Hadoop集群节点状态、各项集群服务管理等;

2)基于Hadoop架构的Spark分布式内存计算体系提高数据处理效率;

3)高效的多维度、多角度交互式查询,通过模型建设与分布式的数据处理,以实际的相关数据进行分析预测;

4)建立数据共享交换系统,基于多数据源、多种数据结构,定义统一抽取、清晰、转换、加载,解决数据来源多、高并发、数据处理量大等难点;

5)使用MapReduce离线计算框架,多维统计预测,对业务进行聚类、分类等数据挖掘应用。

实施及服务

1)调研咨询:调研用户数据系统状态,设计系统对接方案,并部署麦港大数据管理平台(DMP),逐步响应用户诉求;

2)部署数据集成模块:对接用户各个业务系统数据库,实现数据采集、数据转换、和数据整理功能,汇总用户各个业务系统数据进行存储和清洗,并保证数据的一致性、完整性;

3)部署数据共享交换模块:实现数据发布、数据字典功能,将汇总整理过的数据提供给各业务部门使用。创建农业业务基础模型,使数据产生逻辑依据;创建数据服务总线,使业务数据互联互通;

4)部署运维支撑模块:对DMP后台进行管理,实现监控管理、数据管理、集群管理、服务管理等功能。通过该模块可对DMP使用者行为进行限制和监控,对数据行为进行限制和监控;

5)部署决策分析模块:对业务数据进行多维度、多角度可视化分析展现,实现数据报表、多层钻取、业务监测、决策支持等功能;

6)数据应用服务:农业信息“一张图”展现(基于全省农业地理信息GIS地图,直观查询展现各地各产区的土壤墒情、重点农作物指标、农产品价格行情、病虫害监测预警信息);农业信息数据报告(针对性的数据成果报告和定期数据简报);农产品动态变化趋势及市场预测;指导精细农业生产。

案例效果

1) 帮助用户建立了统一数据管理平台,确保数据规范统一,“可知、可视、可控、可评”。

2) 帮助用户解决了数据孤岛现象,减少了工作量,提高了工作效率。

3) 实现了业务数据的共享交换,激活了沉淀数据,使之焕发应有的价值。

4) 通过多维度、多角度的直观可视化分析,为管理层的决策提供了数据支持。

5) 促进农业信息化整合和产业链成果共享,提高农业信息服务深度。

解决方案
行业架构师咨询