农业大数据平台建设分析

大数据时代，农业资源数据来源广泛、种类繁多、数据量庞大且内容形式多样，其特点决定了数据产生源头的多异性和覆盖性。农业数据多异性表示为数据包含如气压、浓度、温度、湿度甚至光线、声音、气味等不同类型的数据，数据广泛复杂。本文从数据收集、数据处理、主数据管理平台建设、数据交换与共享平台建设、数据访问平台建设几个方面来对农业大数据平台建设进行分析。

一、数据收集与处理

1、各类农业信息资源数据的收集，汇集到信息收集池

本项目通过不同的方式汇聚数据，数据主要来源于以下5个方面：

①市县农委现有数据，如农产品质量监管、农产品质量追溯、农业投入品监管、动监所执法、渔业数字化、三农项目管理等数据；

②部省相关数据，如三品一标、农业投入品等数据；

③政府部门相关数据，如气象、环境、工商、防汛等数据；

④机构改革后，农办、发改、财政部门相关数据；

⑤其他下一步收集的数据，如休闲观光客源、土壤质地、森林植被等数据。

2、制定统一数据标准，数据加工处理，建立数据中心

①信息标准平台建设

建设一套信息标准是消除信息孤岛的根本方法，也是本项目建设的一个重点。整个平台的数据表示需要按照一定的标准编码，方便平台内数据和行业之间数据流通。建设标准应该按照国家最新《农业行业代码》进行标准体系的建设。信息标准的建设内容主要包括数据标准、编码标准、接口标准和应用标准，其是实现农业信息化资源共享和信息系统得到协同发展的基础。

②中心数据库建设

中心数据库主要用于存储与管理原有数据库处理后的相关数据、新建系统的相关数据以及新建数据库的表和视图等。考虑到为上层应用提供的访问接口和功能侧重不同，存储与管理软件主要包括文件系统和数据库。在农业大数据环境下，最适用于当前的技术是分布式文件系统与分布式数据库。

（3）数据加工处理平台

数据清洗（ETL）：广义上讲，是将数据库中的数据进行精简和去除冗余或者重复记录，并使剩余数据转换为符合数据标准处理的过程；狭义上的数据清洗特指在构建数据仓库或实现数据挖掘前对源数据进行相应处理，使其能够在准确性、完整性、一致性、有限性能够满足后续数据处理要求的过程。数据清洗主要有三步：数据分析、数据检测、数据修正。农业大数据资源建设是一个多源异构的数据集成问题，针对该问题，数据清洗不但可以解决数据集成之前的数据质量要求，还可以检测和修正数据源中实例层的“脏数据”，因此数据清洗时农业大数据资源建设过程中提高数据质量必不可少的环节。

数据集成是把多个原数据中的数据结合、存放到一个数据存储，如数据仓库。在多渠道获得的农业数据储存和集成中是常见问题。其中要考虑三个问题；实体识别、数据冗余和数据值冲突检测与处理。

数据变换主要有平滑、聚集、数据泛化、规范化以及属性构造。其中平滑可以用分箱、聚类和回归来实现；数据概化过程即概念分层，将低层次的数据提炼到更高一级的概念层次中；规范化又有最大最小规范化、零均值规范化和小数定标规范化。此外，还可以构造新的属性来使数据集成。

数据规约：当面临大型数据库中的海量数据时，分析这些数据是个很庞大的工程，如果对所有数据进行分析和挖掘，要耗费很长时间，若能把握主要数据，分析将快捷很多。此类技术主要有：数据方聚集、维规约、数据压缩、数值规约以及离散化和概念分层等。

二、平台建设

1、建设主数据管理平台，形成农业的统一主数据体系

主数据管理是提取核心业务对象和公共基础数据，形成农业的统一主数据体系。主数据管理将围绕此类核心数据提供统一的数据交换、数据监控、数据访问、数据质量管理及数据服务总线等一系列系统功能。数据经分类，形成基础数据库与专业数据库，其中，基础数据库包括人员数据、机构数据、主体数据等；专业数据包括农业生产数据、农业资源数据、农业经营数据、农业生态数据、农业市场数据、农产品质量数据、农村建设数据、农民致富数据等。

2、数据交换与共享平台

根据数据实际情况，为平台制定数据交换平台的清晰、明确、详细解决方案，使用专业的数据复制和清洗工具实现数据实时复制和集中到中心数据库。在数据的复制和交换过程中，能够保证各应用系统交换和共享的各种数据的一致性、准确性，较好的实现各种数据冲突的解决。在保证具备相应功能和良好性能的基础上，该平台应具备一定的易用性，方便日常管理与维护。

基于信息资源交互平台，面向农业业务系统、业务数据库及平台数据库提供各类数据级别的共享接口：数据访问标准接口（WebService），围绕农业核心业务封装数据访问接口；分布式数据仓库访问接口，基于Hadoop生态体系对外提供标准SQL查询、访问和数据输出接口；提供数据发布二次开发接口，按照业务要求，提供各类定制化实时或非实时数据共享服务；通过通用数据共享接口，可以将相关数据反馈给如市县农委、部省农委、市级大数据中心（政府部门，如工商、商务委、环保、社保、民政、交通等行业部门）。

3、数据访问平台

开发基于SOA的数据服务接口，能够将常用标准数据以服务形式发布，供其他各相关信息系统调用。数据访问平台用于控制最终用户对基础数据库的访问权限、访问接口等，以此保障统一数据库平台的数据安全。

基于信息资源交互平台，面向使用者提供服务输出接口，提供数据的对外服务，服务对象包括政府机构、农村基层、社会公众、经营主体、农业从业者、涉农单位等。可以将资源交互平台的数据服务嵌入到任意第三方系统，使得服务获取能够更加便捷，主要接口技术类型包括：Web应用访问接口；微信接口；即时通讯及OA接口；门户标准接口；移动互联网APP接口；二次开发接口满足特定服务。

总之，建立农业信息资源交互平台的核心即是建立农业大数据平台，梳理和建设各类主题数据库，运用大数据分析、预测、评估，可统筹资源、统一标准、顶层推进、分类实施，真正实现资源共享，避免资源浪费和重复建设，可为优化生产、科学经营、风险评估提供技术支撑，可引导农民生产经营、满足社会公众的信息索取，提升农业综合信息服务能力，让农民与社会公众共同分享信息化发展成果。（薛彩霞 刘俊）