《信息与电脑》录用通知

基于大数据的水产养殖系统设计

王彪 文燕

（成都农业科技职业学院 成都 611130）

基金项目: 成都农业科技职业学院孵化项目（cny19-34 ）

作者简介:

王彪（1983—）男，硕士，讲师，高级工程师，主要研究方向：农业大数据应用

文燕（1979—）女，硕士，讲师，主要研究方向：计算机网络安全，计算机应用技术

摘要:大数据与各行业的快速融合正在深刻的改变着人们思考和解决问题的方式，快速的推动着生产力的发展。水产养殖大数据作为渔业大数据的重要一环，对其研究和应用对推动渔业转型升级有极强现实意义。本文阐述了水产养殖大数据的主要来源，对水产养殖大数据系统进行需求分析和概要设计，展望了水产养殖大数据发展的前景和挑战。

关键词：水产养殖；大数据；系统设计

Abstract：The rapid integration of big data and various industries is profoundly changing the way people think and solve problems, and rapidly promote the development of productivity. Aquaculture big data is an important part of the big data of fishery, and its research and application have great practical significance for promoting the transformation and upgrading of fisheries. This paper describes the main sources of aquaculture big data, needs analysis and summary design of the aquaculture big data system, and looks forward to the prospects and challenges of aquaculture big data development.

Keywords：aquacalture;bigdata;system design

0引言

我国的水产养殖量居世界第一位，水产养殖是我国农业经济的重要组成部分。传统的粗放式或小打小闹的养殖方式风险大、成本高、对环境资源的破坏较为严重，已不符合经济高质量发展的时代要求。要提高水产养殖的效率、降低风险、增加效益，就必须进行科学管理、科学决策，向自动化和智能化方向突破。基于大数据的水产养殖系统充分重视数据的作用，从数据中总结规律，挖掘价值，让传统的经验管理逐渐转向精准管理，有助于突破修修补补、看摊守业和靠天吃饭的养殖观念。基于大数据的水产养殖促进养殖手段自动化、高效化，管理模式科学化、智能化，生产方式规模化、集约化，从而打造一个全新的水产养殖模式，推进水产养殖的产业革命。

1大数据与水产养殖

著名研究机构Gartner与麦肯锡都对大数据给出了相关定义，其主要意思都表明大数据是重要的信息资产，但是依靠传统的方式无法去研究处理并提炼其价值。大数据有重要的4V特征，即Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度），后有关学者在此基础上再增加了Veracity（真实性）。迈尔-舍恩伯格指出大数据不是随机样本，而是全体数据；不是精确性，而是混杂性；不是因果关系，而是相关关系^[1]。以上表明，大数据是一场思维与技术的革命。“用数据说话、用数据决策、用数据管理、用数据创新”，大数据将成为驱动经济发展和社会转型的重要力量。

“水产大数据是把生产经营过程的相关数据进行采集，通过可追溯系统从生产到消费过程进行全方位的记录，如生产环境、水域状况、市场前景等数据，这些数据就构成了大数据的基础。此外，还需要智能决策系统，包括专家库、知识库、决策库等，指导水产业的生产经营活动，提高养殖生产效益”^[2]。水产养殖大数据聚焦水产养殖环节，它利用大数据的理念和相关技术，对水产养殖全产业链产生的大量数据进行收集、处理和分析和应用，借此来解决水产养殖领域风险大、成本高、管理水平低、资源利用水平低等普遍问题。在水产养殖中应用大数据是进行科学管理、提高效率和效益，最终实现智慧养殖的前提条件。

2水产养殖大数据来源

数据是基础，分析挖掘是核心，应用是目的。水产养殖环境多变且复杂，包括环境数据、生长数据和管理数据等等，此外，历史数据、经验数据和来自于互联网、各种知识库的数据都是构建水产养殖大数据的成分。足够丰富的数据能提高机器学习的效果，更能反映出客观问题，预测趋势，从而为决策服务。

水产养殖大数据来源主要分为三方面：1)物联网数据，来自于各类传感器，监控设备。如温度，水质，PH，溶氧，光照传感器，视频监控设备等。2）互联网数据，通过网络接口，网络爬虫等从互联网获取的数据。3）其他数据。如管理系统里已有的数据，各种水产养殖知识库、专业数据库等。表1对几类数据源从获取方式、数据类型和数据量方面做了简单比较。

表1 水产养殖数据源

3水产养殖大数据系统设计

3.1系统需求分析

水产养殖大数据系统是一个综合了数据获取、存储、分析和应用的综合系统，下面从数据采集、数据存储处理和数据应用三个方面加以分析。

（1）数据获取

整个水产养殖链条的数据来源是广泛而复杂的，主要数据源如图1所示。传感器负责采集环境数据和个体数据。包括获取水温、PH值、化学需氧量、活性磷酸盐等水产养殖环境要素数据，通过视频设备获取宏观环境信息，通过个体标签采集个体的活动信息。通过水下传感器、浮标、遥感、设备获取的数据是本文进行数据挖掘和研究的主要数据来源;监控视频数据流则通过协议传输至服务器进行回调解析获取;包括通过各解析器解析的网络、文档数据，这些数据是构成水产养殖大数据信息平台的数据基础。

计算机负责采集互联网数据。提前准备好采集库，包括行业权威网站，政府主管部门网站，其他专业数据库，数据包等，与水产养殖有关的预报预警信息等。联网采集数据需要安排好采集策略，合理分配时间，过采集源要定期测试和分析，从而优化资源库，提高数据质量。

其他数据主要来自与水产养殖管理系统，或者线下数据。对于有条件的可以同行交换或共享数据资源，打通信息孤岛。数据资源越丰富，越利于挖掘出其中的价值。对于线下获取的数据，经过整理和清洗后要及时录入系统，构建全面的数据资源。

图1 水产养殖数据来源图

（2）数据存储与管理

由于水产养殖涉及的因素多，环境复杂，产生的数据量大，种类繁多，且大部分是流式数据。这种实时产生的连续性数据，需要一种高性能高容量的数据存储方案。又由于水产养殖数据来源广泛，除了结构化数据之外还有大量的半结构化和非结构化数据。数据存储由关系型数据仓库和分布式数据仓库构成，遥感监测数据和非结构化数据数据量大、增速快，此类数据采用HDFS进行分布式存储，HDFS有点在与对存储设备要求不高，容错性好，可以通过添加节点的方式进行快速扩容，是存储大数据的理想解决方案^[3]。HDFS存储机制和节点之间的互备份机制保证了水产养殖数据的安全性。   

由于水产养殖数据来源广且数据质量良萎不齐。为了更好的为后续挖掘工作供应优质数据，需要在数据存储阶段前需要进行清洗，加工、融合后才能存入目标库进一步处理。通过数据统计分析技术将高维数据降维，构建基于应用主题的数据仓库，为大数据的应用做好准备工作。Hadoop是一种开源的大数据解决方案，实际上已成为该行业的事实标准，有大量的案例、参考资料和社区支持，同时Hadoop生态圈产品非常完善，涵盖数据抽取、转化、存储、分析整个链条^[4]，是用于水产大数据管理的理想方案。Hadoop的HDFS和MapReduce是两大核心部件，分别用于分布式存储和分布式处理数据，基于Hadoop的大数据技术框架体系如图2所示。

图2 基于Hadoop的大数据技术体系图

（3）数据业务逻辑处理层

该部分是整个平台的核心，业务逻辑处理要将数据变成可用的信息、知识。用于实现业务逻辑和提供分布式计算框架，用户通过调用对应的业务接口，获取相应的检索、统计、分析、模型管理等服务。需要注意的是，基于大数据的业务处理不仅仅是技术问题，也需要对行业知识有相当的了解，对人的综合能力要求较高，期初通常需要程序员和水产养殖专家协同工作。为了提高平台响应速度，部分可并行化业务逻辑以MapReduce分布式编程计算框架进行并行处理，为数据应用展示层提供相应接口。根据不同的需求可采用不同技术框架，如对实时性要求不高的管理决策可以采取MapReuce、Spark脱机分析，对实时性要求较高的可以采用Storm框架进行分析。

（4）数据应用展示层

数据经过分析和处理后将给出系列结果，这种结果可能仍然不够直观。数据应用展示层通过调取不同的业务处理接口，获取对应数据分析、查询结果。首先用户可根据筛选条件、需求进行水产相关信息检索，检索结果将以丰富的可视化展现形式进行展示。另外平台对检索、热点信息进行统计展示。同时提供风险预警、产量预测、疾病防控、水质评价、水产要素分析等分析服务，从数据挖掘的角度提供科学的预测、评价和指导。

3.2系统方案设计

整个系统包括获取数据的物联网部分，数据存储与处理的数据中心部分和承担管理功能的管理终端部分，来自于互联网的数据通过软件方式直接在数据中心加以实现。系统整体逻辑架构如图3所示，该图为硬件分布的逻辑示意图，软件功能在后续说明。在水产养殖智能监控系统的设计中，根据物联网中感知层、网络层和应用层的三层体系架构，设计系统由无线检测和控制层、监控中心层和远程管理层三部分组成。

图3 系统架构逻辑示意图

无线检测和控制设备包括水质、气象等参数检测传感器、水质调节装置、自动投饲装置、摄像头等。根据传感器采集的数据，自动调节控制设备，规范养殖过程，优化养殖环境；并将各种采集数据和管理数据上传到数据中心，以供大数据分析和管理端查阅。管理层监控系统及水产养殖信息数据库，可在监控见面设置各种参数的范围，在数据异常时及时报警通知用户，并根据设定参数调节环境参数，实现对本系统的远程实时智能监控。包括养殖状态检测、养殖环境调节、无线通讯、控制中心、上位机远程监控显示五个模块。其中安防监控系统可以实施智能行为识别并对进入防区的可疑人员进行警告及报警通知相关人员，环境监控系统是基于水产养殖大数据的指导，根据检测到环境参数自动或手动控制调节器的工作，以及给养殖人员提供价值信息来干涉养殖过程。

数据的使用和管理是该系统的核心功能，整个系统软件架构可分为大数据平台和业务系统两大部分，系统软件架构如图4所示。大数据平台存储、管理和分析数据，构建模型与知识库，进而应用业务系统上。目前，对水产养殖进行数据分析和建模的方法主要有基于ARIMA模型和神经网络训练^[5]。业务系统根据用户需求呈现信息，形成决策。执行单元执行决策后继续产生数据，大数据平台收集到反馈数据后做对比分析，从而优化模型、知识库。

图4 系统软件架构设计图

以系统中的疾病预测与诊断功能为例，该功能设计为养殖户可根据常见疾病库和自身经验自查，可邀请专家协助进行远程诊断，可上传文字、图像信息让平台智能识别就、协助诊断。

4面临的挑战与展望

目前，水产养殖的大数据研究和应用还处于初级阶段，没有现成的成熟经验可以借鉴。同时由于水产养殖自身的复杂多变性，注定了这不是一蹴而就的事情。但是水产养殖的自动化、数字化、精准化、智能化是时代发展也是行业的客观要求。大数据为实现这一些提供良好的切入点，成为其中的关键技术。政府大力支持，企业和科研院所积极参，与为水产养殖大数据的发展提供了良好的机遇。

4.1建设和发展水产养殖大数据的挑战

（1）水产养殖积累的数据少质量低

长期以来我国水产养殖以粗放养殖为主，小规模养殖主体为主，不注重数据的积累,有资料统计，我国水产养殖的数据收集比例不到美日等发到国家的10%。近年由于物联网技术的逐渐成熟和应用，信息收集效率大幅提高，但由于缺乏行业标准，造成收集的信息不规范、不全面，给大数据应用带来很大障碍。

（2）水产养殖大数据需要高度融合

影响水产养殖的数据不仅仅是在养殖水域。要充分发挥大数据对于水产养殖的价值，必须要全面及时的获取一切相关数据。除了充分收集、了解水产水域信息外，还要和气象、海事、政府主管部门、行业协会等等的数据流通。这至少有两方面的挑战:一是能否有便捷的数据获取渠道，二是这些部门数据是否及时、准确和全面。

（3）水产养殖大数据的人才难题

目前，大数据人才蓬勃发展，人才缺口巨大。大数据人才的综合能力强，兼具统计分析、计算机和行业知识，培养周期长，优秀的大数据人才极具市场竞争力，而要在在涉农领域要找到合格的大数据人才十分困难。水产养殖的复杂性需要高端人才的持续投入才能逐渐显现效果，这是制约水产大数据发展最迫切的因素。

4.2水产养殖大数据发展展望

（1）通过标准体系建设实现水产养殖设施标准化，数据规范化

随着水产养殖业数据获取范围的扩展和数据获取技术的提高，数据规模化增长，研究构建普适的及特定场景的设施设备标准、数据采集标准、接口标准不仅有利于各系统之间的配合，更降低了部署相应软硬件的技术难度和时间成本，使数据的价值在水产养殖中得以快速应用。

（2）通过制度建设打通数据的共建共享渠道

基于数据管理的水产养殖仅仅依靠养殖个体的数据量和技术是行不通的，它需要打通和相关政府机构、行业、研究机构之间数据通道。只有实现了数据共建共享，保证数据丰富性和全面性，才具备利用数据进行科学决策的前提。而这一切，需要相关职能部门及行业协会从制度上加以保障。

（3）建立重点应用和典型案例，以点带面推动水产养殖大数据建设。

大数据在水产养殖领域的应用点很多，全面铺开去研究和建设未免投入资源过多，无法取得实际成效，会严重打击从业者的积极性和信心。可将资源优先投入到某一个领域，比如气象灾害预警，这一块已经有部分研究基础和研究成果^[6]。利用高质量的数据对预测模型进行迭代优化，最终达到能应用于生产场景并产生实际价值的目的。

随着水产养殖从业人员的意识进步，对数据的不断积累、完善和重视，以及物联网、大数据、人工智能等新技术的不断创新，基于数据管理、数据决策和数据创新的高效、智慧的水产养殖时代终究到来。

参考文献:

[1] Viktor Mayer-Schonberger（英）著，盛杨燕，周涛 译.大数据时代[M].浙江人民出版社，2013.1

[2] 朱泽.智能化养殖开启渔业“大数据时化’田.渔业致富指南，2015(2):3一4.

[3] 刘军,冷芳玲,李世奇,鲍玉斌.基于HDFS的分布式文件系统[J].东北大学学报(自然科学版),2019,40(06):795-800.

[4] 韩朵朵,刘会杰,许爱雪.基于Hadoop生态系统的大数据解决方案[J].石家庄铁路职业技术学院学报,2019,18(02):71-75.

[5] 宋剑文. 智能水产养殖系统的预测预警技术研究[D].海南大学,2018.

[6] 吴卫祖,刘利群,徐兵,吴振陆.基于物联网的水产养殖气象灾害监测与预警模型研究[J].电子技术与软件工程,2017(05):210-211.

• 上一篇：基于连续潮流计算的VSC-MTDC异步互联电网换流站参数优化方法
• 下一篇：EDF多任务调度算法在物联网数据监控平台中的应用研究