食品安全大数据智能采集与应用系统
技术领域
本发明属于食品信息
技术领域
，具体涉及一种食品安全大数据智能采集与应用系统。技术背景
食品质量安全关系到民生最基本的一环，关系到老百姓的身体健康。食品质量安全涉及到原材料供应商、食品加工商、物流服务商、品牌方、政府监管方等多个独立的行业主题；涉及食品种植、加工过程中的各个环节。食品从源头到餐桌的每个阶段、每个设备都可能影响到最终食品的质量安全。因此采集食品从源头到餐桌的相关数据对食品安全具有重要意义。但食品从源头到餐桌所涉及的环节非常多，每个不同的环节又包含多个不同的加工节点，每个加工节点又涉及到不同的物料、加工设备、加工参数等内容，若要求采集每个环节的数据，数据采集量会非常大，传统数据采集方法采集速度慢，采集效率低，数据更新频率慢，无法满足大数据采集的要求。食品安全控制过程中涉及的信息量大，涉及多源异构、多环节、多节点，数据数量、种类、采集周期比较长，因此自动化程度更高的智能采集系统才能够满足食品安全对大数据的要求。智能数据采集作为一种极其实用的电子技术，被广泛地运用到信号的检测、设备的监测、信号的处理、仪器和仪表的检测等多个领域。随着信息时代的来临，信息技术特别是数字化技术得到了不断的发展，因而智能数据采集也在不断的改进和完善，当今的数据采集技术可满足快速、高效、大量、多通道数据采集要求。
在数据智能采集过程中随着时间的推移，数据积累量越来越多，这就给数据的处理和应用带来困难。如此大量的数据筛查难度大，需要的数据存储空间大，数据存储困难，若同时将如此大量的数据上传会引起网络瘫痪，无法通过数据反馈出整个食品加工过程或食品行业的安全状况，无法实现大数据的应用。
在现有的物联网数据采集及应用系统中主要针对某一部分食品或产品进行。如中国专利201910847381.X，公布了一种粮食生产农业物联网智能采集系统。该系统能实现对所种植的作物进行环境监控，提示种植者对种植田进行合适的管理。该系统包括第一数据采集器、第二数据采集器，以及分别与第一数据采集器、第二数据采集器连接的气压传感器、雨量传感器、第一光谱传感器、风向传感器、风速传感器，及分别与第二数据采集器连接的二氧化碳传感器、第二光谱传感器、土壤水分传感器、土壤温度传感器、空气湿度传感器。该发明专利主要针对农业种植领域进行数据采集，涉及面较窄，面向食品全产业链仍然面临数据存储、优化分配等难题，难度较大。
发明内容
基于上述现有技术中的不足和存在的问题，本发明旨在提供一种食品安全大数据智能采集与应用系统，能够广泛的采集食品加工各个环节存在的数据，并将数据进行分类、分级，反向反馈应用于食品生产过程中，能够及时遏制可能存在的风险，降低食品安全问题发生的概率，提高产品溯源效率。
由于食品安全大数据的信息量大，大规模的数据流动会导致网络资源不足，系统运行速度减慢，需要对网络资源进行合理优化利用。本发明目的是利用传感器、人工智能系统等物联网技术进行食品安全大数据的高频率、高速度、大规模数据采集，根据数据来源，数据特点和数据应用要求，合理分配网络带宽，优化网络资源，实现大规模的多源异构的食品安全大数据采集，实时在线分析和高效利用。
为实现上述技术效果，本发明通过以下技术方案实现：
一种食品安全大数据智能采集与应用系统，包括近端系统、边缘系统和云端系统，所述近端系统包括现场系统、数据感知系统、近端存储系统、近端计算系统和数据反馈系统；所述边缘系统包括边缘存储系统和边缘计算系统；所述云端系统包括云端存储系统、云端计算系统和云端反馈系统。所述近端计算系统将数据传输给边缘系统中的边缘计算系统，通过边缘计算系统与近端计算系统将近端系统与边缘系统相连接；边缘计算系统通过数据反馈系统将结果反馈至近端系统；所述云端计算系统与边缘存储系统相连接，通过云端反馈系统将云端计算数据反馈至边缘计算系统，并最终通过数据反馈系统反馈至近端系统，完成食品安全大数据的应用。近端系统、边缘系统和云端系统通过计算机物联网实现数据联通。
作为具体技术方案，所述边缘系统可同时与多个相互独立的近端系统相连，所述云端系统可同时与多个相互独立的边缘系统连接。
作为具体技术方案，所述数据感知系统与现场系统相连，采集现场数据，并将数据传输至近端存储系统，近端计算系统将近端存储系统的数据计算分析后上传至边缘计算系统，边缘计算系统将数据存储至边缘存储系统，同时可根据计算结果通过数据反馈系统反馈至近端系统，近端系统根据反馈结果通过数据感知系统控制现场系统的运行。
作为优选技术方案，所述边缘系统根据边缘计算系统的计算实现对近端系统网络资源的优化分配。
作为具体技术方案，所述网络资源的优化分配，包括网络带宽分配、信息种类优化、信息数量优化、信息采集频率优化。
作为具体技术方案，所述数据感知系统包括智能传感器、自动控制系统和监测系统。
作为具体技术方案，所述监测系统FRID，摄像头，智能传感器。
作为具体技术方案，所述现场系统包括种植、养殖、生产、销售、物流、仓储、商超现场的人、设备机器、物料、制度法规、环境。
作为具体技术方案，所述数据感知系统采集的数据种类包括传感器感知系统直接采集的数据、和批量导入的数据；所采集的数据种类包括结构化数据、半结构化数据和非结构化数据。
作为具体技术方案，所述食品安全大数据的应用包括通过云端反馈系统实现对边缘系统数据和信息的优化，调整边缘信息种类、信息存储模式、信息分配；边缘系统通过数据反馈系统调整近端设备的分布、采集信息种类、参数控制、状态监测。
本发明将大数据的采集与应用进行了集成，根据网络与数据产生距离的远近，划分为近端系统、边缘系统、云端系统，将所产生的数据进行优化设计，实现数据或信息的快速传递，并能够通过各级反馈系统实现对各个控制设备的快速响应。
本系统每个数据感知系统采集各个生产加工单元的现场系统数据，将数据上传至近端、边端、云端，将数据分级上传，分级存储，分级分析后云端、边端、近端三个部分再通过数据反馈系统将结果反馈至现场系统中的人、机、料、法、环，控制现场设备的运行，实现对现场设备数据的实时调整。通过反馈系统可实现数据的不断更新和变化，能够及时、高效的解决食品加工过程中存在的问题，丰富所采集的食品安全大数据的种类和数量，为食品安全管理提供更丰富、更有效的数据支撑。
同时通过近端系统、边缘系统、云端系统的划分，将采集的系统数据进行计算，分析优化后实现对网络资源的优化分配，提高网络传输速率和存储容量，避免网络拥堵和瘫痪。数据的采集和存储更加系统合理，数据采集量大，聚类存储更加合理规范。
说明书附图
图1本发明系统组成结构示意图；
图2本发明数据感知系统运行结构示意图。
具体实施方式
下面结合具体实施例对本发明做进一步说明，需要指出的是以下实施方式仅是以例举的形式对本发明所做的解释性说明，本领域技术人员以本发明的精神对本发明所做的等效替换均落入本发明的保护范围。
实施例1
食品安全大数据智能采集与应用系统，如图1所示，包括近端系统、边缘系统和云端系统。近端系统包括现场系统、数据感知系统、近端存储系统、近端计算系统和数据反馈系统。边缘系统包括边缘存储系统和边缘计算系统；云端系统包括云端存储系统、云端计算系统和云端反馈系统。近端计算系统将数据传输给边缘系统中的边缘计算系统，通过边缘计算系统与近端计算系统将近端系统与边缘系统相连接；边缘计算系统通过数据反馈系统将结果反馈至近端系统。云端计算系统与边缘存储系统相连接，通过云端反馈系统将云端计算数据反馈至边缘计算系统，并最终通过数据反馈系统反馈至近端系统，完成食品安全大数据的应用。近端系统做为物联网系统接入到边缘系统和云端系统。
实施例2
食品安全大数据智能采集与应用系统，如图1所示，包括近端系统、边缘系统和云端系统。近端系统包括现场系统、数据感知系统、近端存储系统、近端计算系统和数据反馈系统。数据感知系统与现场系统相连，采集现场数据，并将数据传输至近端存储系统。边缘系统包括边缘存储系统和边缘计算系统。近端计算系统将近端存储系统的数据计算分析后上传至边缘计算系统，边缘计算系统将数据存储至边缘存储系统，同时可根据计算结果通过数据反馈系统反馈至近端系统，近端系统根据反馈结果通过数据感知系统控制现场系统的运行。如图2所示，数据感知系统包括自动控制系统和监测系统。监测系统包括食品生产加工过程中所使用的FRID，摄像头，智能传感器等数据、图像采集设备和仪器。数据感知系统与现场系统相连，通过监测系统采集现场的人、机、料、法、环数据，并将数据传输至近端存储系统，近端计算系统将近端存储系统的数据计算分析后上传至边缘计算系统。同时，近端计算系统也可直接将计算结果反馈至数据反馈系统，数据反馈系统将反馈结果发送至自动控制系统，通过自动控制系统调整现场设备，优化采集数据的种类、频率、范围、规格、单位等内容。边缘计算系统将数据存储至边缘存储系统，同时可根据计算结果通过数据反馈系统反馈至近端系统，近端系统根据反馈结果通过数据感知系统调整现场系统，优化数据采集的种类、频率、范围、规格、单位等信息。云端系统包括云端存储系统、云端计算系统和云端反馈系统。云端计算系统与边缘存储系统相连接，通过云端反馈系统将云端计算数据反馈至边缘计算系统，并最终通过数据反馈系统反馈至近端系统，完成食品安全大数据的应用。在本系统中边缘系统可同时与多个相互独立的近端系统相连，云端系统又可同时与多个相互独立的边缘系统连接，多个近端系统、多个边缘系统、云端系统共同构成食品安全大数据采集的网络系统，覆盖面全、响应速度快，数据采集范围广，可将食品种植、养殖、生产、储藏、流通、销售、检测过程中的各种现场设备产生的数据采集、归纳、整理、应用到一起，实现数据共传、共建、共享。
实施例3
食品安全大数据智能采集与应用系统，如图1所示，包括近端系统、边缘系统和云端系统。近端系统包括现场系统、数据感知系统、近端存储系统、近端计算系统和数据反馈系统。现场系统包括种植、养殖、生产、销售、物流、仓储、商超现场的人、设备机器、物料、制度法规、环境。以大米质量安全大数据采集与应用为例。在稻谷种植过程中通过温度传感器、湿度传感器、湿度传感器、PH传感器、粉尘传感器、摄像头等数据感知系统采集种植现场环境、土壤等的相关数据，并将数据上传至近端存储系统，近端计算系统计算后将相关数据上传至边缘系统或根据需要通过数据反馈系统反馈至现场，调整现场采集数据的频率、种类等信息，对所采集的数据进行优化。近端计算系统与边缘计算系统相连接，边缘计算系统通过分析不同的多个近端系统上传的数据，通过分析计算后将结果反馈至各个近端系统，指导近端系统对数据存储模式、数据流、采样频率、样本数量、数据种类等进行优化。近端计算系统、边缘计算系统等的计算过程可根据数据采集的响应速度、采集频率、数据产生先后顺序计算上传。近端计算系统将所采集的数据计算后根据预先设定的规则将一部分数据上传至边缘计算系统，边缘计算系统将多个关联的近端系统上传的数据统一、汇总、分析后将数据上传至云端计算系统，云端计算系统又将多个关联的边缘系统上传的数据统一、汇总、计算、分析后向边缘系统提出反馈或直接存储。云端系统将各个边缘系统的数据进行分析，根据各个边缘系统的数据情况合理调整各个边缘系统需要采集的数据信息，对数据进行优化，规避无效数据，提取有效数据信息，调整边缘信息种类、信息存储模式、信息分配并将结果反馈至边缘系统，边缘系统再通过边缘计算系统与近端系统的数据反馈系统相连接，通过数据反馈系统调整近端设备的分布、采集信息种类、参数控制、状态监测。
实施例4
一种食品安全大数据智能采集与应用系统，包括近端系统、边缘系统和云端系统，所述近端系统包括现场系统、数据感知系统、近端存储系统、近端计算系统和数据反馈系统；所述边缘系统包括边缘存储系统和边缘计算系统；所述云端系统包括云端存储系统、云端计算系统和云端反馈系统；所述近端计算系统将数据传输给边缘系统中的边缘计算系统，通过边缘计算系统与近端计算系统将近端系统与边缘系统相连接；边缘计算系统通过数据反馈系统将结果反馈至近端系统；所述云端计算系统与边缘存储系统相连接，通过云端反馈系统将云端计算数据反馈至边缘计算系统，并最终通过数据反馈系统反馈至近端系统，完成食品安全大数据的应用。
近端系统通过近端计算系统与数据反馈系统，实现对现场系统采集数据优化；所述边缘系统根据边缘计算系统的计算实现对近端系统网络资源的优化分配和数据流的优化；云端系统通过云端反馈系统实现对边缘系统网络资源的优化分配和数据流的优化。
网络资源的优化分配，包括网络带宽分配、信息种类优化、信息数量优化、信息采集频率优化。数据感知系统直接采集数据或批量导入数据，数据种类包括结构化数据、半结构化数据和非结构化数据。
网络资源的优化分配算法，包括基于响应速度的优化分配，基于数据类型的优化分配，时间队列优先法则。
基于响应速度的优化分配计算方法为：毫秒级(500ms以内)响应采用本地存储、本地计算模式，采用近程信号控制。即在近端系统完成对数据的采集、存储、计算、反馈等。秒级(500ms以上)响应采用云存储、云计算，远程信息控制模式；即通过云端系统完成数据存储，数据反馈，最终实现对现场系统的控制和监测。
基于数据类型的优化分配：将数据分成不同的类型，包括检验检测、环境参数、健康监测、监督管理、设备动态监测、物流流通等数据。检验检测、环境参数、健康监测数据、监督管理数据，采用本地存储、本地计算，近程信号控制模式；即在近端完成数据的采集、存储、计算、反馈。设备动态监测数据、流通数据等地理位置跨度较大的数据采用云存储、云计算，远程信息控制模式；即通过云端系统完成数据的存储、计算、反馈。
时间队列优先法则是根据数据产生的时间先后顺序，将多个数据或信息上传、计算、反馈按顺序依次进行；
响应速度与时间序列组合法则：，按照数据提交时间和控制响应速度(响应时间)的要求完成多个数据或信息的上传、计算、反馈；先执行响应速度序号，若响应序号相同，再执行数据提交时间序号，先提交的先执行。
实施例5
以大米生产加工为例，在大米生产加工全链条上设置气象传感器、近红外光谱分析仪、大米外观品质检测仪、多功能食品安全检测仪、土壤监测仪器、水质监测仪器、温湿度传感器等共同组成现场的数据感知系统，主要对稻米、土壤、水质、天气以及环境采集相关的数据。各个感知系统将直接采集的数据就近存储至近端存储系统，边缘存储系统将不必要上传的数据进行处理，大大减少数据的上传时间，降低能耗，保证了数据的安全性。边缘系统将处理好的数据上传至云端系统，云端系统即为应用层，接收边缘系统传输的数据并且提供服务，用户可以通过访问云端系统查看数据结果。
以大米加工节点的全过程视频监测为例，采用本发明的方法，在实现数据采集功能的摄像机(相当于数据感知系统)设置近端存储系统和近端计算系统。近端计算系统对相对应的路数的摄像机采集的视频流数据进行帧过滤、任务调度、目标检测、目标识别、行为分析等。每个摄像机对应的近端计算系统将分析结果上传至边缘系统，边缘系统将各个近端计算系统上传的摄像机的数据再次分析后上传至云端系统。各个用户可以通过云端系统查看数据结果。
若将24路摄像机采集的720P(100万像素)的视频格式直接上传云端所需要的带宽如下：
720P(100万像素)的视频格式每路摄像头的比特率为2Mbps，即每路摄像头所需的数据传输带宽为2Mbps，24路摄像机所需的数据传输带宽为：2Mbps(视频格式的比特率)×24(摄像机的路数)＝48Mbps(上行带宽)即：采用720P的视频格式各地方监控所需的网络上行带宽至少为48Mbps。
所需传输时间为：
1路摄像机1h的720P视频格式数据量为D＝256×3600÷0.9＝1024000KB＝1000MB，摄像机传输数据的速率V＝2Mb/s，传输时间Tt＝1000MB÷2Mb/s＝4000s。
采用本发明的方法，将采集的视频数据通过近端计算系统将视频数据进行帧过滤，发现在摄像机录制过程中存在10s的违反操作规范的视频片段。10s的720P视频格式数据量大小为D＝256×10÷0.9＝2844KB＝2.6MB，摄像机传输数据的速率V＝2Mbps，传输时间Tt＝2.6MB÷2Mbps＝10.4s。远远小于将1h所有的视频数据直接上传的时间。
边缘系统将各个近端系统上传的数据按照同样的方法计算后上传至云端系统，该方法减少了不必要的视频数据传输，极大的减小了传输时间，提升了效率，减小了成本。
