云平台下海量数据冲击中的可视化调度平台设计
聂晶+石中坚
摘 要： 针对当前云平台调度中存在的问题，设计云平台下海量数据冲击中的可视化调度平台，其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频，并传递给数字信号处理器进行处理，其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术，对海量数据采集模块的处理结果进行分析和计算，给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化，以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明，所设计的平台拥有较好的计算性能和调度性能。
关键词： 云平臺； 海量数据； 可视化调度平台； Hadoop
中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）08?0107?03
Design of visualization scheduling platform for mass data impact under cloud platform
NIE Jing1， SHI Zhongjian2
（1. Nanning College for Vocational Technology， Nanning 530008， China； 2. Hanshan Normal University， Chaozhou 521000， China）
Abstract： Aiming at the problems existing in the current cloud platform scheduling， a visualization scheduling platform for mass data impact under cloud platform was designed， which is composed of the mass data acquisition module， cloud platform module and visualization scheduling module. The antenna in mass data acquisition module carries out the acquisition and frequency modulation of mass data， and transmits the data to the digital signal processor for processing. The processing result is transmitted to the cloud platform module. The Hadoop distributed computing technology is used in the cloud platform module to analyze and calculate the processing result of the mass data acquisition module. The cloud platform module gives out a scheduling scheme. The scheduling scheme is transmitted to the visualization scheduling module to realize the scheduling scheme visualization and specific implementation of the dispatching work. The platform software is used to design the generation process of the scheduling scheme in the cloud platform module. The experimental result shows that the designed platform has perfect computational performance and scheduling performance.
Keywords： cloud platform； mass data； visualization scheduling platform； Hadoop
调度是一种能够给出合理运行决策的技术，其能够有效提升各领域的工作效率和工作精度，缩减人工作业量。可视化是在20世纪80年代开始兴起的计算机图像显示技术，人眼视觉是可视化的基础[1?3]。将可视化与调度结合起来，能够使原本较为抽象的运行决策更加便于理解，可视化调度平台应景而生。然而，当今社会各领域的信息量巨大，在海量数据冲击中，可视化调度平台已逐渐落后，云平台的产生使这一现象得到有效缓解[4?6]。
1 海量数据冲击中的可视化调度平台设计
1.1 海量数据采集模块设计
在云平台下海量数据冲击中的可视化调度平台中，由于海量数据采集模块掌控着调度对象中海量数据的采集工作，是整个平台性能的基础保证。为此，需要在保证采集精度的前提下，赋予该模块足够的稳定性和工作效率，加强模块对调度对象的控制能力。图1是海量数据采集模块组成图。由图1可知，海量数据采集模块主要由天线、数据接收器、数字信号处理器、看门狗计时器和通信接口组成。在云平台下海量数据冲击中的可视化调度平台中，海量数据采集模块的天线是最先经受海量数据冲击的。在冲击开始后，天线随即对海量数据进行采集和调频。这样设计能够保证天线免受非调度对象数据的影响，提高模块采集精度。
1.2 云平台模块设计
云平台模块接收到海量数据采集模块传递来的处理结果后，将对其进行计算，给出调度方案。云平台模块对海量数据处理结果进行Hadoop分布式计算。Hadoop分布式计算是云平台中较为常用的处理技术，这种技术能够为云平台下海量数据冲击中的可视化调度平台提供高效、透明的调度方案，其对调度人员的技术要求不高，可节约平台的运行成本。图2是Hadoop分布式计算的结构图。
由图2可知，Hadoop分布式计算的子项目有四种，分别是映射?归约模型、分布式关系数据库、分布式文件系统以及分布式应用程序协调服务。
1.3 可视化调度模块
可视化调度模块是云平台下海量数据冲击中的可视化调度平台对调度对象实施具体调度工作的模块，也是用户可直接使用的模块。可视化调度模块能够将调度方案以可视化的形式呈现给用户，这一工作要求用户与可视化调度模块间应具有较强的人机交互能力，为此，设计出如图3所示的可视化調度模块结构图。
由图3可知，可视化调度模块能够实现调度方案的特征可视化和密度可视化。特征可视化包括调度对象中海量数据的冲击形式、海量数据类型和调度形式；密度可视化是指对方案中每条调度流程相对应的海量数据密度进行可视化。调度管理对调度方案进行调用，通过网络服务器将调度流程分配至其相应的调度对象网络节点上，分配完成后，网络服务器将调度对象网络节点数据反馈给调度管理。在云平台下海量数据冲击中的可视化调度平台中，用户通过用户浏览器查看平台的可视化内容和平台调度工作的实施情况。
2 可视化调度平台软件设计
云平台下海量数据冲击中的可视化调度平台的云平台模块，利用Hadoop分布式计算技术对海量数据采集模块的处理结果进行分析和计算，最终实现调度方案的给出。调度方案产生流程如图4所示。
由图4可知，云平台模块先对海量数据采集模块处理过的海量数据进行调用，把其中具有特殊特征的数据构建成优先处理集合（特殊特征是根据以往调度工作里经常需要进行调度的数据中提取出来的，用户也可对其进行预定义），再利用分布式关系数据库对优先处理集合中的数据进行检验，确定其是否需要进行调度。如果不需要，则更新优先处理集合。
3 实验验证
3.1 平台计算性能验证
在海量数据冲击中的可视化调度平台的计算性能验证实验中，以某大型电网作为实验对象进行30天实验。实验电网产生的数据量为11 GB/天，用本文平台、Brook平台和Skepu平台对实验电网中的海量数据同时进行计算，并输出三个平台的计算用时和计算准确率见图5、图6。由图5、图6可知， Brook平台的计算用时高于本文平台、低于Skepu平台，30天内的计算用时波动不明显；但该平台的计算准确率不高，最大值仅为91.2%，整体计算性能较为平庸。Skepu平台的计算用时随着实验天数的增长而增长，其计算准确率曲线波动也较大，造成这些现象的原因可能是该平台的存储性能不好，导致平台的计算性能不高。对比来看，本文平台的计算用时较短、计算准确率较高，实验输出曲线波动不大，拥有较好的计算性能。
3.2 平台调度性能验证
用本文平台、Brook平台和Skepu平台对实验电网产生的海量数据进行可视化调度，图7为三个平台调度实施时间对比图，图8为用户对调度方案的满意度对比图。
由图7可知， Brook平台的调度实施时间过长，不能在海量数据类型较为复杂的领域中使用；Skepu平台的调度实施时间较短，但曲线整体呈现上升趋势；本文平台的调度实施时间要低于Brook平台和Skepu平台。由图8可知，用户对三个平台给出的调度方案的满意度均很高，除了Skepu平台的用户满意度曲线在实验中期有一定的下降，本文平台和Brook平台的用户满意度曲线均较为平稳，且用户对本文平台给出的调度方案的满意度始终维持在96.5%以上。
综上所述，本文平台具有较好的调度性能。
4 结 论
本文设计云平台下海量数据冲击中的可视化调度平台，其拥有三个重要模块，分别是海量数据采集模块、云平台模块和可视化调度模块，这些模块分别负责对调度对象中海量数据的采集、计算和调度方案的可视化与实施等工作。实验通过对比本文平台、Brook平台和Skepu平台的计算性能和调度性能，验证了本文平台在海量数据冲击中，具有较好的计算性能和调度性能。
参考文献
[1] 朱俊，聂龙生，徐云，等.航天三维可视化系统中语音控制技术的研究与应用[J].现代电子技术，2015，38（8）：151?153.
[2] 王静怡，王昕.调度数据网通道故障的诊断及处理技术[J].现代电子技术，2016，39（8）：168?170.
[3] 黄国兵，金勇，贾荣兴，等.某电能量远方终端双平面网络接口设计[J].西安工程大学学报，2016，30（1）：102?106.
[4] 王鼎，钱科军，高一丹，等.云计算平台技术及其在电网调度中的应用[J].电网与清洁能源，2015，31（4）：72?78.
[5] 王小辉，李圣普.改进遗传算法在云辅助教学平台中的应用研究[J].计算机与数字工程，2014，42（5）：883?886.
[6] 陈丽平，郭鑫.最小能耗优化云模型中的动态图挖掘方法[J].计算机工程，2015，41（8）：23?31.
摘 要： 针对当前云平台调度中存在的问题，设计云平台下海量数据冲击中的可视化调度平台，其由海量数据采集模块、云平台模块和可视化调度模块组成。海量数据采集模块中的天线开始对海量数据进行采集和调频，并传递给数字信号处理器进行处理，其处理结果将传递给云平台模块。云平台模块利用Hadoop分布式计算技术，对海量数据采集模块的处理结果进行分析和计算，给出调度方案。调度方案将传递给可视化调度模块进行调度方案的可视化，以及调度工作的具体实施。平台软件对云平台模块中调度方案的产生流程进行设计。实验结果表明，所设计的平台拥有较好的计算性能和调度性能。
关键词： 云平臺； 海量数据； 可视化调度平台； Hadoop
中图分类号： TN911?34； TP391 文献标识码： A 文章编号： 1004?373X（2017）08?0107?03
Design of visualization scheduling platform for mass data impact under cloud platform
NIE Jing1， SHI Zhongjian2
（1. Nanning College for Vocational Technology， Nanning 530008， China； 2. Hanshan Normal University， Chaozhou 521000， China）
Abstract： Aiming at the problems existing in the current cloud platform scheduling， a visualization scheduling platform for mass data impact under cloud platform was designed， which is composed of the mass data acquisition module， cloud platform module and visualization scheduling module. The antenna in mass data acquisition module carries out the acquisition and frequency modulation of mass data， and transmits the data to the digital signal processor for processing. The processing result is transmitted to the cloud platform module. The Hadoop distributed computing technology is used in the cloud platform module to analyze and calculate the processing result of the mass data acquisition module. The cloud platform module gives out a scheduling scheme. The scheduling scheme is transmitted to the visualization scheduling module to realize the scheduling scheme visualization and specific implementation of the dispatching work. The platform software is used to design the generation process of the scheduling scheme in the cloud platform module. The experimental result shows that the designed platform has perfect computational performance and scheduling performance.
Keywords： cloud platform； mass data； visualization scheduling platform； Hadoop
调度是一种能够给出合理运行决策的技术，其能够有效提升各领域的工作效率和工作精度，缩减人工作业量。可视化是在20世纪80年代开始兴起的计算机图像显示技术，人眼视觉是可视化的基础[1?3]。将可视化与调度结合起来，能够使原本较为抽象的运行决策更加便于理解，可视化调度平台应景而生。然而，当今社会各领域的信息量巨大，在海量数据冲击中，可视化调度平台已逐渐落后，云平台的产生使这一现象得到有效缓解[4?6]。
1 海量数据冲击中的可视化调度平台设计
1.1 海量数据采集模块设计
在云平台下海量数据冲击中的可视化调度平台中，由于海量数据采集模块掌控着调度对象中海量数据的采集工作，是整个平台性能的基础保证。为此，需要在保证采集精度的前提下，赋予该模块足够的稳定性和工作效率，加强模块对调度对象的控制能力。图1是海量数据采集模块组成图。由图1可知，海量数据采集模块主要由天线、数据接收器、数字信号处理器、看门狗计时器和通信接口组成。在云平台下海量数据冲击中的可视化调度平台中，海量数据采集模块的天线是最先经受海量数据冲击的。在冲击开始后，天线随即对海量数据进行采集和调频。这样设计能够保证天线免受非调度对象数据的影响，提高模块采集精度。
1.2 云平台模块设计
云平台模块接收到海量数据采集模块传递来的处理结果后，将对其进行计算，给出调度方案。云平台模块对海量数据处理结果进行Hadoop分布式计算。Hadoop分布式计算是云平台中较为常用的处理技术，这种技术能够为云平台下海量数据冲击中的可视化调度平台提供高效、透明的调度方案，其对调度人员的技术要求不高，可节约平台的运行成本。图2是Hadoop分布式计算的结构图。
由图2可知，Hadoop分布式计算的子项目有四种，分别是映射?归约模型、分布式关系数据库、分布式文件系统以及分布式应用程序协调服务。
1.3 可视化调度模块
可视化调度模块是云平台下海量数据冲击中的可视化调度平台对调度对象实施具体调度工作的模块，也是用户可直接使用的模块。可视化调度模块能够将调度方案以可视化的形式呈现给用户，这一工作要求用户与可视化调度模块间应具有较强的人机交互能力，为此，设计出如图3所示的可视化調度模块结构图。
由图3可知，可视化调度模块能够实现调度方案的特征可视化和密度可视化。特征可视化包括调度对象中海量数据的冲击形式、海量数据类型和调度形式；密度可视化是指对方案中每条调度流程相对应的海量数据密度进行可视化。调度管理对调度方案进行调用，通过网络服务器将调度流程分配至其相应的调度对象网络节点上，分配完成后，网络服务器将调度对象网络节点数据反馈给调度管理。在云平台下海量数据冲击中的可视化调度平台中，用户通过用户浏览器查看平台的可视化内容和平台调度工作的实施情况。
2 可视化调度平台软件设计
云平台下海量数据冲击中的可视化调度平台的云平台模块，利用Hadoop分布式计算技术对海量数据采集模块的处理结果进行分析和计算，最终实现调度方案的给出。调度方案产生流程如图4所示。
由图4可知，云平台模块先对海量数据采集模块处理过的海量数据进行调用，把其中具有特殊特征的数据构建成优先处理集合（特殊特征是根据以往调度工作里经常需要进行调度的数据中提取出来的，用户也可对其进行预定义），再利用分布式关系数据库对优先处理集合中的数据进行检验，确定其是否需要进行调度。如果不需要，则更新优先处理集合。
3 实验验证
3.1 平台计算性能验证
在海量数据冲击中的可视化调度平台的计算性能验证实验中，以某大型电网作为实验对象进行30天实验。实验电网产生的数据量为11 GB/天，用本文平台、Brook平台和Skepu平台对实验电网中的海量数据同时进行计算，并输出三个平台的计算用时和计算准确率见图5、图6。由图5、图6可知， Brook平台的计算用时高于本文平台、低于Skepu平台，30天内的计算用时波动不明显；但该平台的计算准确率不高，最大值仅为91.2%，整体计算性能较为平庸。Skepu平台的计算用时随着实验天数的增长而增长，其计算准确率曲线波动也较大，造成这些现象的原因可能是该平台的存储性能不好，导致平台的计算性能不高。对比来看，本文平台的计算用时较短、计算准确率较高，实验输出曲线波动不大，拥有较好的计算性能。
3.2 平台调度性能验证
用本文平台、Brook平台和Skepu平台对实验电网产生的海量数据进行可视化调度，图7为三个平台调度实施时间对比图，图8为用户对调度方案的满意度对比图。
由图7可知， Brook平台的调度实施时间过长，不能在海量数据类型较为复杂的领域中使用；Skepu平台的调度实施时间较短，但曲线整体呈现上升趋势；本文平台的调度实施时间要低于Brook平台和Skepu平台。由图8可知，用户对三个平台给出的调度方案的满意度均很高，除了Skepu平台的用户满意度曲线在实验中期有一定的下降，本文平台和Brook平台的用户满意度曲线均较为平稳，且用户对本文平台给出的调度方案的满意度始终维持在96.5%以上。
综上所述，本文平台具有较好的调度性能。
4 结 论
本文设计云平台下海量数据冲击中的可视化调度平台，其拥有三个重要模块，分别是海量数据采集模块、云平台模块和可视化调度模块，这些模块分别负责对调度对象中海量数据的采集、计算和调度方案的可视化与实施等工作。实验通过对比本文平台、Brook平台和Skepu平台的计算性能和调度性能，验证了本文平台在海量数据冲击中，具有较好的计算性能和调度性能。
参考文献
[1] 朱俊，聂龙生，徐云，等.航天三维可视化系统中语音控制技术的研究与应用[J].现代电子技术，2015，38（8）：151?153.
[2] 王静怡，王昕.调度数据网通道故障的诊断及处理技术[J].现代电子技术，2016，39（8）：168?170.
[3] 黄国兵，金勇，贾荣兴，等.某电能量远方终端双平面网络接口设计[J].西安工程大学学报，2016，30（1）：102?106.
[4] 王鼎，钱科军，高一丹，等.云计算平台技术及其在电网调度中的应用[J].电网与清洁能源，2015，31（4）：72?78.
[5] 王小辉，李圣普.改进遗传算法在云辅助教学平台中的应用研究[J].计算机与数字工程，2014，42（5）：883?886.
[6] 陈丽平，郭鑫.最小能耗优化云模型中的动态图挖掘方法[J].计算机工程，2015，41（8）：23?31.
