虚拟化网络中的异常大数据区域挖掘平台设计与改进

余骞



摘 要: 受异常大数据区域参数波动大的影响,市面上现存的虚拟化网络异常大数据区域挖掘平台可应用性和稳定性不高,与虚拟化网络连接成功率较低。为此,设计新型虚拟化网络异常大数据区域挖掘平台。该平台由虚拟化网络控制模块、挖掘模块和虚拟层组成。虚拟化网络控制模块利用SDN控制器对虚拟化网络进行控制,保证其中的大数据能够被流畅、安全、稳定地挖掘和传输。挖掘模块先对虚拟化网络控制模块传输来的大数据进行整流和滤波,再利用报警电路挖掘出其中的异常大数据,进而搭建出异常大数据区域,并对其进行完整存储。软件给出虚拟层的功能图,以及平台对异常大数据的挖据代码。经实验验证可知,所设计的平台拥有较高的可应用性和稳定性,且与虚拟化网络连接的成功率较高。
关键词: 虚拟化网络; 异常大数据区域; 挖掘平台; SDN
中图分类号: TN915?34; TP311 文献标识码: A 文章编号: 1004?373X(2017)06?0053?04
Abstract: A new abnormal big data area mining platform in virtualization network was designed due to the big fluctuation of abnormal big data area parameters, low applicability and stability of existing virtualization network abnormal big data area mining platform and low success rate of the virtualization network connection. The platform is composed of virtualization network control module, mining module and virtual layers. SDN controller is used in the virtualization network control module to control the virtualization network to ensure smooth, security and stable mining and transmission of the big data. The mining module is used to rectify and filter the big data coming from the virtualization network control module, and then employs the alarm circuit to excavate the abnormal big data for establishment of the abnormal big data area and their entire storage. The software is adopted to generate the function diagram of the virtual layer and the mining code of the abnormal big data. The verification result from experiment shows that the platform has high applicability, high stability and high success rate of connection with virtualization network.
Keywords: virtualization network; abnormal big data area; mining platform; SDN
0 引 言
虛拟化网络的出现,使当今社会逐渐成为一个依靠网络数据生存的社会。虚拟化网络中各种各样的数据形成了大数据,大数据的出现更进一步提高了企业的经济效益和生存能力。然而,虚拟化网络中异常大数据的存在,为大数据的有效获取带来了难度[1?3]。为了解决上述问题,产生了虚拟化网络异常大数据区域挖掘平台。怎样利用该平台实现异常大数据的有效挖掘,为用户提供最为有用的大数据,是数据挖掘领域需要重点研究的问题[4?6]。
目前,市面上现存的虚拟化网络异常大数据区域挖掘平台,由于受到异常大数据区域参数波动大特质的影响,均都或多或少地存在一些问题,如文献[7]基于3D技术设计出的虚拟化网络异常大数据区域挖掘平台,其通过构建映射3D虚拟大数据区域,并利用计算机软件设计了挖掘算法,实现了平台与虚拟化网络的有效连接,以及对异常大数据的准确挖掘。但3D技术的使用较为复杂,导致整个平台的可应用性较低。文献[8]设计了一种使用专业数据处理软件,进行异常大数据挖掘的虚拟化网络异常大数据区域挖掘平台,该平台的专业数据处理软件是基于权函数设计的,并通过多种辅助方法对异常大数据进行评估,进而构建异常大数据区域。整个平台的稳定性较高,但可应用性偏低。文献[9]设计基于WBT的虚拟化网络异常大数据区域挖掘平台,该平台利用WBT对虚拟化网络中的大数据进行训练,并将挖掘出的异常大数据实时更新于数据库中。该系统与虚拟化网络连接成功率较高,但稳定性仍需进一步提升。文献[10]设计基于网络仿真技术的虚拟化网络异常大数据区域挖掘平台,该平台经由网络仿真技术实现了对虚拟化网络中异常大数据准确挖掘,其优势在于大数据复杂度对平台的影响不大。但其价格昂贵,对平台管理人员技术水平的要求也较高,无法实现大规模推广使用。
以上虚拟化网络异常大数据区域挖掘平台的缺陷主要在于:平台的可应用性和稳定性不高,与虚拟化网络连接成功率较低。为了改进以上缺陷,设计一种新型的虚拟化网络异常大数据区域挖掘平台。
1 虚拟化网络中的异常大数据区域挖掘平台设计
所设计的虚拟化网络异常大数据区域挖掘平台由虚拟化网络控制模块、挖掘模块和虚拟层组成,其中,虚拟化网络控制模块和挖掘模块是平台的硬件实现端,虚拟层则为软件实现端。
1.1 虚拟化网络控制模块设计
为了实现对虚拟化网络异常大数据区域的有效挖掘,首先需要对虚拟化网络进行控制,保证大数据能够被流畅、安全、稳定地挖掘和传输。为此,虚拟化网络异常大数据区域挖掘平台设计了虚拟化网络控制模块。
虚拟化网络控制模块选取SDN控制器作为其核心控制设备,该设备是一种能够对虚拟化网络中大数据进行隔离控制的控制器,其应用OPENFLIW技术,搭建大数据传输通道,通过控制大数据传输流量,实现对虚拟化网络的整体控制。SDN控制器的使用,能够大力增强虚拟化网络异常大数据区域挖掘平台与虚拟化网络的连接成功率。经虚拟化网络控制模块控制后的虚拟化网络,拥有较强的兼容性,并能够为虚拟化网络异常大数据区域挖掘平台提供多种挖掘通道。图1是虚拟化网络控制模块控制原理图。
由图1可知,虚拟化网络控制模块分为计算端和控制端,计算端和控制端经由固定接口(图1中的接口1)相连接,保证虚拟化网络异常大数据区域挖掘平台的整体连贯性,增强其可应用性。SDN控制器中的控制算法由计算端提供,控制端则与SDN控制器一同直接作用于虚拟化网络。
控制端对虚拟化网络的控制表现在参数重置,即为虚拟化网络注入符合平台挖掘需求的参数,图1中的接口2便是平台专门用来为控制端输入网络参数重置标准的;而SDN控制器对虚拟化网络的控制则表现为参数重置后的大数据流量分流,即将虚拟化网络中不同类型的大数据区分开,并传送到挖掘模块中,便于挖掘模块实施稳定的异常大数据挖掘工作。
1.2 挖掘模块设计
挖掘模块分为预处理端和存储器端,同时,虚拟化网络异常大数据区域挖掘平台还为挖掘模块设计了报警电路和缓冲电路,用来改进用户使用体验、增强平台稳定性。挖掘模块的结构图如图2所示。
由图2可知,在虚拟化网络异常大数据区域挖掘平台中,挖掘模块所进行的工作主要包括:异常报警、异常大数据挖掘、异常大数据区域的搭建与存储。
1.2.1 预处理端设计
当虚拟化网络中的大数据由虚拟化网络控制模块分流传入挖掘模块,挖掘模块随即调用预处理端进行大数据的预处理,其首先对大数据进行整流和滤波,再利用报警电路筛选其中的异常大数据,进而将虚拟化网络异常大数据挖掘出来。预处理端的报警电路见图3。
由图3可知,当虚拟化网络中大数据接受整流和滤波操作后,会形成较为清晰的电路信号。把该电路信号依次输入到报警电路中,电路中的控制器会根据软件的预设算法对其进行挖掘,若其中存在异常大数据,报警电路便会经由警报器发出警报,警报灯也会同时亮起。此时,挖掘模块会调用软件代码收集异常大数据,并将汇总后的异常大数据传输到存储端。
1.2.2 存储端设计
存储端进行异常大数据区域的搭建工作,并对搭建好的异常大数据区域进行完整存储。为了减弱存储端的瞬时存储压力,挖掘模块在存储端内加入了缓冲器,图4是缓冲器内部电路简图。
图4中的缓冲器电路针对的是简单虚拟网络中异常大数据的传输缓冲,对复杂虚拟网络来说,应该额外设计功能更为强大的缓冲电路。基于以上因素,在存储端的设计中,加入了外设接口,以应对不同的虚拟网络进行异常大数据挖掘。
存储器采用先进先出的方式搭建异常大数据区域,最大化地利用了缓冲器功能,所搭建的异常大数据区域较为合理,既缩减了其在存储器中占用的空间,又能够有效保护异常大数据不外泄。
2 虚拟化网络中的异常大数据区域挖掘平台软
件设计
2.1 平台虚拟层功能设计
虚拟层是虚拟化网络中异常大数据区域挖掘平台的功能实现层,能够为用户提供虚拟化网络服务。虚拟层功能如图5所示。
由图5可知,虚拟层能够为虚拟化网络异常大数据区域挖掘平台提供的功能有:主机管理、虚拟机管理、存储器管理和网络层管理。
主机管理是平台管理者为用户提供在线平台管理的一种功能,也是平台对用户行为进行监控的有效手段。平台管理者利用主机管理对用户可能造成异常大数据的不良行为加以提醒,保障用户用网安全。
虚拟机管理是指利用虛拟化网路中的特定服务,对所设计的虚拟化网络异常大数据区域挖掘平台进行服务补充。在这一功能中,用户能够自由下载特定属性的网络服务,并将其添加到平台虚拟层中进行实现。
存储器管理是一项能够提高平台对虚拟化网络中异常大数据区域挖据效率的功能。当平台存储器的内存将满,或存储器中存在明显异常的大数据时,虚拟层将开启存储器管理功能,提醒用户清理存储器,并自动处理其中的异常大数据。
网络层管理是一种能够调出存储器中的大数据,对其进行异常大数据二次挖掘的功能。二次挖掘的周期可由用户自行设置。这一功能有效提高了虚拟化网络异常大数据区域挖掘平台的稳定性和可应用性。
2.2 异常大数据挖掘代码设计
软件所设计的虚拟化网络异常大数据区域挖掘工作的原理是:先将虚拟化网络中异常大数据的最大范围确定出来,将此范围作为软件代码设计中的输入值输入到异常大数据区域中,进而产生异常大数据的高频组合和低频组合。
高频组合内的异常大数据主要是警报响起次数较多的大数据,低频组合则正相反。根据警报响起次数进行挖掘工作的代码设计,能够有效缩减代码复杂度、提高平台稳定性。所设计的异常大数据挖掘代码为:
T0={maximum0,range input}
if(i=2;T-1;i++)
M=forecast_information(T,least_gain);
Combination of high frequency and low frequency output;
{
M=aggregate(T,i); %测试挖掘平台可行性
The implementation of abnormal large data mining;
T++;
}
T={data least_gain}
{
Output0=T;
Void forecast_information(T,least_gain)
{
Dig according to achieve of reaeh;
Range set;
%第一輪挖掘工作结束后,重新设置异常大数据范围
if(12[0]=13[0])&(1,[1]=13)&(12[i?1]=11[i?1])&(12[i?2]<1:[i?2])
{
x=120 013;
if be_Low frequency_aggregate(x,T++)
Delete non high frequency large data else;
%删除非高频大数据
Accede to N; %将异常大数据汇总于区域N
}
Output N; %输出汇总区域N
}
be_Low frequency_aggregate(T;least_gain)
run up to range set(i=i-1)? replace input of M
output TRUE:
output FALSE:
}
3 实验验证
利用实验对本文所设计的虚拟化网络异常大数据区域挖掘平台的相关性能进行验证。基于设计初衷,实验主要对本文平台的可应用性和稳定性,以及其与虚拟化网络的连接成功率进行验证。
在虚拟化网络异常大数据区域挖掘平台的可应用性验证实验中,选取市面上现存的两种平台作为实验的对比量,分别是WBT平台和网络仿真技术平台。利用三种平台同时对某一综合性较强的虚拟化网络进行异常大数据区域挖掘。平台的可应用性需要经由平台对异常大数据的挖掘能力(挖掘异常大数据的容量)来验证。平台对异常大数据的挖掘能力越强,其硬件与软件间的契合度就越高,平台的可应用性就越高。实验结果如图6所示。
由图6可知,在三种平台中,WBT平台的挖掘能力最弱,证明其可应用性不高;网络仿真技术平台在挖掘时间为120 s之前的挖掘能力较强,但随着挖掘时间的延长,其挖掘能力并没有明显提升,在实验后期,几乎没有异常大数据被挖掘出来,平台的可应用性仍待提高;本文平台挖掘出的异常大数据容量始终在平稳上升,并能够将虚拟网络中的异常大数据完全挖掘出来,初步验证了本文平台拥有较高的可应用性。
然而,由于本文平台检测出的异常大数据均高于其他两平台,为了确定其挖掘出的大数据是否完全属于异常大数据,在稳定性验证实验中,引入“挖掘准确率”这一概念,进一步验证本文平台的可应用性,并同时确定出平台的稳定性高低。
在虚拟化网络异常大数据区域挖掘平台的稳定性验证实验中,选取三种差异性较大的虚拟化网络,利用本文平台对其进行异常大数据区域挖掘,本文平台的挖掘准确率曲线如图7所示。
由图7可知,本文平台的三条准确率曲线波动范围相差不大,且准确率始终维持在[90%,98%]范围内,证明本文平台对不同种类虚拟化网络异常大数据区域的挖掘较高且较为恒定,验证了本文平台拥有较高的可应用性和稳定性。虚拟化网络异常大数据区域挖掘平台与虚拟化网络的成功连接,是平台进行异常大数据准确挖掘的前提条件。连接成功率不佳的平台,纵使拥有再高的可应用性和稳定性,其设计也是不成功的,因为这种平台往往存在较大的硬件问题,无法实现用户的长远需求。图8描述的是本文平台与稳定性实验中三种虚拟化网络的连接成功率曲线。
由图8可知,本文平台与虚拟化网络3的连接最为成功;其与虚拟化网络1的连接波动较大,但仍维持在90%以上;其与虚拟化网络2的连接,则随着挖掘时间的增长而增大,最终实现完全成功连接。针对这种情况,可以利用软件设计给出的网络层管理功能,对其进行二次挖掘,以提高平台的各项性能。以上结果能够验证,本文平台与虚拟化网络的连接成功率较高。
4 结 论
本文设计新型虚拟化网络异常大数据区域挖掘平台,该平台由虚拟化网络控制模块、挖掘模块和虚拟层组成。虚拟化网络控制模块利用SDN控制器对虚拟化网络进行控制,保证其中的大数据能够被流畅、安全、稳定地挖掘和传输。挖掘模块先对虚拟化网络控制模块传输来的大数据进行整流和滤波,再利用报警电路挖掘出其中的异常大数据,进而搭建出异常大数据区域,并对其进行完整存储。软件给出虚拟层的功能图,以及平台对异常大数据的挖据代码。经实验验证可知,所设计的平台拥有较高的可应用性和稳定性,且与虚拟化网络连接的成功率较高。
参考文献
[1] 张帆,毋涛.基于云计算的服装物料管理系统[J].西安工程大学学报,2015,29(6):740?745.
[2] 严英杰,盛戈皞,陈玉峰,等.基于色调分形维数的柑橘糖度和有效酸度检[J].中国电机工程学报,2015,35(1):52?59.
[3] 吉根林,赵斌.时空轨迹大数据模式挖掘研究进展[J].数据采集与处理,2015,30(1):47?58.
[4] 牟乃夏,张恒才,陈洁,等.轨迹数据挖掘城市应用研究综述[J].地球信息科学学报,2015,17(10):1136?1142.
[5] 王秀英,张聪聪,王成亮.一种前兆观测时序特征量的数据挖掘方法[J].大地测量与地球动力学,2015,35(3):533?536.
[6] 吕芳,魏杰,宁静,等.大数据在动物医院的应用研究[J].计算机与网络,2015,41(17):64?67.
[7] 瞿海妮,张鹏飞,凌平,等.基于海量数据的电网需求侧用户行为分析研究[J].华东电力,2014,42(12):2922?2925.
[8] 刘小溪,黄建新.基于新浪微博的异常数据挖掘研究[J].甘肃科技,2014,30(21):12?14.
[9] 付钰,李洪成,吴晓平,等.基于大数据分析的APT攻击挖掘研究综述[J].通信学报,2015,36(11):1?14.
[10] 丁洁,王磊,沈荻帆,等.一种大数据异常检测系统的研究与实现[J].海南大学学报(自然科学版),2015,33(1):24?27.