云计算环境下的海量数据特定特征挖掘技术

蹇旭


摘 要: 针对传统云端计算过程中的数据特定信息提取不精确的问题,提出一种云计算环境下的海量数据特定特征挖掘方法。采用矩阵节点差分模型进行数据的有序排列,避免传统方法中的数据混乱造成提取数据不精确,庞大的云端数据量致使数据的定位不精准,为了避免此类问题的产生,使用多维数据定位计算,能够有效地解决定位不准的问题,最终可以成功的对数据信息进行有效提取。为了验证设计云计算环境下的海量数据特定特征挖掘方法的有效性,设计了对比仿真实验,实验结果充分证明了该方法能够有效地解决数据提取不精确的问题。
关键词: 云计算; 数据特定特征; 特征挖掘技术; 提取精度
中图分类号: TN911?34; G420 文献标识码: A 文章编号: 1004?373X(2017)13?0178?03
Abstract: For the imprecise data specific information extraction in the process of traditional cloud computing, a specific characteristic mining method of massive data in cloud computing environment is presented. The matrix node difference model is used to arrange the data orderly, and avoid the imprecise extraction data caused by data confusion of the traditional method. The huge cloud data makes the data positioning imprecise. In order to eliminate the above problem, the multidimensional data positioning calculation is adopted to solve the problem of imprecise positioning effectively, and extract the data information successfully. In order to verify the effectiveness of the massive data specific characteristic mining method in cloud computing environment, the contrast simulation experiment was designed. The experimental results fully prove that the method can improve the accuracy of the data extraction effectively.
Keywords: cloud computing; data specific characteristic; feature mining technology; extraction accuracy
0 引 言
随着科技的快速发展,数据信息时代逐渐向着云时代变迁,数据的运算存储已经由传统的硬盘存储逐渐发展成为云端计算存储[1]。通过云端的计算存储已经在很大程度上摒弃了原有的算法规则,能够更大程度的进行数据统计和数据运算[2]。在使用云端计算的环境下,存储在云端的海量数据都是通过数据定位以及数据分析进行计算的,使用适当的调度方法可以在很大程度上进行数据的特征提取。所以,有效的数据调度可以充分提高数据的特征提取能力,但是传统的云端计算过程由于数据存储量过于繁杂,并且在进行数据定位的过程中需要进行数据识别。传统的方法是使用数据的属性进行标识识别,但是为了数据的存储方便一般会进行适当的数据压缩和数据转换,数据进行调用过程中十分的繁琐,并且数据的调用过程是一个识别提取的过程,这种方式极大地影响了数据特征提取的速度以及准确性[3?4]。在进行数据特征提取的过程中还存在一些数据节点,这些节点极大程度上限制了提取的精度[4?5]。综上所述,本文设计了一种云计算环境下的海量数据特定特征挖掘方法,该方法能够有效解决上述问题[6]。
1 运用矩阵节点差分计算方法进行数据特定特
征挖掘
使用矩阵节点差分计算可以提高数据提取的精准度,在计算之前需要进行数据的方位确定以及数据的预处理[7?8]。
式中:为单位下数据信息量;为数据的信息坐标;为提取条件下的属性条件;为实际的屬性值域。
当限制节点传输信息至时,传输单位需要经过个节点才能进行属性提取。关系式为:
保证数据的正确性和快速性是通过区域的划分得到的,划分前需要预设参数,通过设定能够对选择精度进行控制,避免误差的产生。
式中:为离散参数;为整合参数域;为区域代理值;表示提取深度;代表数据衡量值。
进行数据的特征提取过程中,使用矩阵节点差分方法,因此需要进行数据的预处理[9],预处理之后才可以使用,首先是数据编续:
经过序号的排列以后,方便数据在大量数据中进行准确提取,但是排序之后的数据不能直接使用,需要一定的调用计算,方便在提取过程中属性的搭配:
式中:表示单位时间数据能够调用的属性;表示实际区域范围内数据的识别码;是实际计算中的属性参数;表示计算常量。
通过上述计算便可以进行矩阵节点差分方程的计算,建立如下矩阵:
通过化简的公式可以看出数据与实际调用的关系,把公式进行加权处理就可以得到关系公式,这样可以更加精确的在海量数据中完成特征提取。
限定好实用的属性参数及属性目标,进行加权计算:
本文运用矩阵节点差分计算方法进行数据特定特征挖掘,在计算前进行数据的预处理保证了数据的有效性,提高了结果的精准度,最后用条件进行限定保证在大量的数据中能够进行精准的计算。
2 实验验证
为了验证本文设计的云计算环境下的海量数据特定特征挖掘方法的有效性,设计了对比仿真实验。选定某网络数据公司大型云端数据库进行数据特征提取,首先使用传统的方法进行云端数据提取,然后使用本文设计的云計算环境下的海量数据特定特征挖掘方法进行数据的特征提取。
2.1 参数设置
为了保证实验的有效性,同时进行实验,设置调配参数为65.8;数据坐标分别为150,100;为了保证数据提取的速度,设置为68.5;设置分别为55,60,100。
2.2 数据对比分析
实验对比结果如图1,图2,表1所示。
通过图1可以看出本文设计的方法能够在更短的时间内得到结果,同时所用的时间是传统方法的一半左右。
通过图2的误差对比结果可以看出,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地降低误差,保证在海量数据下的特征提取。
表1的实验结果能够充分证明,本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地提高数据特征百分比,同时能够在更短的时间内进行更多的特征提取。
3 结 语
本文设计的云计算环境下的海量数据特定特征挖掘方法能够有效地解决数据特征提取过程中提取不精确的问题,同时所需要的时间更短,得到的结果不需要进行修正,能够更好地完成对海量数据的特征提取。本文的研究能够为云端数据提取提供良好的理论依据。
参考文献
[1] 廉文武,傅凌玲,黄潮.云计算环境下数据弱关联挖掘模型的仿真[J].计算机仿真,2015,32(4):359?362.
[2] 卢小宾,王涛.Google三大云计算技术对海量数据分析流程的技术改进优化研究[J].图书情报工作,2015,59(3):6?11.
[3] 何清,庄福振,曾立,等.PDMiner:基于云计算的并行分布式数据挖掘工具平台[J].中国科学:信息科学,2014,44(7):871?885.
[4] 刘辉.云计算环境下海量激光点云数据的高密度存储器逻辑结构设计[J].激光杂志,2016,37(9):91?95.
[5] 白红伟,马志伟,朱永利.基于云计算的绝缘子状态监测数据的处理[J].电瓷避雷器,2011(4):19?22.
[6] 钱维扬,王俊义,仇洪冰.基于Hadoop的数据挖掘技术在测光红移上的研究[J].电子技术应用,2016,42(9):111?114.
[7] 刘海龙,宿宏毅.利用Hadoop云计算平台进行海量数据聚类分析[J].舰船科学技术,2016(14):148?150.
[8] 曹建春,李聪.海上军事海量数据的物联网数据库存储系统研究[J].舰船科学技术,2016(12):175?177.
[9] 任琼,常君明.基于任务分类思维的云计算海量资源改进调度[J].科学技术与工程,2016,16(12):101?105.