文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 并行数据挖掘算法综述
侵权投诉

并行数据挖掘算法综述

并行数据挖掘算法综述

并行数据挖掘算法综述

据完全驻留内存及C4.5的训练数据多次排序问题。

并行SPRINT中求解分割点时,N个处理器同时处理,各处理器只处理整个数据集的1/N,大大提高了效率。对连续数据,每个处理器都维护整个属性列表的一部分,一一处理,得到本处理器对该叶节点最佳的分割点,再比较N个分割点求出最小。对离散属性,从各个处理器上收集计数矩阵的数据,相加求和就得到全局的计数矩阵。

并行SPRINT中将属性列表分割到每个叶节点时,从各个处理器上收集、交换rids,每个处理器独立建立所有rids的测试结构,应用于该节点其余属性列表的分割。

不同的处理机上。为了产生全局支持度,各处理机每扫描一趟都要覆盖整个数据库(包括本地和其他处理机),产生了巨大的数据交换开销。IDD(Intelligent Data Distribution)算法是对DD算法的改进,在一定程度上解决了候选集划分带来的负载失衡的问题。CID(Candidate Distribution)算法是分割候选集,采用了有选择复制数据库的方法,使

HD(Hybrid Distribution)每个处理机相对独立工作。

算法合成了CD,IDD算法,该算法将N个处理器每个组为一个超级处理划分为K个大小相等的组,

器,执行CD算法,每个组内,执行IDD算法。

在SMS结构下并行算法有:CCPD(Common

2 关联规则及并行机制

关联规则是寻找在同一个事件中出现的不同项的相关性,即找出事件中频繁发生的项或属性的所有子集及之间的关联性。关联挖掘过程主要有两个步骤:第一阶段是频繁项集的建立;第二阶段是关联规则的建立。而Apriori算法是最经典、最广泛使用的算法。目前所有并行关联规则算法都是在相应的串行算法上提出的。本文先对串行关联规则算法进行分析。 2.1 串行关联规则算法

Candidate Partition Database)算法能够并行产生候选项集,并把候选集存储在同一个哈希树中,每个处理机扫描自己的数据库进行逻辑划分,计算共享哈希树中的候选项集的支持度。APM(Asynchr-

onous Parallel Mining)是基于DIC的并行算法,采用全局修剪技术来减小候选项集的大小。在首次循环时,将数据库划分成大小相等的块,对每块执行局部支持度,进行群集,生成候选项集。接着将数据库划分成同样大小的块,在局部分块上每个处理器独立的执行DIC算法。

Agrawal 等人提出的AIS,Apriori,AprioriTid和AprioriHybrid及Park等人提出的DHP;Savadere等人提出的Partition等算法都是基于Apriori的关联挖掘算法。这些算法有着共同的缺陷:对数据库进行多次扫描;可能产生大量的候选集;占用大量的系统资源。

2.2 并行关联规则算法

针对以上串行算法的不足,目前已提出了很多关联规则的并行算法。以下从DMS(Distributed

3 K-平均值算法及并行机制

K-平均值算法是一个简单有效的统计聚类技术。算法的步骤如下:

(1)选择一个K值,用以确定簇的总数。 (2)在数据集中任意选择K个样本,他们是初始的簇中心。

(3)使用简单的欧氏距离将剩余样本赋给距离他们最近的簇中心。

(4)使用每个簇的样本来计算每个簇的新的平均值。

(5)终止该过程直到新的平均值等于上次迭代的平均值,否则用新平均值作为簇中心重复3~5步。

在K-平均值算法中,算法的集中收敛是以最初的簇中心的选择为基础的。此算法并行可采用下面的方法:读取训练样本,每个样本分配给一个处理器。处理器完成计算任务与训练样本有关,以最靠

电子科技/2006年1月15日 67

Memory System)和SMS(Shared Memory System)两种结构体系介绍关联规则的并行算法。

在DMS结构下有5种方法对Apriori算法进行并行:CD(Count Distribution)算法是Apriori算法最直接的并行方式。每个处理机根据本地数据库划分所有候选项集的局部支持度。在每趟扫描结束时,交换局部支持度来产生全局支持度。DD(Data

Distribution)算法将候选集分成几部分,分别放到

上一页第3页

你可能喜欢

  • 数据挖掘决策树
  • 十大数据挖掘算法
  • 海量数据
  • 云计算与数据挖掘
  • Android测试
  • 遗传算法综述
  • 神经网络

热门文档

相关文档

  • 数据挖掘算法综述

    数据挖掘算法综述_IT认证_资格考试/认证_教育专区。无20 10 年 8 月 电 脑...神经网络的优点就是并行分布处理能力强,分类的准 确度高, 对噪声数据有较强的...

  • 并行频繁项集挖掘综述

    并行频繁项集挖掘算法综述 陈晓云 赵娟 (兰州大学信息科学与工程学院 兰州 ...由于数据挖掘在开始被提出时就是面向海量数据的, 庞大的搜索空间使得许多传统的...

  • 数据挖掘方法综述

    数据挖掘方法综述摘 要:首先介绍了数据挖掘的概念,再从挖掘对象、挖掘方法和挖掘...遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被 加以...

  • 序列模式挖掘算法综述

    序列模式挖掘算法综述_IT/计算机_专业资料。该文档详细叙述了数据挖掘中的序列模式...由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和 高度容错等特性...

  • 数据挖掘层次聚类算法研究综述

    数据挖掘层次聚类算法研究综 数据挖掘层次聚类算法研究综述 层次聚类算法研究 摘要...参考文献 [1]王里.并行层次聚类技术研究,硕士学位论文.湖南大学.2006.12 [2]...

  • 数据挖掘算法研究与综述

    电脑知识与技术 数据库与信息管理 数据挖掘算法研究与综述王元志, 王芳 ( 徐州...遗传算法的优点是容易并行化, 但它也存在许多缺点: 遗传 算法对于最终用户来说...

  • 并行数据挖掘研究

    并行数据挖掘这一结台并行计算技术和数据挖掘技术 在社会各个方面得到了大规模的...文献(4,5】已经对这些算法做了一个全面的综述。并行化 总是体现在两个方面:...

  • 数据挖掘中的文本挖掘的分类算法综述

    数据挖掘中的文本挖掘的分类算法综述_IT/计算机_专业资料。数据挖掘文本挖掘的分类...源于高 性能(并行)计算的技术在处理海量数据集方面常常是重要的。分布式技术也能...

  • 基于属性相关分析的离群数据并行挖掘算法

    离群数据挖掘综述 6页 免费 基于聚类高维空间算法的离... 5页 免费 基于聚类...利用并 行计算和 属性相 关性分 析思想, 给出 了一 种离群数据并行挖掘算法...

  • 数据挖掘综述

    数据的转换。将数据转换成一个分析模型,这个分析模型是针对挖掘算法建立的, 建立...3.2 神经网络方法 3 神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理...

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email