分布式多层体系结构,一方面可以适用于分布式应用的需要,另一方面可以减少系统的升级,维护费用,提高系统的鲁棒性,并行计算可以提高系统的执行效率,因此,研究分布式数据挖掘和并行数据挖掘问题很有必要性,文章研究了基于多线程的并行数据挖掘,和基于 VisiBroker的分布式数据挖掘的实现原理,以及运行实例。
维普资讯 doc.guandang.net
分布式并行数据挖掘系统的研究与实现 张学明施法中 (京航空航天大学飞行器制造系,北北京 10 8 ) 0 0 3 E— i: 6 z m@2 3 n t mal 2 3 x 6 .e
摘
要
分布或多层体系结构,一方面可以适用于分布式应用的需要,另一方面可H减少系统的升级、维护赍用,高系提
统的鲁棒性。并行计算可以提高系统的执行效率。因此,究分布式数据挖掘和井行教据挖掘问题很有必要性。文章研研 究了基于多巍程的并行数据挖掘,和基于 V s mk r分布式数据挖掘的实现原理, iB e的 i以厦运行实例。 美键词教据挖掘分布式计算并行计算
文章编号 l0— 3 l (02 0 - 18 0文献标识码 A 0 2 8 3一 2 0 )4 0 9 ̄ 3 - 中图分类号 T 3 11 P 1.3
A t M i i g M e ho s d n Da a nn t d ba e o Vii o e a sBr k r nd utl hr a M i -t e d Zh n e ig S iF h I a g Xu m n h缸 ol g
( e at n fA r rf Mauatr, U A, e i 0 0 3 D pr me to i ea n f ue B A B in 10 8 ) o t c ̄g Ab t a t sr c: Usn h l— h e d mo e Au h r u n i lme t t e a al l d t n n lo i m h o m f i g t e mu t t r a d l i t o s p t a d mp e n h p r l a a mi ig ag rt I t e fr o e h n ,
DL te ag r h L.h loi m c n e sd tdf rn e eo me t lt r . od r t a b ue a iee td v lp n paf msI re o n .
m k h KDD ytm a e a e te sse h v moe e— r x
t n ii t n s a a it i S ̄ te ORBA e d b l y a d c l h ly,t t h C i i U L E mo e T r u h h mi— a e d 1 h o g t e d w r Vii r k r n Ag n, i p t sB o e a d OS e tThs p p US a d mpe n s te d t n n p l ain ̄/ e D S n i lme t h a mi ig a p
i t a c o ' r KD v ERV n t p l ai n ER a d i' a p i t s c o —
Ke o d: D t mi ig, sr u e o u a in, aa ll c mp tt n ̄ rs aa n n Dit b t d c mp tt i o P rl e o u ai o
1引言 根据对数据库管理系统 ( B S的利用程度,行数据挖 D M )并掘u可分为:利用 D MS工具的并行数据挖掘, 不 B和使用 D M BS工具的并行数据挖掘后者根据 K D算法的执行方式又可分 D为:于客户机的 K D;于服务器的 K D;基 D摹 D和基于混合客户机/务器(/ )构的 K D服 CS结 D在不使用 D M l的并行数据挖掘中,挖掘数据被存 B SJ具待
本质 .布式数据挖掘包含下列三步:分 ( )分待挖掘数据成 P个子集, 1剖 P为可用的处理器个数, 并把每个数据子集发进到各个处理器; ( )十处理器运行数据挖掘算法于其局部数据子集 . 2每处理器可以运行不同的数据挖掘葬法;
() 3组合各十数据挖掘算法发现的局部知识成全局、一致 的发现知识。类似于抽样方法,布式处理也是以预测精度换分 取速度
储在数据库服务器中,当数据挖掘时,数据需从服务器端被导 出到目标并行机器,即数据挖掘的所有过程在客户机执行 .并行服务器没有参与 I ) M执行。在客户端 . M可麒在串行、处 D单理器客户机执行 .可在并行客户机执行。也
2基于多线程的并行数据挖掘 21多线程概述f . 线程是进程内部的一十执行单元 (可是一个匦数、姐一个活跃的类对象 )系统创建好进程后,际上就启动执行了该。实进程的主执行线程,执行线程以函数地址形式,程序的启主将
使用 D MS工具并行数据挖掘时, B假设数据库系统为客户 机一务器结构,据库存储在并行数据库服务器 (服数因教率年可口升级原因 )用户通过客户机访问数据库。两类框架 .类 .,有一数据挖掘算法全部嵌在并行数据库服务器 .即基于服务器的 K D框架;一类,些数据挖掘过程在客户机执行 .一些 D另一另
过程 (据密集、时 )在并行服务器执行,为基于混台客数耗则称 户机朋E器的 KD务 D框架。
动点提供给 Widw n o s系统主执行线程终止了,进程也就随之 终止
每个进程至少有一个线程 (主执行线程,无需由用户即它
去主动创建,由系统将应用程序启动后创建的)用户根据需是, 要在应用程序中创建其他线程 .多个线程并发地运行于同一个进程中一个进程中的所有线程都在该进程的虚拟地址空间中 .用这些虚拟地址空间、局变量和系统资源,以线程之使全所间的通讯要比进程通讯容易得多,线程程序设计在实际申得多 使用也较为广泛。
在基于服务器的 K D框架中,客户发送单个命令到服务 D器,求执行给定的数据挖掘算法所有的 D过程在并行服要 M务器运行,发现的知识返回到客机。性能高,数据挖掘所其但算法的并行化依赖于算法和机器的结构,少了系统的通用性。减 在基于混合 C S的 KD框槊中 .回给客户的查询结果/ D返是:总信息而非原始元组。该框架灵活性好、于使用、用易通性好,立于算法和机器结构,性能低于基于服务器的 K D独但 D框架 .而 C S通信载荷是个问题,据挖掘的数据并秆对应/数于并行机器并不优化
使用具有下优点: ( )过线程可方便而有效地实现并行性,程可创建多 1通进个线程来执行同一程序的不同部分 .从而有效地组织程序行
为。一个程序的行为可以组织成功能独立的几个并行处理。使
作者简介:张学明 .9 6年生 .京航空航天大学博士研究生,究方向为人工智能与数据把掘。施法中 .授, 16北研教博士生导师。
18 0 2计算机工程与应用 9 20 . 4

基于Web Service技术分布式并行数据挖掘的研究与实现_专业资料。龙源期刊网 http:...技术的一个数据挖掘系统,在一个关联规则挖掘的并行 算法—CD 算法的基础上,...
分布式并行数据挖掘系统的研究与实现_IT/计算机_专业资料。分布式并行数据挖掘系统的研究与实现张学明 施法中 (北京航空航天大学飞行器制造系, 北京 %"""91 ) :...
基于Web Service技术分布式并行数据挖掘的研究与实现_专业资料。主要介绍基于WebService技术的一个数据挖掘系统,在一个关联规则挖掘的并行算法-CD算法的基础上,结合一种...
基于Web+Service技术分布式并行数据挖掘的研究与实现_互联网_IT/计算机_专业资料。...主要介绍基于WebService技术的一个数据挖掘系统,在一个关联规则挖掘的并行算法一...
基于WebService技术分布式并行数据挖掘的研究与实现金春霞1’2,白秋产2(1.东南...主要介绍基于WebService技术的一个数据挖掘系统,在一个关联规则挖掘的并行算法一...
和有效性.可以在分布式并行的环境里实现高效的 数据挖掘.充分发掘网络计算的优势...研究方向为电路与 系统。 达新字男。(1964-),教授。研究方向为电路与系统。 ...
分布式并行数据挖掘计算框架及其算法研究_IT/计算机_专业资料。分布式并行数据挖掘计算...研究 方向为 电路 与系统。(94 )教 效性 ,一 种可 行 的方 法 是进 ...
为了方便地实现分布式数据挖掘,一个用于集中控制的站点是必须的。用 于解决整个系统通讯开销大及如何在全局范围内进行全局性决策等问题。 2)并行和分布式数据挖掘算法...
分布式并行数据挖掘计算... 3页 1下载券 分布式隐私保护数据挖掘... 5页 1下载...性 、 研究现状以及数据源 ,然后详细介绍了两个典型的分布式数据 挖掘系统 。...
基于分布式数据挖掘方法的研究与应用_互联网_IT/计算机_专业资料 暂无评价
热门文档