文档下载 文档下载导航
设为首页 | 加入收藏
搜索 请输入内容:  
 导航当前位置: 文档下载 > 所有分类 > IT/计算机 > 分布式并行数据挖掘系统的研究与实现
侵权投诉

分布式并行数据挖掘系统的研究与实现

分布式多层体系结构,一方面可以适用于分布式应用的需要,另一方面可以减少系统的升级,维护费用,提高系统的鲁棒性,并行计算可以提高系统的执行效率,因此,研究分布式数据挖掘和并行数据挖掘问题很有必要性,文章研究了基于多线程的并行数据挖掘,和基于 VisiBroker的分布式数据挖掘的实现原理,以及运行实例。

维普资讯 doc.guandang.net

分布式并行数据挖掘系统的研究与实现 张学明施法中 (京航空航天大学飞行器制造系,北北京 10 8 ) 0 0 3 E— i: 6 z m@2 3 n t mal 2 3 x 6 .e

摘

要

分布或多层体系结构,一方面可以适用于分布式应用的需要,另一方面可H减少系统的升级、维护赍用,高系提

统的鲁棒性。并行计算可以提高系统的执行效率。因此,究分布式数据挖掘和井行教据挖掘问题很有必要性。文章研研 究了基于多巍程的并行数据挖掘,和基于 V s mk r分布式数据挖掘的实现原理, iB e的 i以厦运行实例。 美键词教据挖掘分布式计算并行计算

文章编号 l0— 3 l (02 0 - 18 0文献标识码 A 0 2 8 3一 2 0 )4 0 9 ̄ 3 - 中图分类号 T 3 11 P 1.3

A t M i i g M e ho s d n Da a nn t d ba e o Vii o e a sBr k r nd utl hr a M i -t e d Zh n e ig S iF h I a g Xu m n h缸 ol g

( e at n fA r rf Mauatr, U A, e i 0 0 3 D pr me to i ea n f ue B A B in 10 8 ) o t c ̄g Ab t a t sr c: Usn h l— h e d mo e Au h r u n i lme t t e a al l d t n n lo i m h o m f i g t e mu t t r a d l i t o s p t a d mp e n h p r l a a mi ig ag rt I t e fr o e h n ,

DL te ag r h L.h loi m c n e sd tdf rn e eo me t lt r . od r t a b ue a iee td v lp n paf msI re o n .

m k h KDD ytm a e a e te sse h v moe e— r x

t n ii t n s a a it i S ̄ te ORBA e d b l y a d c l h ly,t t h C i i U L E mo e T r u h h mi— a e d 1 h o g t e d w r Vii r k r n Ag n, i p t sB o e a d OS e tThs p p US a d mpe n s te d t n n p l ain ̄/ e D S n i lme t h a mi ig a p

i t a c o ' r KD v ERV n t p l ai n ER a d i' a p i t s c o —

Ke o d: D t mi ig, sr u e o u a in, aa ll c mp tt n ̄ rs aa n n Dit b t d c mp tt i o P rl e o u ai o

1引言 根据对数据库管理系统 ( B S的利用程度,行数据挖 D M )并掘u可分为:利用 D MS工具的并行数据挖掘, 不 B和使用 D M BS工具的并行数据挖掘后者根据 K D算法的执行方式又可分 D为:于客户机的 K D;于服务器的 K D;基 D摹 D和基于混合客户机/务器(/ )构的 K D服 CS结 D在不使用 D M l的并行数据挖掘中,挖掘数据被存 B SJ具待

本质 .布式数据挖掘包含下列三步:分 ( )分待挖掘数据成 P个子集, 1剖 P为可用的处理器个数, 并把每个数据子集发进到各个处理器; ( )十处理器运行数据挖掘算法于其局部数据子集 . 2每处理器可以运行不同的数据挖掘葬法;

() 3组合各十数据挖掘算法发现的局部知识成全局、一致 的发现知识。类似于抽样方法,布式处理也是以预测精度换分 取速度

储在数据库服务器中,当数据挖掘时,数据需从服务器端被导 出到目标并行机器,即数据挖掘的所有过程在客户机执行 .并行服务器没有参与 I ) M执行。在客户端 . M可麒在串行、处 D单理器客户机执行 .可在并行客户机执行。也

2基于多线程的并行数据挖掘 21多线程概述f . 线程是进程内部的一十执行单元 (可是一个匦数、姐一个活跃的类对象 )系统创建好进程后,际上就启动执行了该。实进程的主执行线程,执行线程以函数地址形式,程序的启主将

使用 D MS工具并行数据挖掘时, B假设数据库系统为客户 机一务器结构,据库存储在并行数据库服务器 (服数因教率年可口升级原因 )用户通过客户机访问数据库。两类框架 .类 .,有一数据挖掘算法全部嵌在并行数据库服务器 .即基于服务器的 K D框架;一类,些数据挖掘过程在客户机执行 .一些 D另一另

过程 (据密集、时 )在并行服务器执行,为基于混台客数耗则称 户机朋E器的 KD务 D框架。

动点提供给 Widw n o s系统主执行线程终止了,进程也就随之 终止

每个进程至少有一个线程 (主执行线程,无需由用户即它

去主动创建,由系统将应用程序启动后创建的)用户根据需是, 要在应用程序中创建其他线程 .多个线程并发地运行于同一个进程中一个进程中的所有线程都在该进程的虚拟地址空间中 .用这些虚拟地址空间、局变量和系统资源,以线程之使全所间的通讯要比进程通讯容易得多,线程程序设计在实际申得多 使用也较为广泛。

在基于服务器的 K D框架中,客户发送单个命令到服务 D器,求执行给定的数据挖掘算法所有的 D过程在并行服要 M务器运行,发现的知识返回到客机。性能高,数据挖掘所其但算法的并行化依赖于算法和机器的结构,少了系统的通用性。减 在基于混合 C S的 KD框槊中 .回给客户的查询结果/ D返是:总信息而非原始元组。该框架灵活性好、于使用、用易通性好,立于算法和机器结构,性能低于基于服务器的 K D独但 D框架 .而 C S通信载荷是个问题,据挖掘的数据并秆对应/数于并行机器并不优化

使用具有下优点: ( )过线程可方便而有效地实现并行性,程可创建多 1通进个线程来执行同一程序的不同部分 .从而有效地组织程序行

为。一个程序的行为可以组织成功能独立的几个并行处理。使

作者简介:张学明 .9 6年生 .京航空航天大学博士研究生,究方向为人工智能与数据把掘。施法中 .授, 16北研教博士生导师。

18 0 2计算机工程与应用 9 20 . 4

分布式并行数据挖掘系统的研究与实现

第1页

你可能喜欢

  • 软件工程项目计划书
  • 大型分布式系统
  • 分布式系统论文
  • 分布式系统设计
  • 分布式系统架构

热门文档

相关文档

站点地图 | 文档上传 | 侵权投诉 | 手机版
本站所有资源均来自互联网,本站只负责收集和整理,均不承担任何法律责任,如有侵权等其它行为请联系我们.
文档下载 Copyright 2013 doc.guandang.net All Rights Reserved.  -  email