
总第219期计算机与数字工程Vol.36No.1
2008年第1期Computer&DigitalEngineering 60
PaDDMAS:并列式和分布式数据挖掘组件
郭长岭
(中国船舶重工集团公司第七一三研究所信息中心 郑州 40012)
3
摘 要 PaDDMAS,一个基于分布式数据挖掘的组件,提供一种基于数据流分析的工具,对数据进行分析,解码,管理和传输。每个组件利用Java/CORBA封装,并提供用XML定义的接口,组件可以连续或者并列的对象,可以单个或者内部拥有复杂的结构。提供一种基于神经网络的算法的原型。
关键词 分布式 PaDDMAS 神经网络中图分类号 TP311
1 引言
复,,这种数据可以是临时性的,也可以是详尽的。稳定的数据提供对系统的总体描述,或者是经过长期的科学试验得到的结果。为了对决策系统的支持,有很多对这钟数据进行分析的方法,包括人工智能,数据库,静态分析,逻辑分析等。这些方法的性能主要取决于他们的分析速度,能成功分析的问题的范围,支持的数据类型。分析的第一步就是把大型数据库中的数据转存到用于分析的机器上。与大型数据环境相结合的是联机分析(OLAP)中的一个概念。当前数据挖掘的主要功能在于机器的自动采集数据,通常还包括数据处理。这方面的例子很多,例如操作方法的验证(删除非法操作),数据模式查看,机器操作超时分析等。内部数据采集还需要数据可视技术的支持。
目前有多种数据挖掘工具,从图书馆系统到一般的工具包分析。这些工具中通常缺少第三方控件,或者于分析工具共享输出。同时,大多数分析算法只适用于一种机器,虽然有些通用工具存在,然而都是利用专有的格式输出。而且,数据挖掘通常面向统计和数字分析,而较少支持科学和商务活动。研究人员主要关注到算法,而不是用户。尽管如此,对科学家和商业人员的分析和提供更快更好的算法一样重要。这样一个基于非独立环境的数据挖掘的组件:PaDDMAS,利用这个组件,用户可以在不同的语言平台上实现对主要数据的分析,如
3
等。它由连续的或都是并列的分
,同时,也提供对数据库的SQL查询过程和终端数据流的连接。目前,只提供基于分析算法的网络系统和PaDDMS的原型证明。基于系统的知识帮助,用户选择分析特殊数据的组件,用户也可以添加网际的接口。
2 目前的现状
并行数据挖掘的区别在于分析所采用的方法,如决策树,神经网络,统计方法,遗传算法等。Pendse提出一种很好的商业数据挖掘和OLAP工具的概要,把商务工具划分为两个模块:处理单元和存储单元。因此,忽略数据处理在何地发生。由于数据可能存储在三个不同的地方:关系数据库管理系统(RDBMS)(没有附加的存储),一台服务器上共享的异构数据库,或是在终端的客户机上。类似的处理引擎也可以采用多通道SQL,或是一台专用的服务器,也可以在客户端PC上执行。一些商业产品采用了不止一种方法,通常是一种综合策略。例如一种基于存储和多通道的SQL的RD2BMS的产品,它包括微策略OSS代理,也就是存储基于RDBMS实现,但其他的处理技术包括了IBMDB2OLAP服务器,微软OLAP服务器,Oracle等。
一些厂商生产桌面OLAP工具,它包括其它的应用;Albrect和Lehner对基于数据仓库的各种OLAP方法作了概述,把企业数据仓库与数据表作对照,数据仓库使得来自不同数据源的数据得到综合,使用一种单独的合并的数据模型,而数据表则对数据仓库提供一种高度的概括,以用于小型商业群体。
收稿日期:2007年6月21日,修回日期:2007年7月18日作者简介:郭长岭,男,助理工程师。
分布式并行数据挖掘系统的研究与实现_IT/计算机_专业资料。分布式并行数据挖掘系统的研究与实现张学明 施法中 (北京航空航天大学飞行器制造系, 北京 %"""91 ) ...
基于WEB的分布式数据挖掘系统研究 随着web上信息量的不断增加,如何在信息海洋中找到真正需要的内容成为重要的研究主题,web数据挖掘是一个很好的途径。另外,原有的...
分布式数据挖掘与大数据-英特尔对于网络前端设备的数据的观点_互联网_IT/计算机_专业资料。2012 年 8 月 愿景文件 分布式数据挖掘与 大数据英特尔对于网络前端设备...
为了解决这些问题,作者采用了BPEL4WS(基于web服务的业务 流程执行语言)的面向服务的DDM (分布式数据挖掘)平台来编辑 DDM的服务组件,并且满足全局性的数据挖掘需求。...
分布式数据挖掘与大数据 - 英特尔对于网络前端设备的数据的观点_计算机硬件及网络_IT/计算机_专业资料。2012 年 8 月 愿景文件 分布式数据挖掘与 大数据英特尔对于...
研究现状 – 同构与异构 – 分布式数据挖掘算法 – 应用实例 ? 进一步的工作 简介-数据挖掘 ? 什么是数据挖掘?– 数据挖掘是指从巨量数据中获取有效的、新颖的...
大数据:互联网大规模数据挖掘与分布式处理(第一章)_互联网_IT/计算机_专业资料。大数据:互联网大规模数据挖掘与分布式处理 第一章 数据挖掘基本概念 目录 ? ...
更多>>英文名:Distributed Data Mining in Electronic Commerce Environment 作者:马荣飞摘要:首先将web服务和Agent最新技术引入了电子商务环境中分布式数据挖掘,提出了...
数据源 数据源 数据源 图1 分布式数据挖掘框架F i.1Distributeddatamininframework gg 于分布式数据源 , 对于拥有海量集中数据 , 同时拥有分布式站点 ( 计算资源 ...
∑堡呈蕉莶坌查墓羞垣塾量堡坦鱼亟窒皇塞堡 基于WebService技术分布式并行数据挖掘的研究与实现金春霞1’2,白秋产2(1.东南大学 江苏南京 223001 f2.淮阴工...
热门文档