计 算 机 工 程 第 33 卷 第4期
Vol.33 No.4 Computer Engineering · 软件技术与数据库 ·
文章编号:1000—3428(2007)04—0061—03
文献标识码:A
2007年2月
February2007
中图分类号:TP391
面向电子商务的增量挖掘算法
宁红云1,2,刘金兰1
(1.天津大学管理学院,天津 300072;2. 天津理工大学计算机科学与工程系,天津 300191)
摘 要:对商务信息挖掘理论进行了研究,给出了电子商务运作模式的定义、性质、定理及相关证明;提出了一种用于跟踪电子商务活动的数据模型,在模型中定义了网页监控点与商务指标之间的“点-集”映射关系,建立了商务网站的访问事件、网页中事先设定的监控点,以及商务工作流程之间的联系;根据这些研究结果对关联规则挖掘算法中的发现和剪枝过程进行改进,设计了面向电子商务的增量挖掘算法,并在第三方物流信息系统中实现。实践表明,该算法在频繁变化的数据集中的挖掘效率大大高于传统的非增量挖掘算法,基于智能Agent技术的商务信息挖掘模型有效地提高了电子商务的实时跟踪与分析能力。 关键词:增量挖掘;电子商务;关联规则
Incremental Mining Algorithm in E-commerce System
NING Hongyun1,2, LIU Jinlan
1
(1. School of Management, Tianjin University, Tianjin 300072;
2. Department of Computer Science and Engineering, Tianjin University of Technology, Tianjin 300191)
【Abstract】Commercial data mining theories are studied. Web based E-commerce operation pattern is defined and its properties are provided. Amapping theorem is proved, in which a “point-to-set” mapping between Web page links and commerce indexes is presented, establishing therelations between the client browsing patterns, monitoring points in Web pages and commerce process. A new data model is proposed to recordbusiness activities. And a new incremental mining algorithm is provided to mine associations between sets of commerce indexes in amazinglyincreasing data set, by improving discovering and pruning part of present association rule mining algorithm. The method is implementedon thirdpart Web based logistics information system. Experiments show that the algorithm is efficient for data set changed frequently. Based on agenttechnology, ability of tracking and analyzing commerce information in real time is promoted effectively. 【Key words】Incremental mining; E-commerce; Association rule
增量挖掘在电子商务的及时决策中具有重要的作用。对
电子商务日志采用关联规则挖掘算法可以有效地帮助企业找出商务活动中的内在联系。但是,因为日志文件属于增量型数据集,如果采用传统方法则需要在每次挖掘时对整个数据集进行重复扫描以生成频繁项集,这种对数据的重复操作使得算法效率低下、日志空间占用过大。又因为缺省的Web日志中仅包括客户、引用页面和IP分布等信息[1],无法满足更高层次的商务行为分析的需要。因此,本文针对上述问题,对商务信息挖掘理论进行了分析,给出了电子商务运作模式的定义、性质、定理及相关证明,提出了一种用于跟踪电子商务活动的数据模型,并对关联规则挖掘算法中的发现和剪枝过程进行了改进,设计了面向电子商务的增量挖掘算法。该方法的实现集成了电子商务、增量挖掘和Agent技术。
定义2 将网页中任何可以点击和输入信息的点称为热点,记为hot=<HID,CID>,其中HID为网页标识号,CID为页内的热点标识号。
从实际分析可知,电子商务网站模式其及热点hot具有如下性质:
(1)在电子商务网站模式S中hot具有唯一性。
(2)拓扑结构Gi可以由hot点集组成,即G=<hot1, hot2 ,…, hotn>,它指明了站内网页的链接情况,也可以说hot是构成模式S的基础。
(3)客户对不同热点的操作轨迹形成了Web日志。
(4)对热点hot进行监控既可以了解客户对网站的操作情况,也可以了解电子商务活动情况,因此也被称为监控点。 1.2 客户操作模式分析
定义3 客户U对网站S的访问模式US可以用一个三元组来表示,即US=<U,S,G’>,其中U代表用户,S是电子商务网站模式,G’是U对S进行浏览的轨迹图,该轨迹图是网站拓扑结构图G的子图,它同样可以用网页热点序列来表示,即
基金项目:天津市自然科学基金资助项目(043600511);天津市高等学校科技发展基金资助项目(20030618)
作者简介:宁红云(1969-),女,高工、博士生,主研方向:电子商务,数据挖掘;刘金兰,教授、博导
收稿日期:2006-03-05 E-mail:ninghongyun@eyou.com
1 电子商务的运作模式分析
1.1 电子商务网站模式分析
企业的电子商务网站属于已知信息,其结构可以从站点的主索引页开始(通常名为index或default)导出最大前向引用序列MFR的过程[2,3]。
定义1 电子商务网站模式S可以用一个复杂二元组表示:S=<IPi ,Gi>,其中,IPi是商务网站的i号服务器的IP地址,IPi∈L有效IP地址集,Gi=(V,E)是一个有向图,代表i号服务器内各网页的拓扑结构,V是网站内的网页集合,E是网站内链接的集合,i≥1。
—61—
浙江工业大学 硕士学位论文 面向增量更新的数据挖掘算法及其应用研究 姓名:张良燕...(CRM)t60j、可视化系统 161】、web挖掘〔621、电子商务〔631等方面,文献〔60】...
详细阐述了基于电子商务Web数据挖掘预处理过程;运用算法 描述了数据清洗与净化、...随着文件的不断扩大,优 化算法运算耗时增量较小,运算效率提高更大。 4.5小结...
3 电子 商务 中的We数 据挖 掘 b31 电子 商务 中的We 挖掘算法 .b面向电子商务的W e数据挖掘主要包括We 内容 挖 bb掘和We b日志 挖掘。利用We内容挖掘 ...
2010 基于 Heritrix 的面向电子商务网站增量爬虫研究杨 颂,欧阳柳波 (湖南大学 软件学院,湖南 长沙 410082 )摘要:针对电子商务网站的特点,基于 Heritrix 开源爬虫...
12 2.2 面向电子商务中数据挖掘的数据源... 13 2.3 电子商务中...增量挖掘算法无需每次(挖掘时)均对整个 数据库进行挖掘而只需对数据库中的增量数据进行挖掘...
1. 2 数据挖掘的步骤[ 5] 数据挖掘包括商业需求、 大量的数据和挖掘算法三...2 2. 1 电子商务网站数据挖掘模型的建立和实现 [ 5] [ 6] 面向电子商务的...
是采用机器学习、统计等方法进行知识学习的阶段 数据挖掘算法的好坏直接影响到所...第五章面向电子商务数据挖掘的分析与应用 很多领域尤其是在商业领域已经应用数据...
二、电子商务环境中数据挖掘的特点 1.面向电子商务挖掘的任务更多地表现在客户...3.挖掘模型的构建和数据挖掘 将数据转化成一个真正的适合挖掘算法的分析模型是...
模式发现阶段就是利用挖掘算法挖掘出有效的、新颖的、潜在的、有用 的以及最终...随着电子商务发展的势头越来越强劲, 面向电子商务的数据挖掘将是一个非常有前景 ...
(选客户 U1 作为参照 ) : 即 经过 Web 使用挖掘数据预处理后 ,得到数据集...基于模糊 C-均值的增量式聚类算法[J].微 电子学与计算机,2007,24 (6) :...
热门文档